[논문]적대적 공격에 견고한 Perceptual Ad-Blocker 기법

김민재; 김보민; 허준범

doi:10.13089/jkiisc.2020.30.5.871

[국내논문] 적대적 공격에 견고한 Perceptual Ad-Blocker 기법
Perceptual Ad-Blocker Design For Adversarial Attack 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.30 no.5, 2020년, pp.871 - 879

김민재 (고려대학교) , 김보민 (고려대학교) , 허준범 (고려대학교)

초록
AI-Helper

Perceptual Ad-Blocking은 인공지능 기반의 광고 이미지 분류 모델을 이용하여 온라인 광고를 탐지하는 새로운 광고 차단 기법이다. 이러한 Perceptual Ad-Blocking은 최근 이미지 분류 모델이 이미지를 틀리게 분류하게 끔 이미지에 노이즈를 추가하는 적대적 예제(adversarial example)를 이용한 적대적 공격(adversarialbattack)에 취약하다는 연구 결과가 제시된 바 있다. 본 논문에서는 다양한 적대적 예제를 통해 기존 Perceptual Ad-Blocking 기법의 취약점을 증명하고, MNIST, CIFAR-10 등의 데이터 셋에서 성공적인 방어를 수행한 Defense-GAN과 MagNet이 광고 이미지에도 효과적으로 작용함을 보인다. 이를 통해 Defense-GAN과 MagNet 기법을 이용해 적대적 공격에 견고한 새로운 광고 이미지 분류 모델을 제시한다. 기존 다양한 적대적 공격 기법을 이용한 실험 결과에 따르면, 본 논문에서 제안하는 기법은 적대적 공격에 견고한 이미지 분류 기술을 통해 공격 이전의 이미지 분류 모델의 정확도와 성능을 확보할 수 있으며, 더 나아가 방어 기법의 세부사항을 아는 공격자의 화이트박스 공격(White-box attack)에도 일정 수준 방어가 가능함을 보였다.

Abstract ▼ AI-Helper

Perceptual Ad-Blocking is a new advertising blocking technique that detects online advertising by using an artificial intelligence-based advertising image classification model. A recent study has shown that these Perceptual Ad-Blocking models are vulnerable to adversarial attacks using adversarial examples to add noise to images that cause them to be misclassified. In this paper, we prove that existing perceptual Ad-Blocking technique has a weakness for several adversarial example and that Defense-GAN and MagNet who performed well for MNIST dataset and CIFAR-10 dataset are good to advertising dataset. Through this, using Defense-GAN and MagNet techniques, it presents a robust new advertising image classification model for adversarial attacks. According to the results of experiments using various existing adversarial attack techniques, the techniques proposed in this paper were able to secure the accuracy and performance through the robust image classification techniques, and furthermore, they were able to defend a certain level against white-box attacks by attackers who knew the details of defense techniques.

Keyword

표/그림 (14)

표 Table 1. Classifier accuracy
표 Table 2. Attack algorithm and parameter
표 Table 3. Structure of Magnet auto-encoder
표 Table 4. Magnet auto-encoder parameter
표 Table 5. Defense-GAN structure
표 Table 6. Defense-GAN parameter
표 Table 7. Result of attack for classifiers
표 Table 8. Result of MagNet for adverarial attack
표 Table 9. Result of Defense-GAN for adversarial attack
표 Table 10. Result of MagNet for adaptive attack
표 Table 11. Result of Defense-GAN for adaptive attack
표 Table 12. Result of defense for Black-box attack
표 Table 13. Performance comparison of models with defensive mechanisms for unattacked images
표 Table 14. Comparison of the time taken to create 40 adversarial examples

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 [3]에서 보인 공격 이외에도 다양한 적대적 공격에 Ad-Blocker들이 취약함을 보이고, 이에 더하여 adversarial attack에 대한 견고성을 높일 수 있는 Perceptual Ad-Blocker을 위한 방어 모듈을 제안하고자 한다. 우리는 Ad-Blocker의 다양한 제약조건들을 고려하여 MNIST[18], CIFAR-10[17] 등의 데이터에서 성공적인 방어 성능을 보인 Defense-GAN[4]과 MagNet[5]을 응용한 방어 모듈을 classifier에 탑재하였고, 다양한 공격에 대해서 실험한 결과 이들은 classifier 모델의 성능을 크게 떨어트리지 않으면서 범용적인 공격에 대해 방어가 가능하며, 추가적인 연산 비용(computational overhead)이 크지 않아 효율적이다.
각 공격의 파라미터는 서로 상이하여 각 공격들은 서로간의 비교가 어렵기 때문에 공격 간의 비교가 아닌, 공격에 대한 방어 전후의 성공률을 비교하는 것을 목적으로 한다.
Perceptual Ad-Blocker는 생성하기 쉬운 적대적 예제에 대해 매우 취약해 공격자보다 불리한 고점에 위치해 있다. 본 논문에서는 Perceptual Ad-Blocker이 다양한 종류의 적대적 공격에 대해 취약함을 실험을 통해 보이고, 이에 대한 방어 기술로서 Defense-GAN과 MagNet을 탑재한 Perceptual Ad-Blocker를 제안하였다. 안전성 분석 결과에 따르면 두 분류 모델 Percival과 ResNet을 대상으로 공격 성공률 90%정도를 보였던 적대적 예제들을 Defense-GAN과 MagNet으로 공격 성공률을 상당히 낮출 수 있음을 보였다.

제안 방법

각 classifier의 성능은 Table 1과 같다. 각각의 모델에 대한 False Discovery Rate(광고로 분류하였으나 광고가 아닌 이미지의 비율), False Omission Rate(광고가 아니라고 분류하였으나 광고인 이미지의 비율), Accuracy(TP+TN/Total)를 측정하였으며 ResNet은 80%, Percival은 95%의 높은 정확도로 광고 이미지를 분류한다.
공격 기법은 PGD[10,11], FGSM[2], DeepFool[12], CW attack[16]을 사용하였다. 첫 3개의 공격 모델은 Table 2와 같으며, CW attack의 경우 L₂ 공격 모델을 사용하였으며 confidence K=1, learning rate=0.001로 두어 10000번의 iteration을 거쳐 공격을 수행하였다. 또한 모든 공격은 이미지에 가해진 노이즈를 육안 상으로 판별하기 힘든 정도이다.
각각의 공격 알고리즘으로 생성된 광고 이미지를 classifier에 넣은 후 공격이 적용된 광고 이미지에 대한 False Positive, False Negative, Accuracy를 측정하였다.
3.3장의 결과로 공격이 적용된 이미지를 방어 모듈이 탑재된 classifier에 입력으로 넣어 False Positive, False Negative, Accuracy를 측정하였다. 성능 비교를 위해 공격이 적용되지 않은 광고 이미지에 대해서도 분류 성능을 측정하였다.
3장의 결과로 공격이 적용된 이미지를 방어 모듈이 탑재된 classifier에 입력으로 넣어 False Positive, False Negative, Accuracy를 측정하였다. 성능 비교를 위해 공격이 적용되지 않은 광고 이미지에 대해서도 분류 성능을 측정하였다.
방어 모듈은 MagNet을 이용한 것과 Defense-GAN을 이용한 것 두 종류에 대해서 실험 하였다.
MagNet을 제안한 논문[5]과 달리, detector network를 방어의 용도로 수정하여 사용하였다. Ad-Blocker에서 사용하는 classifier의 경우, [5]의 논문에서 실험한 multi-labael classifier가 아닌, Ad/Non-ad만을 판별하는 binary classifier이기 때문에, detector network가 적대적 예제로 판단한 이미지의 경우 label을 다른 label로 전환하는 방식으로, detector을 단순히 적대적 예제를 탐지하는 용도가 아닌, 또다른 방어의 방법으로 사용하였다.
방어 모듈을 탑재한 classifier로 분류한 결과는 Table 8, Table 9와 같다. 공격이 적용된 이미지뿐만 아니라 공격이 적용되지 않은 원래의 이미지에 대해서도 성능을 평가하였다. 각 공격이 적용된 이미 지에 대하여 분류를 수행한 결과 성능이 전반적으로 향상되었다(40~90%).
Blackbox attack에 대한 defense의 실험 결과는 Table 12와 같다. Blackbox attack으로는 가장 보편적인 PGD 방식을 채택했고, attack에 사용할 substitute classifier은 ResNet으로 설정하고 실험하였다. Defense를 탑지하지 않았을 때 공격을 수행하면 accuracy가 상당히 떨어지지만, defense-GAN과 MagNet을 탑재하면 공격을 수행해도 본래의 성능에서 크게 떨어지지 않는다.
MagNet의 경우 효율성 측면에서 이점이 있고, Defense-GAN의 경우 적응적 공격에도 견고하다는 점에서 안정성 측면에서의 이점이 있다. 본 논문에서는 MagNet과 Defense-GAN의 내부 구조를 거의 수정하지 않았으며, 모델의 구조 수정과 hyperparameter의 조정을 통해 보다 나은 성능을 이끌어 내고, 각각의 단점을 보완 가능한 방어 기술을 제안하였다. 이를 통해서 본 논문에서는 Defense-GAN과 MagNet에 기반하여 적대적 공격에 견고한 Perceptual Ad-Blocker의 가능성을 보였다.

대상 데이터

Classifier의 분류 성능을 측정하기 위한 테스트 데이터셋은 Tramèr 등[3]이 공개한 데이터셋을 사용하였다.
우리는 이 중 Ad-blocker의 제약과 다양한 특성 들을 고려하여 3)에 해당하는 MagNet과 Defense-GAN을 방어에 사용하였다. 이들은 기존 classifier의 내부 구조를 수정하지 않고, 입력 데이터셋에 대한 학습이 사전에 이루어지기 때문에 모델의 성능에 영향을 미치지 않는다는 장점이 있다.
모델 훈련에 사용한 데이터셋은 Hussain 등[7] 이 공개한 훈련 데이터셋 21,945개 (ad 8,348개, non-ad 13,597개)를 이용하였다. 3.
[3]의 논문에서도 해당 데이터셋을 대상으로 적대적 공격에 대한 classifier의 성능을 측정했으며, 해당 데이터셋은 Alexa ranking에서 상위 10개의 뉴스 웹 사이트에서 수집된 실제 광고 데이터들이다. 총 59개의 광고 이미지들로 구성되어 있다(ad 39개, non-ad 20개).
Reformer과 detector로 사용한 autoencoder의 구조와 훈련 파라미터는 각각 Table 3, Table 4와 같다. autoencoder의 학습에 3.1.1의 데이터셋을 8:2의 비율로 훈련 데이터와 검증 데이터로 나누어 사용하였다.

이론/모형

이러한 적대적 예제를 찾는 알고리즘들 중 PGD( Projected Gradient Descent)[10,11], DeepFool[12], CW(Carlini&Wagner's attack)[16]을 실험에 사용했다.
우리는 이들 중 classifier을 이용한 frame-based ad-blocker 두 가지 ResNet[13]을 이용한 Hussan et al’s scheme[7]과 Percival이라는 model을 이용한 Percival[8]의 분류 모델에 대한 방어를 수행하였다.
이들은 기존 classifier의 내부 구조를 수정하지 않고, 입력 데이터셋에 대한 학습이 사전에 이루어지기 때문에 모델의 성능에 영향을 미치지 않는다는 장점이 있다. 온라인으로 실시간으로 광고를 탑지해야 하는 Perceptual Ad-Blocker의 특성상 방어가 기존 classification 모델의 시간적인 성능을 떨어트리지 않아야 하므로 방어 기법으로 MagNet과 Defense-GAN을 선택하였다.
우리는 이들 중 classifier을 이용한 frame-based ad-blocker 두 가지 ResNet[13]을 이용한 Hussan et al’s scheme[7]과 Percival이라는 model을 이용한 Percival[8]의 분류 모델에 대한 방어를 수행하였다. Percival은 pre-trained model을 사용하였으며, ResNet은 3.1.1의 데이터셋을 이용하여 직접 훈련시켰다.
공격 기법은 PGD[10,11], FGSM[2], DeepFool[12], CW attack[16]을 사용하였다. 첫 3개의 공격 모델은 Table 2와 같으며, CW attack의 경우 L₂ 공격 모델을 사용하였으며 confidence K=1, learning rate=0.

성능/효과

또한, [14, 16] 등의 논문에서 MagNet과 Defense-GAN을 포함한 많은 방어 기법들이 보다 강력한 적응적 공격(adaptive attack)에 대해 취약함을 보였다. 본 논문에서 제시하는 모델에서 이러한 공격에 대한 실험 결과 적응적 공격이 어느 정도는 유효하나, [14, 16]에서 주장한 바와 같이 방어를 완전히 무력화할 정도는 아님을 확인할 수 있었다. 또한, 적응적 공격에는 매우 많은 시간이 소요되며, 특히 transferability[1,2]를 이용한 gray-box attack model에서는 학습 과정에 더욱많은 시간이 소요되기 때문에 적대적 예제의 생성에 걸리는 시간이 공격 성공률을 고려할 때 비효율적임을 확인할 수 있었다.
본 논문에서 제시하는 모델에서 이러한 공격에 대한 실험 결과 적응적 공격이 어느 정도는 유효하나, [14, 16]에서 주장한 바와 같이 방어를 완전히 무력화할 정도는 아님을 확인할 수 있었다. 또한, 적응적 공격에는 매우 많은 시간이 소요되며, 특히 transferability[1,2]를 이용한 gray-box attack model에서는 학습 과정에 더욱많은 시간이 소요되기 때문에 적대적 예제의 생성에 걸리는 시간이 공격 성공률을 고려할 때 비효율적임을 확인할 수 있었다. 따라서 인공신경망을 이용한 Perceptual Ad-Blocker 환경에서 적대적 공격에 대한 고려와 대응 방안에 대한 연구는 매우 중요하다고 할 수 있다.
Tramèr 등은 실험을 통해 다양한 종류의 Perceptual Ad-Blocker이 모두 적대적 공격 (PGD)에 취약함을 보였으며, 대부분 100%에 이르는 공격 성공률을 보였다.
이와 같이 perceptual Ad-blocker들이 적대적 공격에는 매우 취약한 반면, 이에 대한 방어는 쉽지 않음을 제시했는데, 1) 공격자가 프로그램의 코드에 접근이 가능하기 때문에 classifier 모델의 내부구조를 활용한 공격인 Whitebox-attack이 가능하며, 2) 공격자는 미리 오프라인에서 적대적 예제를 준비할 수 있으나 Ad-Blocker 측에서는 온라인으로 광고를 분류해야 하여 시간적인 제약이 존재하는 점 등으로 인해 방어가 쉽지 않음을 주장하였다. 3) 또한, classifier 모델을 적대적 예제들을 포함하여 다시 훈련시키는 방어 기법인 adversarial training[1,11]을 수행하여도 이는 공격자가 새로운 적대적 예제를 생성하는 것보다 더 많은 비용이 들며, 현재까지 제안된 그 외의 방어 기법들은 제한된 공격자에만 대응할 수 있거나, 보다 강력한 공격에 의해 방어가 깨질 수 있음이 증명되었다는 점 [14,16] 등을 두어 방어에 한계가 있음을 주장하였다.
이와 같이 perceptual Ad-blocker들이 적대적 공격에는 매우 취약한 반면, 이에 대한 방어는 쉽지 않음을 제시했는데, 1) 공격자가 프로그램의 코드에 접근이 가능하기 때문에 classifier 모델의 내부구조를 활용한 공격인 Whitebox-attack이 가능하며, 2) 공격자는 미리 오프라인에서 적대적 예제를 준비할 수 있으나 Ad-Blocker 측에서는 온라인으로 광고를 분류해야 하여 시간적인 제약이 존재하는 점 등으로 인해 방어가 쉽지 않음을 주장하였다. 3) 또한, classifier 모델을 적대적 예제들을 포함하여 다시 훈련시키는 방어 기법인 adversarial training[1,11]을 수행하여도 이는 공격자가 새로운 적대적 예제를 생성하는 것보다 더 많은 비용이 들며, 현재까지 제안된 그 외의 방어 기법들은 제한된 공격자에만 대응할 수 있거나, 보다 강력한 공격에 의해 방어가 깨질 수 있음이 증명되었다는 점 [14,16] 등을 두어 방어에 한계가 있음을 주장하였다.
우선, 공격이 적용된 이미지에 대한 classifier의 분류 성능은 Table 7과 같다. 높은 성능을 가지고 있던 classifier은 공격이 수행된 이미지에 대해 전반적으로 성능이 매우 하락한 바를 확인할 수 있으며, PGD와 DeepFool을 통하여 공격된 이미지에 대해서는 모든 이미지를 틀리게 분류하였다.
공격이 적용된 이미지뿐만 아니라 공격이 적용되지 않은 원래의 이미지에 대해서도 성능을 평가하였다. 각 공격이 적용된 이미 지에 대하여 분류를 수행한 결과 성능이 전반적으로 향상되었다(40~90%).
Defense를 탑지하지 않았을 때 공격을 수행하면 accuracy가 상당히 떨어지지만, defense-GAN과 MagNet을 탑재하면 공격을 수행해도 본래의 성능에서 크게 떨어지지 않는다. 따라서 본 논문에서 주장하는 defense는 black-box attack에도 성공적인 방어의 수행이 가능함을 알수 있다.
Defense-GAN에 대한 적응적 공격의 경우 각 알고리즘의 적대적 예제 생성 시간을 확인한 결과, 적대적 예제 생성에 걸리는 시간이 Table 14와 같이 다른 공격에 비해 상대적으로 매우 길기 때문에 공격의 효율성이 떨어짐을 확인할 수 있었다.
본 논문에서는 Perceptual Ad-Blocker이 다양한 종류의 적대적 공격에 대해 취약함을 실험을 통해 보이고, 이에 대한 방어 기술로서 Defense-GAN과 MagNet을 탑재한 Perceptual Ad-Blocker를 제안하였다. 안전성 분석 결과에 따르면 두 분류 모델 Percival과 ResNet을 대상으로 공격 성공률 90%정도를 보였던 적대적 예제들을 Defense-GAN과 MagNet으로 공격 성공률을 상당히 낮출 수 있음을 보였다. Defense-GAN의 경우 적응적 공격에도 일정 수준의 방어가 가능했다.
Defense-GAN의 경우 적응적 공격에도 일정 수준의 방어가 가능했다. 또한 효율성 실험 결과에 따르면 방어 모듈은 MagNet을 탑재했을 때 공격이 적용되지 않은 이미지에 대한 분류 모델의 정확도에는 영향을 주지 않았고, Defense-GAN의 경우 2.5% 정도로 매우 미미한 감소를 보였다. 추가적인 시간발생 역시 MagNet은 거의 발생하지 않았고 Defense-GAN은 사진 당 평균 2.
5% 정도로 매우 미미한 감소를 보였다. 추가적인 시간발생 역시 MagNet은 거의 발생하지 않았고 Defense-GAN은 사진 당 평균 2.5초 정도 걸리는 결과를 보였다. 추가적으로 공격자 입장에서 걸리는 시간 비교 실험에서도 Defense-GAN adaptive attack에 걸리는 시간이 다른 적대적 예제 생성 알고리즘들 보다 많음을 보였다.
5초 정도 걸리는 결과를 보였다. 추가적으로 공격자 입장에서 걸리는 시간 비교 실험에서도 Defense-GAN adaptive attack에 걸리는 시간이 다른 적대적 예제 생성 알고리즘들 보다 많음을 보였다.
본 논문에서는 MagNet과 Defense-GAN의 내부 구조를 거의 수정하지 않았으며, 모델의 구조 수정과 hyperparameter의 조정을 통해 보다 나은 성능을 이끌어 내고, 각각의 단점을 보완 가능한 방어 기술을 제안하였다. 이를 통해서 본 논문에서는 Defense-GAN과 MagNet에 기반하여 적대적 공격에 견고한 Perceptual Ad-Blocker의 가능성을 보였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Perceptual Ad-Blocking이란?	Perceptual Ad-Blocking은 인공지능 기반의 광고 이미지 분류 모델을 이용하여 온라인 광고를 탐지하는 새로운 광고 차단 기법이다. 이러한 Perceptual Ad-Blocking은 최근 이미지 분류 모델이 이미지를 틀리게 분류하게 끔 이미지에 노이즈를 추가하는 적대적 예제(adversarial example)를 이용한 적대적 공격(adversarialbattack)에 취약하다는 연구 결과가 제시된 바 있다.
	적대적 공격(adversarial attack)이란?	적대적 공격(adversarial attack)이란 이미지 x에 작지만 의도적으로 최악의 perturbation(δ)를 추가하여 적대적 예제 x′를 생성하는 것으로, 모델이 높은 신뢰도로 잘못된 답을 출력하게 할 수 있다.
	현존하는 제안된 적대적 공격에 대한 방어 기법으로 MagNet과 Defense-GAN을 방어에 사용한 이유는?	우리는 이 중 Ad-blocker의 제약과 다양한 특성 들을 고려하여 3)에 해당하는 MagNet과 Defense-GAN을 방어에 사용하였다. 이들은 기존 classifier의 내부 구조를 수정하지 않고, 입력 데이터셋에 대한 학습이 사전에 이루어지기 때문에 모델의 성능에 영향을 미치지 않는다는 장점이 있다. 온라인으로 실시간으로 광고를 탑지해야 하는 Perceptual Ad-Blocker의 특성상 방어가 기존 classification 모델의 시간적인 성능을 떨어트리지 않아야 하므로 방어 기법으로 MagNet과 Defense-GAN을 선택하였다.

참고문헌 (20)

C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. Goodfellow and R. Fergus, "Intriguing properties of neural networks," arXiv preprint arXiv:1312.6199, 2013.
I.J. Goodfellow, J. Shlens, and C. Szegedy, "Explaining and harnessing adversarial examples," arXiv preprint arXiv:1412.6572, 2014.
F. Tramer, P. Dupre, G. Rusak, G. Pellegrino, and D. Boneh, "Adversarial: perceptual ad blocking meets adversarial machine learning," Proceedings of the 2019 ACM SIGSAC Conference on Computer and Communications Security, pp. 2005-2021, Nov. 2019.
P. Samangouei, M. Kabkab and R. Chellappa, "Defense-gan: protecting classifiers against adversarial attacks using generative models," arXiv preprint arXiv:1805.06605, 2018.
D. Meng and H. Chen, "Magnet: a two-pronged defense against adversarial examples," Proceedings of the 2017 ACM SIGSAC conference on computer and communications security, pp. 135-147, Oct. 2017.
I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville and Y. Bengio, "Generative adversarial nets," Advances in neural information processing systems, pp. 2672-2680, 2014.
Z. Hussain, M. Zhang, X. Zhang, K. Ye, C. Thomas, Z. Agha, N. Ong and A. Kovashka, "Automatic understanding of image and video advertisements," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1705-1715, 2017.
Z.A. Din, P. Tigas, S.T. King and B. Livshits, "Percival: making in-browser perceptual ad blocking practical with deep learning," 2020 USENIX Annual Technical Conference, pp. 387-400, 2020.
Kobaco, "Broadcasting and Communications Advertising Expenses Survey," https://adstat.kobaco.co.kr/sub/expenditure_data_search.do, Feb. 2020.
A. Kurakin, I. Goodfellow and S. Bengio, "Adversarial examples in the physical world," arXiv preprint arXiv:1607.02533, 2016.
A. Madry, A. Makelov, L. Schmidt, D. Tsipras and A. Vladu, "Towards deep learning models resistant to adversarial attacks," arXiv preprint arXiv:1706.06083, 2017.
S.M. Moosavi-Dezfooli, A. Fawzi and P. Frossard, "Deepfool: a simple and accurate method to fool deep neural networks," Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2574-2582, 2016.
K. He, X. Zhang, S. Ren and J. Sun, "Deep residual learning for image recognition," Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016.
A. Athalye, N. Carlini and D. Wagner, "Obfuscated gradients give a false sense of security: circumventing defenses to adversarial examples," International Conference on Machine Learning, pp. 274-283, Jul. 2018.
S. Qiu, Q. Liu, S. Zhou and C. Wu, "Review of artificial intelligence adversarial attack and defense technologies," Applied Sciences, vol. 9, no. 5, pp. 909, 2019.

상세보기
N. Carlini and D. Wagner, "Towards evaluating the robustness of neural networks," IEEE symposium on security and privacy, pp. 39-57, May 2017.
A. Krizhevsky and G. Hinton, Learning multiple layers of features from tiny images, University of Toronto, 2009.
Y. LeCun, "The mnist database of handwritten digits," http://yann.lecun.com/exdb/mnist/, 1998.
H. Xiao, K. Rasul and R. Vollgraf, "Fashion-mnist: a novel image dataset for benchmarking machine learning algorithms," arXiv preprint arXiv:1708.07747, 2017.
M. Arjovsky, S. Chintala and L. Bottou, "Wasserstein generative adversarial networks," Proceedings of the 34th International Conference on Machine Learning, vol. 70, pp. 214-223, Aug. 2017.

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증