$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

딥뉴럴네트워크 상에 신속한 오인식 샘플 생성 공격
Rapid Misclassification Sample Generation Attack on Deep Neural Network 원문보기

융합보안논문지 = Convergence security journal, v.20 no.2, 2020년, pp.111 - 121  

권현 (육군사관학교 전자공학과) ,  박상준 (육군사관학교 전자공학과) ,  김용철 (육군사관학교 전자공학과)

초록
AI-Helper 아이콘AI-Helper

딥뉴럴네트워크머신러닝 분야 중 이미지 인식, 사물 인식 등에 좋은 성능을 보여주고 있다. 그러나 딥뉴럴네트워크는 적대적 샘플(Adversarial example)에 취약점이 있다. 적대적 샘플은 원본 샘플에 최소한의 noise를 넣어서 딥뉴럴네트워크가 잘못 인식하게 하는 샘플이다. 그러나 이러한 적대적 샘플은 원본 샘플간의 최소한의 noise을 주면서 동시에 딥뉴럴네트워크가 잘못 인식하도록 하는 샘플을 생성하는 데 시간이 많이 걸린다는 단점이 있다. 따라서 어떠한 경우에 최소한의 noise가 아니더라도 신속하게 딥뉴럴네트워크가 잘못 인식하도록 하는 공격이 필요할 수 있다. 이 논문에서, 우리는 신속하게 딥뉴럴네트워크를 공격하는 것에 우선순위를 둔 신속한 오인식 샘플 생성 공격을 제안하고자 한다. 이 제안방법은 원본 샘플에 대한 왜곡을 고려하지 않고 딥뉴럴네트워크의 오인식에 중점을 둔 noise를 추가하는 방식이다. 따라서 이 방법은 기존방법과 달리 별도의 원본 샘플에 대한 왜곡을 고려하지 않기 때문에 기존방법보다 생성속도가 빠른 장점이 있다. 실험데이터로는 MNIST와 CIFAR10를 사용하였으며 머신러닝 라이브러리로 Tensorflow를 사용하였다. 실험결과에서, 제안한 오인식 샘플은 기존방법에 비해서 MNIST와 CIFAR10에서 각각 50%, 80% 감소된 반복횟수이면서 100% 공격률을 가진다.

Abstract AI-Helper 아이콘AI-Helper

Deep neural networks (DNNs) provide good performance for machine learning tasks such as image recognition and object recognition. However, DNNs are vulnerable to an adversarial example. An adversarial example is an attack sample that causes the neural network to recognize it incorrectly by adding mi...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • c는 가중치 값으로 왜곡 loss function과 공격 loss function에 대한 가중치를 조절해주는 역할을 한다. 따라서 기본적인 방법은 목표함수 F를 최소화함으로써 공격성공률을 높이면서 동시에 최소한의 왜곡을 만족하는 적대적 샘플을 찾는 것을 목표로 한다. 그러나 이 방법은 두가지 조건을 동시에 만족하도록 적대적 샘플을 생성해야하기 때문에 상대적으로 많은 계산과 시간이 소요된다.
  • 이 논문에서는 딥뉴럴네트워크가 오작동하는 것에 우선순위를 둔 신속한 오인식 샘플 생성 공격(fast misclassification sample)을 제안한다. 제안 방법은 원본 샘플에 대한 왜곡에 대한 고려없이 신속하게 딥뉴럴네트워크가 오인식이 되는 최적화된 noise를 생성하여 오인식 샘플을 생성한다.
  • 이 논문에서는 딥뉴럴네트워크를 오인식하는데 보다 적은 반복횟수로 공격하는 방법을 제안하였다. 제안한 방법은 원본 샘플간의 왜곡성을 가중치를 제거하고 딥뉴럴네트워크를 오인식하는 fast misclassification sample을 생성한다.
  • 따라서 이 논문에서 제안하는 방법은 기존방법과 달리 별도의 원본 샘플에 대한 왜곡을 고려하지 않기 때문에 기존방법보다 생성속도가 빠른 장점이 있다. 이에 대해서 본 논문에서는 제안방법에 대한 시스템적인 구성과 최적화된 noise을 생성하여 제안샘플의 생성과정 원리에 대해서 설명을 하였다. 다음으로 제안방법에 대하여 성능비교를 위하여 기존 최신방법인 Carlini method[6]와 반복횟수와 공격성공률에 대하여 비교하였다.

가설 설정

  • 반면에 블랙박스 공격[11, 12]은 목표모델에 대한 정보가 없이 입력값에 대한 결과값만 아는 상황에서의 공격을 의미한다. 이 연구에서는 화이트박스를 가정하여 목표 모델에 대한 소프트맥스의 수치를 안다는 가정 하에 제안샘플을 생성한다.
  • 적대적 샘플이 목표 모델에 대한 정보양에 따라서 화이트박스 공격[6,10]과 블랙박스 공격으로 구분될 수 있다. 화이트박스 공격은 목표모델에 대한 모든 정보에 대해서 공격자가 알고 있는 상황을 가정한다. 이 경우에 모델의 파라미터, 모델의 구조, 소프트맥스의 수치 등에 대한 모든 정보를 알고 있다는 가정 하에 공격을 의미한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
적대적 샘플은 무엇인가? 그러나 딥뉴럴네트워크는 적대적 샘플(Adversarial example)에 취약점이 있다. 적대적 샘플은 원본 샘플에 최소한의 noise를 넣어서 딥뉴럴네트워크가 잘못 인식하게 하는 샘플이다. 그러나 이러한 적대적 샘플은 원본 샘플간의 최소한의 noise을 주면서 동시에 딥뉴럴네트워크가 잘못 인식하도록 하는 샘플을 생성하는 데 시간이 많이 걸린다는 단점이 있다.
딥뉴럴네트워크 모델은 어느 영역에서 좋은 성능을 보여주고 있는가? 최근 딥뉴럴네트워크 모델[1]은 이미지 분류[2], 얼굴 인식 분야[3], 음성 인식 분야[4] 등 다양한 영역에서 좋은 성능을 보여주고 있다. 그러나 딥뉴럴네트워크에 대한 취약점이 있다.
딥뉴럴네트워크의 취약점인 적대점 샘플은 어떤 단점이 있는 샘플인가? 적대적 샘플은 원본 샘플에 최소한의 noise를 넣어서 딥뉴럴네트워크가 잘못 인식하게 하는 샘플이다. 그러나 이러한 적대적 샘플은 원본 샘플간의 최소한의 noise을 주면서 동시에 딥뉴럴네트워크가 잘못 인식하도록 하는 샘플을 생성하는 데 시간이 많이 걸린다는 단점이 있다. 따라서 어떠한 경우에 최소한의 noise가 아니더라도 신속하게 딥뉴럴네트워크가 잘못 인식하도록 하는 공격이 필요할 수 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (27)

  1. J. Schmidhuber, ''Deep learning in neural networks: An overview,'' Neural Netw., vol. 61, pp. 85-117, Jan. 2015. 

  2. K. Simonyan and A. Zisserman, ''Very deep convolutional networks for large-scale image recognition,'' in Proc. 3rd Int. Conf. Learn. Represent. (ICLR), San Diego, CA, USA, May 2015. [Online]. Available: http://arxiv.org/abs/1409.1556 

  3. Sun, Xudong, Pengcheng Wu, and Steven CH Hoi. "Face detection using deep learning: An improved faster RCNN approach." Neurocomputing 299 (2018): 42-50. 

  4. G. Hinton, L. Deng, D. Yu, G. E. Dahl, A.-R. M. N. Jaitly, A. Senior, V. Vanhoucke, P. Nguyen, T. N. Sainath, and B. Kingsbury, ''Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups,'' IEEE Signal Process. Mag., vol. 29, no. 6, pp. 82-97, Nov. 2012. 

  5. C. Szegedy,W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. J. Goodfellow, and R. Fergus, ''Intriguing properties of neural networks,'' in Proc. 2nd Int. Conf. Learn. Represent. (ICLR), Banff, AB, Canada, Apr. 2014. 

  6. N. Carlini and D. Wagner, ''Towards evaluating the robustness of neural networks,'' in Proc. IEEE Symp. Secur. Privacy (SP), May 2017, pp. 39-57. 

  7. Y. LeCun, C. Cortes, and C. J. Burges. (2010). Mnist Handwritten Digit Database. AT&T Labs. [Online]. Available: http://yann.lecun.com/exdb/mnist 

  8. A. Krizhevsky, V. Nair, and G. Hinton. (2014). The Cifar-10 Dataset. http://www.cs.toronto.ed/kriz/cifar.html 

  9. Barreno M, Nelson B, Joseph AD, Tygar J. The security of machine learning. Mach Learn 2010; 81(2):121-48. 

  10. S.-M. Moosavi-Dezfooli, A. Fawzi, and P. Frossard, ''DeepFool: A simple and accurate method to fool deep neural networks,'' in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2016, pp. 2574-2582. 

  11. Y. Liu, X. Chen, C. Liu, and D. Song, ''Delving into transferable adversarial examples and black-box attacks,'' in Proc. 5th Int. Conf. Learn. Represent. (ICLR), Toulon, France, Apr. 2017. 

  12. Kwon, Hyun, et al. "Advanced ensemble adversarial example on unknown deep neural network classifiers." IEICE TRANSACTIONS on Information and Systems 101.10 (2018):2485-2500. 

  13. A. Kurakin, I. J. Goodfellow, and S. Bengio, ''Adversarial examples in the physical world,'' in Proc. 5th Int. Conf. Learn. Represent. (ICLR), Toulon, France, Apr. 2017. 

  14. N. Papernot, P. McDaniel, S. Jha, M. Fredrikson, Z. B. Celik, and A. Swami, ''The limitations of deep learning in adversarial settings,'' in Proc. IEEE Eur. Symp. Secur. Privacy (EuroS&P), Mar. 2016, pp. 372-387. 

  15. Kwon, Hyun, et al. "Friend-safe evasion attack: An adversarial example that is correctly recognized by a friendly classifier." Computers & Security 78 (2018): 380-397. 

  16. Kwon, Hyun, et al, "Selective Audio Adversarial Example in Evasion Attack on Speech Recognition System ", IEEE Transactions on Information Forensics & Security, 2019. DOI:10.1109/TIFS.2019.2925452 

  17. Kwon, Hyun, et al. "Multi-targeted adversarial example in evasion attack on deep neural network." IEEE Access 6 (2018): 46084-46096. 

  18. Kwon, Hyun, et al. "Random untargeted adversarial example on deep neural network." Symmetry 10.12 (2018): 738. 

  19. Kwon, Hyun, et al. "Selective Untargeted Evasion Attack: An Adversarial Example That Will Not Be Classified as Certain Avoided Classes." IEEE Access 7 (2019):73493-73503. 

  20. Su, Jiawei, Danilo Vasconcellos Vargas, and Kouichi Sakurai. "One pixel attack for fooling deep neural networks." IEEE Transactions on Evolutionary Computation (2019). 

  21. Kwon, Hyun, Hyunsoo Yoon, and Daeseon Choi. "Restricted Evasion Attack: Generation of Restricted-Area Adversarial Example." IEEE Access 7 (2019): 60908-60919. 

  22. M. Abadi, P. Barham, J. Chen, Z. Chen, A. Davis, J. Dean, M. Devin, S. Ghemawat, G. Irving, and M. Isard, ''TensorFlow: A system for largescale machine learning,'' in Proc. OSDI, vol. 16, 2016, pp. 265-283 

  23. Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, ''Gradient-based learning applied to document recognition,'' Proc. IEEE, vol. 86, no. 11, pp. 2278-2324, Nov. 1998. 

  24. I. Goodfellow, J. Shlens, and C. Szegedy, "Expl aining and harnessing adver sarial examples," in International Conference on Learning Repres entations, 2015. 

  25. N. Papernot, P. McDaniel, X. Wu, S. Jha, and A. Swami, "Distillation as a defense to advers arial perturbations against deep neural networks," in Security and Privacy (SP), 2016 IEEE Symposium on, pp. 582-597, IEEE, 2016. 

  26. A. Fawzi, O. Fawzi, and P. Frossard, "Analysi s of classifiers' robustness to aversarial pertur bations," Machine Learning, pp. 1-28, 2015. 

  27. Jin, Guoqing, et al. "APE-GAN: Adversarial pe rturbation elimination with GAN." ICASSP 20 19-2019 IEEE International Conference on Aco ustics, Speech and Signal Processing (ICASS P). IEEE, 2019. 

저자의 다른 논문 :

관련 콘텐츠

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로