[논문]적대적 회피 공격에 대응하는 안전한 자율주행 자동차 시스템

이승열; 이현로; 하재철

doi:10.13089/jkiisc.2023.33.6.907

[국내논문] 적대적 회피 공격에 대응하는 안전한 자율주행 자동차 시스템
Secure Self-Driving Car System Resistant to the Adversarial Evasion Attacks 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.33 no.6, 2023년, pp.907 - 917

이승열 (호서대학교) , 이현로 (호서대학교) , 하재철 (호서대학교)

초록
AI-Helper

최근 자율주행 자동차는 운전자 지원 시스템에 딥러닝 기술을 적용하여 운전자에게 편의성을 제공하고 있지만, 딥러닝 기술이 적대적 회피 공격(adversarial evasion attacks)에 취약함이 밝혀졌다. 본 논문에서는 객체 인식 알고리즘인 YOLOv5(You Only Look Once)를 대상으로 MI-FGSM (Momentum Iterative-Fast Gradient Sign Method)를 포함한 5가지 적대적 회피 공격을 수행하였으며 객체 탐지 성능을 mAP(mean Average Precision)로 측정하였다. 특히, 본 논문에서는 모폴로지 연산을 적용하여 적대적 공격으로부터 노이즈를 제거하고 경계선을 추출하여 YOLO가 객체를 정상적 탐지할 수 있는 방안을 제안하고 이를 실험을 통해 그 성능을 분석하였다. 실험 결과, 적대적 공격을 수행했을 때 YOLO의 mAP가 최소 7.9%까지 떨어져 YOLO가 객체를 정확하게 탐지하지 못하는 것을 87.3%까지 성능을 개선하였다.

Abstract ▼ AI-Helper

Recently, a self-driving car have applied deep learning technology to advanced driver assistance system can provide convenience to drivers, but it is shown deep that learning technology is vulnerable to adversarial evasion attacks. In this paper, we performed five adversarial evasion attacks, including MI-FGSM(Momentum Iterative-Fast Gradient Sign Method), targeting the object detection algorithm YOLOv5 (You Only Look Once), and measured the object detection performance in terms of mAP(mean Average Precision). In particular, we present a method applying morphology operations for YOLO to detect objects normally by removing noise and extracting boundary. As a result of analyzing its performance through experiments, when an adversarial attack was performed, YOLO's mAP dropped by at least 7.9%. The YOLO applied our proposed method can detect objects up to 87.3% of mAP performance.

Keyword

표/그림 (13)

그림 Fig. 1. Object detection using YOLO
그림 Fig. 2. The process of Focus layer
그림 Fig. 3. CSP module structure
그림 Fig. 4. An example of adversarial evasion attack
그림 Fig. 5. Dilatation operation in Morphology
그림 Fig. 6. Erosion operation in Morphology
그림 Fig. 7. Boundary images applied with Morphology
그림 Fig. 8. PGD attack images according to each loss
표 Table 1. PGD results according to each loss
그림 Fig. 9. Adversarial attack and countermeasure on road sign
그림 Fig. 10. Perturbation according to Epsilon
표 Table 2. Evaluation of original YOLO
표 Table 3. Evaluation of performance

AI 본문요약
AI-Helper

문제 정의

본 논문에서 모폴로지 연산을 적용하여 YOLO로 부터 적대적 회피 공격을 대응하는 기법을 제안한다. 모폴로지 연산을 활용한 적대적 회피 공격을 방어하는 수식은 다음과 같다.
본 논문에서는 카메라 이미지에 대한 객체 인식 알고리듬 YOLO에 섭동을 추가하는 방식으로 적대적 회피 공격을 시도하는 실험을 진행하였다. 실험 결과 대부분의 적대적 회피 공격 기법들은 낮은 mAP 값을 가짐으로써 오분류 가능성이 매우 크다는 것을 확인하였다.

제안 방법

MI-FGSM 공격 방법은 FGSM을 여러 번 반복하여 섭동을 축적하여 공격하는 I-FGSM(Iterative FGSM)을 개선한 공격 방법이다. 즉, MI-FGSM 섭동을 축적하는 과정에서 손실 함수의 기울기만을 이용하던 것을 Momentum을 이용하는 방법을 추가한 것이다. 기존의 FGSM은 공격 대상 모델에 대해과소접합(under-fitting) 현상이 발생하며 I-FGSM은 과접합(over-fitting)이 발생하여 부적합한 국소 최대 값(poor local maxima)에 빠질 수 있는 단점이 있다.
본 논문에서는 적대적 회피 공격의 정확성과 대응 방안의 강인성을 고찰하기 위해 다음과 같은 실험 환경을 구축하고 각 공격 모델에 따른 딥러닝 분류기의 성능을 분석하였다.
본 논문에서는 적대적 회피 공격 알고리즘으로 MI-FGSM, PGD, DeepFool, EOT_PGD, BPDA를 사용하였다. 각 공격의 반복 횟수는 10회로 설정하여 최종적인 적대적 섭동을 만들었고 섭동의 업데이트 크기를 제어하는 alpha와 Deep Fool의 overshoot은 0.02로 동일하게 설정하여 실험하였다.
본 논문에서는 IoU 값을 0.5로 지정하여 YOLO가 예측한 바운딩 박스 와 실제 Ground Truth의 IoU를 계산하여 0.5보다 높으면 객체 검출에 성공했다고 판단했다.
먼저 MI-FGSM, PGD, DeepFool, EOT_PGD, BPDA를 사용하여 기존 교통 표지판 데이터 셋으로 학습한 YOLO 모델을 적대적 회피 공격을 수행해 보고자 한다. 다음 Table 2.
과 같이 육안으로 식별할 수 있다는 단점이 있다. 그렇기 때문에 본 논문에서는 육안으로 식별하기 힘든 최소한의 변화를 주기 위해 Epsilon을 0.05, 0,1, 0.15를 설정하여 공격을 진행하였다.

대상 데이터

교통 표지판 데이터 셋은 총 557개의 학습 데이터 셋과 89개의 테스트 데이터 셋으로 구성하였다. 데이터 셋의 클래스는 총 8개로 oneway_sign, speed_30_sign, speed_40_sign, speed_50_sign, speed_60_sign, speed_70_sign, speed_80_sign, stop_sign으로 구성되어 있다.

데이터처리

모폴로지 연산을 사용하기 위해 학습 데이터 셋을 gray scale 이미지로 변경한 후, 임계값 100을 기준으로 이진화하여 사용해 데이터 셋의 노이즈감소와 객체의 경계선 검출을 진행하였다.
적대적 회피 공격에서 YOLO의 성능 평가와 모폴로지를 사용하여 적대적 회피 공격을 방어할 때의 성능을 평가하기 위해 Precision과 Recall을 계산한 후 IoU를 이용해 평균을 구하는 mAP를 사용하였다.

이론/모형

입력 데이터의 크기는 480x480으로 전처리 하였고, 학습 파라미터로 4 배치사이즈, 500 에폭, Adam optimizer, Binary Cross-Entropy Loss With Logits를 사용하였다. 또한 학습 최적화를 위해 Lambda Learning Rate Scheduler을 사용하여 학습에 도움을 주었다. 모델 개발은 파이토치 1.
본 논문에서는 적대적 회피 공격 알고리즘으로 MI-FGSM, PGD, DeepFool, EOT_PGD, BPDA를 사용하였다. 각 공격의 반복 횟수는 10회로 설정하여 최종적인 적대적 섭동을 만들었고 섭동의 업데이트 크기를 제어하는 alpha와 Deep Fool의 overshoot은 0.

성능/효과

그럼에도 불구하고 본 논문에서는 모폴로지 기법을 사용하여 YOLO 모델에 적용하면 같은 조건하에서 약 92.4%까지 우수한 성능을 보임을 확인하였다. Epsilon을 0.
4%까지 우수한 성능을 보임을 확인하였다. Epsilon을 0.15에서와 같이 공격의 강도가 큰 경우에도 mAP가 80.7%를 보이며 우수한 성능을 보이는 것을 확인하였다.
각 적대적 회피 공격을 수행해 본 결과, 본 논문에서 제안한 모폴로지를 이용한 경계선 추출 기법을 사용하면 BPDA 모델을 사용할 때 최소 73.2%에서 최고 93.6%까지의 mAP 성능을 보임을 확인하였다.
본 논문에서는 카메라 이미지에 대한 객체 인식 알고리듬 YOLO에 섭동을 추가하는 방식으로 적대적 회피 공격을 시도하는 실험을 진행하였다. 실험 결과 대부분의 적대적 회피 공격 기법들은 낮은 mAP 값을 가짐으로써 오분류 가능성이 매우 크다는 것을 확인하였다. 또한, 모폴로지 기반의 잡음 제거 및 경계선 추출 알고리듬을 이용한 YOLO 모델에서는 원래 이미지를 정확히 판단할 수 있는 능력이 93.
실험 결과 대부분의 적대적 회피 공격 기법들은 낮은 mAP 값을 가짐으로써 오분류 가능성이 매우 크다는 것을 확인하였다. 또한, 모폴로지 기반의 잡음 제거 및 경계선 추출 알고리듬을 이용한 YOLO 모델에서는 원래 이미지를 정확히 판단할 수 있는 능력이 93.6%임을 실험을 통해 예측할 수 있었다. 따라서 제안하는 모폴로지 기반의 YOLO는 적대적 학습 방법론의 단점인 추가적인 데이터 셋 없이도 적대적 섭동을 제거하여 정상적으로 객체를 탐지할 수 있음을 확인하였다.
6%임을 실험을 통해 예측할 수 있었다. 따라서 제안하는 모폴로지 기반의 YOLO는 적대적 학습 방법론의 단점인 추가적인 데이터 셋 없이도 적대적 섭동을 제거하여 정상적으로 객체를 탐지할 수 있음을 확인하였다.

참고문헌 (22)

I. Goodfellow, J. Shlens and C.？Szegedy, "Explaining and Harnessing？Adversarial Examples," In International Conference on Learning？Representations(ICLR'15), pp. 7-9,？Mar. 2015.
N. Akhtar and A. Mian, "Threat of？adversarial attacks on deep learning in computer vision: A survey," IEEE Access, Vol. 6, pp. 14410-14430, Feb.2018.

상세보기
N. Carlini and D. Wagner. "Towards evaluating the robustness of neural？networks," IEEE Symposium on Security and Privacy(SP'17), pp. 39-57, Jun. 2017.
W. Zhao, S. Alwidian and Q.H. Mahmoud, "Adversarial Training Methods for Deep Learning: A Systematic Review," Journal of？Algorithms, Vol. 15, Issue 8(283), Aug. 2022.
N. Papernot, P. McDaniel, X. Wu, S. Jha and A. Swami, "Distillation as a defense to adversarial perturbations against deep neural networks," IEEE Symposium on Security and Privacy(SP'16), pp. 582-597, Aug. 2016.
S. Zheng, Y. Song, T. Leung and I. Goodfellow, "Improving the robustness of deep neural networks via stability training," IEEE Conference on Computer Vision and Pattern Recognition(CVPR'16), pp. 4480-4488,2016
W. Xu, D. Evans, and Y. Qi, "Feature squeezing: Detecting adversarial examples in deep neural networks,"？Network and Distributed System Security Symposium(NDSS'18), pp.1-15, Feb. 2018.
Y. Lee and Y. Kim, "Comparison of？CNN and YOLO for Object Detection, "Journal of the semiconductor &display technology, Vol. 19. No. 1, pp.85-92, Mar. 2020.
J. Redmon, S. Divvala, R. Cirshick and A. Farhadi, "You only look once: Unified, real-time object detection," IEEE Conference on Computer Vision？and Pattern Recognition(CVPR'16),？pp. 779-788, 2016.
Y. Zhang, Z. Guo, J. Wu, Y. Tian H.？Tang and X. Guo, "Real-Time Vehicle？Detection Based on Improved？YOLOv5," J. of Sustainability, Vol.？14, Issue 19, pp. 1-19, Sep. 2022

상세보기
T. Mostafam, J. Chowdhury, K.？Rhaman and R. Alam. "Occluded？Object Detection for Autonomous？Vehicles Employing YOLOv5, YOLOX？and Faster R-CNN," Proceedings of？the IEEE conference on Information？Technology,Electronics and Mobile？Communication Conference, pp.？0405-0410, Oct. 2022
Y. Dong, F. Liao, T. Pang and H. su,？J. Zhu, X. Hu and J. Li, "Boosting？adversarial attacks with momentum,"？Proceedings of the IEEE conference？on computer vision and pattern？recognition. pp. 9185-9193, Jun. 2018.
A. Madry, A. Makelov, L. Schmidt, D.？Tsipras, and A. Vladu, "Towards deep？learning models resistant to？adversarial attacks," In International？Conference on Learning？Representations(ICLR'18), 2018.
S. Moosavi-Dezfooli, A. Fawzi, and P.？Frossard. "Deepfool: a simple and？accurate method to fool deep neural？networks," IEEE Conference on？Computer Vision and Pattern？Recognition(CVPR'16), pp. 2574-2582,？Jun. 2016
X. Liu, Y. LI, C. Wu and C.J. Hsieh,？"ADV-BNN:Improved adversarial？defense through robust Bayesian？neural network," In International？Conference on Learning？Representations(ICLR'19), pp. 1-13,？May. 2019.
A. Athalye, N. Carilni and D. Wagner, "Obfuscated gradients give a false sense of security: Circumventing defenses to adversarial examples, "Proceedings of the 35th International？Conference on Machine Learning(ICML'18), pp. 274-283, 2018.
Akhtar, Naveed, and M. Ajmal. "Threat of adversarial attacks on deep learning in computer vision,"？Proceedings of the IEEE conference, Vol. 6, pp. 14410-14430, Feb. 2018
P. Samangouei, M. Kabcab and R. Chellappa, "Defense-gan:Protecting classifiers against adversarial attacksusing generative models," Proceedings of ICLR, pp. 1-17, May. 2018.
M. Dongyu and C. Hao. "Magnet:two-pronged defense against adversarial？examples," Proceedings of the ACMSIGSAC, pp. 135-147, Oct. 2017.
A.N. Evans and X.U. Liu, "A morphological gradient approach tocolor edge detection," IEEE Trans. on Image Processing, Vol. 15, No. 6, pp.1454-1463, May. 2006.

상세보기
T.U. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar, and C.L. Zitnick, "Microsoft coco: Common objects in context," In European Conference on Computer Vision, Vol. 8693, pp. 740-755, Sep.2014.
J. Choi and A. Tian, "Adversarial？attack and defense of YOLO detectors in autonomous driving scenarios, "IEEE Intelligent Vehicles Symposium(IV), pp. 1011-1017, Jul. 2022.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증