[논문]객체인식 AI적용 드론에 대응할 수 있는 적대적 예제 기반 소극방공 기법 연구

육심언; 박휘랑; 서태석; 조영호

doi:10.7472/jksii.2023.24.6.119

객체인식 AI적용 드론에 대응할 수 있는 적대적 예제 기반 소극방공 기법 연구
A Research on Adversarial Example-based Passive Air Defense Method against Object Detectable AI Drone 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.24 no.6, 2023년, pp.119 - 125

육심언 (Integrated System Operation Squadron, Air Operation Group, 17th Fighter Wing, Republic of Korea Air Force) , 박휘랑 (Department of Defense Science (Computer Engineering and Cyberwarfare Major), Graduate School of Defense Management, Korea National Defense University) , 서태석 (Integrated System Operation Squadron, Air Operation Group, 17th Fighter Wing, Republic of Korea Air Force) , 조영호 (Department of Defense Science (Computer Engineering and Cyberwarfare Major), Graduate School of Defense Management, Korea National Defense University)

초록
AI-Helper

우크라이나-러시아 전을 통해 드론의 군사적 가치는 재평가되고 있으며, 북한은 '22년 말 대남 드론 도발을 통해 실제 검증까지 완료한 바 있다. 또한, 북한은 인공지능(AI) 기술의 드론 적용을 추진하고 있는 것으로 드러나 드론의 위협은 나날이 커지고 있다. 이에 우리 군은 드론작전사령부를 창설하고 다양한 드론 대응 체계를 도입하는 등 대 드론 체계 구축을 도모하고 있지만, 전력증강 노력이 타격체계 위주로 편중되어 군집드론 공격에 대한 효과적 대응이 우려된다. 특히, 도심에 인접한 공군 비행단은 민간 피해가 우려되어 재래식 방공무기의 사용 역시 극도로 제한되는 실정이다. 이에 본 연구에서는 AI기술이 적용된 적 군집드론의 위협으로부터 아 항공기의 생존성 향상을 위해 AI모델의 객체탐지 능력을 저해하는 소극방공 기법을 제안한다. 대표적인 적대적 머신러닝(Adversarial machine learning) 기술 중 하나인 적대적 예제(Adversarial example)를 레이저를 활용하여 항공기에 조사함으로써, 적 드론에 탑재된 객체인식 AI의 인식률 저하를 도모한다. 합성 이미지와 정밀 축소모형을 활용한 실험을 수행한 결과, 제안기법 적용 전 약 95%의 인식률을 보이는 객체인식 AI의 인식률을 제안기법 적용 후 0~15% 내외로 저하시키는 것을 확인하여 제안기법의 실효성을 검증하였다.

Abstract ▼ AI-Helper

Through the Ukraine-Russia war, the military importance of drones is being reassessed, and North Korea has completed actual verification through a drone provocation towards South Korea at 2022. Furthermore, North Korea is actively integrating artificial intelligence (AI) technology into drones, highlighting the increasing threat posed by drones. In response, the Republic of Korea military has established Drone Operations Command(DOC) and implemented various drone defense systems. However, there is a concern that the efforts to enhance capabilities are disproportionately focused on striking systems, making it challenging to effectively counter swarm drone attacks. Particularly, Air Force bases located adjacent to urban areas face significant limitations in the use of traditional air defense weapons due to concerns about civilian casualties. Therefore, this study proposes a new passive air defense method that aims at disrupting the object detection capabilities of AI models to enhance the survivability of friendly aircraft against the threat posed by AI based swarm drones. Using laser-based adversarial examples, the study seeks to degrade the recognition accuracy of object recognition AI installed on enemy drones. Experimental results using synthetic images and precision-reduced models confirmed that the proposed method decreased the recognition accuracy of object recognition AI, which was initially approximately 95%, to around 0-15% after the application of the proposed method, thereby validating the effectiveness of the proposed method.

주제어

표/그림 (11)

그림 (그림 1) 항공기 소극방공 사례(Mig-29/F-16/Tu-95) (Figure 1) Passive air defense case of aircraft
그림 (그림 2) 드론 공격 시 예상 타격점 (Figure 2) Expected hit point in case of drone attack
그림 (그림 3) 적대적 예제 예시 (Figure 3) Examples of adversarial example
표 (표 1) 대 드론 체계 구분 (Table 1) Classification of anti-drone system
그림 (그림 4) 물리적 공간에서 적대적 예제 연구 사례 (Figure 4) Study cases of adversarial example in physical domain
그림 (그림 5) 레이저 조사 예시 (Figure 5) Examples of laser projection
그림 (그림 6) 제안기법 적용 시나리오 (Figure 6) Scenario of the proposed method
그림 (그림 7) 훈련과정에서의 로스(loss) 그래프 (Figure 7) Loss graph in training
그림 (그림 8) 합성 이미지를 활용한 실험 결과 (Figure 8) Experimental result using synthetic images
그림 (그림 9) 정밀 축소모형을 활용한 실험 결과(주간) (Figure 9) Experimental result using scale model(Day)
그림 (그림 10) 정밀 축소모형을 활용한 실험 결과(야간) (Figure 10) Experimental result using scale model(night)

AI 본문요약
AI-Helper

문제 정의

그러나 이러한 방법을 가동 중인 항공기에 적용하기는 현실적으로 제한되며, 가능하더라도 갑작스런 공격에 신속한 대응이 어렵고, 위협이 제거되었을 때 원상복구도 용이하지 않다. 따라서 본 연구에서는 적대적 예제로서 작용하는 레이저빔을 항공기 표면에 조사(Projection)함으로써 즉각적인 시각적 변화를 달성할 수 있는 방안을 제안한다.
본 연구는 객체인식 AI가 적용되어 표적을 스스로 탐지하고 공격하는 적 자폭드론으로부터 아 항공기의 생존성을 높일 수 있는 수단으로, 적대적 예제를 레이저로 조사하여 적 AI의 객체 인식률을 감소시키는 소극방공 기법을 제안하였다. 합성 이미지와 정밀 축소모형을 활용한 실험을 통해 실현 가능성을 검증하였고, 적대적 예제의 유형에 따라 인식률 저하정도가 상이함을 확인하였다.
이에 본 연구에서는 AI기술이 적용된 적 군집드론의 공격으로부터 아 항공기의 생존성을 향상시키기 위해, 적드론에 탑재된 객체인식 AI의 탐지를 회피하는 목적으로 적대적 머신러닝 기술(Adversarial Machine Learning) 중 하나인 적대적 예제(Adversarial Example)를 활용한 소극 방공 기법을 제안하였고, 실험을 통해 검증하였다.

가설 설정

넷째, 적대적 예제를 아 항공기에 조사한다(d). 다섯째, 적 드론의 AI는 아 항공기 인식을 실패한다(e). 여섯째, 출동 타격 전력이 적 드론을 제거한다(f).
다음으로, 야간을 가정하여 면 형태의 레이저를 빔프로젝터를 활용하여 조사하였다. 인터넷 공간에서 수집한 미군의 위장 패턴과 임의의 기하학 패턴들을 적대적 예제로 활용하였다.
주간과 야간의 상황을 가정하여 각각 수행하였으며, 먼저 주간을 가정하여 그린 레이저 포인트를 활용하여 점 형태의 레이저빔을 조사하였다. 조사되는 레이저빔의 밀도와 유형을 변화시키며 인식률의 변화를 확인하였다.

제안 방법

본 제안의 실현 가능성 검증을 위한 실험을 수행하였다. 실제 항공기를 대상으로 하는 실험은 제한되기에 가상의 실험환경을 구축하였으며, 합성 이미지를 활용한 실험과 정밀 축소모형을 활용한 실험을 각각 실시하였다. 적대적 예제 적용여부에 따른 인식률 감소를 확인할 객체인식 AI모델은 웹기반 환경인 로보플로우(Roboflow)에서 제공하는 YOLOv7모델을 활용하였다.
앞에서 소개한 물리적 공간에서의 적대적 예제 연구사례에 착안하여, 본 연구에서는 이·착륙 및 활주로 상에서 이동하는 아 항공기를 자동으로 인식, 추적 및 타격하도록 학습된 객체인식AI 적용 자폭드론이 아 항공기를 제대로 인식하지 못하도록 항공기의 표면에 적대적 예제로 작용하는 시각적 변화를 일으키는 기법을 제안한다.

대상 데이터

인터넷 공간에서 수집한 F-35A 항공기 이미지를 공개 이미지셋(MS COCO)을 활용하여 사전훈련(pre-trained)된 YOLOv7 모델을 298 에포크(epoch)로 전이학습하여 사용하였다. 훈련데이터 33개, 검증데이터 3개, 테스트데이터 1개의 총 37개 이미지를 사용하였으며, 훈련 과정의 로스(loss) 그래프는 다음과 같다(그림 7).
다음으로, 야간을 가정하여 면 형태의 레이저를 빔프로젝터를 활용하여 조사하였다. 인터넷 공간에서 수집한 미군의 위장 패턴과 임의의 기하학 패턴들을 적대적 예제로 활용하였다. 레이저 조사 전 인식률은 약 95%로 높게 나타났으나, 조사 후에는 0~12%로 감소함을 확인하였다.
보다 더 현실적인 검증을 위해 1/72 비율의 F-35A 항공기 축소모형을 제작하여 실험을 수행하였다. 전이학습에 사용된 데이터는 항공기 축소모형을 직접 촬영하여 훈련데이터는 48개, 검증데이터 4개, 테스트데이터 3개를 활용하였으며, 훈련은 4.1과 같은 조건으로 수행하였다.
인터넷 공간에서 수집한 F-35A 항공기 이미지를 공개 이미지셋(MS COCO)을 활용하여 사전훈련(pre-trained)된 YOLOv7 모델을 298 에포크(epoch)로 전이학습하여 사용하였다. 훈련데이터 33개, 검증데이터 3개, 테스트데이터 1개의 총 37개 이미지를 사용하였으며, 훈련 과정의 로스(loss) 그래프는 다음과 같다(그림 7). 세로축은 로스율, 가로축은 에포크 수를 의미한다.

이론/모형

실제 항공기를 대상으로 하는 실험은 제한되기에 가상의 실험환경을 구축하였으며, 합성 이미지를 활용한 실험과 정밀 축소모형을 활용한 실험을 각각 실시하였다. 적대적 예제 적용여부에 따른 인식률 감소를 확인할 객체인식 AI모델은 웹기반 환경인 로보플로우(Roboflow)에서 제공하는 YOLOv7모델을 활용하였다.

성능/효과

다른 이미지를 대상으로 진행한 반복 실험에서도 인식률은 96%(그림 8(c))에서 8%(그림 8(d))로 감소함을 보였다. 본 실험을 통해 적대적 예제 적용 전후의 객체인식 정확도의 감소를 확인하였다.
상기 사례들은 물리적 공간에서 객체에 특정한 시각적 변화를 가하면 적대적 예제로서 작용하여 객체인식 AI의 탐지를 회피, 저하하는 것이 가능하다는 것을 보여준다.
조사되는 레이저빔의 밀도와 유형을 변화시키며 인식률의 변화를 확인하였다. 적대적 예제를 레이저로 조사하기 전의 인식률은 약 95%를 보였으나, 조사 후에는 약 0~15%로 감소하는 결과를 보였다. 특히 모형 항공기에 조사되는 레이저빔의 밀도가 높을수록 인식률 감소폭이 증가하였다(그림 9).
본 연구는 객체인식 AI가 적용되어 표적을 스스로 탐지하고 공격하는 적 자폭드론으로부터 아 항공기의 생존성을 높일 수 있는 수단으로, 적대적 예제를 레이저로 조사하여 적 AI의 객체 인식률을 감소시키는 소극방공 기법을 제안하였다. 합성 이미지와 정밀 축소모형을 활용한 실험을 통해 실현 가능성을 검증하였고, 적대적 예제의 유형에 따라 인식률 저하정도가 상이함을 확인하였다.
해당 학습모델에서 원본 이미지의 인식률은 98%로 나타났다(그림 8(a)). 해당 원본 이미지에 적대적 예제를 레이저로 조사했을 경우를 가정하여 녹색의 점을 항공기 부분에 합성한 이미지를 생성하였고, 인식률을 확인할 결과 16%로 감소함을 확인할 수 있었다(그림 8(b)).

후속연구

실제 환경에서는 적의 AI기술 수준에 대한 합리적인 가정과 평가가 선행되어야 할 것이며, 적의 기술 수준 향상에 대응하기 위한 지속적인 추가 연구가 필요하다. 예를 들어, 적대적 예제가 어떠한 형태와 패턴으로 조사되었을 때 더 효과적인지, 대상 항공기의 형상이나 외부 도색의 색상, 주변 조도나 기상환경이 어떠한 영향을 미치는 지와 같은 다양한 후속 연구들이 요구된다.

참고문헌 (17)

Kunertova, Dominika, "Drones have boots: Learning？from Russia's war in Ukraine," Contemporary？Security Policy, 1-16, 2023.？https://doi.org/10.1080/13523260.2023.2262792

상세보기
Borger, Julian, "The drone operators who halted？Russian convoy headed for Kyiv," The Guardian？28.03, 2022.？https://www.theguardian.com/world/2022/mar/28/the-drone-operators-who-halted-the-russian-armoured-vehicles-heading-for-kyiv
Kunertova, Dominika, "The war in Ukraine shows？the game-changing effect of drones depends on the？game," Bulletin of the Atomic Scientists, 79.2,？95-102, 2023.？https://doi.org/10.1080/00963402.2023.2178180

상세보기
Mia Jankowicz, "Ukraine claims it damaged prized？Russian jets using 'cardboard' drones from Australia？in a daring raid," Business insider, 30 Aug 2023.？https://www.businessinsider.in/international/news/ukraine-claims-it-damaged-prized-russian-jets-using-cardboard-drones-from-australia-in-a-daring-raid/articleshow/103178331.cms last access: 10 Oct 2023)
Don Shift, Poor Man's Air Force: A guide to how？small drones might be used in domestic unrest or？low intensity conflicts, Independently published,？2023.
Beuben johnson, "Why drones targeted a Russian？A-50U, vital for hypersonic Kinzhal strikes,"？Breaking Defense, 2023.？https://breakingdefense.com/2023/03/why-drones-targeted-a-russian-a-50u-vital-for-hypersonic-kinzhal-strikes
Boulanin, Vincent, et al., "Artificial intelligence,？strategic stability and nuclear risk," 2020.？CID: 20.500.12592/z6tfzg.
Lim, Tai Wei, "North Korea's artificial intelligence？(AI) program," North Korean Review, 15.2, 97-103,？2019. https://www.jstor.org/stable/26915828
Si-young choi, "S. Korea sanctions N. Korean drone？maker," The Korea Herald, 1 Sep 2023.？https://www.koreaherald.com/view.php?ud20230901000529
Pham, Loc V., et al., "UAV swarm attack: protection？system alternatives for destroyers. Diss. Monterey,"？California: Naval Postgraduate School, 2012.？https://apps.dtic.mil/sti/citations/ADA573999
Seungjoung Song, "Implications of drone warfare in？the Ukraine War for future warfare," Implications of？the Ukraine War and Korea's Defense Innovation,？Royal company, 2023.
Yonhap, S. Korea to introduce anti-drone defense？system at key military, govt. facilities, the Korea？Herald, 6 July 2023.？https://www.koreaherald.com/view.php?ud20230706000217&ACE_SEARCH1
Wonjin Jin, "A Review of Aircraft Camouflage？Techniques to Reduce Visual Detection," Journal of？the Korea Academia-Industrial cooperation Society,？Vol.21, No. 5, pp.60-636, 2020.？https://doi.org/10.5762/KAIS.2020.21.5.630

원문보기 상세보기
Goodfellow, Ian J., Jonathon Shlens, and Christian？Szegedy, "Explaining and harnessing adversarial？examples," arXiv preprint arXiv:1412.6572. 2014.？https://doi.org/10.48550/arXiv.1412.6572
Eykholt, Kevin, et al., "Robust physical-world？attacks on deep learning visual classification,"？Proceedings of the IEEE conference on CVPR, 2018.？https://doi.org/10.1109/CVPR.2018.00175
Tencent Keen Security Lab, "Experimental Security？Research of Tesla Autopilot." 2019.？https://keenlab.tencent.com/en/2019/03/29/Tencent-Keen-Security-Lab-Experimental-Security-Research-of-Tesla-Autopilot/
McAfee "Model Hacking ADAS to Pave Safer？Roads for Autonomous Vehicles," 2020.？https://www.mcafee.com/blogs/other-blogs/mcafeel-abs/model-hacking-adas-to-pave-safer-roads-for-autonomous-vehicles/)

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증