[논문]완전 무인 매장의 AI 보안 취약점: 객체 검출 모델에 대한 Adversarial Patch 공격 및 Data Augmentation의 방어 효과성 분석

이원호; 나현식; 박소희; 최대선

doi:10.13089/jkiisc.2024.34.2.245

[국내논문] 완전 무인 매장의 AI 보안 취약점: 객체 검출 모델에 대한 Adversarial Patch 공격 및 Data Augmentation의 방어 효과성 분석
AI Security Vulnerabilities in Fully Unmanned Stores: Adversarial Patch Attacks on Object Detection Model & Analysis of the Defense Effectiveness of Data Augmentation

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.34 no.2, 2024년, pp.245 - 261

이원호 (숭실대학교) , 나현식 (숭실대학교) , 박소희 (숭실대학교) , 최대선 (숭실대학교)

초록
AI-Helper

코로나19 팬데믹으로 인해 비대면 거래가 보편화되면서, 완전 무인 매장의 증가 추세가 두드러지고 있다. 이러한 매장에서는 모든 운영 과정이 자동화되어 있으며, 주로 인공지능 기술이 적용된다. 그러나 이러한 인공지능기술에는 여러 보안 취약점이 존재하고, 이러한 취약점들은 완전 무인 매장 환경에서 치명적으로 작용할 수 있다. 본 논문은 인공지능 기반의 완전 무인 매장이 직면할 수 있는 보안 취약점을 분석하고, 특히 객체 검출 모델인 YOLO에 초점을 맞추어, 적대적 패치를 활용한 Hiding Attack과 Altering Attack이 가능함을 보인다. 이러한 공격으로 인해, 적대적 패치를 부착한 객체는 검출 모델에 의해 인식되지 않거나 다른 객체로 잘못 인식될 수 있다는 것을 확인한다. 또한, 보안 위협을 완화하기 위해 Data Augmentation 기법이 적대적 패치 공격에 어떠한 방어 효과를 주는지 분석한다. 우리는 이러한 결과를 토대로 완전 무인 매장에서 사용되는 인공지능 기술에 내재된 보안 위협에 대응하기 위한 적극적인 방어 연구의 필요성을 강조한다.

Abstract ▼ AI-Helper

The COVID-19 pandemic has led to the widespread adoption of contactless transactions, resulting in a noticeable increase in the trend towards fully unmanned stores. In such stores, all operational processes are automated, primarily using artificial intelligence (AI) technology. However, this AI technology has several security vulnerabilities, which can be critical in the environment of fully unmanned stores. This paper analyzes the security vulnerabilities that AI-based fully unmanned stores may face, focusing particularly on the object detection model YOLO, demonstrating that Hiding Attacks and Altering Attacks using adversarial patches are possible. It is confirmed that objects with adversarial patches attached may not be recognized by the detection model or may be incorrectly recognized as other objects. Furthermore, the paper analyzes how Data Augmentation techniques can mitigate security threats by providing a defensive effect against adversarial patch attacks. Based on these results, we emphasize the need for proactive research into defensive measures to address the inherent security threats in AI technology used in fully unmanned stores.

Keyword

표/그림 (11)

표 Table 1. Vulnerabilities about AI Models in Fully Unmanned Store
그림 Fig. 1. Adversarial Attack Scenario against Object Detection Model
표 Table 2. Adversarial Patch for Hiding Attack
표 Table 3. Adversarial Patch for Altering Attack
그림 Fig. 2. Unmanned Store Testbed
표 Table 4. Performance of YOLOv5l6 Models
표 Table 5. Digital Hiding Attack Results
표 Table 6. Digital Altering Attack Results
표 Table 8. Performance of Digtial Altering Attack for each Class
표 Table 7. Performance of Digital Adversarial Patch Attack on Object Detection Model
표 Table 9. Physical Attack Results

AI 본문요약
AI-Helper

문제 정의

본 논문은 완전 무인 매장 사례들을 조사하고, 발생할 수 있는 취약점을 분석한다. 그리고 적대적 패치를 활용한 완전 무인 매장 공격을 수행하여 어떠한 문제를 일으킬 수 있는지를 보임과 동시에 Data Augmentation 기법에 대해 적대적 패치 공격의 방어 효과가 있는지 분석한다.
완전 무인 매장 시스템에서 사용되는 여러 인공지능 모델 중에서 객체 검출 모델은 특히 적대적 패치에 취약함을 보인다[40]. 따라서, 본 논문은 객체 검출 모델을 대상으로 적대적 패치 공격을 수행하고자 한다. 공격 목표는 객체를 없는 것으로 오인식하도록 하는 Hiding Attack과 다른 객체로 오분류 하도록 하는 Altering Attack으로 실험을 진행하였다.
본 논문에서는 상품의 데이터 세트에 대해 Data Augmentation 기법을 적용하고 이에 따른 적대적 패치 공격에 대한 견고성을 분석하고자 하였다. Imgaug[46] 라이브러리를 사용하여 모델을 학습시켰다.

가설 설정

본 논문에서는 공격자가 공격 대상 모델(target model)에 대한 매개변수(parameters), 구조(architecture), 가중치(weight) 등의 모든 정보를 알고 있다고 가정하는 White-box Attack을 수행하였다. 디지털 환경과 물리적 환경으로 구분하여 공격자의 지식을 더 구체적으로 설정하여 실험을 진행했다.
우선 디지털 환경에서는 훈련 데이터에 대한 접근이 가능하다고 가정하여 데이터에 기반하여 적대적 패치를 생성할 수 있도록 하였다. 반면, 물리적 환경에서는 매장의 선반 색상, 조명, 배경 등 실제 완전 무인 매장의 환경적 요인을 사전에 고려하면서 패치를 생성할 수 없다는 현실적인 제약이 존재한다.
4.1.2에서 디지털 환경에서의 적대적 패치 공격의 경우 공격자가 훈련 데이터에 대한 접근이 가능하다고 가정하였다. 이에 따라 디지털 환경에서는 훈련 데이터를 기반으로 적대적 패치를 생성하고 이를 학습에 사용하지 않은 데이터(test data)에 무작위 위치에 부착하고 학습한 YOLO 객체 탐지 모델에 입력하는 방식으로 공격을 수행하였다.

제안 방법

본 논문은 완전 무인 매장 사례들을 조사하고, 발생할 수 있는 취약점을 분석한다. 그리고 적대적 패치를 활용한 완전 무인 매장 공격을 수행하여 어떠한 문제를 일으킬 수 있는지를 보임과 동시에 Data Augmentation 기법에 대해 적대적 패치 공격의 방어 효과가 있는지 분석한다. 마지막으로 이러한 완전 무인 매장에서의 인공지능 보안 취약점에 대한 적극적인 방어 연구의 필요성을 강조한다.
파인더스 AI[2]는 RGB 카메라와 무게 센서를 활용하여 경제적인 완전 무인 매장 시스템을 구축하였다. 이 시스템은 자세 추정(pose estimation)을 통하여 영상 내에서 사람의 주요 관절을 정밀하게 추정하여 사용자의 자세를 분석한다. 고가의 센서나 Depth 카메라 대신 저렴한 RGB 카메라를 사용하여 2차원 이미지에서 3차원 자세를 추론하고, 객체 탐지와 무게 센서를 사용하여 상품을 정확하게 인식한다.
하지만 고가 장비들을 사용하는 만큼 초기 설치 비용이 큰 문제로 상용화에 어려움이 있었다. 그렇기에 초기 설치 비용을 낮추기 위해 오직 카메라와 무게 센서를 사용한 해결책, 그리고 오직 RGB 카메라만을 이용하여 완전 무인 매장을 구축하였다. 이렇듯 완전 무인 매장에서 인공지능 기술이 차지하는 비중이 점점 높아지고 있다.
계산대가 없는 완전 무인 매장의 특성상 매장에서 나갈 때 자동으로 결제가 이루어져야 한다. 이를 위해 많은 시스템에서는 전용 어플리케이션을 사용하여 미리 결제 수단을 등록하는 방식을 채택하였다. 그리고 매장에 입장할 때 어플리케이션의 QR 코드를 인식하거나 얼굴 인식을 통해 신원 확인을 진행한다.
따라서, 본 논문은 객체 검출 모델을 대상으로 적대적 패치 공격을 수행하고자 한다. 공격 목표는 객체를 없는 것으로 오인식하도록 하는 Hiding Attack과 다른 객체로 오분류 하도록 하는 Altering Attack으로 실험을 진행하였다.
한편, 객체 검출 모델을 학습시키는 과정에서 일반화 성능을 향상시키기 위해 훈련 데이터에 변형을 가하거나 노이즈를 추가하여 데이터의 수를 늘리는 Data Augmentation을 수행하였다. 이를 통해 Data Augmentation 기법이 적대적 패치를 활용한 공격에 방어 수단으로서의 효과성을 분석하였다.
본 논문에서는 공격자가 공격 대상 모델(target model)에 대한 매개변수(parameters), 구조(architecture), 가중치(weight) 등의 모든 정보를 알고 있다고 가정하는 White-box Attack을 수행하였다. 디지털 환경과 물리적 환경으로 구분하여 공격자의 지식을 더 구체적으로 설정하여 실험을 진행했다.
반면, 물리적 환경에서는 매장의 선반 색상, 조명, 배경 등 실제 완전 무인 매장의 환경적 요인을 사전에 고려하면서 패치를 생성할 수 없다는 현실적인 제약이 존재한다. 이에 따라, 디지털 환경에서 생성한 적대적 패치를 물리적 환경에 그대로 적용하면서 데이터셋 간의 공격 전이성에 대해 실험하였다.
또한, epoch마다 패치의 밝기, 대조, 노이즈를 임의로 주입하여 다양한 환경에 적응할 수 있도록 설정하였으며, 밝기는 –0.1부터 0.1 사이의 임의값이 적용되고, 대조는 0.8부터 1.2 사이의 임의값이 적용되며, 노이즈는 –0.1부터 0.1 사이의 임의값을 적용했다
추가로, 각 예제마다 패치의 각도를 최대 20° 조절하고, 경계 박스의 중심을 기준으로 박스 크기의 최대 0.25배만큼 이동시켜 위치를 임의로 조정하였다
이 절에서는 적대적 패치 학습 구현 세부 사항에 대해 설명한다. 우리는 패치 크기를 64x64로 설정한 후, 각 이미지 크기의 최소 0.25배부터 최대 0.40배까지 임의로 크기 조정을 하였다. 패치의 초기 값은 모든 픽셀값이 0.
적대적 패치 공격을 위해 공격을 수행할 타겟 모델(target model)을 구성하였다. 시중에서 판매되고 있는 과자로 구성된 Roboflow 상의 데이터셋[44]을 1088x1088의 크기로 매개변수를 설정하여 YOLOv5l6[45] 모델을 통해 학습을 진행하였다.
2에서 디지털 환경에서의 적대적 패치 공격의 경우 공격자가 훈련 데이터에 대한 접근이 가능하다고 가정하였다. 이에 따라 디지털 환경에서는 훈련 데이터를 기반으로 적대적 패치를 생성하고 이를 학습에 사용하지 않은 데이터(test data)에 무작위 위치에 부착하고 학습한 YOLO 객체 탐지 모델에 입력하는 방식으로 공격을 수행하였다.
물리적 환경에서 적대적 패치 공격을 수행하기 위해 직접 완전 무인 매장 테스트베드를 구축하여 실험을 진행하였다. 테스트베드는 상품을 놓을 수 있는 선반과 이를 비추는 RGB 카메로만 구성하였다.
Imgaug[46] 라이브러리를 사용하여 모델을 학습시켰다. Flipud(데이터의 상하반전), Multiply(데이터의 밝기), Affine(중심을 기준으로 한 회전), 그리고 Coarse Dropout(데이터의 임의 위치 픽셀을 삭제) 총 4개의 기법을 적용하여 Aug 모델을 훈련하였다. 이러한 기법을 통해 최종적으로 실험을 진행한 객체 검출 모델의 성능은 Table 4.
디지털 환경에서 수행한 적대적 패치 공격에 대해 성능을 평가하고자 모델의 mAP(mean Average Precision)값, mAR(mean Average Recall)값 그리고 공격 성공 수치를 ASR(Attack Sucess Rate)로 나타내었다. 디지털 환경에서의 적대적 패치 공격 성능은 Table 7.

대상 데이터

시중에서 판매되고 있는 과자로 구성된 Roboflow 상의 데이터셋[44]을 1088x1088의 크기로 매개변수를 설정하여 YOLOv5l6[45] 모델을 통해 학습을 진행하였다. 총 객체의 클래스 수는 21개이며, epoch는 100으로 설정하여 모델을 구성하였다.

이론/모형

적대적 패치 공격을 위해 공격을 수행할 타겟 모델(target model)을 구성하였다. 시중에서 판매되고 있는 과자로 구성된 Roboflow 상의 데이터셋[44]을 1088x1088의 크기로 매개변수를 설정하여 YOLOv5l6[45] 모델을 통해 학습을 진행하였다. 총 객체의 클래스 수는 21개이며, epoch는 100으로 설정하여 모델을 구성하였다.
본 논문에서는 상품의 데이터 세트에 대해 Data Augmentation 기법을 적용하고 이에 따른 적대적 패치 공격에 대한 견고성을 분석하고자 하였다. Imgaug[46] 라이브러리를 사용하여 모델을 학습시켰다. Flipud(데이터의 상하반전), Multiply(데이터의 밝기), Affine(중심을 기준으로 한 회전), 그리고 Coarse Dropout(데이터의 임의 위치 픽셀을 삭제) 총 4개의 기법을 적용하여 Aug 모델을 훈련하였다.

성능/효과

• 실제 완전 무인 매장과 유사한 환경을 구성하고, 적대적 패치를 활용하여 물리적 환경에서 적대적 공격이 가능함을 보인다.
파인더스 AI[2]는 국내 AI 솔루션으로 운영하는 ‘Super Swift’[3]를 개발한 스마트 무인매장 솔루션 개발 회사이다. 기존과 달리 일반 RGB 카메라와 무게 센서만을 활용하여 초기 비용 문제를 해결하였다. 대신 컴퓨터 비전 기술 기반의 개개인 동선 추적과 행동 인식 기반의 상품선택, 그리고 실시간 무게감지 로드셀을 통해 오류를 보완하였다.
기존과 달리 일반 RGB 카메라와 무게 센서만을 활용하여 초기 비용 문제를 해결하였다. 대신 컴퓨터 비전 기술 기반의 개개인 동선 추적과 행동 인식 기반의 상품선택, 그리고 실시간 무게감지 로드셀을 통해 오류를 보완하였다. 이 외에도 CU, GS25, 이마트24 등 국내 편의점에서도 특정 시간 이후부터 무인으로 운영하는 하이브리드형 매장 운영을 통해 완전 무인 매장으로의 전환을 앞두고 있다.
이 시스템은 자세 추정(pose estimation)을 통하여 영상 내에서 사람의 주요 관절을 정밀하게 추정하여 사용자의 자세를 분석한다. 고가의 센서나 Depth 카메라 대신 저렴한 RGB 카메라를 사용하여 2차원 이미지에서 3차원 자세를 추론하고, 객체 탐지와 무게 센서를 사용하여 상품을 정확하게 인식한다.
적대적 패치는 이미지 전체에 섭동을 추가하는 기존의 적대적 예제와는 다르게 입력 이미지 일부에 패치를 추가하는 방식으로 공격을 수행한다. 이렇게 간단한 패치를 부착하는 것만으로도 모델의 오작동을 유발할 수 있다는 점에서 적대적 패치는 기존보다 효과적인 물리적 적대적 공격이 가능하다.
AI 보안 관점에서는 2.2의 적대적 예제 및 적대적 패치를 활용하여 얼굴을 도용하거나 위변조할 수 있다는 점이 있다. M.
이러한 취약점을 이용하여 공격자가 자신의 얼굴에 무인 매장을 이용하는 피해자의 얼굴로 인식하도록 하는 적대적 패치를 부착하여 모델을 속이는 방식의 공격이 가능하다.
객체 검출 모델의 경우 경계 박스 회귀(bounding box regression)와 객체 분류(object classification)를 동시에 공격하도록 한 Liu 등의 DPatch[26]가 처음 제안되었다. 이는 데이터셋 간의 전이성(transferability across datasets)에 따라 비타겟 공격(untargeted attack)과 타겟 공격(targeted attack)이 모두 가능함을 보였다. 또한, Faster R-CNN[27]과 YOLO[28] 모델을 대상으로 공격을 진행하여 한 모델에 대해 학습한 적대적 패치가 다른 모델에서도 공격 성능을 보이는 모델 구조에 따른 전이성(model transferability)을 확인하였다.
이는 데이터셋 간의 전이성(transferability across datasets)에 따라 비타겟 공격(untargeted attack)과 타겟 공격(targeted attack)이 모두 가능함을 보였다. 또한, Faster R-CNN[27]과 YOLO[28] 모델을 대상으로 공격을 진행하여 한 모델에 대해 학습한 적대적 패치가 다른 모델에서도 공격 성능을 보이는 모델 구조에 따른 전이성(model transferability)을 확인하였다. Zhao 등[29]은 heatmap-based와 consensus-based의 두 가지 적대적 패치 생성 알고리즘을 제안하며 객체 탐지 모델이 객체를 탐지하지 못하도록 유도하는 Object Hider를 제안하였다.
이와 비슷한 방식으로 비싼 가격의 상품 위에 값싼 상품으로 인식하도록 하는 적대적 패치를 부착하고 가져가서 마치 비싼 상품을 가져갔지만 값싼 상품을 가져간 것으로 인식되도록 할 수 있다. 또한, 상품을 인식하지 못하도록 하는 적대적 패치를 부착하여 선반에서는 물건이 사라졌지만 누가 이를 가져갔는지는 알지 못하도록 하는 공격이 가능하다.
한편, 객체 검출 모델을 학습시키는 과정에서 일반화 성능을 향상시키기 위해 훈련 데이터에 변형을 가하거나 노이즈를 추가하여 데이터의 수를 늘리는 Data Augmentation을 수행하였다. 이를 통해 Data Augmentation 기법이 적대적 패치를 활용한 공격에 방어 수단으로서의 효과성을 분석하였다.
최종 공격 시나리오인 Fig. 1.과 같은 공격 유형들은 완전 무인 매장 환경에서 객체 검출 모델의 취약점을 이용하여 직접적이고 치명적인 경제적 피해를 유발하며, 완전 무인 매장의 상품 및 재고 관리도 불가하여 정상적으로 운영될 수 없게 만들 수 있다.
이를 통해 패치 인쇄 시, 디지털 환경에서의 공격 성능을 최대한 보존하여 물리적 공격을 시도할 수 있다.
종합적으로, 본 논문에서 설정한 구현 세부 사항은 물리적 환경에서 다양한 조명, 각도, 카메라와의 거리에 따라 공격 성능을 보존할 수 있도록 고려할 수 있는 효과를 제공한다.
Data Augmentation은 모델의 훈련 데이터에 의도적으로 변형 혹은 노이즈를 추가하여 데이터의 수를 늘리는 기법이다. 이를 통해 모델은 학습되지 않은 새로운 데이터에 대해서도 높은 성능을 유지하여 모델의 일반화 성능을 향상시킬 수 있다. 일반화 성능이 향상된 모델은 기존에 학습하지 않았거나 어느 정도의 변조가 발생한 데이터에 대해서도 좋은 성능을 유지 보여 높은 견고성을 가진다.
이를 통해 모델은 학습되지 않은 새로운 데이터에 대해서도 높은 성능을 유지하여 모델의 일반화 성능을 향상시킬 수 있다. 일반화 성능이 향상된 모델은 기존에 학습하지 않았거나 어느 정도의 변조가 발생한 데이터에 대해서도 좋은 성능을 유지 보여 높은 견고성을 가진다.
과 같다. Hiding Attack의 경우 적대적 패치를 추가하기 전에는 모든 객체를 정상적으로 검출하지만, 공격을 수행하면 객체를 제대로 검출하지 못하는 것을 확인할 수 있었다. Altering Attack의 경우 동일한 타겟 객체를 가진 적대적 패치를 여러 이미지에 적용해보았을 때, 모든 객체를 타겟 객체로 검출하는 것을 확인할 수 있었다.
Hiding Attack의 경우 적대적 패치를 추가하기 전에는 모든 객체를 정상적으로 검출하지만, 공격을 수행하면 객체를 제대로 검출하지 못하는 것을 확인할 수 있었다. Altering Attack의 경우 동일한 타겟 객체를 가진 적대적 패치를 여러 이미지에 적용해보았을 때, 모든 객체를 타겟 객체로 검출하는 것을 확인할 수 있었다.
과 같다. 전반적으로 보았을 때 두 공격 모두 Initial Patch의 종류에 따른 ASR 값의 차이가 최대 2% 미만인 것으로 보아, 패치의 초기값에 따른 공격 성능은 크게 달라지지 않음을 확인할 수 있었다.
Data Augmentation을 적용한 모델(Aug)과 적용하지 않은 모델(Origin)의 공격 성능을 비교해보면 mAP와 mAR 값 모두 Aug 모델이 높게 나온 것을 확인할 수 있다. 이는 적대적 패치를 활용한 공격을 수행했음에도 객체를 정상적으로 검출한 비율이 높음을 의미하며 실제로 ASR 수치도 Hiding Attack에서는 약 6%, Altering Attack에서는 약 13% 더 적게 나타나는 것을 확인할 수 있었다.
Data Augmentation을 적용한 모델(Aug)과 적용하지 않은 모델(Origin)의 공격 성능을 비교해보면 mAP와 mAR 값 모두 Aug 모델이 높게 나온 것을 확인할 수 있다. 이는 적대적 패치를 활용한 공격을 수행했음에도 객체를 정상적으로 검출한 비율이 높음을 의미하며 실제로 ASR 수치도 Hiding Attack에서는 약 6%, Altering Attack에서는 약 13% 더 적게 나타나는 것을 확인할 수 있었다. 이는 곧 Data Augmentation을 통해 적대적 패치 공격을 어느 정도 완화할 수 있음을 보임과 동시에, 그럼에도 불구하고 적대적 패치 공격이 쉽게 이루어진다고 평가할 수 있다.
이는 적대적 패치를 활용한 공격을 수행했음에도 객체를 정상적으로 검출한 비율이 높음을 의미하며 실제로 ASR 수치도 Hiding Attack에서는 약 6%, Altering Attack에서는 약 13% 더 적게 나타나는 것을 확인할 수 있었다. 이는 곧 Data Augmentation을 통해 적대적 패치 공격을 어느 정도 완화할 수 있음을 보임과 동시에, 그럼에도 불구하고 적대적 패치 공격이 쉽게 이루어진다고 평가할 수 있다.
에서 Hiding Attack과 Altering Attack의 ASR 값을 비교했을 때, Altering Attack이 상대적으로 낮다. 이는 Hiding Attack은 객체가 인식되지 않도록 공격하는 반면, Altering Attack은 객체 검출 모델이 객체를 정확히 공격자가 설정한 타겟 객체(target object)로 분류하도록 공격하기 때문에 복잡도가 높으며 비교적 Hiding Attack보다 공격 성공률이 낮게 나올 수 있다고 분석하였다.
과 같다. 그래프를 분석해보면 클래스마다 ASR의 값 편차가 큰 것을 확인할 수 있었다. 이는 적대적 패치를 활용한 Altering Attack에 어떠한 클래스를 타겟으로 두는지에 따라 공격 성공 확률이 달라진다는 한계가 존재한다는 것을 확인할 수 있다.
그래프를 분석해보면 클래스마다 ASR의 값 편차가 큰 것을 확인할 수 있었다. 이는 적대적 패치를 활용한 Altering Attack에 어떠한 클래스를 타겟으로 두는지에 따라 공격 성공 확률이 달라진다는 한계가 존재한다는 것을 확인할 수 있다.
와 같다. 물리적 환경에서 수행한 공격은 데이터셋 간 전이성을 확인할 수 있었는데, 테스트베드에서 촬영한 이미지로 모델을 학습시키지 않았음에도 불구하고 Hiding Attack과 Altering Attack이 제대로 수행되는 것을 확인할 수 있었다. 하지만 객체의 중앙 부분을 가릴수록, 객체 내부에서 적대적 패치가 차지하는 비율이 클수록 상대적으로 공격이 더 잘 수행되었다.
물리적 환경에서 수행한 공격은 데이터셋 간 전이성을 확인할 수 있었는데, 테스트베드에서 촬영한 이미지로 모델을 학습시키지 않았음에도 불구하고 Hiding Attack과 Altering Attack이 제대로 수행되는 것을 확인할 수 있었다. 하지만 객체의 중앙 부분을 가릴수록, 객체 내부에서 적대적 패치가 차지하는 비율이 클수록 상대적으로 공격이 더 잘 수행되었다. 또한, 실시간으로 객체 탐지를 진행하다 보니 순간순간의 빛에 따라서도 공격 성공 여부가 결정되었다.
하지만 객체의 중앙 부분을 가릴수록, 객체 내부에서 적대적 패치가 차지하는 비율이 클수록 상대적으로 공격이 더 잘 수행되었다. 또한, 실시간으로 객체 탐지를 진행하다 보니 순간순간의 빛에 따라서도 공격 성공 여부가 결정되었다. 이를 통해 디지털 환경에서는 위치와 크기에 어느 정도 견고함을 보였지만 물리적 환경에서는 적대적 패치의 위치나 각도, 객체 내부에서 차지하는 비율에 따라 공격 여부가 미세하게 달라지는 경향이 있음을 확인할 수 있었다.
또한, 실시간으로 객체 탐지를 진행하다 보니 순간순간의 빛에 따라서도 공격 성공 여부가 결정되었다. 이를 통해 디지털 환경에서는 위치와 크기에 어느 정도 견고함을 보였지만 물리적 환경에서는 적대적 패치의 위치나 각도, 객체 내부에서 차지하는 비율에 따라 공격 여부가 미세하게 달라지는 경향이 있음을 확인할 수 있었다. 이는 객체 검출 모델이 객체를 분류(classification)할 때 집중적으로 고려하는 특징(feature)의 위치를 Grad CAM[47] 등을 통해 고려하여 부착한다면 공격 성공률이 증가할 것으로 보인다.
본 연구에서 도출한 적대적 패치에 대한 취약점은 특정 타겟 모델에 제한되지 않으며 다른 객체 검출 모델에 광범위하게 적용할 수 있다. 3.2의 DPatch[26]에서 언급한 모델 구조에 대한 전이성을 통해 White-box Attack뿐만 아니라 공격자가 공격 대상 모델에 대한 정보를 알지 못한다고 가정하는 Black-box Attack도 충분히 수행할 수 있다. 또한, 적대적 패치에 대한 전이성을 높이기 위한 연구[48]를 기반으로 더 높은 공격 가능성을 기대할 수 있다.
과 Table 8. 에서 모델의 일반화 성능을 향상시키기 위한 Data Augmentation이 적대적 패치 공격을 완화할 수 있다는 점을 실험에서 확인할 수 있었다. 이를 통해 우리는 Coarse Dropout 같은 임의의 변조가 아닌 적대적 학습(adversarial training)과 같이 타겟 모델의 취약점을 보완할 수 있는 적대적 패치 기반 방어 기술을 도입한다면, 상대적으로 견고한 완전 무인 매장 시스템을 구축할 수 있을 것으로 기대한다.
본 논문은 완전 무인 매장에서의 적대적 패치 공격의 가능성을 보임과 동시에 이를 위한 대응 방안 연구의 필요성을 제시한다. 완전 무인 매장 산업이 급성장하는 현재, 이에 사용되는 인공지능 기술에 대한 취약점을 분석하였으며 객체 탐지 모델에 대해서 적대적 패치를 활용한 적대적 공격(Hiding Attack과 Altering Attack)이 가능함을 보였다.
2의 결과처럼 물리적 환경에서의 적대적 패치를 활용한 공격이 충분히 가능함에 따라 이를 방어할 수 있는 대응 방안의 구축이 필요하다. 이에 따라, Data Augmentation 기법이 적대적 패치 공격에 대해 방어 효과가 있음을 확인하였다. 이를 통해 적대적 학습과 같은 사전 견고성 개선 방안을 도입하였을 때, 적대적 패치에 대한 취약점을 보완할 수 있을 것이라는 가능성을 보였다.
이에 따라, Data Augmentation 기법이 적대적 패치 공격에 대해 방어 효과가 있음을 확인하였다. 이를 통해 적대적 학습과 같은 사전 견고성 개선 방안을 도입하였을 때, 적대적 패치에 대한 취약점을 보완할 수 있을 것이라는 가능성을 보였다.

후속연구

그리고 적대적 패치를 활용한 완전 무인 매장 공격을 수행하여 어떠한 문제를 일으킬 수 있는지를 보임과 동시에 Data Augmentation 기법에 대해 적대적 패치 공격의 방어 효과가 있는지 분석한다. 마지막으로 이러한 완전 무인 매장에서의 인공지능 보안 취약점에 대한 적극적인 방어 연구의 필요성을 강조한다.
이렇듯 완전 무인 매장은 교차 검증을 진행하는 센서들을 제거하여 설치 비용을 낮추고 RGB 카메라를 통한 컴퓨터 비전 기술을 더 발전시키는 방향으로 발전하고 있다. 그렇기에 완전 무인 매장에서 컴퓨터 비전 기술에 적용되는 인공지능의 중요도가 높아지고 있으며 여기에서 발생할 수 있는 AI 보안 취약점을 분석하고 대응 방안을 구축하는 과정이 필요하다.
2의 DPatch[26]에서 언급한 모델 구조에 대한 전이성을 통해 White-box Attack뿐만 아니라 공격자가 공격 대상 모델에 대한 정보를 알지 못한다고 가정하는 Black-box Attack도 충분히 수행할 수 있다. 또한, 적대적 패치에 대한 전이성을 높이기 위한 연구[48]를 기반으로 더 높은 공격 가능성을 기대할 수 있다.
2의 Table 3 에서 볼 수 있듯이 Altering Attack을 위해 생성한 적대적 패치와 타겟 객체를 비교해보면, 패치를 이루고 있는 색의 분포와 색의 종류 등에서 유사한 부분이 있음을 관찰할 수 있었다. 따라서, 무인 매장과 같이 객체의 색상이 특정되어있는 경우, 적대적 패치를 생성할 때 타겟 객체의 색상을 고려한다면 더 효과적인 공격 성능을 기대할 수 있다.
에서 모델의 일반화 성능을 향상시키기 위한 Data Augmentation이 적대적 패치 공격을 완화할 수 있다는 점을 실험에서 확인할 수 있었다. 이를 통해 우리는 Coarse Dropout 같은 임의의 변조가 아닌 적대적 학습(adversarial training)과 같이 타겟 모델의 취약점을 보완할 수 있는 적대적 패치 기반 방어 기술을 도입한다면, 상대적으로 견고한 완전 무인 매장 시스템을 구축할 수 있을 것으로 기대한다.
본 논문은 완전 무인 매장에서의 적대적 패치 공격의 가능성을 보임과 동시에 이를 위한 대응 방안 연구의 필요성을 제시한다. 완전 무인 매장 산업이 급성장하는 현재, 이에 사용되는 인공지능 기술에 대한 취약점을 분석하였으며 객체 탐지 모델에 대해서 적대적 패치를 활용한 적대적 공격(Hiding Attack과 Altering Attack)이 가능함을 보였다.
한편, 완전 무인 매장 시스템의 기술들을 분석해 보았을 때, 실제로 적대적 패치를 활용한 적대적 공격이 수행되었을 때 이를 인식하고 방어하기 위해서는 모니터링 및 별도의 탐지 기술 등을 통해서만 가능한 상황이다. 5.2의 결과처럼 물리적 환경에서의 적대적 패치를 활용한 공격이 충분히 가능함에 따라 이를 방어할 수 있는 대응 방안의 구축이 필요하다. 이에 따라, Data Augmentation 기법이 적대적 패치 공격에 대해 방어 효과가 있음을 확인하였다.
따라서, 우리는 향후 연구로써 완전 무인 매장에서의 적대적 패치를 활용한 적대적 공격을 방어할 수 있는 최적화된 적대적 패치 학습 방안 및 행동 인식 기반 적대적 패치 공격 탐지 연구를 진행할 예정이다.
실제 완전 무인 매장 환경에서는 YOLO뿐만 아니라 다른 객체 검출 모델을 사용하기도 한다. 본 연구에서 도출한 적대적 패치에 대한 취약점은 특정 타겟 모델에 제한되지 않으며 다른 객체 검출 모델에 광범위하게 적용할 수 있다. 3.

참고문헌 (48)

Amazon Technologies, Inc., "Transitioning items from a materials-handling facility," US 2015/0012396A1, Jan. 2015.
FaindersAI, "FaindersAI" https://fainder.ai/, Oct. 2023.
SuperSwift, "SuperSwift" https://www.youtube.com/watch?vVJSlS3ujdEo, Jan. 2024.
T.B. Brown, D. Mane, A. Roy, M.Abadi, and J. Gilmer, "Adversarial？patch," arXiv preprint arXiv:1712.09665, 2017.
D. Karmon, D. Zoran, and Y. Goldberg, "Lavan: Localized and visible adversarial noise," International Conference on Machine Learning, pp. 2507-2515, July. 2018.
A. Chindaudom, P. Siritanawan, K. Sumongkayothin, and K. Kotani, "AdversarialQR: An adversarial patch in QR code format," 2020 Joint 9th International Conference on Informatics, Electronics & Vision (ICIEV) and 2020 4th International Conference on Imaging, Vision & Pattern Recognition (icIVPR), IEEE, pp. 1-6, Aug. 2020.
A. Liu, X. Liu, J. Fan, Y. Ma, A.Zhang, H. Xie, and D. Tao, "Perceptual-sensitive GAN for generating adversarial patches," Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, no. 01, pp. 1028-1035, July. 2019.
X. Zhou, Z. Pan, Y. Duan, J. Zhang,？and S. Wang, "A data independent？approach to generate adversarial？patches," Machine Vision and？Applications, vol. 32, no. 3 pp. 1-9,？2021.
A. Madry, A. Makelov, L. Schmidt, D.？Tsipras, and A. Vladu, "Towards deep？learning models resistant to？adversarial attacks," arXiv preprint？arXiv:1706.06083, 2017.
S. Hoory, T. Shapira, A. Shabtai, and？Y. Elovici, "Dynamic adversarial patch？for evading object detection models,"？arXiv preprint arXiv:2010.13070, 2020.
K. Wankhede, B. Wukkadada, and V.？Nadar, "Just walk-out technology and？its challenges: A case of Amazon Go,"？2018 International Conference on？Inventive Research in Computing？Applications (ICIRCA), IEEE, pp.？254-257, July. 2018.
Spharos, "Spharos" https://shinsegae-inc.com/business/spharos/info.do, Mar.？2023.
StandardAi, "StandardAi" https://standard.ai/, Jul.2023.
AIFI, "AIFI" https://aifi.com/, Jul.？2023.
C. Szegedy, W. Zaremba, I.？Sutskever, J. Bruna, D. Erhan, I.？Goodfellow, and R. Fergus, "Intriguing？properties of neural networks," arXiv？preprint arXiv:1312.6199, 2013.
I.J. Goodfellow, J. Shlens, and C.？Szegedy, "Explaining and harnessing？adversarial examples," arXiv preprint？arXiv:1412.6572, 2014.
S.M. Moosavi-Dezfooli, A. Fawzi, and P.？Frossard, "Deepfool: A simple and？accurate method to fool deep neural？networks," Proceedings of the IEEE？Conference on Computer Vision and？Pattern Recognition, pp. 2574-2582, 2016.
N. Carlini and D. Wagner, "Towards evaluating the robustness of neural？networks," 2017 IEEE Symposium on Security and Privacy (SP), IEEE, pp. 39-57, May. 2017.
A. Kurakin, I.J. Goodfellow, and S. Bengio, "Adversarial examples in the physical world," Artificial Intelligence Safety and Security, Chapman and Hall/CRC, pp. 99-112, 2018.
K. Nguyen, T. Fernando, C. Fookes, and S. Sridharan, "Physical adversarial attacks for surveillance: A Survey," IEEE Transactions on Neural？Networks and Learning Systems,2023.
A. Liu, X. Liu, J. Fan, Y. Ma, A.Zhang, H. Xie, and D. Tao, "Perceptual-sensitive gan for generating adversarial patches," Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, no. 1,pp. 1028-1035, July. 2019.
O. Gafni, L. Wolf, and Y. Taigman, "Live face de-identification in video,"？Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 9378-9387, 2019.
M. Sharif, S. Bhagavatula, L. Bauer, and M.K. Reiter, "A general framework for adversarial examples with objectives," ACM Transactions on Privacy and Security (TOPS), vol. 22, no. 3, 2019.

상세보기
J. Deng, J. Guo, N. Xue, and S. Zafeiriou, "Arcface: Additive angular margin loss for deep face recognition,"？Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4690-4699,2019.
G. Ryu, H. Park, and D. Choi, "Adversarial attacks by attaching noise markers on the face against deep face recognition," Journal of？Information Security and Applications, vol. 60, 102874, 2021.

상세보기
X. Liu, H. Yang, Z. Liu, L. Song, H.？Li, and Y. Chen, "DPatch: An？adversarial patch attack on object？detectors," arXiv preprint arXiv:1806.？02299, 2018.
S. Ren, K. He, R. Girshick, and J.？Sun, "Faster R-CNN: Towards？real-time object detection with region？proposal networks," Advances in？Neural Information Processing Systems,？vol. 28, 2015.
J. Redmon, S. Divvala, R. Girshick,？and A. Farhadi, "You only look once:？Unified, real-time object detection,"？Proceedings of the IEEE Conference？on Computer Vision and Pattern？Recognition, pp. 779-788, 2016.
Y. Zhao, H. Yan, and X. Wei, "Object？hider: Adversarial patch attack？against object detectors," arXiv？preprint arXiv:2010.14974, 2020.
J. Wang, X. Long, Y. Gao, E. Ding,？and S. Wen, "Graph-PCNN: Two？stage human pose estimation with？graph pose refinement," Computer？Vision-ECCV 2020: 16th European？Conference, Glasgow, UK, August 23？-28, 2020, Proceedings, Springer？International Publishing, Part XI 16,？pp. 492-508, 2020.
H. Ma, Z. Wang, Y. Chen, D. Kong,？L. Chen, X. Liu, ... & X. Xie, "PPT:？Token-pruned pose transformer for？monocular and multi-view human pose？estimation," European Conference on？Computer Vision, Springer Nature？Switzerland, pp. 424-442, Oct. 2022.
Y. Xu, J. Zhang, Q. Zhang, and D.？Tao, "VitPose: Simple vision transformer baselines for human pose？estimation," Advances in Neural？Information Processing Systems, vol.35, pp. 38571-38584, 2022.
R. Girshick, "Fast R-CNN," Proceedings of the IEEE International Conference on Computer Vision, pp. 1440-1448, 2015.
L. Pishchulin, E. Insafutdinov, S. Tang, B. Andres, M. Andriluka, P. V. Gehler, and B. Schiele, "DeepCut: Joint subset partition and labeling for multi person pose estimation,"？Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4929-4937, 2016.
Z. Luo, Z. Wang, Y. Huang, L. Wang, T. Tan, and E. Zhou, "Rethinking the heatmap regression for bottom-up human pose estimation," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 13264-13273, 2021.
S. Thys, W. Van Ranst, and T. Goedeme, "Fooling automated surveillance cameras: Adversarial？patches to attack person detection,"？Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2019.
J. Redmon and A. Farhadi,"YOLO9000: Better, faster, stronger,"？Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7263-7271, 2017.
Y.C.T. Hu, B.H. Kung, D.S. Tan, J.C. Chen, K.L. Hua, and W.H. Cheng, "Naturalistic physical adversarial？patch for object detectors," Proceedings of the IEEE/CVF International？Conference on Computer Vision, pp.7848-7857, 2021.
I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair,and Y. Bengio, "Generative adversarial？nets," Advances in Neural Information Processing Systems, vol. 27, 2014.
D. Wang, W. Yao, T. Jiang, G. Tang,？and X. Chen, "A survey on physical？adversarial attack in computer vision,"？arXiv preprint arXiv:2209.14262, 2022.
D. Hasler and S.E. Suesstrunk,？"Measuring colorfulness in natural？images," Human Vision and Electronic？Imaging VIII, SPIE, vol. 5007, pp.？87-95, June. 2003.
A. Chambolle, "An algorithm for total？variation minimization and applications,"？Journal of Mathematical Imaging and？Vision, vol. 20, pp. 89-97, 2004.

상세보기
M. Sharif, S. Bhagavatula, L. Bauer, and？M.K. Reiter, "Accessorize to a crime: Real？and stealthy attacks on state-of-the-art？face recognition," Proceedings of the 2016？ACM SIGSAC Conference on Computer？and Communications Security, pp.？1528-1540, Oct. 2016.
Roboflow, "Snacks" https://universe.roboflow.com/korea-nazarene-university/snacks-kwjcc/dataset/1, May. 2023
Github, "Yolov5" https://github.com/ultralytics/yolov5, Mar. 2023
Github, "imgaug" https://github.com/aleju/imgaug, Nov. 2023
R.R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh, and D. Batra, "Grad-cam: Visual explanations from deep networks via gradient-based localization," Proceedings of the IEEE International Conference on Computer Vision, pp. 618-626, 2017.
H. Ma, K. Xu, X. Jiang, Z. Zhao, and T. Sun, "Transferable black-box attack against face recognition with spatial mutable adversarial patch,"？IEEE Transactions on Information Forensics and Security, 2023.

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format