[논문]부채널 분석을 이용한 딥러닝 네트워크 신규 내부 비밀정보 복원 방법 연구

박수진; 이주헌; 김희석

doi:10.13089/jkiisc.2022.32.5.855

부채널 분석을 이용한 딥러닝 네트워크 신규 내부 비밀정보 복원 방법 연구
Reverse Engineering of Deep Learning Network Secret Information Through Side Channel Attack 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.32 no.5, 2022년, pp.855 - 867

박수진 (고려대학교) , 이주헌 (고려대학교) , 김희석 (고려대학교)

초록
AI-Helper

IoT 장비의 발달로 딥러닝 가속기의 필요성이 증대됨에 따라 이에 탑재되는 딥러닝 가속기의 구현 및 안전성 검증에 대한 연구가 활발히 진행 중이다. 본 논문에서는 Usenix 2019에 발표된 딥러닝 네트워크 복원 논문의 한계점을 극복한 내부 비밀정보 신규 부채널 분석 방법론에 대해 제안한다. 기존 연구에서 네트워크 내부 가중치의 범위를 제한하며 32비트 가중치의 16비트만 복원한 단점이 있다, 제안하는 신규 가중치 복원 방법으로 상관전력분석을 이용하여 IEEE754 32비트 단정밀도 가중치를 99% 정확도로 복원할 수 있음을 보인다. 또한 특정 입력값에 대해서만 활성함수 복원이 가능한 기존 연구의 제약을 극복하고, 딥러닝을 이용한 신규 활성함수 복원 방법으로 입력값에 대한 조건 없이 99% 정확도로 활성함수를 복원한다. 이를 통해 기존 연구가 가지는 한계점들을 극복했을 뿐만 아니라 제안하는 신규 방법론이 효과적이라는 것을 입증한다.

Abstract ▼ AI-Helper

As the need for a deep learning accelerator increases with the development of IoT equipment, research on the implementation and safety verification of the deep learning accelerator is actively. In this paper, we propose a new side channel analysis methodology for secret information that overcomes the limitations of the previous study in Usenix 2019. We overcome the disadvantage of limiting the range of weights and restoring only a portion of the weights in the previous work, and restore the IEEE754 32bit single-precision with 99% accuracy with a new method using CPA. In addition, it overcomes the limitations of existing studies that can reverse activation functions only for specific inputs. Using deep learning, we reverse activation functions with 99% accuracy without conditions for input values with a new method. This paper not only overcomes the limitations of previous studies, but also proves that the proposed new methodology is effective.

주제어

표/그림 (18)

그림 Fig. 1. MLP architecture
그림 Fig. 2. CNN architecture
표 Table 1. Notation
그림 Fig. 3. IEEE 754 32bit floating point arithmetic
그림 Fig. 4. Weight cpa sequence
그림 Fig. 5. Mantissa 23bit reversing sequence
그림 Fig. 6. Algorithm of reverse engineering MSB 3bit of target weight mantissa 23bit
그림 Fig. 7. Algorithm of reverse engineering exponent 8bit of target weight
그림 Fig. 8. Algorithm of reverse engineering sign 1bit of target weight
표 Table 2. Experimental setup for weight recovery
그림 Fig. 9. Correlation corrtrace of target weight 32bit
그림 Fig. 10. Result of target weight 32bit
그림 Fig. 11. Activation function reversing process
그림 Fig. 12. Whole power trace and train data
표 Table 3. Experimental setup for activation function recovery
표 Table 4. CNN model specification
그림 Fig. 13. Activation function classification model training accuracy(a) and loss value(b)
그림 FIg. 14. Activation function classification accuracy

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 딥러닝 네트워크 모델의 내부 비밀정보인 가중치와 활성함수를 복원하는 효과적인 방법을 제시하였다. 기존 논문의 한계점을 극복한 환경에서 실험을 진행하여 새롭게 제안한 방법론을 검증하였다.
본 절에서는 딥러닝 네트워크의 활성함수를 복원하는 방법에 대해 소개한다. 새롭게 제안하는 딥러닝 기반 복원 방법은 기존 방법의 한계점을 극복하였으며 실험을 통해 99% 정확도를 증명하였다.

제안 방법

제안하는 신규 활성함수 복원에서 입력값에 대한 조건 및 활성함수 연산시간 분포 템플릿(template)없이 딥러닝 모델을 이용하여 활성함수를 복원한다. 기존 활성함수 복원 방법은 연산시간 분포 템플릿이 필요하며 템플릿과 동일한 범위의 입력값에 대해서만 복원이 가능했으나, 제안하는 방법은 이러한 한계점을 극복하고 활성함수 파형 하나만으로 해당 활성함수의 종류를 복원할 수 있음을 증명한다.
본 장에서는 부채널 분석을 이용하여 딥러닝 네트워크의 내부 가중치를 복원하기 위한 신규 방법론에 대해 설명한다. 먼저 제안하는 알고리즘의 이해를 돕기 위해 기호를 정의하고, 신규 복원 방법론을 제안한다. 이후 설정한 실험 환경에 대해 간략히 소개하고, 실험 결과를 분석한다.
수집된 데이터는 딥러닝 전체 네트워크의 소비전력이므로 활성함수를 분류하는 모델을 설계하기 위해 활성함수 연산을 여러 번 포함하도록 학습 데이터를 전처리하였다. 이렇게 구성된 학습 데이터는 파형 모양의 차이를 더 많이 포함하는 것과 같기 때문에 높은 성능의 분류 모델을 만들 수 있다.
이는 범위 제한이 있었던 기존 가중치 복원기술의 한계점을 극복한 것이다. 연산 복잡도를 줄이기 위해 가수부 23비트를 3비트씩 7회, 2비트 1회로 나눠 복원하고 지수부 8비트, 부호 비트를 순차적으로 복원하였다.
제안하는 내부 가중치 복원 방법은 총 10회의 CPA를 수행한다. 가수부 23비트 복원을 위해 8회의 CPA가 필요하고, 지수부 8비트와 부호 1비트 복원은 각각 1회의 CPA를 요구한다.
01로 설정하여 실제 상황과는 맞지 않았으나, 제안하는 방법에서는32비트 실수 전체를 정밀도 설정없이 분할정복(divide-and-conquer)방식으로 복구하여 더 높은 정확도로 정교하게 값을 복원할 수 있음을 보인다. 제안하는 신규 활성함수 복원에서 입력값에 대한 조건 및 활성함수 연산시간 분포 템플릿(template)없이 딥러닝 모델을 이용하여 활성함수를 복원한다. 기존 활성함수 복원 방법은 연산시간 분포 템플릿이 필요하며 템플릿과 동일한 범위의 입력값에 대해서만 복원이 가능했으나, 제안하는 방법은 이러한 한계점을 극복하고 활성함수 파형 하나만으로 해당 활성함수의 종류를 복원할 수 있음을 증명한다.
프로파일링 부채널 분석을 수행하기 위해 딥러닝 네트워크가 동작할 때의 소비전력을 측정하였다. 공격 대상 MLP 네트워크는 입력층 노드 3개, 은닉층 노드 6개, 출력층 노드 2개로 구성하였다.

대상 데이터

공격 대상 MLP 네트워크는 입력층 노드 3개, 은닉층 노드 6개, 출력층 노드 2개로 구성하였다. 32비트 MCU인 STM32F303RCT7에서 7.37MHz로 동작할 때의 소비전력을 오실로스코프(HDO6104A)를 이용하여 측정하였다. 샘플링 레이트(sampling rate)는 학습 속도와 정확도 향상을 위해 10GS/s로 높게 설정하여 오버 샘플링 후 1:50 비율로 압축하였다.
4개의 활성함수 각각에 대해서 전체 전력 파형 중 220000의 길이를 갖도록 학습 파형을 추출하였다. Softmax 함수는 출력층에 사용되는 함수로 전력 파형의 뒷부분에서 추출하였고, ReLU 함수는 다른 활성함수에 비해 상대적으로 연산이 짧아 전체 파형 중 대부분을 학습 데이터로 사용하였다.
프로파일링 부채널 분석을 수행하기 위해 딥러닝 네트워크가 동작할 때의 소비전력을 측정하였다. 공격 대상 MLP 네트워크는 입력층 노드 3개, 은닉층 노드 6개, 출력층 노드 2개로 구성하였다. 32비트 MCU인 STM32F303RCT7에서 7.
공격 대상은 MLP 모델이며, 입력층 노드 3개, 첫번째 은닉층 노드 6개, 두 번째 은닉층 노드 5개, 출력층 노드 2개로 구성되어 있다. 실험 환경 구성은 Table 2.
은 활성함수 복원 전체 과정을 나타낸 것이다. 복원 대상이 되는 활성함수는 기존 논문과 동일하게 ReLU, Sigmoid, Tanh, Softmax로 설정하였다. 학습 단계에서 MLP 네트워크에 임의의 실수 입력을 넣어 소비전력을 수집한다.
프로파일링 단계에서 MLP 네트워크에 임의의 실수 입력을 넣었을 때의 소비전력 파형을 4종류의 활성함수 각각 850개씩 총 3400개를 수집하였다. 수집된 전력 파형 중 2200개는 학습 데이터, 520개는 검증 데이터, 나머지 680개는 테스트 데이터로 사용하였다. 이를 정리하면 Table 3.
프로파일링 단계에서 MLP 네트워크에 임의의 실수 입력을 넣었을 때의 소비전력 파형을 4종류의 활성함수 각각 850개씩 총 3400개를 수집하였다. 수집된 전력 파형 중 2200개는 학습 데이터, 520개는 검증 데이터, 나머지 680개는 테스트 데이터로 사용하였다.

이론/모형

기존 딥러닝 네트워크 가중치 복원 연구는 (-5, -5)의 가중치 범위를 설정하고 실험을 수행하였다. 이는 실제 가중치 범위의 매우 한정적인 영역이므로 현실적이지 않은 가정이다.
샘플링 레이트(sampling rate)는 학습 속도와 정확도 향상을 위해 10GS/s로 높게 설정하여 오버 샘플링 후 1:50 비율로 압축하였다. 수집한 전력 파형을 분류하는 CNN 모델을 만들기 위해 TensorFlow와 Keras 라이브러리를 사용하였다.
학습 단계에서 손실 함수는 범주형 크로스 엔트로피(categorical cross-entropy), 최적화는 Adam으로 설정하였다. 학습률은 0.

성능/효과

기존 논문의 한계점을 극복한 환경에서 실험을 진행하여 새롭게 제안한 방법론을 검증하였다. 가중치 복원 실험에서는 가중치의 범위에 제한을 두지 않고 IEEE754 32비트 단정밀도 실수 가중치를 99.99% 정확도로 모두 복원하였다. 활성함수 복원 실험에서는 특정 입력값에 대한 제약 없이 프로파일링 환경에서 CNN 모델을 학습시켜 99% 정확도로 활성함수를 복원할 수 있음을 증명하였다.
은 학습 과정에서 모델의 정확도와 손실값의 추이를 나타낸 것이다. 결과적으로 4번의 학습만으로도 검증 데이터에서 높은 정확도를 갖는 모델을 만드는 것이 가능하다.
제안하는 신규 가중치 복원에서 가중치에 대한 범위 설정 없이 모든 경우에 대해 실수 가중치를 복원한다. 기존 가중치 복원 방법은 32비트 가중치의 최상위 16비트만 복원하며 정밀도를 0.01로 설정하여 실제 상황과는 맞지 않았으나, 제안하는 방법에서는32비트 실수 전체를 정밀도 설정없이 분할정복(divide-and-conquer)방식으로 복구하여 더 높은 정확도로 정교하게 값을 복원할 수 있음을 보인다. 제안하는 신규 활성함수 복원에서 입력값에 대한 조건 및 활성함수 연산시간 분포 템플릿(template)없이 딥러닝 모델을 이용하여 활성함수를 복원한다.
두 번째로, 여러 가중치의 부호 비트를 동시에 복원하는 것이 가능하다. 과정을 간략히 설명하면 다음과 같다.
그러나 내부 가중치 복원에서 추측하는 가중치의 범위를 제한하여 실험을 수행하였으며, 활성함수 복원에서 입력값의 범위를 제한한 점에서 비현실적인 상황에서의 실험이라고 볼 수 있다. 본 논문에서는 기존 연구의 비현실적인 가정 없이 최소한의 부채널 정보를 이용하여 네트워크 내부 가중치 및 활성함수를 복원하는데 성공했음을 증명한다.
본 절에서는 딥러닝 네트워크의 활성함수를 복원하는 방법에 대해 소개한다. 새롭게 제안하는 딥러닝 기반 복원 방법은 기존 방법의 한계점을 극복하였으며 실험을 통해 99% 정확도를 증명하였다.
은 공격 대상 가중치의 추측한 단일 부호 비트와 전력 파형 간의 상관계수 파형을 나타낸 것이다. 실험 결과 지수부와 부호 비트의 일치율은 각각 100%를 보였다. Fig.
수집한 파형과 가장 높은 상관계수를 가지는 비트를 옳은 비트라고 판단하여 결과적으로 하나의 실수를 완성할 수 있다. 이를 통해 딥러닝 네트워크 내부 비밀 가중치를 높은 정확도로 복원할 수 있음을 증명하였다.
제안하는 신규 가중치 복원 방법론을 이용하여 실수 가중치 32비트 전체를 높은 정확도로 복원할 수 있다. 이를 자동화하면 다른 노드에 연결된 가중치도 순차적으로 복원하는 것이 가능하다.
이 방법은 공격 과정에서 활성함수의 연산 시간 분포를 그릴 수 있는 충분한 입력이 필요하며 입력값의 범위 또한 프로파일링 단계에서 설정한 (-2, 2)와 일치해야 한다는 단점이 있었다. 하지만 제안하는 신규 복원 방법론은 입력값에 대한 정보 없이 부채널 정보만으로 활성 함수 복원을 진행할 수 있으며 딥러닝 기반 프로파일링 공격 특성상 소수의 전력 파형으로도 복원할 수 있는 장점이 있다. 또한 딥러닝 모델 중 하나인 CNN 모델을 사용하게 되면 부채널 분석 분야의 중요한 부분 중 하나인 파형 정렬 문제를 해결할 수 있는 장점이 있다.
추론 단계에서 복원하려는 활성함수 전력 파형을 학습된 CNN 모델의 입력으로 넣어 추측하는 활성함수에 해당하는 라벨값을 출력으로 받는다. 학습에 이용되지 않은 680개의 테스트 데이터 셋을 이용하여 모델을 평가한 결과 99%의 정확도를 입증하였다.
99% 정확도로 모두 복원하였다. 활성함수 복원 실험에서는 특정 입력값에 대한 제약 없이 프로파일링 환경에서 CNN 모델을 학습시켜 99% 정확도로 활성함수를 복원할 수 있음을 증명하였다.

후속연구

추후 연구 방안으로 제안한 기술의 최적화 구현 및 16비트 실수 데이터를 대상으로 한 가중치 복원기술 구현, 하드웨어 및 사용자 인터페이스에서 동작 가능한 딥러닝 가속기 구현 등이 필요하다. 또한 취약점에 대한 대응기술 및 하드웨어 구현에 최적화된 딥러닝 설계기법 연구가 필수적이다.

참고문헌 (19)

Y. LeCun, Y. Bengio, and G. Hinton,"Deep learning," Nature 521,pp.436-444, May. 2015.

상세보기
I.J. Goodfellow, J. Shlens, andC.Szegedy, "Explaining and HarnessingAdversarial Examples," International Conference on Learning Representations, Poster, Mar. 2015.
S. Mangard, E. Oswald, and T. Popp,"Simple Power Analysis," PowerAnalysis Attacks: Revealing the Secrets of Smart Cards, pp.101-118,Jan. 2008.
P. Kocher, J. Jaffe, and B. Jun,"Differential power analysis," Advances in Cryptology, CRYPTO' 99,LNCS 1666, pp.388-397. 999.
E. Brier, C. Clavier, and F. Olivier,"Correlation power analysis withaleakage model," Cryptographic Hardware and Embedded Systems, LNCS 3156, pp.16-29, 2004.
H. Maghrebi and T. Portigliatti, and E. Prouff, "Breaking cryptographic implementations using deep learning techniques," International Conference on Security, Privacy, and Applied Cryptography Engineering, LNCS 10076, pp. 3-26, 2016.
E. Cagli, C. Dumas, and E. Prouff, "Convolutional neural networks with data augmentation against jitter-based countermeasures," International Conference on Cryptographic Hardware and Embedded Systems, LNCS 10529, pp. 45-68, 2017.
L. Batina, S. Bhasin, D. Jap, and S. Picek, "CSI NN: Reverse engineering of neural network architectures through electromagnetic side channel," Proceedings of the 28th USENIX Conference on Security Symposium, pp. 515-532, Aug. 2019
H. Yu, H. Ma, K. Yang, Y. Zhao, and Y. Jin, "DeepEM: Deep Neural Networks Model Recovery through EM Side-Channel Information Leakage," In Proceedings of the 2020 IEEE International Symposium on Hardware Oriented Security and Trust, pp. 209-218, Dec. 2020.
K. Yoshida, T. Kubota, S.Okura, M. Shiozaki, and T. Fujino, "Model Reverse-Engineering Attack using Correlation Power Analysis against Systolic Array Based Neural Network Accelerator," In Proceedings of the 2020 IEEE International Symposium on Circuits and Systems, pp. 1-5, Oct. 2020.
K. Yoshida, M. Shiozaki, S. Okura, T. Kubota, and T. Fujino, "Model Reverse-Engineering Attack against Systolic-Array-Based DNN Accelerator Using Correlation Power Analysis" IEICE Trans. Fundam. Electron.Commun. Computer Science, pp.152-161, Jan. 2021.
S. Maji, U. Banerjee, and A.P.Chandrakasan, "Leaky Nets:Recovering Embedded Neural Network Models and Inputs through Simple Power and Timing Side-Channels-Attacks and Defenses," IEEEInternet Things Journal, pp. 12079-12092, Feb.2021.
G. Takatoi, T. Sugawara, K.Sakiyama, Y. Li, "Simple Electromagnetic Analysis AgainstActivation Functions of DeepNeural Networks," Applied Cryptography and Network Security Workshops, LNCS12418, pp. 181-197, Oct. 2020
X. Hu, L. Liang, S. Li, L. Deng, P.Zuo, Y. Ji, X. Xie, Y. Ding, C. Liu,T. Sherwood, and Y. Xie,"Deep Sniffer: A DNNModel Extraction Framework Basedon Learning Architectural Hints," Proceedings of the Twenty-Fifth International Conference on Architectural Support for Programming Languages and Operating Systems, pp. 385-399, Mar.2020.
Francois-Xavier Standaert,"Introduction to side-channel attacks," Secure integrated circuits andsystems, pp. 27-42, Dec. 2010.
M. MendezReal, and R. Salvador,"Physical Side-Channel Attackson Embedded Neural Networks: A Survey," Applied Sciences, pp. 6790,July. 2021.
Sung-hyun Jin, Su-hri Kim, Hee-seokKim, and Seok-hie Hong, "Recentadvances in deep learning-basedside-channel analysis," ETRI Journal,42(2), pp. 292-304, April. 2020.

원문보기 상세보기
F. Zhang, X. Lou, X. Zhao, W. He, R. Ding, S. Qureshi, and K. Ren, "Persistent fault analysis on block ciphers," IACR Transactions on Cryptographic Hardware and Embedded Systems, pp. 150-172, Aug. 2018.
W. Hua, Z. Zhang, and G.E. Suh,"Reverse engineering convolutional neural networks through side-channel information leaks," In Proceedings of the 55th Annual Design Automation Conference, pp. 1-6, June. 2018

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증