[논문]활성화 함수 근사를 통한 지수함수 기반 신경망 마스킹 기법

김준섭; 김규상; 박동준; 박수진; 김희석; 홍석희

doi:10.13089/jkiisc.2023.33.5.761

활성화 함수 근사를 통한 지수함수 기반 신경망 마스킹 기법
Masking Exponential-Based Neural Network via Approximated Activation Function 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.33 no.5, 2023년, pp.761 - 773

김준섭 (고려대학교) , 김규상 (고려대학교) , 박동준 (고려대학교) , 박수진 (고려대학교) , 김희석 (고려대학교) , 홍석희 (고려대학교)

초록
AI-Helper

본 논문에서는 딥러닝 분야에서 사용되는 신경망 모델, 그중에서도 다중 계층 퍼셉트론 모델에 사용되는 지수함수 기반의 활성화 함수를 근사 함수로 대체하고, 근사 함수에 마스킹을 적용함으로써 신경망 모델의 추론 과정의 전력 분석 저항성을 높이는 방법을 제안한다. 이미 학습된 값을 사용하여 연산하는 인공 신경망의 추론 과정은 그 특성상 가중치나 편향 등의 내부 정보가 부채널 공격에 노출될 위험성이 있다. 다만 신경망 모델의 활성화 함수 계층에서는 매우 다양한 함수를 사용하고, 특히 지수함수 기반의 활성화 함수에는 마스킹 기법 등 통상적인 부채널 대응기법을 적용하기가 어렵다. 따라서 본 연구에서는 지수함수 기반의 활성화 함수를 단순한 형태로 근사하여도 모델의 치명적인 성능 저하가 일어나지 않음을 보이고, 근사 함수에 마스킹을 적용함으로써 전력 분석으로부터 안전한 순방향 신경망 모델을 제안하고자 한다.

Abstract ▼ AI-Helper

This paper proposes a method to increase the power-analysis resistance of the neural network model's feedforward process by replacing the exponential-based activation function, used in the deep-learning field, with an approximated function especially at the multi-layer perceptron model. Due to its nature, the feedforward process of neural networks calculates secret weight and bias, which already trained, so it has risk of exposure of internal information by side-channel attacks. However, various functions are used as the activation function in neural network, so it's difficult to apply conventional side-channel countermeasure techniques, such as masking, to activation function(especially, to exponential-based activation functions). Therefore, this paper shows that even if an exponential-based activation function is replaced with approximated function of simple form, there is no fatal performance degradation of the model, and than suggests a power-analysis resistant feedforward neural network with exponential-based activation function, by masking approximated function and whole network.

주제어

표/그림 (20)

그림 Fig. 1. Basic Structure of MLP Network.
그림 Fig. 2. Graphs of Approximated Activation Function and Error.
그림 Fig. 3. Graph of Fitted Chebyshev 5'th Approximation of Sigmoid and Error.
그림 Fig. 4. Mnist Data Images.
그림 Fig. 5. Accuracy of feedforward inference network using original and approximated activations.
표 Table 1. Model Structure and Parameters.
표 Table 2. Environment of Experiment.
그림 Fig. 6. Masked Addition Algorithm.
표 Table 3. Inference Accuracy of sigmoid and approximated functions.
그림 Fig. 7. Masked Dot Product Algoritm.
그림 Fig. 8. Masked Truncation Algorithm.
그림 Fig. 9. Masked Comparison Algorithm.
그림 Fig. 10. Masked Input Fitting Algorithm.
그림 Fig. 11. Masked Approximated Activation Function Algorithm.
그림 Fig. 12. Masked Linear Operation Algorithm (i> is i'th row of matrix ).
그림 Fig. 13. Masked Prediction Algorithm.
그림 Fig. 14. TVLA test result with 4K samples of ELMO traces.
그림 Fig. 15. TVLA test result with 10K samples of STM32F4 traces.
표 Table 4. Experimental Setup.
표 Table 5. Accuracy and Runtime of Feedforward Network.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 딥러닝 신경망에 대한 부채널 공격 및 역공학의 위험성을 제시하고, 이에 대해 부채널 공격에 강인한 딥러닝 신경망 설계를 위한 방법으로 활성화 함수를 근사하여 마스킹 기법을 적용하는 새로운 방법을 제안하였다. 또한 이에 대한 성능 및 안전성 검증 실험을 수행하여 제안한 알고리즘이 비밀값에 관한 전력 정보 누출을 막을 수 있다는 것과 알고리즘을 사용한 순방향 신경망이 성능 감소 없이 정상적으로 작동한다는 것을 확인했다.
이에 본 논문에서는 기존에 사용하던 지수함수 기반의 활성화 함수를 다항식 기반 근사 함수로 대체하고, 부채널 공격에 대응하기 위해 마스킹 기법을 적용하는 알고리즘을 제시할 것이다. 또한 이러한 알고리즘이 실제로 전력 분석 공격에 안전한 추론 신경망을 구성할 수 있음을 실험을 통해 검증할 것이다.

제안 방법

3장에서 확인한 근사 함수를 실제로 활성화 함수 대신 사용할 수 있음을 확인하기 위해, 근사 함수를 사용한 추론 정확도 실험을 진행하였다.
4.1에서 제시한 모델과 데이터를 이용하여, 각각의 추가 조정 방식에 따른 추론 정확도 차이를 비교하기 위해 체비쇼프 5차 근사 함수를 기준으로 입력을 조정한 근사 함수, 출력을 조정한 근사 함수, 정규화 과정을 추가한 시그모이드 함수와 정규화 과정을 추가한 근사 함수에 대해 각각 학습 주기별 추론 정확도를 측정하여 비교하였다.
5장의 알고리즘을 바탕으로 구현한 마스킹된 순방향 신경망 알고리즘에 고정된 값과 랜덤한 값을 각각 입력하여 4,000개의 전력 파형을 ELMO로 생성한 뒤 TVLA를 진행했다.
따라서 4장에서 실험에 이용한 MLP 모델을 시그모이드 함수로 학습시킨 뒤, 학습된 가중치를 이용하여 입력 데이터에 대해 추론을 진행하는 순방향 신경망을 마스킹된 알고리즘으로 구현하고 추론 정확도를 확인하였다. 모델의 구조 및 하드웨어 환경은 4장의 실험과 같으며, 신경망 구현에는 C언어를 사용했다.
이 때, 학습된 가중치가 부채널 공격에 노출되지 않도록 보호하려면 끊임없이 가중치가 변화하는 학습 과정보다는, 학습이 완료된 가중치를 이용하며 다양한 기기에 탑재되어 공격자가 접근, 또는 습득하여 부채널 정보를 얻기 쉬운 순방향(feedforward) 과정에 대응기법을 적용할 필요가 있다. 따라서 본 연구는 마스킹의 적용 범위를 신경망의 추론 과정(순방향 연산)으로 설정하고 진행되었다.
이러한 함수 근사의 특징을 이용해 복잡한 지수함수 기반의 활성화 함수를 단순한 형태로 변환하면 부채널 대응기법을 설계할 더 쉽게 설계할 수 있을 것이다. 본 연구에서는 활성화 함수의 근사를 위해 널리 알려진 테일러 전개(Taylor Series)와 체비쇼프 전개(Chebyshov Series)를 이용해 시그모이드 함수와 쌍곡탄젠트 함수의 근사 다항함수를 구했다. 그림 2는 근사 함수와 원본 함수의 형태 및 오차를 그래프로 나타낸 것이다.
먼저 2장에서 부채널 분석과 마스킹 기법, MLP 모델과 활성화 함수에 대한 기본적인 개념을 소개하고, 3장에서 시그모이드(sigmoid)와 쌍곡탄젠트(tanh), 두 종류의 활성화 함수를 다양한 근사법과 다항식으로 근사한 함수를 제시하고, 해당 함수를 추가적으로 조정하여 활성화 함수를 대체할 수 있을지를 검증한다. 이후 4장에서는 MNIST 데이터 셋을 활용하는 MLP 모델을 구성하여 시그모이드 함수를 사용해 학습을 진행하고, 학습된 가중치를 사용해 추론 테스트를 진행했을 경우 원본 함수와 근사 함수의 정확도를 비교하여, 활성화 함수를 근사 함수로 대체할 수 있음을 제시한다. 5장에서는 해당 근사 함수를 사용하는 신경망 구성에 필요한 연산에 마스킹을 적용하는 알고리즘을 제시하며, 6장에서 마스킹 알고리즘의 안전성 실험 및 마스킹된 순방향 신경망의 성능 실험을 진행한 결과를 확인한다.
5장에서 제안한 마스킹 알고리즘의 안전성 및 신경망의 성능에 미치는 영향을 평가하기 위해, 두 가지 실험을 진행하였다. 첫 번째는 해당 알고리즘이 전력 분석 공격에 대해 안전한지를 검증하기 위한 전력 누출 평가 실험이며, 상대적으로 작은 2ｘ２ｘ２ 크기의 네트워크로 실험을 진행하였다. 두 번째는 실제 MNIST 데이터셋을 사용하여 추론 정확도를 확인하고, 마스킹을 적용하지 않은 네트워크와의 속도 및 정확도를 비교하는 실험으로, 4장과 동일한 구조의 네트워크를 사용하였다.
모델의 구성은 표 1과 같으며, 학습은 모두 시그모이드 함수를 사용하여 진행하였다. 첫 번째로 은닉 계층이 한 계층인 경우에 대해 학습된 가중치를 이용하여 조정 방식에 따른 추론 정확도를 측정하여 비교하고, 두 번째로 근사 방법과 차수에 따른 정확도를 은닉 계층이 한 계층인 경우와 세 계층인 경우에 대해 각각 측정하여 비교하였다.
테일러 전개와 체비쇼프 전개를 이용해 시그모이드 함수를 1차, 5차, 9차 식으로 근사한 다항함수에서 입력을 조정한 근사 함수와 시그모이드 함수로 학습시킨 가중치를 이용해 순방향 연산을 수행한 뒤, 각각의 정확도를 비교하였다.

대상 데이터

ELMO를 사용한 시뮬레이션 파형뿐 아니라 실제 환경에서의 소비 전력 파형을 이용한 실험도 진행하기 위해, Chip Whisperer Lite와 STM32F4를 사용해 수집한 전력 파형을 대상으로 TVLA를 수행했다. 실험 환경은 표 4와 같다.

데이터처리

ISO/IEC 17825:2016 표준 보안 레벨3의 기준에 따라 총 10,000개의 파형을 수집했으며, 6.3절의 실험과 같이 고정된 입력을 넣은 파형과 랜덤한 입력값을 넣은 파형을 각각 수집해 fixed vs random 테스트를 진행했다.

성능/효과

5장에서 설명한 알고리즘들을 이용하면 기존의 활성화 함수 대신 다항함수 기반의 근사 함수를 사용하는 순방향 MLP 모델에 필요한 모든 연산에 마스킹을 적용하여 구성할 수 있다. 다만 고정 소수점 방식과 마스킹을 적용하여 연산하는 과정에서 필연적으로 발생하는 오차가 존재하므로, 해당 알고리즘으로 구성한 신경망의 연산이 정상적으로 작동하며 마스킹이 적용되지 않은 경우와 동등한 모델 성능을 유지할 수 있음을 확인할 필요가 있다.
또한 시그모이드 함수를 고정 소수점을 이용하는 근사 함수로 치환한 경우 수행 시간이 약 40% 감소했으며, 지수함수 기반의 활성화 함수를 근사하면 속도 증가에도 긍정적인 영향을 줄 수 있음을 확인했다. 마스킹을 적용하여 오버헤드가 증가하는 경우에는 원본 함수를 사용하는 네트워크에 비해 수행 시간이 약 2.
본 논문에서는 딥러닝 신경망에 대한 부채널 공격 및 역공학의 위험성을 제시하고, 이에 대해 부채널 공격에 강인한 딥러닝 신경망 설계를 위한 방법으로 활성화 함수를 근사하여 마스킹 기법을 적용하는 새로운 방법을 제안하였다. 또한 이에 대한 성능 및 안전성 검증 실험을 수행하여 제안한 알고리즘이 비밀값에 관한 전력 정보 누출을 막을 수 있다는 것과 알고리즘을 사용한 순방향 신경망이 성능 감소 없이 정상적으로 작동한다는 것을 확인했다. 이를 통해 지수 함수 기반 활성화 함수를 마스킹된 근사 함수로 대체하여 유의미한 성능 차이 없이 부채널 저항성을 높일 수 있음을 보였다.
비교 연산의 결과는 양쪽의 비트가 다른 부분 중 상위 비트에 의해 결정되므로 오차가 발생할 확률이 낮고, 비교 연산의 오차로 인한 영향이 크지 않다. 실험 결과, 신경망의 성능에 영향을 주지 않음을 확인했다.
실험 결과, 표 3에서 볼 수 있듯이, 근사 차수나 방식과 관계없이 기존 함수와 거의 같은 높은 정확도를 보였으며 은닉 계층 수가 늘어나도 여전히 유의미한 정확도 감소는 보이지 않았다. 따라서 신경망 모델의 추론 과정에서 기존의 활성화 함수를 문제없이 대체할 수 있음을 알 수 있고, 이를 이용해 근사 함수에 마스킹을 적용하여 부채널 공격에 안전한 신경망 모델을 설계할 수 있을 것이다.
또한 이에 대한 성능 및 안전성 검증 실험을 수행하여 제안한 알고리즘이 비밀값에 관한 전력 정보 누출을 막을 수 있다는 것과 알고리즘을 사용한 순방향 신경망이 성능 감소 없이 정상적으로 작동한다는 것을 확인했다. 이를 통해 지수 함수 기반 활성화 함수를 마스킹된 근사 함수로 대체하여 유의미한 성능 차이 없이 부채널 저항성을 높일 수 있음을 보였다.
표 5에서 볼 수 있듯이, 순방향 신경망에 마스킹을 적용하여도 높은 추론 정확도를 유지함을 알 수 있으며 기존의 활성화 함수를 사용하는 네트워크와 비교해 0.03%p 정도의 작은 차이만을 보였다.

후속연구

실험 결과, 표 3에서 볼 수 있듯이, 근사 차수나 방식과 관계없이 기존 함수와 거의 같은 높은 정확도를 보였으며 은닉 계층 수가 늘어나도 여전히 유의미한 정확도 감소는 보이지 않았다. 따라서 신경망 모델의 추론 과정에서 기존의 활성화 함수를 문제없이 대체할 수 있음을 알 수 있고, 이를 이용해 근사 함수에 마스킹을 적용하여 부채널 공격에 안전한 신경망 모델을 설계할 수 있을 것이다.
다만 더욱 복잡한 모델 또는 민감한 데이터를 사용하는 경우 정밀한 근사를 위해 고차 다항함수가 필요할 수 있으며, 고정 소수점 변수로 고차 다항함수를 계산하려면 더욱 큰 자료형이 필요해지는 등의 단점이 존재한다. 따라서 이후에는 부동 소수점 자료형에 대한 마스킹 기법이나 활성화 함수를 대체하는 다항식 근사 이외의 방법 등, 추가적인 연구를 계획하고 있다.
자연스럽게 근사 함수와 기존 함수 사이에는 어느 정도의 오차가 존재하므로, 모델의 분류 오차는 다소 증가할 수 있으나, 약간의 오차를 허용할 수 있는 상황에서 복잡한 함수를 근사 함수로 대체함으로써 더욱 빠른 연산을 가능하게 한다. 이러한 함수 근사의 특징을 이용해 복잡한 지수함수 기반의 활성화 함수를 단순한 형태로 변환하면 부채널 대응기법을 설계할 더 쉽게 설계할 수 있을 것이다. 본 연구에서는 활성화 함수의 근사를 위해 널리 알려진 테일러 전개(Taylor Series)와 체비쇼프 전개(Chebyshov Series)를 이용해 시그모이드 함수와 쌍곡탄젠트 함수의 근사 다항함수를 구했다.
이후에는 CNN 등 추가 연산 계층이 포함된 네트워크나 컬러 이미지로 구성된 CIFAR 등 학습이 어렵다고 알려진 데이터를 사용하는 케이스에 대한 정확도 및 부채널 분석 실험 또한 진행할 예정이다. 다만 더욱 복잡한 모델 또는 민감한 데이터를 사용하는 경우 정밀한 근사를 위해 고차 다항함수가 필요할 수 있으며, 고정 소수점 변수로 고차 다항함수를 계산하려면 더욱 큰 자료형이 필요해지는 등의 단점이 존재한다.

참고문헌 (9)

Y. LeCun, Y. Bengjo, G. Hinton, "Deep Learning," Nature 521.7553(2015), 436-444.？
Chabanne, Herve, et al, "Side channel attacks for architecture extraction of neural networks," CAAI Transactions on Intelligence Technology, 2021.？
Batina, Lejla, et al, "CSI NN: Reverse engineering of neural network architectures through electromagnetic side channel," 28th USENIX Security Symposium (USENIX Security 19). 2019.？
M. Mendez Real, R. Salvador, "Physical side-channel attacks on embedded neural networks: A survey," Applied Sciences, 2021.？
K. Athanasiou, T. Wahl, AA. Ding, , and Y. Fei, "Masking feedforward neural networks against power analysis attacks," Proceedings on Privacy Enhancing Technologies, 2022(1).？
N. G. Timmons, A. Rice, "Approximating Activation Functions," arXiv preprint arXiv:2001.06370, 2020.？
P. Mohassel and Y. Zhang, "SecureML: A System for Scalable Privacy-Preserving Machine Learning," In 2017 IEEE Symposium on Security and Privacy (SP), pages 19-38. IEEE, 2017.？
W. Shin, S. Jung, H. Kim, "Side-Chan eel Countermeasure for Binary Neural Network Protection," Conference on In formation Security and Cryptography Summer 2023, pp.75, 2023.？
McCann, David; Oswald, Elisabeth;Whitnall, Carolyn, "Towards Practical Tools for Side Channel Aware Software Engineering:'Grey Box' Modelling for Instruction Leakages," In: 26th USENIX security symposium(USENIX security 17), pp. 199-216. 2017.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증