[논문]신경망을 이용한 소프트웨어 취약 여부 예측 시스템

최민준; 구동영; 윤주범

doi:10.13089/jkiisc.2019.29.3.557

신경망을 이용한 소프트웨어 취약 여부 예측 시스템
Software Vulnerability Prediction System Using Neural Network 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.29 no.3, 2019년, pp.557 - 564

초록
AI-Helper

소프트웨어의 증가에 따라 소프트웨어의 취약점도 함께 증가하고 있다. 다양한 소프트웨어는 다수의 취약점이 존재할 수 있으며 취약점을 통해 많은 피해를 받을 수 있기 때문에 빠르게 탐지하여 제거해야 한다. 현재 소프트웨어의 취약점을 발견하기 위해 다양한 연구가 진행되고 있지만, 수행 속도가 느리거나 예측 정확도가 높지 않다. 따라서 본 논문에서는 신경망 알고리즘을 이용하여 소프트웨어의 취약 여부를 효율적으로 예측하는 방법을 제안하며 나아가 기계학습 알고리즘을 이용한 기존의 시스템과 예측 정확도를 비교한다. 실험 결과 본 논문에서 제안하는 예측 시스템이 가장 높은 예측률을 보였다.

Abstract ▼ AI-Helper

As the number and type of software increases, those security vulnerabilities are also increasing. Various types of software may have multiple vulnerabilities and those vulnerabilities as they can cause irrecoverable significant damage must be detected and deleted quickly. Various studies have been carried out to detect the vulnerability of the current software, but it is slow, and prediction accuracy is low. Therefore, in this paper, we describe a method to efficiently predict software vulnerability by using neural network algorithm and compare prediction accuracy with conventional system using machine learning algorithm. As a result of the experiment, the prediction system proposed in this paper showed the highest prediction rate.

주제어

표/그림 (12)

그림 Fig. 1. Binary Command List
그림 Fig. 2. Learning Data List
그림 Fig. 3. Prediction Process
그림 Fig. 4. Single-layer Perceptron Diagram[22]
그림 Fig. 5. AND operation of Single-layer Perceptron[22]
그림 Fig. 6. OR operation of Single-layer Perceptron[22]
그림 Fig. 7. Multi-layer Perceptron Diagram[22]
그림 Fig. 8. XOR operation of Multi-layer Perceptron[22]
그림 Fig. 9. Comparison Graph of prediction accuracy according to alpha parameter change
그림 Fig. 10. VulPredictor, VDiscover, NVFinder Prediction Accuracy Comparison Graph
표 Table 1. Comparison of prediction accuracy according to alpha parameter change
표 Table 2. VulPredictor, VDiscover, NVFinder Prediction Accuracy Comparison

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

위 단점을 극복하기 위해 기계학습과 신경망 알고리즘을 이용하여 취약 여부를 예측하는 연구들[5][6][7][8][9][10][11]이 있지만, 예측정확도가 높지 않거나 소스코드가 필요한 한계점 등이 존재한다. 따라서 본 논문에서는 기존 연구의 한계점을 개선한, 소프트웨어 취약 여부 예측 시스템을 제안한다.
해당 방법은 소스코드가 없어도 취약 여부를 예측할 수 있는 장점이 있지만, 다른 방법에 비해 예측률이 낮다. 따라서 본 논문에서는 바이너리를 이용한 예측방법에 기계학습이 아닌 신경망을 적용하여 예측률을 높이기 위한 실험을 진행하였다.
또한 기호실행을 이용한 소프트웨어 검사 도구는 소프트웨어를 검사할 때마다 검사하고자 하는 소프트웨어 분기문의 미지수 값을 기호로 나타내어 모든 분기를 검사하기 때문에 대규모 소프트웨어의 경우 메모리 부족으로 인한 오류가 발생할 수 있고 시간이 오래 걸린다는 단점이 있다. 따라서 소프트웨어의 구조를 분석하지 않고 빠른 시간 내 취약하다고 예측되는 소프트웨어를 파악하기 위해 신경망과 기계학습을 이용한 기존의 취약 여부 예측 방법에 대해 살펴본다.

제안 방법

우선 예측 모델의 자연어 처리를 위해 Bag-of-word 알고리즘[21]을 이용하여 데이터를 벡터 상에 위치시킨다. 그리고 새로운 특징을 벡터 상에 위치시켰을 때, 새로운 특징이 취약한 영역, 또는 취약하지 않은 영역에 가까이 위치하는지에 따라 취약 여부를 예측한다. 학습과 예측 과정을 정리하면 Fig.
2 NVFinder 예측 정확도 비교의 실험 결과는 위 과정을 10번 반복하여 평균값을 측정한 결과이고 1번 반복 시간은 약 20분 소요되었다. 그리고 알고리즘 성능을 평가하기 위해 오차 행렬(confusion matrix)[27]로 Precision, Recall, F-measure, Accuracy를 계산하였다. 평가항목인 Precision은 1이라고 예측한 것 중 실제 1이라고 예측한 것을 비율(TP/(TP+FP))로 나타낸 것이며 Recall은 실제 값이 1인 것 중 1이라고 예측한 것을 비율(TP/ (TP+FN))로 나타낸 것이다.
바이너리를 이용한 예측 방법[10][11]은 먼저 퍼저(fuzzer)를 이용해 바이너리 취약 여부를 확인한다. 그리고, 취약한 바이너리 함수 호출 리스트와 취약하지 않은 함수 호출리스트를 분류한 후 학습하고 새로운 함수 호출 값을 입력으로 주었을 때, 예측 모델을 통해 취약 여부를 예측한다. 해당 방법은 소스코드가 없어도 취약 여부를 예측할 수 있는 장점이 있지만, 다른 방법에 비해 예측률이 낮다.
소프트웨어 취약점을 통해 해커가 시스템을 공격한다면 개인이나 기업은 막대한 손실을 받을 수 있다. 따라서 본 논문은 막대한 손실을 줄 수 있는 소프트웨어 취약점을 사전에 탐지하여 제거하기 위해 신경망을 적용하여 소프트웨어 취약 여부를 예측하였고, 더 나아가 기존 기계학습을 이용한 취약 여부 예측 시스템인 VDiscover, VulPredictor와 예측 비교 실험을 진행하였다. 실험 결과 기계학습을 이용한 기존의 도구보다 신경망을 이용한 NVFinder로 바이너리 취약 여부를 예측할 때 전체적인 예측 수치가 향상되었다.
본 논문에서 이용된 다층 퍼셉트론은 데이터를 학습하기 위해 solver매개변수를 이용하는데, 그 중 본 실험에서는 안정적인 학습 및 데이터 최적화가 가능한 lbfgs[28]를 이용하였다. 또한, 데이터 결정 경계를 조절하여 과대적합을 줄일 수 있는 alpha매개변수를 변경하여 예측 실험을 진행하였고[28],그 외 나머지 매개변수는 scikit-learn에서 제공하는 기본 값을 이용하였다.
먼저 소스코드를 이용한 취약 여부 예측[5][6][7][8]은 취약점이 존재하는 취약한 소스코드 데이터베이스와 일반적인 소스코드 데이터베이스를 학습하여 예측 모델을 생성한다. 예측은 새로운 소스코드를 입력 값으로 주었을 때, 예측 모델을 통해 소스코드의 취약 여부를 예측한다. 하지만 소스코드를 대상으로 한 예측 방법은 소스코드 없이 바이너리만 있으면 취약 여부 예측이 불가능하다.
예측은 새로운 특징을 입력 값으로 주었을 때 학습 과정에서 생성한 예측 모델로 바이너리의 취약 여부를 예측한다. 우선 예측 모델의 자연어 처리를 위해 Bag-of-word 알고리즘[21]을 이용하여 데이터를 벡터 상에 위치시킨다.
바이너리가 동작할 때의 함수는 신경망 알고리즘이 새로운 바이너리의 취약 유형 분석을 위한 특징(feature)으로 활용된다. 예측은 예측하고자 하는 바이너리의 특징을 주면 학습한 특징과 비교 후 취약 여부 데이터 값에 따라 새로운 바이너리의 취약 여부를 분류한다.
취약 여부 데이터를 추출하기 위해 zzuf 퍼저로 바이너리를 검사하였다. 퍼저에 따라 입력값이 다르지만, zzuf 퍼저는 3.
학습 데이터를 가지고 있다면 학습 과정을 생략해도 된다. 하지만 본 논문에서는 다양한 도구를 연구하기 위해 직접 ptrace[19]로 바이너리가 동작할 때의 특징을 추출하였으며, zzuf[20] 퍼저로 바이너리 취약 여부 데이터를 추출하여 학습에 이용될 데이터를 생성하였다.

대상 데이터

ptrace로 바이너리가 실행될 때의 특징 데이터를 추출하기 위해 먼저, 우분투 기본 바이너리 등 827개 바이너리의 실행 명령어 리스트를 Fig.1.과 같이 75,072개 생성하였다. 그리고 생성된 명령어 리스트를 이용해서 바이너리를 동작시킨 후 ptrace로 바이너리가 실행될 때의 특징 총 75,072개를 추출하였다.
각 방법을 통해 추출한 바이너리 특징 데이터와 취약 여부 데이터를 Fig.2.와 같이 1:1 매핑 하였으며, 공백 등 노이즈 값을 제거한 총 7,758개의 정상적인 데이터를 학습하여 예측 모델을 생성 하였다.
또한, 과대 적합(overfitting)을 줄이기 위해 교차검증[25], [26]을 시행하였다. 교차검증은 학습 데이터 중 무작위 25%를 예측 실험을 위한 데이터로 이용하였고, 75%를 학습모델 생성을 위한 데이터로 이용하였다. 4.
과 같이 75,072개 생성하였다. 그리고 생성된 명령어 리스트를 이용해서 바이너리를 동작시킨 후 ptrace로 바이너리가 실행될 때의 특징 총 75,072개를 추출하였다.
1 바이너리 특징 데이터 추출 과정에서 생성한 바이너리 실행 명령어 리스트를 입력 값으로 주면 해당 바이너리를 검사할 수 있다. 따라서 바이너리 취약 여부 데이터도 총 75,072개 추출되었다.

데이터처리

기계학습 및 신경망 알고리즘은 매개변수에 따라 예측 정확도가 달라질 수 있다. 따라서 성능평가는 NVFinder에 이용된 다층 퍼셉트론의 최적 매개변수 값을 찾기 위해 매개변수 변화에 따른 예측 정확도를 비교하며 나아가 기계학습 알고리즘으로 바이너리 취약 여부를 예측하는 기존 도구 VDiscover [10], VulPredictor[11]와 본 논문에서 제안하는NVFinder와의 예측 정확도를 비교한다.
04 32bit에서 진행하였으며 신경망 분류, 데이터 계층화 등을 효율적으로 구현[23]할 수 있는 오픈소스 도구 scikit-learn[24]을 이용하였다. 또한, 과대 적합(overfitting)을 줄이기 위해 교차검증[25], [26]을 시행하였다. 교차검증은 학습 데이터 중 무작위 25%를 예측 실험을 위한 데이터로 이용하였고, 75%를 학습모델 생성을 위한 데이터로 이용하였다.

이론/모형

본 논문에서 이용된 다층 퍼셉트론은 데이터를 학습하기 위해 solver매개변수를 이용하는데, 그 중 본 실험에서는 안정적인 학습 및 데이터 최적화가 가능한 lbfgs[28]를 이용하였다. 또한, 데이터 결정 경계를 조절하여 과대적합을 줄일 수 있는 alpha매개변수를 변경하여 예측 실험을 진행하였고[28],그 외 나머지 매개변수는 scikit-learn에서 제공하는 기본 값을 이용하였다.
본 논문에서 제안하는 NVFinder는 데이터 분류를 위해 신경망 알고리즘인 다층 퍼셉트론을 이용하였다.
실험은 우분투 14.04 32bit에서 진행하였으며 신경망 분류, 데이터 계층화 등을 효율적으로 구현[23]할 수 있는 오픈소스 도구 scikit-learn[24]을 이용하였다. 또한, 과대 적합(overfitting)을 줄이기 위해 교차검증[25], [26]을 시행하였다.
예측은 새로운 특징을 입력 값으로 주었을 때 학습 과정에서 생성한 예측 모델로 바이너리의 취약 여부를 예측한다. 우선 예측 모델의 자연어 처리를 위해 Bag-of-word 알고리즘[21]을 이용하여 데이터를 벡터 상에 위치시킨다. 그리고 새로운 특징을 벡터 상에 위치시켰을 때, 새로운 특징이 취약한 영역, 또는 취약하지 않은 영역에 가까이 위치하는지에 따라 취약 여부를 예측한다.

성능/효과

교차검증은 학습 데이터 중 무작위 25%를 예측 실험을 위한 데이터로 이용하였고, 75%를 학습모델 생성을 위한 데이터로 이용하였다. 4.2 NVFinder 예측 정확도 비교의 실험 결과는 위 과정을 10번 반복하여 평균값을 측정한 결과이고 1번 반복 시간은 약 20분 소요되었다. 그리고 알고리즘 성능을 평가하기 위해 오차 행렬(confusion matrix)[27]로 Precision, Recall, F-measure, Accuracy를 계산하였다.
따라서 본 논문은 막대한 손실을 줄 수 있는 소프트웨어 취약점을 사전에 탐지하여 제거하기 위해 신경망을 적용하여 소프트웨어 취약 여부를 예측하였고, 더 나아가 기존 기계학습을 이용한 취약 여부 예측 시스템인 VDiscover, VulPredictor와 예측 비교 실험을 진행하였다. 실험 결과 기계학습을 이용한 기존의 도구보다 신경망을 이용한 NVFinder로 바이너리 취약 여부를 예측할 때 전체적인 예측 수치가 향상되었다.

후속연구

본 논문에서 제안하는 소프트웨어 취약 여부 예측시스템을 통해 소프트웨어 취약점에 대한 대책을 보다 빠르고 정확하게 마련할 수 있을 것으로 예상한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	소프트웨어 취약점을 검사하는 도구에는 대표적으로 무엇이 있는가?	이러한 소프트웨어 취약점을 통해 해커들이 시스템을 공격할 경우 개인이나 기업은 막대한 피해를 받을 수 있기 때문에 소프트웨어 취약점은 사전에 탐지하여 제거해야 한다. 현재 소프트웨어 취약점을 검사하는 도구는 대표적으로 퍼징(fuzzing)[3] 기법과 기호실행(symbolic execution)[4]을 이용한 도구들이 있다. 하지만 기존의 도구들은 복잡하고 시간이 오래 걸리는 치명적인 단점이 있다.
	바이너리를 이용한 예측 방법은 어떠한 장단점을 가지는가?	그리고, 취약한 바이너리 함수 호출 리스트와 취약하지 않은 함수 호출리스트를 분류한 후 학습하고 새로운 함수 호출 값을 입력으로 주었을 때, 예측 모델을 통해 취약 여부를 예측한다. 해당 방법은 소스코드가 없어도 취약 여부를 예측할 수 있는 장점이 있지만, 다른 방법에 비해 예측률이 낮다. 따라서 본 논문에서는 바이너리를 이용한 예측방법에 기계학습이 아닌 신경망을 적용하여 예측률을 높이기 위한 실험을 진행하였다.
	신경망을 이용한 취약 여부 예측 방법은 어떻게 취약 여부를 예측하는가?	신경망을 이용한 취약 여부 예측 방법[9]은 Juliet test suite[18]를 사용해 취약한 어셈블리 코드와 취약하지 않은 어셈블리 코드를 학습하고 새로운 어셈블리 코드를 입력 값으로 주었을 때, 신경망을 통해 취약 여부를 예측한다. 실험을 통해 높은 예측률을 보여주었지만, CPU 구조가 다를 경우 어셈블리 코드도 달라질 수 있기 때문에 다시 학습 데이터를 추출해야 한다.

참고문헌 (28)

SPRI, "Software Policy & Research Institute" https://www.spri.kr/download/21696, Sep. 2018.
AVECTO, "Microsoft Vulnerabilities Report 2017" https://www.avecto.com/resources/reports/microsoft-vulnerabilities-report-2017, Sep. 2018.
Miller, Barton P., Louis Fredriksen, and Bryan So. "An empirical study of the reliability of UNIX utilities." Communications of the ACM, vol. 33, no. 12, pp. 32-44, Dec. 1990.

상세보기
King, James C. "Symbolic execution and program testing." Communications of the ACM, vol. 19, no. 7, pp. 385-394, Jul. 1976.

상세보기
S. Neuhaus, T. Zimmermann, C. Holler, and A. Zeller. "Predicting vulnerable software components." ACM, pp. 529-540, Oct. 2007.
Nguyen, Viet Hung, and Le Minh Sang Tran. "Predicting vulnerable software components with dependency graphs." Proceedings of the 6th International Workshop on Security Measurements and Metrics. ACM, pp. 3:1-3:8. Sep. 2010.
Yonghee Shin, and Laurie Williams. "An empirical model to predict security vulnerabilities using code complexity metrics." Proceedings of the Second ACM-IEEE international symposium on Empirical software engineering and measurement. ACM, pp. 315-317. Oct. 2008.
Yonghee Shin, and Laurie Williams. "Is complexity really the enemy of software security?." Proceedings of the 4th ACM workshop on Quality of protection. ACM, pp. 47-50, Oct. 2008.
Young Jun Lee, Sang-Hoon Choi, Chulwoo Kim and Ki-Woong Park. "Learning Binary Code with Deep Learning to Detect Software Weakness." KSII The 9th International Conference on Internet (ICONI) 2017 Symposium, 2017.
Grieco, G., Grinblat, G. L., Uzal, L., Rawat, S., Feist, J., and Mounier, L. "Toward large-scale vulnerability discovery using Machine Learning." Proceedings of the Sixth ACM Conference on Data and Application Security and Privacy. ACM, pp. 85-96, Mar. 2016.
Minjun Choi, Juhwan Kim and Joobeom Yun, "Software Vulnerability Prediction System Using Machine Learning Algorithm." Journal of the Korea Institute of Information Security & Cryptology, 28(3), pp. 635-642, Jun, 2018.
Kang Yoon Lee and Junhewk Kim. "Artificial Intelligence Technology Trends and IBM Watson References in the Medical Field" Korean Medical Education Review, 18(2), pp. 51-57, 2016.
Seonhwa Choi. "Neural Network Model for Prediction of Damage Cost from Storm and Flood" Journal of KIISE, 38(3), pp. 115-123, Mar. 2011
Silver, David, et al. "Mastering the game of Go with deep neural networks and tree search", nature, vol. 529, no. 7587, pp. 484-489. 2016

상세보기
Deawon Kim, et al. "How AlphaGo does Change People's Perception of Introduction of Artificial Intelligence into Intellectual Work?" Cybercommunication Academic Society, 33(4), pp. 107-158, Oct. 2016.
Iltaek Kwon and Eul Gyu Im. "Study on Application of Recurrent Neural Network to Extract Malware API Call Pattern", Communications of KIISE, pp. 1081-1083, Jun. 2017.
Jae-Hyun Seo, "A Comparative Study on the Classification of the Imbalanced Intrusion Detection Dataset Based on Deep Learning" Journal of KIIS, 28(2), pp. 152-159, Apr. 2018.
NIST, "Juliet Test Sutie" https://samate.nist.gov/SRD/testsuite.php, Mar. 2019.
python-ptrace, "python-ptrace" http://python-ptrace.readthedocs.org, Jul. 2018.
zzuf, "zzuf-multi-purpose fuzzer" http://caca.zoy.org/wiki/zzuf, Jul. 2018.
Witten, Ian H., et al. "Data Mining: Practical machine learning tools and techniques.", Morgan Kaufmann, 2016.
Euijoong Kim "Introduction to Artificial Intelligence, Machine Learning, Deep Learning with Algorithms." 2016.
Szymanski, P., & Kajdanowicz, T. "Scikit-multilearn: a scikit-based Python environment for performing multi-label classification." The Journal of Machine Learning Research, 20(1), pp. 209-230, Feb. 2019.
Pedregosa, Fabian, et al. "Scikit-learn: Machine learning in Python." Journal of Machine Learning Research, pp. 2825-2830, Oct. 2011.
Domingos, Pedro. "A few useful things to know about machine learning." Communications of the ACM, vol. 55, no. 10, pp. 78-87, Oct. 2012.
Hsu, Chih-Wei, Chih-Chung Chang, and Chih-Jen Lin. "A practical guide to support vector classification.", pp. 1-16, 2003.
Batista, Gustavo EAPA, Ronaldo C. Prati, and Maria Carolina Monard. "A study of the behavior of several methods for balancing machine learning training data." ACM Sigkdd Explorations Newsletter, vol. 6, no. 1, pp. 20-29, Jun. 2004.

상세보기
Muller, Andreas C., and Sarah Guido. "Introduction to machine learning with Python: a guide for data scientists." 2016.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증