[논문]기계학습을 이용한 소스코드 정적 분석 개선에 관한 연구

박양환; 최진영

doi:10.13089/jkiisc.2020.30.6.1131

기계학습을 이용한 소스코드 정적 분석 개선에 관한 연구
A Study on the Improvement of Source Code Static Analysis Using Machine Learning 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.30 no.6, 2020년, pp.1131 - 1139

박양환 (고려대학교 정보보호대학원) , 최진영 (고려대학교 정보보호대학원)

초록
AI-Helper

소스코드에 대한 정적 분석은 광범위한 소스코드에 대해서 잔존하는 보안약점을 찾는 것으로 정적 분석 도구를 활용하여 점검을 하고, 그 결과에 대해서 정적 분석 전문가가 정탐 및 오탐 분석을 한다. 이 과정에서 분석양이 많고 오탐의 비율이 높아 많은 시간과 노력이 들어가게 되어 효율적으로 분석하는 방안이 요구되고 있다. 또한 전문가들은 정·오탐 분석을 할 때 결함이 발생한 라인의 소스코드만 보고 분석을 하는 경우는 드물다. 결함의 유형에 따라서 주변의 소스코드를 같이 분석하고 최종 분석 결과를 내리게 된다. 이러한 정적 분석 도구를 사용하여 전문가가 정·오탐을 판별하는 어려움을 해결하기 위해서 본 논문에서는 정적 분석 도구가 찾은 보안약점이 정탐인지 아닌지를 전문가가 아닌 인공지능을 통해 판별하는 방법을 제안한다. 또한 이러한 기계학습에 사용되는 학습 데이터(결함주변 소스코드)의 크기가 성능에 어떤 영향을 미치는지 실험을 통해 최적의 크기를 확인하였다. 이 결과를 통해 정적 분석 후 정·오탐을 분류하는 정적 분석 전문가의 업무에 도움을 줄 것으로 기대한다.

Abstract ▼ AI-Helper

The static analysis of the source code is to find the remaining security weaknesses for a wide range of source codes. The static analysis tool is used to check the result, and the static analysis expert performs spying and false detection analysis on the result. In this process, the amount of analysis is large and the rate of false positives is high, so a lot of time and effort is required, and a method of efficient analysis is required. In addition, it is rare for experts to analyze only the source code of the line where the defect occurred when performing positive/false detection analysis. Depending on the type of defect, the surrounding source code is analyzed together and the final analysis result is delivered. In order to solve the difficulty of experts discriminating positive and false positives using these static analysis tools, this paper proposes a method of determining whether or not the security weakness found by the static analysis tools is a spy detection through artificial intelligence rather than an expert. In addition, the optimal size was confirmed through an experiment to see how the size of the training data (source code around the defects) used for such machine learning affects the performance. This result is expected to help the static analysis expert's job of classifying positive and false positives after static analysis.

주제어

표/그림 (20)

그림 Fig. 1. Typical static analysis procedure
그림 Fig. 2. Conceptual diagram of the proposed method
표 Table 1. A typical layout of a confusion matrix
표 Table 2. Data set configuration
그림 Fig. 3. CNN model
그림 Fig. 4. Success rate for prediction of SQL Injection(CWE-89)
그림 Fig. 5. Success rate for prediction of Cross-site Scripting(CWE-79)
그림 Fig. 6. Success rate for prediction of URL Redirection to Untrusted Site(CWE-601)
그림 Fig. 7. Success rate for prediction of HTTP Response Splitting(CWE-113)
그림 Fig. 8. Success rate for prediction of Integer Overflow(CWE-190)
그림 Fig. 9. Success rate for prediction of Use of Insufficiently Random Values(CWE-330)
그림 Fig. 10. Success rate for prediction of RaceCondition(CWE-367)
그림 Fig. 11. Success rate for prediction of Information Exposure(CWE-209)
그림 Fig. 12. Success rate for prediction of Improper Check for Exceptional Conditions(CWE-754)
그림 Fig. 13. Success rate for prediction of Improper Check for NULL Pointer Dereference(CWE-476)
그림 Fig. 14. Success rate for prediction of Improper Resource Release(CWE-404)
그림 Fig. 15. Success rate for prediction of Exposure of Data Element to Wrong Session(CWE-488)
그림 Fig. 16. Success rate for prediction of Exposure of System Data(CWE-497)
표 Table 2. CWEs' performance improvement rate
그림 Fig. 17. Analysis procedure comparison

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 기계학습을 이용하여 전문가 분석 단계를 효율화하는 방안에 대해서 알아보고자 한다. 자주 발생되는 CWE(Common Weakness Enumeration)에 대하여 학습 데이터(전문가가 이전에 분석한 결과와 해당 소스코드)를 사용하여 학습을 시키고 결과를 분석한다.

제안 방법

또한, CWE별로 최적의 학습 데이터를 제시하기 위해 결함이 발생한 주변의 소스코드의 범위를 변경하면서 실험을 하고 결과를 제시한다.
먼저 기계학습에 사용하는 학습 데이터(결함라인 주변의 소스코드)의 범위에 변화를 주었을 때 정·오탐 판별 성능 변화를 실험하고 평가하였다.
본 논문에서 정적 분석 도구의 결과물 중 하나인 정탐(TruePositive)과 오탐(FalsePositive) 분석하는 문제에 대해서 기계학습을 적용하는 방법을 제안한다.
본 논문에서는 기계학습에 사용하는 학습 데이터(결함라인 주변의 소스코드의 범위)를 최적화하여 정·오탐을 판별 성능을 향상시켜 정적 분석과정을 효율화하는 방법을 제시한다.
본 논문에서는 기계학습을 이용하여 정적 분석 도구의 결과에 대한 정·오탐 분석과정을 효율화하는 방법을 알아봤다.
본 논문에서는 기계학습을 이용하여 전문가 분석 단계를 효율화하는 방안에 대해서 알아보고자 한다. 자주 발생되는 CWE(Common Weakness Enumeration)에 대하여 학습 데이터(전문가가 이전에 분석한 결과와 해당 소스코드)를 사용하여 학습을 시키고 결과를 분석한다.
정적 분석 도구의 결과물에 대해서 정·오탐 분석을 할 때 전문가들은 결함라인과 그 주변 코드를 같이 보면서 정·오탐판별을 위한 정보를 수집하고 분석한다.

대상 데이터

데이터 세트의 개수는 전체 109,885개로, 정적 분석 도구의 결과(결함라인이 포함된 소스코드)와 이 결과물을 전문가들이 실제로 분석한 결과(정·오탐 분석 결과)를 사용하였다
본 논문에서는 정적 분석 도구의 결과(결함라인이 포함된 소스코드)와 이 결과물을 전문가들이 실제로 분석한 결과(정·오탐 분석 결과)를 학습 데이터로 사용한다.
데이터 세트의 개수는 전체 109,885개로, 정적 분석 도구의 결과(결함라인이 포함된 소스코드)와 이 결과물을 전문가들이 실제로 분석한 결과(정·오탐 분석 결과)를 사용하였다. 세부적으로는 학습세트 70,078개, 검증 세트 17,519개, 시험세트 22,288개로 구성하였다.
인접 범위를 최소 5라인~최대 1,000라인까지 변화시킨 후 샘플링하여 평가하고 최고의 성능과 최저의 성능을 보여주는 소스코드 범위를 찾았다.

데이터처리

CWE 중에서 많이 발생하는 13개의 CWE에 대해서 실험을 하였고 CWE가 발생한 결함라인과 인접한 소스코드 범위를 변화시켜 이에 따른 정·오탐 분류에 대한 성능을 평가하였다.
이때, 기계학습의 결과와 전문가가 실제 분석한 정·오탐 분석 결과를 비교하여 혼동 행렬의 정확도를 기준으로 성능평가를 하였다.

이론/모형

혼동 행렬에서는 민감도(TP/[TP+FN]), 특이도(TN / [TN+FP]), 정밀도(TP / [TP+FP]), 정확도([TP+TN] / [TP+FP+FN+TN]) 등을 확인할 수 있다. 본 논문에서는 분류 성능 확인에 정확도를 사용한다.

성능/효과

CWE-79, CWE-113, CWE-367, CWE-209, CWE-754, CWE-476, CWE-488의 경우는 결함라인 주변의 소스코드 범위를 크게 하여 학습 데이터로 사용할 때 정·오탐판별 성공률이 높아지는 것을 확인하였다
CWE-89, CWE-601, CWE-190, CWE-330, CWE-404, CWE-497의 경우에는 결함라인 주변의 소스코드 범위를 작게 하여 학습 데이터로 사용할 때 정·오탐판별 성공률이 높아지는 것을 확인하였다.
결국 기계학습에 사용하는 학습 데이터(결함라인 주변의 소스코드)의 범위를 최적화하였을 때 정·오탐판별 성능이 향상되는 것을 확인하였다.
결함라인 주변의 소스코드 범위에 따른 최고 성능과 최소 성능을 비교하면 실험 대상 모두에서 성능이 향상됨을 보여주었다.
또한, 사람에 의한 전문가 정·오탐 분석 시간과 기계학습을 이용한 분석시간 비교를 통해서 기계학습을 이용하면 많은 시간을 절약할 수 있는 기대효과를 확인할 수 있다.

후속연구

하지만 기존 전문가 분석을 대체할 수준의 성능은 보이지 않아 전문가 분석의 보조적인 역할로 활용이 필요하다고 생각된다.
향후 더욱 더 다양하고 많은 학습 데이터를 확보하고 소스코드의 전처리에 대한 추가적인 연구를 수행한다면 정·오탐 판별을 포함한 전문가들의 소스코드 정적 분석에 도움을 줄 수 있을 것으로 예상된다.

참고문헌 (12)

U.S. Department of Homeland Security (DHS), Software Assurance, https://us-cert.cisa.gov/sites/default/files/publications/infosheet_SoftwareAssurance.pdf
Google Plus Will Be Shut Down After User Information Was Exposed, https://www.nytimes.com/
Coding Error Sends 2019 Subaru Ascents to the Car Crusher, https://spectrum.ieee.org
Hongjun Choi, Jinyoung Choi, Software Development Life Cycle and Static Analysis Tool, 818-819, 2019
Software security weakness diagnosis guide for e-government software development security inspectors, pp. 26-27, 2019
Martin White, Michele Tufano et al, deep learning code fragments for code clone detection, 2016
Hoa Khanh Dam, Truyen Tran, Trang Pham, A deep language model for software code, 2016
Xi Victoria Lin, Chenglong Wang, et al, Program Synthesis from Natural Language Using Recurrent Neural Networks, 2017
Rebecca L. Russell, Louis Kim, et al, Automated Vulnerability Detection in Source Code Using Deep Representation Learning, 2018
Won-kyung Lee, Min-Ju Lee, Dongsu Seo, Application of Machine Learning Techniques for the Classification of Source Code Vulnerability, pp. 6-7 2020
Youngho Lee, Seong-Yun Hong, A machin learning approach to the prediction of indifidual travel mode choices, 1011-1024, 2019
Jiho Bang, Rhan Ha, Evaluation Methodology of Diagnostic Tool for Security Weakness of e-GOV Software, pp. 336 The Korean Institute of Communications and Information Sciences 2013-04 Vol.38C No.04

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증