[논문]자연어 처리 모델을 활용한 퍼징 시드 생성 기법

김동영; 전상훈; 류민수; 김휘강

doi:10.13089/jkiisc.2022.32.2.417

[국내논문] 자연어 처리 모델을 활용한 퍼징 시드 생성 기법
A Fuzzing Seed Generation Technique Using Natural Language Processing Model 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.32 no.2, 2022년, pp.417 - 437

김동영 (고려대학교 정보보호대학원) , 전상훈 (고려대학교 정보보호대학원) , 류민수 (고려대학교 정보보호대학원) , 김휘강 (고려대학교 정보보호대학원)

초록
AI-Helper

Fuzzing에서 seed corpus의 품질은 취약점을 보다 빠르게 찾기 위해서 중요한 요소 중 하나라고 할 수 있다. 이에 dynamic taint analysis와 symbolic execution 기법 등을 활용하여 효율적인 seed corpus를 생성하는 연구들이 진행되어왔으나, 높은 전문 지식이 요구되고, 낮은 coverage로 인해 광범위한 활용에 제약이 있었다. 이에 본 논문에서는 자연어 처리 모델인 Sequence-to-Sequence 모델을 기반으로 seed corpus를 생성하는 DDRFuzz 시스템을 제안한다. 본 논문에서 제안하는 시스템은 멀티미디어 파일을 입력값으로 하는 5개의 오픈소스 프로젝트를 대상으로 관련 연구들과 비교하여 효과를 검증하였다. 실험 결과, DDRFuzz가 coverage와 crash count 측면에서 가장 뛰어난 성능을 나타냄을 확인할 수 있었고, 또한 신규 취약점을 포함하여 총 3개의 취약점을 탐지하였다.

Abstract ▼ AI-Helper

The quality of the fuzzing seed file is one of the important factors to discover vulnerabilities faster. Although the prior seed generation paradigm, using dynamic taint analysis and symbolic execution techniques, enhanced fuzzing efficiency, the yare not extensively applied owing to their high complexity and need for expertise. This study proposed the DDRFuzz system, which creates seed files based on sequence-to-sequence models. We evaluated DDRFuzz on five open-source applications that used multimedia input files. Following experimental results, DDRFuzz showed the best performance compared with the state-of-the-art studies in terms of fuzzing efficiency.

주제어

표/그림 (19)

그림 Fig. 1. simple RNN based seq2seq model
그림 Fig. 2. seq2seq with attention model
그림 Fig. 3. transformer model
그림 Fig. 4. DDRFuzz overview
그림 Fig. 5. Gathering process for training data
그림 Fig. 6. Data gathering step
그림 Fig. 7. Seed generation step
그림 Fig. 8. Binary ecndoing process
그림 Fig. 9. fuzzing phase
그림 Fig. 10. DDRFuzz feedback mechanism
표 Table 1. Project list and Dataset
표 Table 2. Experiment Environment
표 Table 3. model parameters
표 Table 4. Comparison of Crash and Coverage between seq2seq models
표 Table 5. Project list and Dataset
표 Table 6. Line coverage performance by model accuracy
그림 Fig. 11. Data distribution by accuracy
표 Table 7. Known Vulnerability
표 Table 8. Unknown Vulnerability

AI 본문요약
AI-Helper

문제 정의

이에 dynamic taint analysis와 symbolic execution 기법 등을 적용하여 효율적인 seed corpus를 생성하는 연구들이 진행되었으나 기법의 복잡도가 높고 전문 지식이 필요함으로 인해 기존 연구들이 광범위하게 적용되지 못했다. 본 논문에서는 이러한 문제를 해결하기 위해 기존 fuzzer와 다양한 seed corpus 생성 기술을 분석했다. 또한 이들의 한계와 문제점을 보완하여 seq2seq model을 기반으로 seed corpus를 생성하는 시스템인 DDRFuzz를 제안하였고, 이는 우리가 아는 한 mutation-based fuzzing에서 seed augmentation을 위해 seq2seq model이 적용된 첫 번째 연구라 할 수 있다.
본 실험에서는 DDRFuzz에서 사용하는 3가지 model (Simple-seq2seq, seq2seq-attention, 그리고 transformer)에 대한 성능 비교를 통해 어떤 model이 seed generation에 가장 효과적인model인지 평가하는 것을 목표로 한다. 총 4개의 확장자에 대해서 3개의 model을 통해 생성된 seed corpus를 활용하여 프로젝트 별로 6시간 동안 fuzzing을 수행하여, 새로운 path 개수와 crash 개수를 비교한다.
본 연구 valuable seed corpus 생성을 위해 seq2seq 기반으로 설계된 fuzzing 시스템인DDRFuzz를 제안하였으며, 우리가 아는 한 mutation based fuzzing에서 seq2seq model을 활용하는 최초의 연구이다.
본 연구에서는 더 많은 crash와 path를 발견하기 위해 기존보다 더 효율적인 seed corpus를 제공하는데 중점을 둔다. 지난 몇 년 동안 dynamic taint analysis, symbolic execution과 같은 기법을 fuzzing에 활용하여 더 나은 seed corpus를생성하기 위한 여러 연구가 수행되어 왔다.

가설 설정

따라서 본 연구는 interesting behavior를 발생시키는 입력 값을 mutation 전/후 data 형태로학습 데이터를 수집하였고, 이를 통해 mutation 과정의 knowledge를 학습할 수 있다. 이러한 seq2seq model을 학습하면 interesting behavior가 발생할 가능성이 높은 valuable seed corpus를 생성할 수 있을 것이라고 가정하고 연구를 진행했고, 위와 같은 가정을 증명하기 위해 실험을 통해 SOTA 연구보다 crash 및 coverage 측면에서 우수한 성능을 보이는 것을 확인하였다.

제안 방법

Decoder는 context vector를 받아서 번역된 단어를 한 개씩 순차적으로 출력한다. Encoder와 decoder architecture 내부를 어떻게 구성하느냐에 따라서 구분할 수 있고, 본 논문에서는 seq2seq model을 simple RNN based model, seq2seq with attention model 그리고 transformer model 등으로 구분하였다. 각 model은 순서대로 machine translation 분야에서 앞선 model의 한계점을 개선하고자 제안되었지만 seed generation 관점에서는 개선 효과가 다르게 나타날 수 있으므로, 본 연구에서는 3가지 model을 모두 구현 후 성능을 비교/분석하였다.
해당 연구에서 구현한 데이터 기반 seed corpus 생성 방법은 PCFG(Probabilistic Context-Free Grammar)를 사용하여 의미 정보를 자동으로 추출 하며, 이러한 의미 정보 및 문법 규칙은 seed corpus를 생성하는데 사용된다. Samplefuzz는 [15] 신경망 기반 통계 학습을 사용하여 입력 sample에서 입력 구문을 자동으로 생성하려는 첫번째 연구이며, 본 연구에서는 seq2seq 기반 신경망을 통해 자동으로 PDF를 생성할 수 있는 model을 제안하였고, 평가도 수행했다. Cheng와 [16] Joffe는 [17] PDF파일과 대상으로 하는 프로그램실행 path 간의 상관관계를 찾기 위해 RNN과seq2seq를 사용했으며, 상관관계를 사용하여 대상으로 하는 프로그램에서 새로운 path 탐색 가능성이 높은 seed corpus를 생성했다.
mp3, avif, tiff 등의 여러 파일 형식을 사용하는 5개의 오픈 소스 응용 프로그램에서 DDRFuzz에서 생성된 valuable seed corpus를 AFL의 입력값으로 사용하여 평가했다. DDRFuzz는 13개의 unique crash, 2,935개의 unique path를 찾았으며, 2개의 알려진 취약점과 1개의 Zero-day 취약점을 발견하였다.
Encoder와 decoder architecture 내부를 어떻게 구성하느냐에 따라서 구분할 수 있고, 본 논문에서는 seq2seq model을 simple RNN based model, seq2seq with attention model 그리고 transformer model 등으로 구분하였다. 각 model은 순서대로 machine translation 분야에서 앞선 model의 한계점을 개선하고자 제안되었지만 seed generation 관점에서는 개선 효과가 다르게 나타날 수 있으므로, 본 연구에서는 3가지 model을 모두 구현 후 성능을 비교/분석하였다.
본 연구에서는 학습 데이터를얻기 위해서 crash 또는 새로운 path를 트리거하는 interesting seed의 mutation 쌍을 저장하는 것에 주목했고, 인터넷을 통해 공개되어 있는 seed corpus를 수집하여 initial seed corpus를 구성한후 pre-fuzz를 수행하였다. 단, 학습 데이터로 사용하기 위해서는 mutation 전/후 데이터 모두 필요하므로, 새롭게 crash 및 path가 탐색되는 행위인 interesting behavior가 발견될 경우, mutation 이전의 데이터와 이후의 데이터를 기록할 수 있도록 fuzzer(예:AFL)을 수정하였다.
따라서 본 연구는 interesting behavior를 발생시키는 입력 값을 mutation 전/후 data 형태로학습 데이터를 수집하였고, 이를 통해 mutation 과정의 knowledge를 학습할 수 있다. 이러한 seq2seq model을 학습하면 interesting behavior가 발생할 가능성이 높은 valuable seed corpus를 생성할 수 있을 것이라고 가정하고 연구를 진행했고, 위와 같은 가정을 증명하기 위해 실험을 통해 SOTA 연구보다 crash 및 coverage 측면에서 우수한 성능을 보이는 것을 확인하였다.
DDRFuzz는 기존의 deep learning 기반 seed corpus 생성 연구와 다르게 seq2seq model을 이용하여 보다 다양한 seed corpus를 생성할 수 있으며, 이를 통해 높은 coverage와 많은 crash를 기대할 수 있다. 또한, seed corpus 생성과 fuzzing 과정을 분리하여 다양한 fuzzer(예: AFL)에 쉽게 적용할 수 있도록 DDRFuzz를 설계하였다. 본 연구의 주요 기여사항은 다음과 같다.
본 연구에서 우리의 초점은 seq2seq model 기반의 효율적인 fuzzing framework를 구축하고 그효과를 입증하는 것이므로, 개선된 seq2seq model의 개발 연구는 향후 연구로 남겨둔다. 또한DDRFuzz는 사용자가 application scenario에 맞추어 alternative deep learning model을 seed generation model로 선택할 수 있도록 설계하였다.
fuzzing 주요목적인 crash를 빠르게 찾기 위해서는 mutation을 최소화하는 것이 중요하며, 이를 위해서 mutation은 효율적으로 수행되어야 한다. 본 논문에서는 interesting behavior을 발생시킬 수 있는 mutation에 초점을 두어, 입력값이 mutation 과정을 통해 생성된 출력값이 interesting behavior를 발생하게 되면 이를 mutation 전/후 (input/output) 형태로 학습 데이터를 수집하였다. 이러한 input/ouput 형태의 학습 데이터는 NLP의 question/answering 문제와 동일하다고 판단하여 seq2seq model이 적합하다고 판단하였다.
본 논문의 구성은 섹션 2에서 본 논문의 배경에대해서 설명하고, 섹션 3에서 기존에 수행되었던 관련 연구에 대해서 언급하고, 섹션 4에서 DDRFuzz 설계에 대해서 자세하게 언급하고, 섹션 5에서DDRFuzz의 효율성에 대해서 평가를 한다. 마지막으로 섹션 6에서는 DDRFuzz의 한계와 앞으로 향후 연구에 대해서 언급하고 마무리한다.
본 섹션에서는 기존 fuzzer에 valuable seed corpus를 제공하는 DDRFuzz라는 새로운 seed corpus 생성 시스템을 제안한다. 먼저 DDRFuzz에 대해 전반적인 시스템 설명을 하고, seq2seq model 학습을 위한 데이터를 수집하는 방법과, 수집된 데이터로 valuable seed corpus를 생성하는 과정에 대해서 설명하고, 생성된 seed corpus로fuzzing을 수행하는 단계에 대해서 설명한다.
본 연구는 더욱 정교한 valuable seed corpus 생성을 위해 Fuzzing engine에서 생성된 mutation 쌍 데이터셋을 다시 학습 데이터셋으로활용하는 feedback mechanism을 적용하였다. 그러나 좀 더 개선된 feedback mechanism을 적용하기 위해서는 다음과 같은 사항을 고려해야 한다.
구체적으로, 첫 번째 단계는 패딩 값을 찾아 제거 한다. 본 연구에서는 post padding을 사용하므로출력값의 마지막부터 순차적으로 패딩 값을 제거하 고, EOF 값을 만날 때까지 반복한다. 그런 다음 비정규화를 통해 66개의 정수를 구하는데 여기서 실수의 경우 소수점은 그대로 잘라서 정수로 변환한다.
는 본 연구에서 데이터셋을 수집하기 위해 사용한 프로세스이다. 본 연구에서는 학습 데이터를얻기 위해서 crash 또는 새로운 path를 트리거하는 interesting seed의 mutation 쌍을 저장하는 것에 주목했고, 인터넷을 통해 공개되어 있는 seed corpus를 수집하여 initial seed corpus를 구성한후 pre-fuzz를 수행하였다. 단, 학습 데이터로 사용하기 위해서는 mutation 전/후 데이터 모두 필요하므로, 새롭게 crash 및 path가 탐색되는 행위인 interesting behavior가 발견될 경우, mutation 이전의 데이터와 이후의 데이터를 기록할 수 있도록 fuzzer(예:AFL)을 수정하였다.
2) Seed generation: Seed generation은 valuable seed corpus를 생성하기 위한 단계로, 앞선 단계에서 수집한 데이터셋을 사용해서 seq2seq model을 학습하고, 학습된 model을 통해 fuzzing에 사용될 valuable seed corpus를 추론한다. 우리는 수집된 데이터를 deep learning model의 입력값으로 사용하기 위해 원시 데이터 형식을 embedding vector로 인코딩하는 embedding 방법을 제안한다. 자세한 내용은 섹션 3.
이 문제를 해결하기 위해 우리는 Sequence-to-Sequence (seq2seq) model을 기반으로 설계된 fuzzing 시스템인 Data-DRiven Fuzz (DDRFuzz)를 제안하여 valuable seed corpus를 생성하였다. seq2seq의 세부 model로는 Simple-seq2seq, seq2seq-attention, transformer 세 가지를 사용하였고, 본 논문에서 언급하는 seq2seq는 세 가지 model을 모두 통칭하는 용어로 사용한다.
Fan는 [18] 네트워크 패킷을 입력으로 하는 응용 프로그램을 대상으로 하며, 네트워크 프로토콜을 인식하여 mutation을 수행한다. 해당 연구에서는 네트워크 프로토콜에 대한 black-box fuzzing test case를 자동으로 생성하는 방법을 제안했다. 이 방법은 seq2seq를 사용하여 고유하게 생성된 네트워크 프로토콜을 model의 입력값으로 사용하여 학습을 하고, 학습된 model을 통해 새로운 메시지를 생성한다.

대상 데이터

DDRFuzz는 Deep Learning Engine과 Fuzzing Engine으로 구성되어 있고, 먼저 학습데이터 수집을 위해 AFL을 수정하여 새로운 crash와 path를 유발하는 seed corpus에 대해서 request/answer 데이터로 구분하여 수집하였고, Table 1.에 표시한 바와 같이 multimedia 파일종류별로 학습 데이터를 수집하였다. Deep Learning Engine에서는 학습된 model을 통해 seed corpus를 augmentation하여 검증자가 프로젝트에 대한 고수준의 지식 없이 fuzzing을 수행할 수 있게 한다.
멀티미디어 프로젝트의 경우, 초반에 위치하는 입력에 대한 파일 format 검사를 통과하지 못한다면, 그 뒤에 기능을 제공해주는 main 코드 영역까지 도달할 수 없다. 따라서, seed corpus에 대한 중요성이 비교적 높은 수준으로 요구되기에 멀티미디어 프로젝트를 실험 대상으로 선정하였다. 그 중에서도 본 연구에 적합한 프로젝트를 선정하였으며, 그에 대한 선정 기준은 아래와 같다.
우선, Valuable seed corpus를 생성하는 seq2seq model을 학습시키기 위해서는 빠르게 crash와 path를 탐지할 수 있는 seed corpus 데이터셋을 확보하는 것이 중요하다. 먼저, 본 논문에서는 공개되어 있는 확장자 별 seed corpus를 수집하였다. 하지만 공개되어 있는 seed corpus는 학습데이터로 사용할 만큼 충분하지 않고, 어떤 입력값이 interesting seed인지 확인하기 어렵기 때문에 그대로 사용하기에는 한계점이 존재한다.
프로젝트는 입력의 유형에 따라 크게 3가지로 분류할 수 있으며, 각각 사진, 음성, 영상이다. 총 5 개의 프로젝트를 선정하였으며, 프로젝트에서 입력으로 사용되는 format 유형은 4 가지 (avif, tiff, mp3, h264)이다. 따라서 각 입력 format 별 Initial seed corpus를 수집하고 그중 일부를 model 학습에 사용한다.

데이터처리

Vulnerability: 취약점을 발견하는 능력을 평가하기 위해 오픈 소스 프로젝트를 선정하여 취약점 탐지 결과를 분석했다.
Code coverage: Code coverage는 fuzzing 효율을 측정하는 가장 일반적인 지표이며, fuzzing의 대상으로 하는 프로그램에서 실행된 code 문장의 수를 의미한다. 각 프로그램에 대해서 fuzzing 후 gcov 도구를 사용하여 coverage 결과를 계산하며, code coverage는 afl의 path counter 기반으로 측정하였다.
2에서 언급한 바와 같이 seed generation을 위한 seq2seq model의 경우 높은 정확도가 fuzzing 높은 성능을 의미하지 않을 수 있다. 따라서 본 실험에서는 생성된 seed corpus가exploitation과 exploration 측면을 모두 만족하는 최적의 정확도는 무엇인지 평가하기 위해 각model의 정확도 별로 fuzzing 성능을 비교 분석한다. 이번 실험에서는 crash의 개수는 너무 적어 무의미하기에 배제하고 line coverage만을 기준으로 진행하였다.
본 실험에서는 DDRFuzz를 통해 생성된 valuable seed corpus의 효율성을 확인하기 위해 original seed corpus와 관련 연구와의 비교 분석을 진행한다. DDRFuzz model은 앞선 섹션 4.
Fuzzing Engine은 실제 fuzzing을 수행하는 engine이며, 본 연구진은 AFL을 사용했지만, 이를 제외한 여러 fuzzer (예:AFL)로 확장도 가능하다. 실험은 멀티미디어파일을 입력값으로 하는 5개의 오픈소스 프로젝트에서 DDRFuzz를 평가했다. 본 연구를 통해 관련 연구와의 다양한 비교 실험에서 DDRFuzz가 coverage와 crash count 측면에서 가장 뛰어난 성능을 나타냄을 확인할 수 있었다.
알려진 취약점을 탐지하는 능력을 평가하기 위해 알려진 CVE를 포함하는 이전 라이브러리 버전에서 실험을 진행하였다. 이미 알려진 취약점을 탐지할 수 있는지 확인하기 위해 bmp 파일을 tiff 파일로 변환하는 모듈에서 실험을 진행하였고, Table 7.
본 실험에서는 DDRFuzz에서 사용하는 3가지 model (Simple-seq2seq, seq2seq-attention, 그리고 transformer)에 대한 성능 비교를 통해 어떤 model이 seed generation에 가장 효과적인model인지 평가하는 것을 목표로 한다. 총 4개의 확장자에 대해서 3개의 model을 통해 생성된 seed corpus를 활용하여 프로젝트 별로 6시간 동안 fuzzing을 수행하여, 새로운 path 개수와 crash 개수를 비교한다. Table 3.

이론/모형

단, 전체 입력 문장을 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측 해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중해서 본다. Attention은 다양한 종류가 있는데 본 연구에서는 가장 많이 사용되고 있는 dot-product attention을 사용한다.
DDRFuzz를 평가함에 있어 fuzzing 분야에서도 널리 사용되는 평가 metrics을 활용하였으며, 자세한 측정 항목은 아래와 같다.
Fast fuzzing은 [21] 무작위 mutation에 대한 테스트 효과를 향상시키기 위해 deep learning model을 사용하며, 이 방법은 AFL [22] 생성 샘플에서 features를 학습하여 GAN의 훈련을 통해실행 path를 효율적으로 늘릴 수 있는 seed corpus를 생성한다. SmartSeed는 [3] 입력값을 읽어균일한 유형의 vector로 변환한 후, WGAN (Wasserstein Generative Adversarial Network) 및 MLP (Multi-Layer Perceptron)를 활용하여 unique crash 또는 새로운 path를 찾을 수 있는 효율적인 seed corpus를 생성할 수 있다.
여기서 exploitation은 입력값인 interesting seed corpus와 유사한 seed corpus를 만들어 비슷한 crash 및 path를 집중적으로 유도하는 특성을 의미하고, exploration은 다양한 종류의 seed corpus를 생성하여 검증 대상프로그램의 다양한 영역을 검증하도록 유도하는 특성을 의미한다. SMOTE, ADASyn 그리고 GAN based generation model은 입력값과 유사한 데이터 augmentation을 수행하므로 exploitation 측면에서는 만족하지만, exploration 측면에서는 한계점을 가지므로, 본 연구에서는 생성된 seed corpus가 exploitation과 exploration 측면을 모두 만족할 수 있도록 seq2seq model을 채택하였다.
따라서 본 연구에서는 AFL의 seed 간의 중복 최소화를 지원하는 AFL-cmin tool을 사용하여 seed trimming을 수행한다.
본 연구는 효율적인 seed generation을 위해 deep learning approach를 적용하였다. 그러나 mutation 기반 fuzzer들의 seed corpus는 입력 범위가 지나치게 넓기 때문에 어떤 seed를 입력값으로 사용하여 fuzzing을 해야 하는지에 대한 문제가 발생한다.
본 연구에서는 valuable seed corpus 생성을 위해 seq2seq model을 채택했다. fuzzing 주요목적인 crash를 빠르게 찾기 위해서는 mutation을 최소화하는 것이 중요하며, 이를 위해서 mutation은 효율적으로 수행되어야 한다.
위에서 설명한 문제점을 해결하기 위해 본 연구에서는 word embedding을 이용한 방법과 Base64 를 이용한 방법을 고려하였다. 먼저, word embedding 방식은 입력값의 context 정보를 고려한 encoding vector를 얻을 수 있다는 장점이 있으나, vocabulary in corpus의 크기가 충분하지 않은 경우 OoV (Out of Vocabulary) 문제가 발생할 수 있다.
FuzzerGym은 [9] fuzzing의 대상으로 하는응용 프로그램의 상태 정보를 얻기 위해 LLVM sanitizers을 사용하여 효율적으로 프로그램 모니터링을 한다. 이 정보는 RL을 사용하여 mutation 연산 결정 최적화에 되며, OpenAIGym을libFuzzer와 [10] 통합하여 mutation-selection 학습을 수행했다. 즉, RL과 fuzzing의 장점이 결합 시켰으며, 이러한 연구는 여러 벤치마크에서 높은 code coverage를 달성했다.
이러한 것과 관련 있는연구로는 Skyfire [14]가 있다. 해당 연구에서 구현한 데이터 기반 seed corpus 생성 방법은 PCFG(Probabilistic Context-Free Grammar)를 사용하여 의미 정보를 자동으로 추출 하며, 이러한 의미 정보 및 문법 규칙은 seed corpus를 생성하는데 사용된다. Samplefuzz는 [15] 신경망 기반 통계 학습을 사용하여 입력 sample에서 입력 구문을 자동으로 생성하려는 첫번째 연구이며, 본 연구에서는 seq2seq 기반 신경망을 통해 자동으로 PDF를 생성할 수 있는 model을 제안하였고, 평가도 수행했다.

성능/효과

DDRFuzz의 취약점 탐지 능력을 검증하기 위해 실험에 사용한 5개의 오픈소스 프로젝트 중 가장 많은 crash가 발견되었고, 그간 많은 CVE가 제보된 libtiff를 선정하였다. 이 오픈소스 프로젝트를 선정한 이유는 그간 취약점이 많이 보고 되었음에도 불구하고 취약점이 지속적으로 발견되고 있는 만큼, 취약점이 많이 내재되어 있는 프로그램으로 가정할 수 있고, 기존의 연구들의 결과물과 DDRFuzz의 성능 비교를 하기 용이할 것으로 판단했기 때문이다.
따라서 valuable seed corpus의 중복 체크가 필요하고, 중복 체크에는 유사도 기반과 seed trimming 기반 등 다양한 방법을 사용할 수 있다. 둘째로, 실시간으로 feedback mechanism을 적용하면 기존에 학습된 model에 점진적으로 learning을 수행하게 되므로 데이터가 누적될수록 과거의 데이터는 지워지고 신규 데이터 중심으로 결과값을 도출하는 Catastrophic Forgetting 문제가 발생할 수 있다. 따라서 이러한 오류를 해결하기 위해 continuous (incremental) learning 연구의 적용이 필요하다.
본 연구를 통해 관련 연구와의 다양한 비교 실험에서 DDRFuzz가 coverage와 crash count 측면에서 가장 뛰어난 성능을 나타냄을 확인할 수 있었다. 또한 DDRFuzz 적용을 통해 3개의 취약점을 발견하였다. 이는 DDRFuzz가 취약점 탐지에 효과적임을 보여주는 결과이다.
본 논문에서는 이러한 문제를 해결하기 위해 기존 fuzzer와 다양한 seed corpus 생성 기술을 분석했다. 또한 이들의 한계와 문제점을 보완하여 seq2seq model을 기반으로 seed corpus를 생성하는 시스템인 DDRFuzz를 제안하였고, 이는 우리가 아는 한 mutation-based fuzzing에서 seed augmentation을 위해 seq2seq model이 적용된 첫 번째 연구라 할 수 있다.
에서와 같이 1개의 zero-day 취약점을 탐지하였으며, 해당 취약점은 해당 CVE mitre에 제보하였고, 개발자에게 취약점을 전달하여 패치될 예정이다. 또한 해당 취약점은 과거부터 지금까지 여러 사람들에 의해 취약점이 제보되어왔고, Google의 OSS-Fuzz에서도 지속적으로 fuzzing을 수행하고 있음에도 발견되지 않았고, SOTA 연구에서 진행되었던 SmartSeed에서는 발견되지 않았지만, DDRFuzz에서 의해 발견되었다는 점으로 보아 DDRFuzz의 취약점 탐지 능력은 충분히 의미가 있다고 할 수 있다.
이는 DDRFuzz가 취약점 탐지에 효과적임을 보여주는 결과이다. 마지막으로, 본 연구진은 DDRFuzz의 소스 코드를 GitHub에 공개하였고, 이를 통해 다른 연구자들이 본 연구의 결과를 재현하고, deep learning을 활용한 seed augmentation 연구를 확장할 수 있도록 하였다.
실험은 멀티미디어파일을 입력값으로 하는 5개의 오픈소스 프로젝트에서 DDRFuzz를 평가했다. 본 연구를 통해 관련 연구와의 다양한 비교 실험에서 DDRFuzz가 coverage와 crash count 측면에서 가장 뛰어난 성능을 나타냄을 확인할 수 있었다. 또한 DDRFuzz 적용을 통해 3개의 취약점을 발견하였다.
본 연구에서는 입력값이 binary 형태의 멀티미디어 파일이므로 token 단위로 구분하거나 의미 정보를 포함하고 있지 않으므로 word embedding 방식 보다는 Base64 방식이 적합하다고 판단하였다.
또한 DDRFuzz 적용을 통해 3개의 취약점을 발견하였다. 이는 DDRFuzz가 취약점 탐지에 효과적임을 보여주는 결과이다. 마지막으로, 본 연구진은 DDRFuzz의 소스 코드를 GitHub에 공개하였고, 이를 통해 다른 연구자들이 본 연구의 결과를 재현하고, deep learning을 활용한 seed augmentation 연구를 확장할 수 있도록 하였다.

후속연구

DDRFuzz를 통해 생성된 seed corpus는 유사한 seed corpus가 많기 때문에 pre-fuzz를 통한 fitness score 방식의 Seed selection 기법은 효과적이지 않다. 따라서 Seed selection 방식에 deep learning 접근 방식을 적용하면 fuzzing의 효율성을 높일 수 있을 것으로 기대한다.
본 연구는 다양한 fuzzing 기술에 광범위하게 적용 가능하고, 취약성을 감지하는데 효과적이지만, 향후개선할 여지는 여전히 남아 있다. 이 장에서는 현재 DDRFuzz에 대한 제한 사항을 작성하고 향후연구를 위한 개선 사항에 대해 설명한다.
본 연구에서 우리의 초점은 seq2seq model 기반의 효율적인 fuzzing framework를 구축하고 그효과를 입증하는 것이므로, 개선된 seq2seq model의 개발 연구는 향후 연구로 남겨둔다. 또한DDRFuzz는 사용자가 application scenario에 맞추어 alternative deep learning model을 seed generation model로 선택할 수 있도록 설계하였다.
특히 crash 트리거가 가능한 seed corpus가 fuzzing 효율성에 중요한요소 하나라고 할 수 있다. 이에 dynamic taint analysis와 symbolic execution 기법 등을 적용하여 효율적인 seed corpus를 생성하는 연구들이 진행되었으나 기법의 복잡도가 높고 전문 지식이 필요함으로 인해 기존 연구들이 광범위하게 적용되지 못했다. 본 논문에서는 이러한 문제를 해결하기 위해 기존 fuzzer와 다양한 seed corpus 생성 기술을 분석했다.
특히 Vuzzer, T-Fuzz, Angora, Driller 등의 hybrid-fuzzer 를 이용하면 Symbolic Execution이나 Taint Analysis 등의 기법을 적용하여 valuable seed corpus를 확장할 수 있다. 즉, valuable seed corpus의 수집 방법(도구)과 기준의 확장을 통해좀 더 수준 높은 데이터셋을 확보할 수 있을 것으로 기대한다.

참고문헌 (25)

NVD, "CVE." https://cve.mitre.org/cve/, Accessed: Nov 2020.
A. Rebert, S. K. Cha, T. Avgerinos, J. Foote, D. Warren, G. Grieco, and D. Brumley, "Optimizing seed selection for fuzzing", Proceedings of the 23rd USENIX Security Symposium, pp. 861-875, Aug. 2014.
C. Lyu, S. Ji, Y. Li, J. Zhou, J. Chen, and J. Chen, "Smartseed: Smart seed generation for efficient fuzzing", arXiv, preprint arXiv:1807.02606, Jun. 2019.
V. J. M. Manes, H. Han, C. Han, S.K. Cha, M. Eglele, E. J. Schwartz, and M. Woo, "The art, science, and engineering of fuzzing: A survey", IEEE Transaction on Software Engineering, pp. 2312-2331, Nov. 2021.
K. Fang and G. Yan, "Emulation-instrumented fuzz testing of 4g/lte android mobile devices guided by reinforcement learning", European Symposium on Research in Computer Security, pp. 20-40, Sep. 2018.
K. Bottinger, P. Godefroid, and R. Singh, "Deep reinforcement fuzzing", IEEE Security and Privacy Workshops(SPW), pp. 116-122, Oct. 2018.
S. Karamcheti, G. Mann, and D. Rosenberg, "Adaptive grey-boxfuzz-testing with thompson sampling", Proceedings of the 11th ACM Workshop on Artificial Intelligence and Security, pp. 37-47, Oct. 2018.
M. Rajpal, W. Blum, and R. Singh, "Not all bytes are equal: Neural bytesieve for fuzzing", arXiv, preprint arXiv:1711.04596, Nov. 2017.
W. Drozd and M. D. Wagner, "Fuzzergym: A competitive framework for fuzzing and learning", arXiv, preprint arXiv:1807.07490, Jul. 2018.
libFuzzer, "https://llvm.org/docs/LibFuzzer.html" accessed: Nov. 2020.
X. Liu, R. Prajapati, X. Li, and D. Wu, "Reinforcement compiler fuzzing", arXiv, preprint arXiv:1801.04589, Jan. 2018.
Z. Zhang, B. Cui, and C. Chen, "Reinforcement learning-based fuzzing technology", International Conference on Innovative Mobile and Internet Services in Ubiquitous Computing, pp. 244-253, Jun. 2020.
Y. Wang, Z. Wu, Q. Wei, and Q. Wang, "Neufuzz: Efficient fuzzing with deep neural network," IEEE Access, vol. 7, pp. 36340-36352, Mar. 2019.

상세보기
J. Wang, B. Chen, L. Wei, and Y. Liu, "Skyfire: Data-driven seed generation for fuzzing", 2017 IEEE Symposium on Security and Privacy (SP), pp. 579-594, Jun. 2017.
P. Godefroid, H. Peleg, and R. Singh, "Learn&fuzz: Machine learning for input fuzzing", Proceedings of the 32nd IEEE/ACM International Conference on Automated Software Engineering, pp. 50-59, Oct. 2017.
L. Cheng, Y. Zhang, Y. Zhang, C. Wu, Z. Li, Y. Fu, and H. Li, "Optimizing seed inputs in fuzzing with machine learning", 2019 IEEE/ACM 41st International Conference on Software Engineering: Companion Proceedings (ICSE-Companion), pp. 244-245, Aug. 2019.
L. Joffe, "Machine learning augmented fuzzing", 2018 IEEE International Symposium on Software Reliability Engineering Workshops (ISSREW), pp. 178-183, Oct. 2018.
R. Fan and Y. Chang, "Machine learning for black-box fuzzing of network protocols", International Conference on Information and Communications Security, pp. 621-632, Apr. 2018.
Z. Hu, J. Shi, Y. Huang, J. Xiong, and X. Bu, "Ganfuzz: a gan-based industrial network protocol fuzzing framework", Proceedings of the 15th ACM International Conference on Computing Frontiers, pp. 138-145, May. 2018.
Z. Li, H. Zhao, J. Shi, Y. Huang, and J. Xiong, "An intelligent fuzzing data generation method based on deep adversarial learning," IEEE Access, vol. 7, pp. 49327-49340, Apr. 2019.

상세보기
N. Nichols, M. Raugas, R. Jasper, and N. Hilliard, "Faster fuzzing: Reinitialization with deep neural models", arXiv, preprint arXiv:1711.02807, Nov. 2017.
AFLi, "American Fuzzy Loop." https://lcamtuf.coredump.cx/afl/, Accessed: Nov 2020.
M. Bohme, V.-T. Pham, and A. Roychoudhury, "Coverage-based greybox fuzzing as markov chain", Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security, pp. 1032-1043, Oct. 2016.
S. Rawat, V. Jain, A. Kumar, L. Cojocar, C. Giuffrida, and H. Bos, "Vuzzer: Application-aware evolutionary fuzzing", NDSS, vol. 17, pp. 1-14, Feb. 2017.
H. Peng, Y. Shoshitaishvili, and M. Payer, "T-fuzz: fuzzing by program transformation", 2018 IEEE Symposium on Security and Privacy(SP), pp. 697-710, May. 2018.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증