[국내논문]인공지능 기반 개체명 인식 기술을 활용한 보안 위협 정보 식별 방안 연구 A Study on the Identification Method of Security Threat Information Using AI Based Named Entity Recognition Technology
새로운 기술이 개발 됨에 따라, 랜섬웨어를 만들어 주는 AI 기술 등장과 같은 새로운 보안 위협도 증가되고 있다. 이러한 보안 위협에 대응하기 위해 XDR와 같은 신규 보안장비가 개발되었지만, 단일 보안장비 환경이 아닌 다양한 보안장비를 함께 사용하는 경우 필수 데이터 식별 및 분류를 위해 수많은 정규표현식을 만들어야 하는 어려움이 존재한다. 이를 해결하기 위해 본 논문에서는 다양한 보안장비 사용 환경에서 인공지능 기반 개체명 인식 기술을 도입하여 위협 정보 식별을 위한 필수 정보 식별 방안을 제안한다. 보안장비 로그 데이터를 분석하여 필수 정보를 선정한 뒤, 정보의 저장 포맷과 인공지능을 활용하기 위한 태그 리스트를 정의하였고, 인공지능을 이용한 개체명 인식 기술을 통해 필수 데이터 식별 및 추출 방안을 제안한다. 다양한 보안장비 로그 데이터와 23개의 태그 기반 개체명 인식 시험 결과 태그별 f1-score의 가중치 평균이 Bi-LSTM-CRF는 0.44, BERT-CRF는 0.99의 성능을 보인다. 향후 정규표현식 기반의 위협 정보 식별·추출 방안과 인공지능 기반의 위협 정보 식별·추출 방안을 통합하는 프로세스를 연구하고 신규 데이터 기반으로 프로세스를 적용해 볼 예정이다.
새로운 기술이 개발 됨에 따라, 랜섬웨어를 만들어 주는 AI 기술 등장과 같은 새로운 보안 위협도 증가되고 있다. 이러한 보안 위협에 대응하기 위해 XDR와 같은 신규 보안장비가 개발되었지만, 단일 보안장비 환경이 아닌 다양한 보안장비를 함께 사용하는 경우 필수 데이터 식별 및 분류를 위해 수많은 정규표현식을 만들어야 하는 어려움이 존재한다. 이를 해결하기 위해 본 논문에서는 다양한 보안장비 사용 환경에서 인공지능 기반 개체명 인식 기술을 도입하여 위협 정보 식별을 위한 필수 정보 식별 방안을 제안한다. 보안장비 로그 데이터를 분석하여 필수 정보를 선정한 뒤, 정보의 저장 포맷과 인공지능을 활용하기 위한 태그 리스트를 정의하였고, 인공지능을 이용한 개체명 인식 기술을 통해 필수 데이터 식별 및 추출 방안을 제안한다. 다양한 보안장비 로그 데이터와 23개의 태그 기반 개체명 인식 시험 결과 태그별 f1-score의 가중치 평균이 Bi-LSTM-CRF는 0.44, BERT-CRF는 0.99의 성능을 보인다. 향후 정규표현식 기반의 위협 정보 식별·추출 방안과 인공지능 기반의 위협 정보 식별·추출 방안을 통합하는 프로세스를 연구하고 신규 데이터 기반으로 프로세스를 적용해 볼 예정이다.
As new technologies are developed, new security threats such as the emergence of AI technologies that create ransomware are also increasing. New security equipment such as XDR has been developed to cope with these security threats, but when using various security equipment together rather than a sin...
As new technologies are developed, new security threats such as the emergence of AI technologies that create ransomware are also increasing. New security equipment such as XDR has been developed to cope with these security threats, but when using various security equipment together rather than a single security equipment environment, there is a difficulty in creating numerous regular expressions for identifying and classifying essential data. To solve this problem, this paper proposes a method of identifying essential information for identifying threat information by introducing artificial intelligence-based entity name recognition technology in various security equipment usage environments. After analyzing the security equipment log data to select essential information, the storage format of information and the tag list for utilizing artificial intelligence were defined, and the method of identifying and extracting essential data is proposed through entity name recognition technology using artificial intelligence. As a result of various security equipment log data and 23 tag-based entity name recognition tests, the weight average of f1-score for each tag is 0.44 for Bi-LSTM-CRF and 0.99 for BERT-CRF. In the future, we plan to study the process of integrating the regular expression-based threat information identification and extraction method and artificial intelligence-based threat information and apply the process based on new data.
As new technologies are developed, new security threats such as the emergence of AI technologies that create ransomware are also increasing. New security equipment such as XDR has been developed to cope with these security threats, but when using various security equipment together rather than a single security equipment environment, there is a difficulty in creating numerous regular expressions for identifying and classifying essential data. To solve this problem, this paper proposes a method of identifying essential information for identifying threat information by introducing artificial intelligence-based entity name recognition technology in various security equipment usage environments. After analyzing the security equipment log data to select essential information, the storage format of information and the tag list for utilizing artificial intelligence were defined, and the method of identifying and extracting essential data is proposed through entity name recognition technology using artificial intelligence. As a result of various security equipment log data and 23 tag-based entity name recognition tests, the weight average of f1-score for each tag is 0.44 for Bi-LSTM-CRF and 0.99 for BERT-CRF. In the future, we plan to study the process of integrating the regular expression-based threat information identification and extraction method and artificial intelligence-based threat information and apply the process based on new data.
특정 협력 관계를 맺은 업체들에 한하여 통합 데이터 분석이 가능한 경우도 있지만, 보편적으로 이러한 문제를 자체적으로 해결하기에 많은 어려움이 있다. 따라서 본 논문에서는 다양한 보안장비 환경에서 데이터 분석을 원활하게 진행하기 위해 인공지능 기반의 개체명 인식 기술을 활용한 로그 데이터의 필수 정보 식별 및 추출 방안을 제시하고자 한다.
본 장에서는 국내외 보안 위협 정보 표준과 동향에 대해 분석하고, 기존 log parser 및보안관제 분야에 인공지능 활용 연구를 소개한다.
불특정 다수의 보안장비 로그 데이터를 분석해야 하는 환경에서 정규표현식을 활용한다면 정규표현식 생성에 소모되는 시간, 인력 등 비효율적인 문제가 존재한다. 이러한 문제를 극복하기 위해, 본 논문에서는 인공지능 기반 개체명 인식(NER: Named Entity Recognition) 기술을 통해 사용자 개입 없이 자동으로 ip, port 등 위협 정보를 식별하는 시스템을 제안한다. 본 장에서는 개체명 인식 기술에 적합한 인공지능 태깅, 알고리즘 순서로 학습 모델을 설계하였다.
신규 보안장비와 기존 보안장비를 혼용하여 사용하다 보니, 위협 정보 표현 포맷이 달라 기존 데이터 분석 기법인 패턴 기반의 위협 정보 식별이 어려워졌다. 이를 해결하기 위해 본 논문에서는 인공지능 기반 개체명 인식 기술을 제안하였다.
제안 방법
하지만 기존에 없는 보안 위협 정보가 들어온다면, 이를 탐지하고 분석할 수 있는 형태로 변환하기 위해 정규표현식을 새로 만들어야 하고, 복잡한 정보를 담고 있는 보안 로그라면 사용자가 해당 정보를 파악하는데도 상당한 시간이 소요된다는 단점이 있다. 이처럼 다양한 보안 위협을 식별하기 위해 수많은정규표현식을 만들어 내야 하는 어려움을 해결하기 위해 인공지능 기반의 개체명 인식 기술을 활용하여 보안 위협 정보를 식별하는 연구를 진행하였다.
그 외에 김희두 등은 범죄 수사 분야에 사전학습 언어모델을 도입하여 개체명 인식을적용하였다. 다양한 범죄 정보를 자동으로 파싱하기 위해 한글 데이터셋을 기반으로 모델을 학습시킨 뒤 한글 기반의 언어모델인 KoBERT, KoELECTRA에 파인 튜닝하여 개체명 인식 연구를 진행하였다. 본 연구는 한글이 아닌 특수문자, 영어, 숫자 등 다양한 문자가 포함된 로그이므로, 구분할 요소가 더 복잡하다[10].
해당 논문은 인공지능 기술을 보안관제에 적용하여 보안 위협 이벤트 탐지 시 이벤트의 정·오탐과 위험도를 판단한다
현정훈 등[11]은 ELK Stack을 활용한 보안관제 시스템을 제안했다. 해당 논문에서는단일 보안장비 환경에서 많은 양의 보안 이벤트가 발생하였을 때 ElasticSearch를 이용하여 검색엔진을 구성하였고, LogStash를 이용하여 발생한 이벤트를 수집하여 분석할 수 있는 포맷으로 변환한 뒤, 데이터 저장소로 데이터를 전달한다. Kibana를 이용하여 저장된 데이터를 시각화해 주는 구조를 제안하였다.
해당 논문에서는단일 보안장비 환경에서 많은 양의 보안 이벤트가 발생하였을 때 ElasticSearch를 이용하여 검색엔진을 구성하였고, LogStash를 이용하여 발생한 이벤트를 수집하여 분석할 수 있는 포맷으로 변환한 뒤, 데이터 저장소로 데이터를 전달한다. Kibana를 이용하여 저장된 데이터를 시각화해 주는 구조를 제안하였다. 이로 인해 고가의 솔루션 도입 없이 해당 기업에 최적화된 침해 대응 기술을 확보할 수 있고, 패턴 위주의 침해사고 사후 대응 체계가 아닌 실시간 보안 위협 데이터 기반으로 행위 위주 탐지 및 대응 체계를 제안했다.
Kibana를 이용하여 저장된 데이터를 시각화해 주는 구조를 제안하였다. 이로 인해 고가의 솔루션 도입 없이 해당 기업에 최적화된 침해 대응 기술을 확보할 수 있고, 패턴 위주의 침해사고 사후 대응 체계가 아닌 실시간 보안 위협 데이터 기반으로 행위 위주 탐지 및 대응 체계를 제안했다.
이러한 문제를 극복하기 위해, 본 논문에서는 인공지능 기반 개체명 인식(NER: Named Entity Recognition) 기술을 통해 사용자 개입 없이 자동으로 ip, port 등 위협 정보를 식별하는 시스템을 제안한다. 본 장에서는 개체명 인식 기술에 적합한 인공지능 태깅, 알고리즘 순서로 학습 모델을 설계하였다.
이런 경우 CRF(Conditional Random Fields) Layer를 추가하여 조건부 확률을 계산하여 최적의 레이블을 찾는 기능 때문에 성능을 개선한 연구 결과가 다수 존재한다[15,16]. 태그 간의 상관관계가 존재하기 때문에 CRF를 모델에 추가하여 개체명 인식 성능을 향상시키고자 한다.
본 시험에 사용한 HW/SW 정보는 Table 6과 같다. 데이터 셋의 경우 로그 포맷의 형태가 다른 FW 9종, IPS 3종, WAF 2종 총 14종의 서로 다른 보안장비에서 로그 포맷별 10개씩 추출하고, 필드 값 수치를 사용 가능한 범위 내에 데이터를 나열한 후, 일정수만큼 랜덤하게 필드 값을 변경하여 데이터를 증식하였다. 데이터는 Table 7과 같이 학습·테스트 데이터로 구분하여 시험을 진행하였고, 데이터 누출(Data leakage) 현상을 방지하기 위해 F/W 1종을 제외한 13종의 보안장비 로그 데이터를 학습 데이터로 사용하였고, 학습에 사용되지 않은 FW 1종의 보안장비 로그 데이터를 테스트 데이터로 사용하였다.
14종의 보안장비 데이터가 얼마나 다양한 포맷으로 이루어져 있는지 확인하기 위해각 로그에 대하여 TF-IDF(Term Frequency-Inverse Document Frequency)를 기반으로 일부 단어를 추출하여 이를 기반으로 텍스트를 벡터화하고, 벡터화된 텍스트를 이용하여 코사인 유사도를 계산하였다. 14x14행으로 표현된 행렬에서 대각선 요소는 자기 자신의 유사도이므로 제외하고 평균을 계산해 보았을 때, 0.
또한, 태그 개수의 영향을 알아보기 위해 로그 메시지 내에 메시지 내용을 뜻하는 ’MSG’ 관련 태그, 대응 정보를 뜻하는 ‘ACT’ 관련 태그 등 24개의 태그를 추가하여 태그별 f1-score의 weighted avg를 비교하고자 한다.
2과 같이 검증 데이터의 손실함수 값이 Bi-LSTM-CRF는 10회까지 순차적으로 감소하여, 과적합이 발생하지 않았다는 것을 확인할 수 있었고, BERT-CRF는 4회부터 손실함수 값이 증가하여, epoch 4회부터 과적합이 발생함을 확인하였다. 따라서 본 시험은 epoch 설정을 Bi-LSTM-CRF는 10회, BERT-CRF는 3회로 설정하였다. 성능지표는 accuracy, recall, precision 등 다양한 지표가 존재하지만, 테스트 데이터의 클래스 간 불균형으로 인해 각 클래스 f1-score의 weighted-avg를 성능지표로 잡았다.
따라서 본 시험은 epoch 설정을 Bi-LSTM-CRF는 10회, BERT-CRF는 3회로 설정하였다. 성능지표는 accuracy, recall, precision 등 다양한 지표가 존재하지만, 테스트 데이터의 클래스 간 불균형으로 인해 각 클래스 f1-score의 weighted-avg를 성능지표로 잡았다.
위협 정보 선정을 위해 10개의 보안장비가 포함하고 있는 정보를 분석하여 5가지 필수 정보를 선정하였고, 필수 정보를 저장하기 위해 필드명, 필드 값 포맷을 정의하였다. 또한, 개체명 인식을 위해 BIO 태깅 기법을 채택하였고, BIO 태깅을 위한 필수 정보 기반으로 총 23개의 태그 리스트를 정의하였다.
위협 정보 선정을 위해 10개의 보안장비가 포함하고 있는 정보를 분석하여 5가지 필수 정보를 선정하였고, 필수 정보를 저장하기 위해 필드명, 필드 값 포맷을 정의하였다. 또한, 개체명 인식을 위해 BIO 태깅 기법을 채택하였고, BIO 태깅을 위한 필수 정보 기반으로 총 23개의 태그 리스트를 정의하였다. 인공지능 알고리즘 선정은 Bi-LSTM과 BERT 두가지 모델의 개체명 인식 성능을 비교하며, 두 모델의 출력층에.
인공지능 알고리즘 선정은 Bi-LSTM과 BERT 두가지 모델의 개체명 인식 성능을 비교하며, 두 모델의 출력층에. CRF 단계를 추가하여 개체명 인식의 성능을 높이도록 설계하였다.
대상 데이터
보안 위협을 포함하고 있는 다양한 로그 데이터를 활용하기 위해서는 서로 다른 포맷의 로그 데이터를 하나의 포맷으로 통일시켜야 한다. 국내외 점유율이 높은 벤더사 별 보안장비의 데이터를 분석한 뒤, 필수 정보를 선정한다.
시험을 위해 부족한 데이터 문제를 해결하기 위해 다양한 업체의 보안장비 원본 로그 데이터를 증식시켰고, train data가 test data 성능 측정에 영향을 주는 “Data leakage” 현상을 방지하기 위해 13종의 보안장비 데이터 27,370개를 BIO 태깅하여 학습/검증 데이터로 활용하고 나머지 1종의 보안장비 2,437개 데이터를 BIO 태깅하여 테스트 데이터로 사용하였다
데이터는 Table 7과 같이 학습·테스트 데이터로 구분하여 시험을 진행하였고, 데이터 누출(Data leakage) 현상을 방지하기 위해 F/W 1종을 제외한 13종의 보안장비 로그 데이터를 학습 데이터로 사용하였고, 학습에 사용되지 않은 FW 1종의 보안장비 로그 데이터를 테스트 데이터로 사용하였다.
데이터처리
또한, 개체명 인식을 위해 BIO 태깅 기법을 채택하였고, BIO 태깅을 위한 필수 정보 기반으로 총 23개의 태그 리스트를 정의하였다. 인공지능 알고리즘 선정은 Bi-LSTM과 BERT 두가지 모델의 개체명 인식 성능을 비교하며, 두 모델의 출력층에. CRF 단계를 추가하여 개체명 인식의 성능을 높이도록 설계하였다.
이론/모형
다수의 태깅 기법이 존재하지만, 본 연구에서는 ip, port 등 개체명 인식에 적합한 태깅 기법인 BIO 태깅 기법을 사용한다. BIO 태깅 기법은 의미 있는 개체의 시작점을 “B(Begin)”로 태깅하고, 의미 있는 개체의 내부를 “I(Inside)”로 태깅한다.
성능/효과
인공지능 모델 데이터 학습 시 Fig.2과 같이 검증 데이터의 손실함수 값이 Bi-LSTM-CRF는 10회까지 순차적으로 감소하여, 과적합이 발생하지 않았다는 것을 확인할 수 있었고, BERT-CRF는 4회부터 손실함수 값이 증가하여, epoch 4회부터 과적합이 발생함을 확인하였다. 따라서 본 시험은 epoch 설정을 Bi-LSTM-CRF는 10회, BERT-CRF는 3회로 설정하였다.
99가 나왔다. 그리고 인공지능 알고리즘별 필수 위협 정보 인식률 분석 결과, Bi-LSTM-CRF의 태그별 f1-score 가중치 평균 기준약 0.44가 나왔으며, 개체명 인식 성능지표가 유난히 낮은 클래스는 PORT 개체명 인식과 TIME 관련 개체명 인식이 f1-score 0.4 이하로 낮은 성능을 보였다. BERT-CRF의 f1-score 가중치 평균 기준 9개 태그명을 약 0.
본 연구에서는 생성형 AI, 빅데이터 처리·분석 기술이 고도화됨에 따라 새로운 보안 위협이 발생하게 되었고, 이를 대응하기 위해 다양한 신규 보안장비가 등장하였다. 신규 보안장비와 기존 보안장비를 혼용하여 사용하다 보니, 위협 정보 표현 포맷이 달라 기존 데이터 분석 기법인 패턴 기반의 위협 정보 식별이 어려워졌다. 이를 해결하기 위해 본 논문에서는 인공지능 기반 개체명 인식 기술을 제안하였다.
시험을 위해 부족한 데이터 문제를 해결하기 위해 다양한 업체의 보안장비 원본 로그 데이터를 증식시켰고, train data가 test data 성능 측정에 영향을 주는 “Data leakage” 현상을 방지하기 위해 13종의 보안장비 데이터 27,370개를 BIO 태깅하여 학습/검증 데이터로 활용하고 나머지 1종의 보안장비 2,437개 데이터를 BIO 태깅하여 테스트 데이터로 사용하였다. Bi-LSTM-CRF, BERT-CRF 두 모델의 필수 정보 개체명 인식 결과는 epoch 3회 이상 기준 accuracy는 약 0.99로 비슷한 성능을 보였으나, 그 외에 precision, recall, f1-score등 다양한 성능지표에서는 약 0.6 이상 큰 차이로 BERT-CRF가 우수한 성능을 보였다. 이는 부족한 학습 데이터 이슈 때문에 Bi-LSTM 모델이현저히 낮은 성능을 보인다는 것을 알 수 있었다.
43이다. 시험 결과를 통해 태그 개수가 적을수록 위협 정보를 높은 확률로 인식할 수 있다는 것을 알 수 있다. 태그 수가 많을 경우, 테스트 데이터 중 MSG 태그로 인식해야 하는 값을 outside 태그로 잘못 인식하는 등 인식을 제대로 못 하는 경우가 다수 존재하여 성능이 저조했지만, 태그 수가 감소할 경우, 잘못 인식하는 경우가 현저히 감소하여, 위협 정보 인식률 성능 향상에 영향을 미쳤다.
후속연구
따라서 Bi-LSTM의 대표적인 기술인 양방향 상태 전파가 높은 확률로 필수정보 개체명 인식을 할 수 있다. 그리고 로그 데이터의 전체 필드도 필드 간에 문맥이존재하기 때문에, BERT의 문맥 이해 기술과 다양한 보안장비 로그 데이터 확보 문제를 해결하기 위해 사전 훈련된 인공지능 알고리즘 특징을 활용하여 개체명 인식의 좋은 성능이 기대된다.
동일한 포맷의 데이터를 증식시킬 수도 있으나, 본 연구의 목적이 다양한 포맷을 가진 보안 위협 정보를 식별하고자 하는 연구이므로, 증식한 데이터를 추가 증식하지 않고 시험을 진행한다.
하지만 태그 개수가 증가하거나 보안장비 로그 데이터에 source ip, destination ip뿐만 아니라 sensor ip, translation ip 등 다양한 ip 정보를 학습·테스트 데이터로 활용할 수 있다면, ip 관련 태그 개체명 인식 성능이 현저히 낮아진다. 향후 다양한 보안장비 이벤트를 포함한 양질의 데이터를 수집하여, Bi-LSTM 모델 성능 개선 연구를 진행할 예정이다.
하지만 기존에 없는 유형의 정규표현식이나 복잡한 정보를 담고 있는 보안 로그라면 사용자가 직접 패턴 분석한 뒤, 정규표현식을 작성해야 하므로 개발자 또는 시스템 운영자가 직접 개입해야 한다는 단점이 존재한다. 정규표현식을 이용한 변환 방안과 인공지능을 활용한 변환 방법의 장점을 합치는 프로세스를 정규표현식을 이용한 위협 정보 식별 기술과 인공지능 기반 위협 정보 개체명 인식 기술을 병합한 통합프로세스에 적용해 볼 예정이다.
H. K. Kim and K. H. Rhee, "An Analysis of System Log using Regular Expressions," Korea Information Processing Society, 27(1), pp. 154-156,May 2020.
S. Barnum, R. Martin, B. Worrell and？I.Kirilov, "The CybOX language specification," The MITRE Corporation,？Apr. 2012.
Intruduction to STIX, "STIX" https://oasis-open.github.io/cti-documentation/stix/intro.html, Feb. 2024.
Telecommunications Technology Association, "TTAK.KO-12.0242 Session Information Message Exchange Format," Information and Communication？Organization Standard (Korean Standard), Jul. 2014.
Y. Liu and D. Zhang, "UniParser: A？Unified Log Parser for Heterogeneous？Log Data," Proceedings of the ACM？WEB Conference 2022, pp. 1893-1901,？Apr. 2022.
H. D. Kim and H. S. Lim, "A Named？Entity Recognition Model in Criminal？Investigation Domain using Pre-trained Language Model," Korea？Convergence Society, 13(2), pp. 13-20,？Feb. 2022.
J. H. Hyun and H. J. Kim, "Security Operation Implementation through Big Data Analysis by Using Open Source ELK Stack," Journal of Digital？Contents Society, 19(1), pp. 181-191,Jan. 2018.
K. S. Ko and I. J. Jo, "Application of？Integrated Security Control of Artificial Intelligence Technology and Improvement of Cyber-Threat Response Process," The Journal of the Korea Contents Association, 21(10), pp.59-66, Oct. 2021.
J. H. Kim and J. Y. Kim, "Comparative analysis of performance of BI-LSTM and GRU algorithm for predicting the number of Covid-19confirmed cases," Journal of the Korea Institute of Information and Communication Engineering, 26(2), pp.187-192, Feb. 2022.
S. J. Ko, H. Y. Yun, and D. M. Shin, "Electronic Demand Data Prediction using Bidirectional Long Short Term Memory Networks," Journal of Korea Software Appraisal Association, 14(1),pp. 33-40, Jan. 2018.
S. H. Na and J. W. Min, "Character-Based LSTM CRFs for Named Entity Recognition," Proceedings of KIISE Conference, pp. 792-731, Jun. 2016.
Z. Huang, W. Xu, and K. Yu. "Bidirectional LSTM-CRF models for sequence tagging." arXivpreprint arXiv:1508.01991, Aug. 2015.
이 논문을 인용한 문헌
저자의 다른 논문 :
활용도 분석정보
상세보기
다운로드
내보내기
활용도 Top5 논문
해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다. 더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.