[논문]그래프 데이터베이스 환경에서 이상징후 탐지를 위한 연관 관계 분석 기법

정우철; 전문석; 최도현

doi:10.22156/cs4smb.2020.10.08.015

그래프 데이터베이스 환경에서 이상징후 탐지를 위한 연관 관계 분석 기법
Association Analysis for Detecting Abnormal in Graph Database Environment 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.10 no.8, 2020년, pp.15 - 22

정우철 (숭실대학교 컴퓨터학과) , 전문석 (숭실대학교 컴퓨터학과) , 최도현 (숭실대학교 컴퓨터학과)

초록
AI-Helper

4차 산업 혁명과 데이터 환경의 급격한 변화는 기존 관계형 데이터베이스(RDB)는 기술적 한계를 드러내고 있다. IDC/금융/보험 등 전 분야에서 비정형 데이터에 대한 새로운 분석방안으로 그래프 데이터베이스(GDB) 기술에 관심이 높아지고 있다. 그래프 데이터베이스는 상호 연동된 데이터를 표현하고 광범위한 네트워크에서 연관 관계 분석에 효율적인 기술이다. 본 연구는 기존 RDB를 GDB 모델로 확장하고, 새로운 이상징후 탐지를 위해 기계학습 알고리즘(패턴인식, 클러스터링, 경로거리, 핵심추출)을 적용하였다. 성능분석 결과 이상 행위 성능(약 180배 이상)이 크게 향상되었고, RDB로 분석 불가능한 5단계 이후 이상징후 패턴을 추출할 수 있음을 확인하였다.

Abstract ▼ AI-Helper

The 4th industrial revolution and the rapid change in the data environment revealed technical limitations in the existing relational database(RDB). As a new analysis method for unstructured data in all fields such as IDC/finance/insurance, interest in graph database(GDB) technology is increasing. The graph database is an efficient technique for expressing interlocked data and analyzing associations in a wide range of networks. This study extended the existing RDB to the GDB model and applied machine learning algorithms (pattern recognition, clustering, path distance, core extraction) to detect new abnormal signs. As a result of the performance analysis, it was confirmed that the performance of abnormal behavior(about 180 times or more) was greatly improved, and that it was possible to extract an abnormal symptom pattern after 5 steps that could not be analyzed by RDB.

주제어

표/그림 (18)

그림 Fig. 1. GDB model expressing user relationship(example)
그림 Fig. 2. RDB and GDB(Neo4j) Performance Comparison
그림 Fig. 3. Anomaly Detection Platform Structure
그림 Fig. 4. Anomaly analysis platform Structure
표 Table 1. Anomaly Detection/Analysis Table(Example)
그림 Fig. 5. Association analysis Modeling Process
그림 Fig. 6. Ranking analysis Algorithm
표 Table 2. GDB based Table(Example)
그림 Fig. 7. Pattern Detection Algorithm
그림 Fig. 8. Clustering Algorithm
그림 Fig. 9. Path analysis and Extract Framework Algorithm
그림 Fig. 10. Anomaly Detection and Analysis(Example)
그림 Fig. 11. Ranking analysis Algorithm(Proposed)
그림 Fig. 12. Pattern Detection Algorithm(Proposed)
그림 Fig. 13. Clustering Algorithm(Proposed)
그림 Fig. 14. Path and Extract Framework Algorithm(Proposed)
표 Table 3. RDB and GDB Performance Test
표 Table 4. RDB and GDB Comparison Analysis

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

현실 모형에 가까운 직관적인 형태의 데이터 모형은 개발에 큰 업무 증가율과 시스템의 이해가 빠르다는 큰 장점이 있다. 또한 데이터(Data)를 활용하는 주체인 실무진들이 폭넓게 참여할 수 있다는 가능성을 제시한다. RDB는 범용성과 호환성이 높다는 장점이 있지만, GDB는 플랫폼 구축과 제품 개발 이후 시장 활성화 초기라는 단점이 있다.
본 연구는 새로운 이상징후 탐지/분석을 위한 GDB 기반 장애 분석 방법을 설명했다. 기존 RDB의 한계를 해결하기 위한 기술로 GDB는 비정형 데이터를 통계 분석뿐만 아니라 위협 패턴을 추출/예측할 수 있다.
GDB와 같은 그래프 마이닝 기술은 RDB보다 높은 쿼리(Query) 성능과 비정형 데이터의 새로운 데이터 분석 방법을 제공한다[4]. 본 연구는 연관 관계 분석에 효율적인 GDB 기반 이상징후 탐지 방법을 제안한다. 본 논문의 구성은 다음과 같다.
그러나 이는 시간이 해결해 줄 것이며 향후 다양한 분야에서 RDB로 분석이 어려운 분야에서 새로운 분석 방법과 전용 그래프 시각화 등 다양한 장점을 제공해 줄 것이다. 본 연구는 지도 학습 수준에서 발전된 비지도 학습을 수행하는 딥러닝 머신 러닝(Machine Lerarning) 알고리즘들을 조합/활용하는 수준까지 개선할 계획이다.

제안 방법

그래프 노드 사이의 중심성 척도를 분석한다. 각 노드에서 연관 관계에 대한 임계치를 설정하고, 연결된 우선순위를 추가로 측정한다. 위협대상(A ~ F 대상)에서 비교적 집중되는 위협 항목에 대해 파악할 수 있다.
그래프 노드 사이의 중심성 척도를 분석한다. 각 노드에서 연관 관계에 대한 임계치를 설정하고, 연결된 우선순위를 추가로 측정한다.
수집된 정보 유형마다 위협 패턴(Threat)을 검사를 수행한다. 다양한 조합의 위협 시나리오(Intrusion Set)를 설정하여 결과를 도출하고, 위험 수준이 높은 위험들을 예측한다. 하위 구조에는 이상 행위에 대한 위협 수준(Risk)과 우회 기법(Evasion)들을 분석하는 엔진들로 구성된다.
성능 분석 환경에 RDB는 MariaDB, GDB는 Neo4j를 구축하여 비교 분석했다. 사용자 정보 1백만 건과 친구 정보 5백만 건 데이터를 입력하고, SQL과 Cypher 언어로 생성된 스키마의 5개의 쿼리 진행 및 처리 속도를 측정했다. Table 3은 RDB와 GDB 스키마의 성능분석 결과를 나타낸다.
Fig 4는 정보 수집기와 연계되는 이상징후 분석 플랫폼의 내부 구조를 나타낸다. 수집된 정보 유형마다 위협 패턴(Threat)을 검사를 수행한다. 다양한 조합의 위협 시나리오(Intrusion Set)를 설정하여 결과를 도출하고, 위험 수준이 높은 위험들을 예측한다.
Fig 10은 이상징후 탐지/분석을 검증하기 위한 시나리오 예를 나타낸다. 알려진 공격 패턴(Attack Pattern)과 침입 시나리오(Intrusion Set)의 유사도와 상호관계를 예측 분석한다. 특정 대상(Threat Actor)으로 유입되는 트래픽에서 정보들을 위협을 식별(Identity)하고, 위협(Treatment)으로 분류된 새로운 패턴들을 추출한다.
군집화 알고리즘에서 나타난 노드의 시작과 끝의 거리 척도와 최적화 알고리즘을 통해 모든 이상징후 경로들을 예측하고, 이상징후 위협 수준이 높은 요소(강조된 노드)를 추출한다. 이상징후 탐지/분석의 결과로는 위협대상, 악성코드, 위협의 종류, 시나리오(유사성)를 중요 위협의 세부 요인으로 추출한다.
Fig 8은 군집 분석 알고리즘의 예를 나타낸다. 이상징후에 대한 유사성 있는 데이터를 묶고, 작은 그룹들로 세분화하여 연관 노드에 대한 특정 그룹을 유추한다. 일반적으로 새로운 데이터가 인접 데이터들과 비교하여 어느 분류에 속할지 과반수로 결정하는 알고리즘을 사용할 수 있다.
제안하는 기법은 CTI 위협 대응 플랫폼을 고려하였고, 기존 RDB 데이터 확장과 함께 새로운 GDB 구조를 모델링(Modeling)한다.
Fig 7은 패턴인식 알고리즘의 예를 나타낸다. 지도 학습(정형 패턴)에서 특징을 추출하는 패턴인식 기법을 선행 수행한다. 예로 GDB 기반 알고리즘 분석에 필요한 바이러스 패턴 정보를 사전 학습에 활용될 수 있다.
알려진 공격 패턴(Attack Pattern)과 침입 시나리오(Intrusion Set)의 유사도와 상호관계를 예측 분석한다. 특정 대상(Threat Actor)으로 유입되는 트래픽에서 정보들을 위협을 식별(Identity)하고, 위협(Treatment)으로 분류된 새로운 패턴들을 추출한다.

대상 데이터

관측데이터, 공격패턴, 악성 도구, 캠페인 테이블은 XML/JSON 기반 STIX(Structured Threat Information eXpression) 스키마를 지원한다. 내부 GDB 형태로 생성하기 위한 식별 정보(ID)와 타임스탬프(Timestamp) 등 기본 데이터를 포함한다. 실제 정보를 연동하는 공격패턴, 생명주기 등은 JSONB 형태로 RDB 관계를 형성한다.
최근 다양한 침해사고 분석 보고서를 통해서 특정 해킹공격의 유사성이 분석되었고 동일 공격 그룹에 의해 수행되었는지 추적하고 있다[15]. 해킹 사례로 Lazarus 그룹은 악성코드를 재사용(변종)하여 필리핀/방글라데시/에콰도르 은행에 약 920억 원을 탈취했다[16]. IBM, Dell, Symantec, Fireeye 등 보안 업계는 신종 악성코드, 패턴 변조 공격, 다중 공격 등 사이버 보안을 위한 위협 인텔리전스(CTI, Cyber Threat Intelligence)의 중요성을 강조하고 있다[17].

데이터처리

성능 분석 환경에 RDB는 MariaDB, GDB는 Neo4j를 구축하여 비교 분석했다. 사용자 정보 1백만 건과 친구 정보 5백만 건 데이터를 입력하고, SQL과 Cypher 언어로 생성된 스키마의 5개의 쿼리 진행 및 처리 속도를 측정했다.

이론/모형

순위분석(Ranking), 패턴인식(Pattern Detection), 군집분석(Clustering), 경로추출(Path Analysis), 핵심추출(Extract Framework) 알고리즘을 적용한다. Fig 6은 순위분석 알고리즘의 예를 나타낸다.

성능/효과

기존 RDB에서 적합한 지도 학습의 분류 알고리즘보다 제안하는 클러스터링 알고리즘 등을 기반으로 그래프 네트워크를 구성하는데 최적화되었다. 가장 큰 차이점은 이상징후 5단계 이상 레벨의 쿼리 분석에서, 기존 RDB는 무한 행(Hang)에 빠져 결과를 출력할 수 없다는 사실이다.
GDB는 RDB를 확장하여 데이터 타입 분석에 한계가 없고 복잡한 쿼리 분석에 적합하다. 기존 RDB에서 적합한 지도 학습의 분류 알고리즘보다 제안하는 클러스터링 알고리즘 등을 기반으로 그래프 네트워크를 구성하는데 최적화되었다. 가장 큰 차이점은 이상징후 5단계 이상 레벨의 쿼리 분석에서, 기존 RDB는 무한 행(Hang)에 빠져 결과를 출력할 수 없다는 사실이다.
테스트 결과, SQL 쿼리의 실행/접근/응답 등 전체적으로 성능이 효율적으로 나타났다. 이상 행위 3단계 수준부터 성능 차이가 172배 이상 차이가 존재하고, 이후 단계부터는 기하급수적으로 늘어남을 확인했다. 기본적으로 GDB의 행위 분석 방법이 이상 행위 패턴을 추출하는데 RDB 보다 훨씬 효율적이기 때문이다.
테스트 결과, SQL 쿼리의 실행/접근/응답 등 전체적으로 성능이 효율적으로 나타났다. 이상 행위 3단계 수준부터 성능 차이가 172배 이상 차이가 존재하고, 이후 단계부터는 기하급수적으로 늘어남을 확인했다.

후속연구

RDB는 범용성과 호환성이 높다는 장점이 있지만, GDB는 플랫폼 구축과 제품 개발 이후 시장 활성화 초기라는 단점이 있다. 그러나 이는 시간이 해결해 줄 것이며 향후 다양한 분야에서 RDB로 분석이 어려운 분야에서 새로운 분석 방법과 전용 그래프 시각화 등 다양한 장점을 제공해 줄 것이다. 본 연구는 지도 학습 수준에서 발전된 비지도 학습을 수행하는 딥러닝 머신 러닝(Machine Lerarning) 알고리즘들을 조합/활용하는 수준까지 개선할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	파나마 페이퍼즈란 무엇인가?	파나마 페이퍼즈(Panama Papers)는 전 세계 전·현직 지도자, 정치인, 유명인사 등 약 1,150만 건의 기밀 문서를 확보하여 공개한 사건으로 관련 PDF 문서, 내부 이메일, 사진, 그리고 모색 폰세카(Mossack Fonseca)의 데이터베이스 기밀 등이 포함됐다[1]. S Srivastava, L Zhuhadar 등은 기존 RDB로 분석이 어려운 파나마 사건(약 총 2.
	GDB 분석과 같은 그래프 마이닝 기술은 무엇을 제공하는가?	6 테라바이트)의 방대한 자료를 GDB 분석으로 조세회피 근거를 추적할 수 있음을 연구로 증명했다[2][3]. GDB와 같은 그래프 마이닝 기술은 RDB보다 높은 쿼리(Query) 성능과 비정형 데이터의 새로운 데이터 분석 방법을 제공한다[4]. 본 연구는 연관 관계 분석에 효율적인 GDB 기반 이상징후 탐지 방법을 제안한다.
	본 연구에 따르면, 비정형 데이터 분석은 무엇을 요구하는가?	Google, Amazon, Microsoft, IBM 등 세계적 기업들은 영상처리, 음성인식 등 4차 혁신기술 시장을 독점하기 위해 인공지능 제품 개발과 플랫폼 구축/운영에 집중하고 있다[5]. 비정형 데이터 분석은 NoSQL, NewSQL 같은 실시간 처리의 특징이 있는 데이터베이스가 요구된다[6]. NoSQL 계열의 GDB는 그래프 이론을 기반으로 RDB를 보완하기 위해 개발되었다[7].

참고문헌 (20)

J. Y. Kim & K. H. No. (2019). Construction of Knowledge Base Based on Graph Database for College Student Career Advice Using Public Data, Journal of the Institute of Electronics Engineers of Korea, 56(10), 41-48. DOI : 10.5573/ieie.2019.56.10.41
S. Srivastava & A. K. Singh. (2018). Graph Based Analysis of Panama Papers, In 2018 Fifth International Conference on Parallel, Distributed and Grid Computing (PDGC) IEEE, 822-827. DOI : 10.1109/PDGC.2018.8745785
L. Zhuhadar & M. Ciampa. (2019). Leveraging learning innovations in cognitive computing with massive data sets: Using the offshore Panama papers leak to discover patterns. Computers in Human Behavior, 92, 507-518. DOI : 10.1016/j.chb.2017.12.013

상세보기
S. M. Bae, J. H. Kim, J. M. Yoo, S. R. Yang & J. J. Jung. (2019). Structural Analysis and Performance Test of Graph Databases using Relational Data. Journal of Korea Multimedia Society, 22(9), 1036-1045. DOI : 10.9717/kmms.2019.22.9.1036
K. Y. Lee, H. R. Kim & J. S. Kim. (2017). AI Platform Solution Service and Trends. Journal of Korea Bigdata Society, 2(2), 9-16. DOI : 10.36498/kbigdt.2017.2.2.9
K. T. Song & S. H. Park (2017). A Recent Trend of Database for Big Data Handling using Key-value database, Journal of Knowledge Information Technology and Systems, 12(1), 47-57. DOI : 10.34163/jkits.2017.12.1.005

상세보기
N. Roy-Hubara, L. Rokach, B. Shapira & P. Shoval. (2017). Modeling graph database schema. IT Professional(Magazin) IEEE, 19(6), 34-43. DOI : 10.1109/MITP.2017.4241458
R. Angles, M. Arenas, P. Barcelo, A. Hogan, J. Reutter & D. Vrgoc. (2017). Foundations of modern query languages for graph databases, ACM Computing Surveys (CSUR), 50(5), 1-40. DOI : 10.1145/3104031
B. M. Sasaki. (2018). Graph Databases for Beginners: Why Graph Technology Is the Future. Neo4j (Online). https://neo4j.com/
J. Pokorny. (2019). Integration of relational and graph databases functionally. Foundations of Computing and Decision Sciences, 44(4), 427-441. DOI : 10.2478/fcds-2019-0021

상세보기
K. Wongsuphasawat et al. (2017). Visualizing dataflow graphs of deep learning models in tensorflow. IEEE transactions on visualization and computer graphics, 24(1), 1-12. DOI : 10.1109/TVCG.2017.2744878
J. Y. Kim, K. H. Ro. (2019). Construction of Knowledge Base Based on Graph Database for College Student Career Advice Using Public Data, Journal of the Institute of Electronics and Information Engineers, 56(10), 41-48. DOI : 10.5573/ieie.2019.56.10.41
U. C. Park. (2020). Is-A Node Type Modeling Methodology to Improve Pattern Query Performance in Graph Database. Journal of The Korea Society of Computer and Information, 25(4), 123-131. DOI : 10.9708/jksci.2020.25.04.123
U. C. Park. (2017). Visualization of Recommendation Items Based on Graph Database, Journal of Korean Institute of Information Technology, 15(6), 1-9. DOI : 10.14801/jkiit.2017.15.6.1

상세보기
S. M. Park & J. I. Lim. (2017). Study On Identifying Cyber Attack Classification Through The Analysis of Cyber Attack Intention. Journal of The Korea Institute of Information Security and Cryptology, 27(1), 103-113. DOI : 10.13089/JKIISC.2017.27.1.103

원문보기 상세보기
M. Abd Majid & K. Z. Ariffi. (2019). Success Factors for Cyber Security Operation Center (SOC) Establishment. Conference: Proceedings of the 1st International Conference on Informatics, Engineering, Science and Technology. DOI : 10.4108/eai.18-7-2019.2287841
W. Tounsi & H. Rais. (2018). A survey on technical threat intelligence in the age of sophisticated cyber attacks, Journal of ScienceDirect(Computers & security), 72, 212-233. DOI : 10.1016/j.cose.2017.09.001
J. S. Lee & S. C. Hong (2014). Study on the Application Methods of Big Data at a Corporation-Cases of A and Y corporation Big Data System Projects. Journal of Internet Computing and Services, 15(1), 103-112. DOI : 10.7472/jksii.2014.15.1.103
D. Fernandes & J. Bernardino. (2018). Graph Databases Comparison: AllegroGraph, ArangoDB, InfiniteGraph, Neo4J, and OrientDB, Conference: 7th International Conference on Data Science, Technology and Applications, 373-380. DOI : 10.5220/0006910203730380
Ryutaro Yada. (2012). How Rakuten Reduced Database Management Spending by 90% through Clustrix implementation, Database Platform Group Global Infrastructure Development Dept. Rakuten, tech showcase(Onlie). https://global.rakuten.com/

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증