[논문]빅데이터를 이용한 자동 이슈 분석 시스템

최동열; 안은영

doi:10.5392/jkca.2020.20.02.240

빅데이터를 이용한 자동 이슈 분석 시스템
An Automatic Issues Analysis System using Big-data 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.20 no.2, 2020년, pp.240 - 247

초록
AI-Helper

빠르게 변화하는 온라인상의 정보 흐름과 트랜드를 이해하고 IT기술 환경변화에 대응하기 위해서 필요한 선제적 제도 마련을 위한 한 가지 방안으로 빅데이터를 이용하고자 하는 노력이 최근 들어 더욱 가속화 되고 있다. 논문에서는 인공지능 기반의 빅데이터 처리를 통한 이슈 분석 시스템의 개발과 연구를 통해 빅데이터 처리를 위한 새로운 기술의 가능성을 확인하고자 한다. 이를 위해, 고속의 병렬처리가 가능해진 인공신경망을 사용, 의미 추론 및 패턴분석을 위한 처리 기법을 제안하고 구현을 통해 제안하는 방법에 대한 빅데이터 처리의 적합성을 알아본다. 정보보안의 중요성을 감안하여, 인공 신경망을 이용한 이슈 분석 시스템을 최근의 보안 이슈 분석에 활용해봄으로써 제안하는 방식이 실제 빅데이터 처리에 유용하게 활용 될 수 있음을 검증한다. 실험을 통해서 제안된 방식에 대한 다양한 목적의 빅데이터 처리를 위한 기반 기술로의 활용 가능성을 확인한다.

Abstract ▼ AI-Helper

There have been many efforts to understand the trends of IT environments that have been rapidly changed. In a view point of management, it needs to prepare the social systems in advance by using Big-data these days. This research is for the implementation of Issue Analysis System for the Big-data based on Artificial Intelligence. This paper aims to confirm the possibility of new technology for Big-data processing through the proposed Issue Analysis System using. We propose a technique for semantic reasoning and pattern analysis based on the AI and show the proposed method is feasible to handle the Big-data. We want to verify that the proposed method can be useful in dealing with Big-data by applying latest security issues into the system. The experiments show the potentials for the proposed method to use it as a base technology for dealing with Big-data for various purposes.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이에, 본 장에 서는 인공신경망을 위한 이슈 이미지의 형상화 방안을 제안하고자 한다. 또한 특정 이슈에 대한 어휘의 시간적 지속성을 감안하기 위해 네오 코크니트론에 시간 지 속성에 관한 속성인 TLWS(Time Length Work Sheet)을 가진 기억소멸형 플레인(decay memory plane)을 제안하고 그 개념과 필요성에 대해 설명한다. 마지막으로 이를 적용한 이슈 분석 시스템에 대해 논의한다.
한편 딥러닝은 완전한 머신러닝을 실현하기 위한 기술로, 뇌의 뉴런과 유사한 정보 입출력 계층을 활용해 데이터를 학습하는 방법이며[6] 최근 병렬 연산에 최적화된 GPU가 등장함으로 인해 학습을 위한 대량의 연산과 속도 문제를 해결할 수 있게 됨으로써 여러 분야에서 연구가 이루어지고 있다[7][8]. 본 연구는 산업계와 학계에서 현재 진행 중인 빅데이터의 지식처리를 위한 자연어의 의 미추론에 관한 연구로서 그 대안을 제시하고자 한다. 이를 위해 인공신경망 모델을 이용하여 인터넷상에서 유통되는 대량의 데이터로부터 현재의 경향과 이슈를 확인하는 분석시스템을 제안한다.
또한, 특정 이슈들은 단어의 구성이나 개수에서 자연어로서 불규칙한 특성을 갖기 때문에 추상적 의미의 이슈를 구성하는 어휘의 군집이 불완전하더라도 이를 분류할 수 있도록 학습의 입력패턴이 설계되어야 하는데 이러한 문제들을 여전히 해결하고 있지 못하다. 본 연구에서는 온라인상의 실시간 빅데이터에 대한 이슈 분석 시스템을 개발하여 일련의 어휘들로부터 추상화된 상위개념의 의미를 찾아냄으로써 현재의 이슈 및 동향을 파악하는 것을 주된 목적으로 하며, 이를 위해 자연어의 특성이 갖는 이러한 비정형적 데이터에 대한 학습 입력패턴 생성 방안을 제시한다.
추론을 위한 입력패턴으로 사용되는 어휘는 명사와 동사가 된다. 신경망 회로의 입력으로 사용할 수 있는 어휘들에 대한 패턴화 방법이 다양하게 제시될 수 있으나 본 논문에서는 이슈를 이미지 패턴화하고 이슈를 정의 하는 어휘들을 이슈 이미지의 서브 이미지패턴으로 관계화 하는 방법을 제안한다. [그림 2]에서 ‘학습된 실제 의미 패턴’은 각 의미마다 부여되는 이미지다.
인공신경망을 이용한 빅데이터 이슈 분석 시스템을 위해서는 수집되는 어휘들을 신경망 회로의 입력 으로 사용할 수 있도록 가공하여야 한다. 이에, 본 장에 서는 인공신경망을 위한 이슈 이미지의 형상화 방안을 제안하고자 한다. 또한 특정 이슈에 대한 어휘의 시간적 지속성을 감안하기 위해 네오 코크니트론에 시간 지 속성에 관한 속성인 TLWS(Time Length Work Sheet)을 가진 기억소멸형 플레인(decay memory plane)을 제안하고 그 개념과 필요성에 대해 설명한다.

가설 설정

3절에서 제안한 빅데이터 이슈 분석 시스템의 보안 이슈 적용에 대한 실험을 위해 실험 환경은 [표 2]와 같다. 본 실험에는 총 6가지의 보안 이슈를 가정하고 각 이슈는 5개 이상의 어휘로 구성되도록 하였다[9][10]. 이슈 및 어휘 구성은 [표 3]에 표시된 바와 같다.

제안 방법

본 연구에서 제안하는 이슈 분석 시스템의 성능 분석을 위해 인공신경망에 7개 이슈에 대한 이슈 이미지의 학습을 진행하고, 총 7개의 이슈에 대해 각 이슈별로 4가지 상황을 가정하여 총 28개의 입력 패턴을 처리하도록 하였다. [표 4]와 같은 입력패턴에서 실험을 진행하여 이슈 분석 시스템이 입력 패턴에 대해 해당 이슈를 분석한 결과를 확인해보았다.
여기서는 3.1.1에서 제시한 이슈 이미지 패턴화 규칙을 사용하여 제안하는 의미 분석 시스템의 실험을 위한 실례로서 보안문제에 관한 의미 분석을 적용해보기로 한다. 이를 위해 보안문제와 관련한 의미 패턴 및 구성 어휘를 생성 해보기로 한다.
또한 현재 시점에서 보았을 때 나타나지 않는 어휘들은 해당 이슈에 대한 효력이 시간이 경과됨에 따라 약해져 간다고 볼 수 있다. 이러한 관계를 정의하기 위해 TLWS함수(TLWS Activation Function)를 설계하고 기억소멸형 플레인 (Decay Memory Plane)을 인공신경망에 추가적함으로써 어떠한 의미를 구성하는 어휘들의 출현 시간과 빈도를 고려한 의미추론이 가능하도록 한다. TLWS함수 는 특정 어휘의 출현 빈도수가 높으면 1에 가까워지는 출력을 내고, 어휘의 출현 이후 시간이 지날수록 쇠퇴해서 결국 0에 수렴하는 출력을 내주는 역할을 셀이며 식 1로 표시된다.
1에서 제시한 이슈 이미지 패턴화 규칙을 사용하여 제안하는 의미 분석 시스템의 실험을 위한 실례로서 보안문제에 관한 의미 분석을 적용해보기로 한다. 이를 위해 보안문제와 관련한 의미 패턴 및 구성 어휘를 생성 해보기로 한다. [표 1]은 각 의미들에 대한 구성어휘들을 조합한 의미 패턴의 예들을 보여 주고 있는데 각 이슈 패턴들은 구성 어휘들이 나타내는 서브 이미지들을 모두 합성한 이미지가 된다.
본 연구는 산업계와 학계에서 현재 진행 중인 빅데이터의 지식처리를 위한 자연어의 의 미추론에 관한 연구로서 그 대안을 제시하고자 한다. 이를 위해 인공신경망 모델을 이용하여 인터넷상에서 유통되는 대량의 데이터로부터 현재의 경향과 이슈를 확인하는 분석시스템을 제안한다.
이슈별 입력 패턴에 대해 얼마나 정확하게 해당 이슈를 분리해 내는지에 대한 측정하기 위해 분리도를 확인하였다. [표 5]는 실험에 사용된 이슈별 패턴에 대한 분리도를 측정한 결과이다.
인터넷 환경에서 검출될 수 있는 문자 기반 빅데이터로부터 어휘를 검출하여 이로부터 특정 이슈를 파악하는 시스템을 인공 신경망을 이용해서 구현하고 보안과 관련한 이슈에 대해 제안된 방법을 적용하여 모의실험을 진행 하였다. 실험을 통한 성능 분석 결과 제안한 이슈 분석에 대한 성능의 우수성을 확인하였다.
학습에는 총 7개의 ‘이슈 이미지’를 사용하였는데 이들 중 2개의 ‘이슈 이미지’는 같은 이슈를 나타내는 것으로 해서 총 6개의 이슈를 검출하도록 하였다.

이론/모형

그 중 하나인 지능 진화형 질의응답 시스템인 WiseQA의 개발은 자연어 질문을 이해하고, 비정형 및 정형 지식베이스를 통해 정답 후보들을 추론하고 순위화, 필터링 등의 과정을 거쳐 최 종 정답을 근거와 함께 추론하는데 필요한 모듈을 개발한다[3]. 이 시스템에서는 의미정답유형 인식을 위해 다중클래스 분류에 기반한 기계학습모델을 사용한다[4]. 빅데이터에 대한 자연어의 이해는 본 연구와 연관성이 있는 분야로서, 본 연구는 인간이 복잡한 일련의 현상을 어떻게 보다 포괄적 의미로 묶고 추상화를 통해서 패턴화하는가에 대한 인간의 이해 과정에 관한 것과 깊이 관련이 있다.

성능/효과

인터넷 환경에서 검출될 수 있는 문자 기반 빅데이터로부터 어휘를 검출하여 이로부터 특정 이슈를 파악하는 시스템을 인공 신경망을 이용해서 구현하고 보안과 관련한 이슈에 대해 제안된 방법을 적용하여 모의실험을 진행 하였다. 실험을 통한 성능 분석 결과 제안한 이슈 분석에 대한 성능의 우수성을 확인하였다. 제안된 방법은 이슈 이미지에 포함되는 중심어휘의 수를 제안하지 않기 때문에 기존의 심층학습을 통한 자연어 처리 방식에서 문제가 되는 학습패턴의 생성 방법의 한 가지 대안이 될 수 있다.

후속연구

제안된 방법은 사회의 여러 방면에서 선제적인 정책 이슈 발굴과 기획을 위한 분석 시스템으로서의 기초적 역할을 할 수 있을 것이다. 그러나 향후, 본 논문에서는 논의 되지 못했던 이슈 맵의 기능을 확장하여 비정형 데이터 베이스를 활용하거나 IP주소 및 기타 패킷 정보를 활용할 수 있도록 하는 추가 연구가 필요하며 기억 소멸 형 플레인과 중간 단계의 셀들 값을 관찰하여 새로운 이슈의 등장을 모니터하고 제어할 수 있는 추가적인 연구가 필요하다.
더욱이 시간소멸형 함수를 학습망의 앞 단계에 도입함으로써 이슈를 구성하는 중심 어휘 들의 시간에 따른 사용 빈도수를 반영할 수 있다. 제안된 방법은 사회의 여러 방면에서 선제적인 정책 이슈 발굴과 기획을 위한 분석 시스템으로서의 기초적 역할을 할 수 있을 것이다. 그러나 향후, 본 논문에서는 논의 되지 못했던 이슈 맵의 기능을 확장하여 비정형 데이터 베이스를 활용하거나 IP주소 및 기타 패킷 정보를 활용할 수 있도록 하는 추가 연구가 필요하며 기억 소멸 형 플레인과 중간 단계의 셀들 값을 관찰하여 새로운 이슈의 등장을 모니터하고 제어할 수 있는 추가적인 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	특정 이슈를 구성하는 어휘의 특징은?	이슈는 실시간으로 생성되는 데이터로부터 확인하여 추천시스템이나 의사결정 시스템 등의 주요 입력 값으로 활용될 수 있다. 특정 이슈를 구성하는 어휘들은 자연어로서 불규칙한 특성을 갖는다. 따라서 추상적 의미의 이슈를 구성하는 어휘의 군집이 다소 불완전하더라도 이를 인식할 수 있도록 학습의 입력패턴이 설계되어야 한다.
	WiseQA란?	2013년부터 10년간 인간의 지식증강서비스를 위해 빅데이터로 부터 스스로 학습하여 지식을 축적하고, 시스템 및 기기 간의 자율협업방식으로 새로운 문제를 해결하려는 연구가 진행되고 있다. 그 중 하나인 지능 진화형 질의응답 시스템인 WiseQA의 개발은 자연어 질문을 이해하고, 비정형 및 정형 지식베이스를 통해 정답 후보들을 추론하고 순위화, 필터링 등의 과정을 거쳐 최 종 정답을 근거와 함께 추론하는데 필요한 모듈을 개발한다[3]. 이 시스템에서는 의미정답유형 인식을 위해 다중클래스 분류에 기반한 기계학습모델을 사용한다[4].
	인공지능을 구현하는 방법중 딥러닝은 무엇인가?	따라서 기계학습을 사용하는 [5]의 논문에서도 이러한 한계를 해결하기 위한 방안으로 하이브리드 방식을 제안하기도 하였다[4]. 한편 딥러닝은 완전한 머신러닝을 실현하기 위한 기술로, 뇌의 뉴런과 유사한 정보 입출력 계층을 활용해 데이터를 학습하는 방법이며[6] 최근 병렬 연산에 최적화된 GPU가 등장함으로 인해 학습을 위한 대량의 연산과 속도 문제를 해결할 수 있게 됨으로써 여러 분야에서 연구가 이루어지고 있다[7][8]. 본 연구는 산업계와 학계에서 현재 진행 중인 빅데이터의 지식처리를 위한 자연어의 의 미추론에 관한 연구로서 그 대안을 제시하고자 한다.

참고문헌 (10)

김도우, 구명완, "Doc2Vec과 Word2Vec을 활용한 Convolutional Neural Network 기반 한국어 신문기사 분류," 정보과학회논문지, 제44권, 제7호, pp.742-747, 2017.

원문보기 상세보기
이태겸, 신경섭, "심층 신경망 기반 자연어처리 모델의 성능 비교," 한국통신학회논문지, 제44권, 제7호, pp.344-1350, 2019.
이형직, 류법모, 임수종, 장명길, 김현기, "빅데이터 지식처리 인공지능 기술동향," ETRI 전자통신동향분석, 제29권, 제4호, pp.30-38, 2014.
허정, 류법모, 김현기 외 1명, "WiseQA를 위한 정답 유형 인식," 정보처리학회논문지, 제4권, 제7호, pp.283-290, 2015.

원문보기 상세보기
Marius A. Pasca and Sandra M. Harabagiu, "High performance question/answering," Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval, ACM, 2001.
K. FUKUSHIMA, "Cognitron: a self-organizing multi-layered neural network model," Biol. Cybern., Vol.20, pp.121-136, 1975.

상세보기
이택희, CPU-GPU 이기종 임베디드 시스템에서 딥러닝 추론의 가속, 서울시립대학교 전자전기컴퓨터공학과, 석사학위논문, 2018.
구동균, Deep Learning을 이용한 택시 승객 승차 예측에 관한 연구, 서울시립대학교 교통공학과, 석사과정논문, 2018.
김정덕, "국가 정보보안 이슈 및 정책방안에 관한 연구," 디지털정책 연구, 제10권, 제1호, pp.105-111, 2012.

원문보기 상세보기
(주)시큐아이, 213년 상반기 10대 보인 이슈, 2013.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증