[논문]NTIS 시스템에서 딥러닝과 형태소 분석 기반의 대화형 검색 서비스 설계 및 구현

이종원; 김태현; 최광남

doi:10.22156/cs4smb.2020.10.12.009

NTIS 시스템에서 딥러닝과 형태소 분석 기반의 대화형 검색 서비스 설계 및 구현
Design and Implementation of Interactive Search Service based on Deep Learning and Morpheme Analysis in NTIS System 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.10 no.12, 2020년, pp.9 - 14

이종원 (한국과학기술정보연구원) , 김태현 (한국과학기술정보연구원) , 최광남 (한국과학기술정보연구원)

초록
AI-Helper

현재 NTIS(National Technology Information Service)는 인공지능 기술을 기반으로 대화형 검색 서비스를 구축하고 있다. 이용자의 검색 의도를 파악하고 과제정보를 제공하기 위해 딥러닝 모델과 형태소 분석기를 기반으로 대화형 검색 서비스를 구축한다. 딥러닝 모델은 NTIS와 대화형 검색 서비스를 활용할 때 적재되는 로그 데이터를 기반으로 학습을 진행하고 이용자의 검색 의도를 파악한다. 그리고 단계별 검색을 통해 과제정보를 제공한다. 검색 의도 파악은 예외처리를 용이하게 해주며 단계별 검색은 통합검색보다 쉽고 빠르게 원하는 정보를 얻을 수 있도록 한다. 향후연구로는 인공지능 기술이 접목된 성장형 대화형 검색 서비스로써 이용자에게 제공하는 정보의 범위를 확대해야 한다.

Abstract ▼ AI-Helper

Currently, NTIS (National Technology Information Service) is building an interactive search service based on artificial intelligence technology. In order to understand users' search intentions and provide R&D information, an interactive search service is built based on deep learning models and morpheme analyzers. The deep learning model learns based on the log data loaded when using NTIS and interactive search services and understands the user's search intention. And it provides task information through step-by-step search. Understanding the search intent makes exception handling easier, and step-by-step search makes it easier and faster to obtain the desired information than integrated search. For future research, it is necessary to expand the range of information provided to users.

주제어

표/그림 (10)

그림 Fig. 1. Configuration of Software
그림 Fig. 2. Dataflow of Irrelevant Query
그림 Fig. 3. Dataflow of BiLSTM Model
그림 Fig. 4. Refined Dataset
그림 Fig. 5. Screen of Admin (Setting Irrelevant Query)
그림 Fig. 6. Flow of Irrelevant Query Processing
그림 Fig. 7. Response Screen of Irrelevant Query
그림 Fig. 8. Flow of Morpheme Analyzer Processing
그림 Fig. 9. Answer Screen of User's Query 1
그림 Fig. 10. Answer Screen of User's Query 2

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이용자의 검색 의도가 검색을 위한 것인지 파악하고 질의 내용과 관련된 과제정보를 제공하는 대화형 검색 서비스를 제안한다[2-4]. 이용자의 검색 의도를 파악하기 위해서 NTIS를 활용할 때 적재되는 로그 데이터를 딥러닝 모델이 학습하고 판단하도록 한다.
제안하는 시스템은 이용자들의 검색 의도를 파악하고 단계별로 검색 범위를 좁혀나가는 환경을 제공하는 것이다. 이로 인해 제안하는 시스템은 다른 대화형 검색 서비스들에 비해 관련없는 질의 내용을 용이하게 처리할 수 있으며 현재 NTIS에서 제공하는 통합검색 서비스 보다 빠르고 쉽게 검색이 가능하다.

제안 방법

NTIS를 이용할 때 적재된 로그 데이터들을 정제하여 딥러닝 모델이 학습할 수 있도록 전처리를 진행한다. 전처리를 진행하게 될 로그 데이터는 2018년 1월부터 2019년 8월까지 적재된 데이터를 사용하였다.
이를 위해 예외처리로 등록한 문장을 단어단위로 나누고 이를 딥러닝 모델이 학습한다. 그리고 단어들이 과제정보와 관련이 있는지를 판별하여 예외처리를 진행한다. 예외처리가 완료되면 단계별 검색을 진행하여 이용자들의 선택에 따라 검색 범위를 좁혀나간 뒤 과제정보를 제공한다.
처리를 진행한다. 그리고 이용자의 선택에 따라 검색 엔진이 검색 범위를 단계별로 좁힌 뒤 과제정보를 제공한다. Fig.
이를 위해 딥러닝 모델이 지속적으로 성장할 수 있는 환경을 구축해야 한다. 셋째, 단계별 검색이 시작되면 형태소 분석기로 질의 내용을 분석하고 이와 관련된 과제정보를 제공한다. 검색 방식은 이용자의 선택에 따라 검색 범위를 좁혀나간다.
1만건의 국가연구개발사업과 관련된 과제정보를 관리하고 있고 15만명 이상의 연구자들이 과제정보를 검색하고 있다. 이러한 상황에서 통합검색보다 쉽고 빠르게 과제정보를 제공하기 위해서 데이터 기반 형태의 대화형 검색 서비스를 구축하였다.
다양한 이용자들이 활용하는 서비스이기 때문에 예외처리를 관리자가 직접 관리하는 것은 비효율적이다. 이를 위해 예외처리로 등록한 문장을 단어단위로 나누고 이를 딥러닝 모델이 학습한다. 그리고 단어들이 과제정보와 관련이 있는지를 판별하여 예외처리를 진행한다.
이러한 이유들로인해 기존의 대화형 검색 서비스들은 이용자들의 다양한 질의나 목적에 대응하는 것이 어려웠었다. 이를 해결하기 위해 제안하는 시스템은 이용자들이 NTIS를 활용했을 때 적재된 로그 데이터를 딥러닝 모델로 학습한다. 그리고 학습 결과를 바탕으로 이용자들의 검색 의도를 파악할 수 있도록 한다.
제공해주는 것이 주목적이었다. 이에 반해 제안하는 시스템은 대규모로 관리되고 있는 과제정보를 대상 데이터로 다루고 수많은 이용자들에게 과제정보를 제공할 수 있도록 구축하였다. 이는 데이터 기반 형태의 대화형 검색 서비스로써 NTIS를 활용하는 모든 이용자들이 통합검색에 비해 쉽고 빠르게 과제정보를 얻을 수 있도록 도움을 줄 수 있는 검색 시스템임을 시사한다.
이에 반해 제안하는 시스템은 문장을 분석하여 단어 단위로 학습하고 과제정보와 단어들의 연관성을 분석한다. ‘오늘’과 ‘알려줘’라는 단어는 과제정보와 관련이 없기 때문에 예외처리가 진행되며 ‘날씨’라는 단어는 과제정보와 관련이 있기 때문에 예외처리를 진행하지 않는다.
이용자의 검색 의도를 파악하기 위해서 NTIS를 활용할 때 적재되는 로그 데이터를 딥러닝 모델이 학습하고 판단하도록 한다. 그리고 형태소 분석기가 질의 내용을 분석하고 이와 관련된 과제정보를 제공한다[5-7].
제안하는 시스템은 NTIS를 활용하는 이용자들의 로그 데이터를 학습하여 이용자들의 검색 의도를 파악한다. 다양한 이용자들이 활용하는 서비스이기 때문에 예외처리를 관리자가 직접 관리하는 것은 비효율적이다.
제안하는 시스템은 딥러닝 모델과 형태소 분석기로 구성하였다. 딥러닝 모델은 NTIS를 이용하는 이용자들의 로그 데이터를 기반으로 학습을 진행하고 이용자의 질의에 대해서 예외처리 여부를 판별한다.

대상 데이터

로그 데이터 수집 35, 207, 975건, 실제 과제정보를 검색한 로그 데이터 1, 610, 169건, NaN 제거 후 1, 383, 657건, 중복 제거 후 364, 343건, 샘플링 500건, 일반적인 대화 또는 관련없는 문장 생성 200건, 학습데이터 구성 및 라벨링 700건 등 전처리 및 학습 데이터 정제를 진행하였다. Fig.
본 논문에서는 75 : 25 비율의 학습 데이터와 검증 데이터를 활용하였다. 그리고 BiLSTM 모델을 활용하여 인공신경망 구조를 구축하였다.
전처리를 진행하게 될 로그 데이터는 2018년 1월부터 2019년 8월까지 적재된 데이터를 사용하였다. 그리고 전처리는 다음과 같은 순서로 진행하였다.

이론/모형

본 논문에서는 75 : 25 비율의 학습 데이터와 검증 데이터를 활용하였다. 그리고 BiLSTM 모델을 활용하여 인공신경망 구조를 구축하였다.

성능/효과

첫째, 이용자들이 검색을 진행할 때 입력하는 자연어를 처리하기 위해서 용어사전이 요구된다. 둘째, 기존의 대화형 검색 서비스들은 미리 지정한 질의나 범주 내에서만 응답이 가능하였다. 그리고 불용어를 등록하면 해당 불용어가 포함된 질의는 모두 예외처리를 진행하기 때문에 이용자가 원활하게 서비스를 이용할 수 없는 경우가 발생하였다.
이로 인해 제안하는 시스템은 다른 대화형 검색 서비스들에 비해 관련없는 질의 내용을 용이하게 처리할 수 있으며 현재 NTIS에서 제공하는 통합검색 서비스 보다 빠르고 쉽게 검색이 가능하다. 이러한 장점들을 바탕으로 제안하는 시스템이 지능형 NTIS 서비스로써 자리매김할 것으로 기대한다.

후속연구

이로 인해 제안하는 시스템은 다른 대화형 검색 서비스들에 비해 관련없는 질의 내용을 용이하게 처리할 수 있으며 현재 NTIS에서 제공하는 통합검색 서비스 보다 빠르고 쉽게 검색이 가능하다. 이러한 장점들을 바탕으로 제안하는 시스템이 지능형 NTIS 서비스로써 자리매김할 것으로 기대한다.

참고문헌 (15)

J. T. Kim & H. G. Lee & H. S. Kim. (2020). Effective Generative Chatbot Model Trainable with a Small Dialogue Corpus. Journal of Korean Institute of Information Scientists and Engineers, 46(3), 246-252. DOI : 10.5626/JOK.2019.46.3.246

상세보기
D. A. Park. (2017). A Study on Conversational Public Administration Service of the Chatbot Based on Artificial Intelligence. Journal of Korea Mutimedia Society, 20(8), 1347-1356 DOI : I410-ECN-0101-2018-004-001287355
M. J. Kang. (2018). A Study of Chatbot Personality based on the Purposes of Chatbot. Journal of the Korea Contents Association, 18(5), 319-329. DOI : I410-ECN-0101-2018-310-002251103
J. J. Kim & H. J. Jo. (2019). Development of Conversational News Chatbot System Based on User Intent Analysis. Journal of Digital Contents Society, 20(5), 963-972. DOI : 10.9728/dcs.2019.20.5.963

상세보기
M. C. Sung. (2020). Pre-Service Primary English Teachers' AI Chatbots. Journal of Language Research, 56(1), 97-115. DOI : 10.9728/dcs.2019.20.2.241
S. H. Choi & J. Y. Kim & J. H. Song & S. M. Jung & S. J. Hong. (2019). Labor Law Consulting System With IBM Watson Chatbot. Journal of Digital Contents Society, 20(2), 241-249. DOI : 10.9728/dcs.2019.20.2.241

상세보기
J. W. Kim & H. I. Jo & B. G. Lee. (2019). The Study on the Factors Influencing on the Behavioral Intention of Chatbot Service for the Financial Sector - Focusing on the UTAUT Model. Journal of Digital Contents Society, 20(1), 41-50. DOI : 10.9728/dcs.2019.20.1.41

상세보기
X. F. Wang & H. C. Kim. (2018). Text Categorization with Improved Deep Learning Methods. Journal of Information and Communication Convergence Engineering, 16(2), 106-113. DOI : 10.6109/jicce.2018.16.2.106

원문보기 상세보기
D. H. Seo & J. S. Lyu & E. J. Choi & S. H. Cho & D. K. Kim. (2018). Web based Customer Power Demand Variation Estimation System using LSTM. Journal of the Korea Institute of Information and Communication Engineering, 22(4), 587-594. DOI : 10.6109/jkiice.2018.22.4.587

원문보기 상세보기
J. W. Lee & H. Y. Kim & H. K. Jung. (2020). Deep Learning Module Optimization based on Sequential Data Prediction. ASM Science Journal, 13(1), 82-91.
Y. H. Kim & Y. K. Hwang & T. G. Kang & K. M. Jung. (2016). LSTM Language Model Based Korean Sentence Generation. The Journal of Korean Institute of Communications and Information Sciences, 41(5), 592-601. DOI : 10.7840/kics.2016.41.5.592

원문보기 상세보기
I. T. Joo & S. H. Choi. (2018). Stock Prediction Model based on Bidirectional LSTM Recurrent Neural Network. Journal of Korea institute of information, electronics, and communication technology, 11(2), 204-208. DOI : 10.17661/jkiiect.2018.11.2.204

원문보기 상세보기
H. I. Kim & J. Y. Lee. (2020). Prediction of Urban Flood Extent by LSTM Model and Logistic Regression. Journal of the Korean Society of Civil Engineers, 40(3), 273-283. DOI : 10.12652/Ksce.2020.40.3.0273

원문보기 상세보기
T. H. Min & H. J. Shin & J. S. Lee. (2019). Korean Spatial Information Extraction using Bi-LSTM-CRF Ensemble Model. The Journal of the Korea Contents Association, 19(11), 278-287. DOI : 10.5392/JKCA.2019.19.11.278

원문보기 상세보기
H. Y. Yu & Y. J. Ko. (2017). Expansion of Word Representation for Named Entity Recognition Based on Bidirectional LSTM CRFs. Journal of Korean Institute of Information Scientists and Engineers, 44(3), 306-313. DOI : 10.5626/JOK.2017.44.3.306

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증