[논문]채팅 시스템 구현을 위한 3단계 문장 검색 방법

전원표; 송영길; 김학수

doi:10.5916/jkosme.2013.37.2.205

채팅 시스템 구현을 위한 3단계 문장 검색 방법
A three-step sentence searching method for implementing a chatting system 원문보기

한국마린엔지니어링학회지 = Journal of the Korean Society of Marine Engineering, v.37 no.2, 2013년, pp.205 - 212

전원표 (강원대학교 컴퓨터정보통신공학전공) , 송영길 (강원대학교 컴퓨터정보통신공학전공) , 김학수 (강원대학교 컴퓨터정보통신공학전공)

초록
AI-Helper

기존 채팅 시스템은 일반적으로 사용자 입력 문장과 데이터베이스 내 목표 문장들 사이의 어휘 일치도에 기반을 둔 방법을 사용한다. 그러나 이러한 방법은 어휘 불일치 문제를 자주 일으킨다. 이러한 문제를 해결하기 위해 순차적으로 적용되는 3단계 문장 검색 방법을 제안한다. 첫 번째 단계는 어휘 수준에서 사용자 입력 문장과 목표 문장들 사이의 공통 키워드 열을 비교하는 것이다. 두 번째 단계는 의미 수준에서 사용자 입력 문장과 데이터베이스 내 문장들 사이의 문장 유형과 의미 표지를 비교하는 것이다. 마지막 단계는 미리 정의된 어휘-구문 패턴을 사용자 입력 문장과 매칭하는 것이다. 실험에서 제안된 방법은 단순 키워드 매칭 방법 보다 더 나은 응답 정확도와 사용자 만족도를 보였다.

Abstract ▼ AI-Helper

The previous chatting systems have generally used methods based on lexical agreement between users' input sentences and target sentences in a database. However, these methods often raise well-known lexical disagreement problems. To resolve some of lexical disagreement problems, we propose a three-step sentence searching method that is sequentially applied when the previous step is failed. The first step is to compare common keyword sequences between users' inputs and target sentences in the lexical level. The second step is to compare sentence types and semantic markers between users' input and target sentences in the semantic level. The last step is to match users's inputs against predefined lexico-syntactic patterns. In the experiments, the proposed method showed better response precision and user satisfaction rate than simple keyword matching methods.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

대화 형식의 비행기, 기차표 예매 시스템 등이 여기에 해당한다. 말 잇기 채팅 시스템은 특별한 목적 없이 흐름을 유지한 채 대화를 진행해 나가는 것을 목적으로 한다. 최초의 채팅 시스템인 ‘ELIZA’가 여기에 해당한다[4].
이러한 채팅 시스템은 그 목적에 따라 크게 목적 지향 채팅 시스템과 말 잇기 채팅 시스템으로 나눌 수 있다. 목적 지향 채팅 시스템은 사용자로부터 질의를 입력받아 길 안내나 조작 방법 등을 알려주는 것을 목적으로 한다. 대화 형식의 비행기, 기차표 예매 시스템 등이 여기에 해당한다.
최초의 채팅 시스템인 ‘ELIZA’가 여기에 해당한다[4]. 목적에 따라 구분을 하였지만 궁극적으로는 사용자로 하여금 마치 사람과 채팅하는 것 같은 느낌이 들 수 있도록 자연스러운 응답을 생성하는 것을 목적으로 한다. 그러나 기존의 채팅 시스템들은 대부분 단순한 패턴 매칭 기법을 사용하기 때문에 특정 영역에 한정되거나 인간의 복잡하고 다양한 대화 현상을 설명하기에는 부족한 성능을 보여준다.
본 논문에서는 어휘 수준 색인 및 검색 기법에서 생기는 어휘 불일치 문제를 해결하기 위해 3단계 문장 검색 기법과 그것을 위한 색인 방법을 제안했다. 실험 결과 채팅 말뭉치 내에 존재하는 문장의 경우 어휘 수준 색인 및 검색 기법의 성능이 높았다.
본 논문에서는 어휘 정보에 의존하여 검색할 경우 발생하는 문제를 해결하기 위해 3단계 문장 검색 기법과 그것을 위한 색인 방법을 제안한다. 제안 방법은 문장의 의미를 고려하여 데이터를 검색하기 때문에 기본 채팅 말뭉치의 활용도를 극대화할 수 있다.
어휘 정보에만 의존하여 대화를 한다면 비슷하거나 동일한 대화가 계속되어 채팅의 유연성이 부족해진다. 본 논문에서는 이러한 문제를 해결하기 위해 사용자 발화의 의미를 고려하고 말뭉치 활용도를 극대화하여 응답할 수 있는 3단계 문장 검색 기법과 그것을 위한 색인 방법을 제안한다.
사용자 친화적인 해양 정보 시스템을 구축하기 위한 방법으로 애플(Apple)사의 시리(Siri)와 같은 가상 비서 소프트웨어가 각광받고 있다. 본 논문은 이러한 시스템을 구축에 기반이 되는 채팅 시스템 구현을 위한 문장 검색 방법을 제안한다.
본 절에서는 의미 정보를 추출하고, 이를 기반으로 의미 표현 색인하는 방법에 대하여 설명한다. 본 논문에서 사용한 의미 정보는 Table 3, 4, 5와 같이 정의한다.

가설 설정

사용자 만족도는 Table 9와 같이 변형된 100문장을 입력하여 출력되는 시스템 발화의 점수를 측정하였다. 배점은 3점 만점으로 2, 3점을 정답으로 가정하였다. 채점 기준은 시스템 발화가 되지 않는 경우와 시스템 발화는 되나 사용자 발화와 관련 없는 답변일 경우 1점, 자연스럽지 못하나 말을 이어갈 수 있는 경우 2점, 사용자 발화에 대해 자연스럽고 의미가 통하는 시스템 발화가 출력될 경우 3점을 주었다.
제안 시스템의 응답 정확률을 측정하기 위해 실험자의 사용자 만족도가 2, 3점인 경우를 정답이라 가정한다. 원본 사용자 발화와 변형된 사용자 발화를 입력 했을 경우 제안 시스템의 응답 정확률은 Table 13, 14와 같다.

제안 방법

제안 방법은 어휘 수준, 의미 수준, 패턴 기반 말잇기 모두 3단계로 구성되어 있다. 각 단계 별로 필요한 자질을 추출하여 색인 데이터베이스를 생성하고 검색한다. 제안 시스템의 구조는 Figure 1과 같다.
격 정보 추출을 위해 사용된 패턴은 한국어 문장의 특성을 적용하여 정규 표현식을 이용하여 작성하였다. Table 6은 격 정보 추출 패턴의 일부이다.
그래서 제안 방법에서는 어휘 수준 검색 1∼3단계를 순서대로 진행하지 않고, 어휘 수준 검색 1, 2단계 수행 후 2절의 의미 수준 검색을 수행한 뒤 어휘 수준 검색 3단계를 수행하도록 하였다.
실험은 색인된 채팅 대화 쌍 중 임의의 사용자 발화 100문장을 선택하여 의미는 동일하지만 문장의 모양을 바꾸어 제안 시스템의 입력으로 넣어 실험한다. 문장의 모양을 바꾸기 위해 선택한 100문장을 컴퓨터 전공자 5명에게 각각 배포하여 변형하도록 하였다. 전체 49,313개로 이루어진 말뭉치를 100문장으로 성능의 객관성을 판단하기는 어렵지만, 5명의 실험자가 수동으로 문장을 변형하고 직접 입력하여 성능을 측정해야 하기 때문에 많은 문장을 입력으로 하기엔 어려움이 있다.
실험은 색인된 채팅 대화 쌍 중 임의의 사용자 발화 100문장을 선택하여 의미는 동일하지만 문장의 모양을 바꾸어 제안 시스템의 입력으로 넣어 실험한다. 문장의 모양을 바꾸기 위해 선택한 100문장을 컴퓨터 전공자 5명에게 각각 배포하여 변형하도록 하였다.
의미 표현 검색을 위하여 사용자 발화를 2.1의 색인 키와 같은 형태로 변형하여 색인 데이터베이스로부터 후보 문장을 검색한다. 후보 문장이 검색되면 각 후보들의 순위화를 위해 입력 문장과의 유사도 계산을 수행한다.
사용자 발화를 의미 수준에서 색인 및 검색하기 위해서는 사용자 발화에서 의미 정보를 추출해야 한다. 이를 기반으로 사용자 발화를 준 의미 표현으로 변환하여 색인하고, 의미 표현 매칭 및 순위화한다.
제안 방법은 어휘 수준, 의미 수준, 패턴 기반 말잇기 모두 3단계로 구성되어 있다. 각 단계 별로 필요한 자질을 추출하여 색인 데이터베이스를 생성하고 검색한다.
제안한 방법의 성능 평가를 위한 실험 척도는 응답 정확률과 사용자 만족도 두 가지로 평가한다. 응답 정확률(Response Precision)은 식 (1)과 같이 계산한다.
채점 기준은 시스템 발화가 되지 않는 경우와 시스템 발화는 되나 사용자 발화와 관련 없는 답변일 경우 1점, 자연스럽지 못하나 말을 이어갈 수 있는 경우 2점, 사용자 발화에 대해 자연스럽고 의미가 통하는 시스템 발화가 출력될 경우 3점을 주었다. 채점은 5명의 실험자가 각각 채점하여 합산하여 평균을 구하였다.

대상 데이터

의미정보 유형 및 양상은 Transformation Based Learning(TBL)[11]을 이용하여 추출하고, 격 정보는 휴리스틱 규칙 기법을 이용하여 추출한다. TBL 학습을 위해서 유형 및 양상 정보가 태깅된 채팅 말뭉치 49,312 문장을 사용하였다. 학습 자질은 첫 번째 어절과 두 번째 어절, 마지막 어절과 마지막 이전 어절, 형용사 어절과 주 용언 어절의 6개 어절로부터 각각 내용어와 형식어의 어휘와 품사의 4가지를 사용하였다.
실험에 사용된 채팅 말뭉치는 실제 모바일 메신저에서 수집된 사용자 발화와 시스템 발화로 구성된 총 49,313개 대화 쌍으로 사용자 발화에 대하여 문장유형, 양상정보가 태깅되어 있다. 평균 어절 수는 4.
TBL 학습을 위해서 유형 및 양상 정보가 태깅된 채팅 말뭉치 49,312 문장을 사용하였다. 학습 자질은 첫 번째 어절과 두 번째 어절, 마지막 어절과 마지막 이전 어절, 형용사 어절과 주 용언 어절의 6개 어절로부터 각각 내용어와 형식어의 어휘와 품사의 4가지를 사용하였다. Figure 2는 TBL 학습 자질의 예이다.

데이터처리

기타는 집합이므로 사용자 발화의 의미 표현과 색인 문장의 의미 표현 사이의 Dice’s Coefficient로 계산한다.

이론/모형

본 절에서는 1단계 어휘 수준 색인 및 검색에 대하여 설명한다. 어휘 수준 검색은 3단계 문장 축약 및 매칭 기법을 사용한다. Table 1은 어휘 수준 검색에서 각 단계별 문장 축약 수준을 나타낸다.
의미정보 유형 및 양상은 Transformation Based Learning(TBL)[11]을 이용하여 추출하고, 격 정보는 휴리스틱 규칙 기법을 이용하여 추출한다. TBL 학습을 위해서 유형 및 양상 정보가 태깅된 채팅 말뭉치 49,312 문장을 사용하였다.

성능/효과

실험 결과 원본 사용자 발화의 경우 어휘 수준 검색의 성능이 월등함을 보였다. 그 이유는 의미 수준 검색의 경우 문장에서 의미 정보를 추출하여 색인할 때, 말뭉치 내에서 같은 의미 정보를 가지는 문장들 때문에 나타나는 오류로 확인 되었고, 말 잇기의 경우 패턴 수집 시 어휘, 의미 수준 검색에서 발화가 안 되는 경우를 중점적으로 수집하였기 때문이다.
본 논문에서는 어휘 수준 색인 및 검색 기법에서 생기는 어휘 불일치 문제를 해결하기 위해 3단계 문장 검색 기법과 그것을 위한 색인 방법을 제안했다. 실험 결과 채팅 말뭉치 내에 존재하는 문장의 경우 어휘 수준 색인 및 검색 기법의 성능이 높았다. 하지만 의미는 동일하지만 문장의 모양이 변형된 사용자 발화의 경우는 제안한 기법이 정확률 78%로 월등히 성능이 높음을 확인할 수 있었다.
그 이유는 의미 수준 검색의 경우 문장에서 의미 정보를 추출하여 색인할 때, 말뭉치 내에서 같은 의미 정보를 가지는 문장들 때문에 나타나는 오류로 확인 되었고, 말 잇기의 경우 패턴 수집 시 어휘, 의미 수준 검색에서 발화가 안 되는 경우를 중점적으로 수집하였기 때문이다. 의미는 동일 하지만 문장의 모양을 변형한 경우 의미 수준 검색의 정확률이 55%로 가장 높았다. 이러한 결과를 보이는 이유는 어휘 수준 검색의 어휘 불일치 문제로 인하여 발생하는 것으로 확인했다.
본 논문에서는 어휘 정보에 의존하여 검색할 경우 발생하는 문제를 해결하기 위해 3단계 문장 검색 기법과 그것을 위한 색인 방법을 제안한다. 제안 방법은 문장의 의미를 고려하여 데이터를 검색하기 때문에 기본 채팅 말뭉치의 활용도를 극대화할 수 있다.
이러한 결과를 보이는 이유는 어휘 수준 검색의 어휘 불일치 문제로 인하여 발생하는 것으로 확인했다. 제안한 3단계 문장 검색 기법의 경우 78%로 제안한 방법의 타당함을 확인 할 수 있는 결과이다.
각 단계를 독립적으로 사용하지 않고, 조합하여 실험한 결과는 Table 12와 같다. 제안한 방법으로 실험 했을 경우 실험 방법 2, 4, 5에서 평균 사용자 만족도가 2점 이상으로 각 단계를 독립적으로 사용했을 때 보다 높은 성능 향상이 있음을 알 수 있다.
실험 결과 채팅 말뭉치 내에 존재하는 문장의 경우 어휘 수준 색인 및 검색 기법의 성능이 높았다. 하지만 의미는 동일하지만 문장의 모양이 변형된 사용자 발화의 경우는 제안한 기법이 정확률 78%로 월등히 성능이 높음을 확인할 수 있었다. 이는 상대적으로 적은 양의 말뭉치를 이용하여 많은 사용자 발화를 인식할 수 있음을 나타낸다.

후속연구

이는 상대적으로 적은 양의 말뭉치를 이용하여 많은 사용자 발화를 인식할 수 있음을 나타낸다. 향후 과제로 실험에 필요한 변형된 사용자 발화를 자동으로 구축할 수 있는 방법을 연구할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	유전 알고리즘을 활용하여 기존 문장으로 부터 더 나은 응답 문장을 생성하는 방법은 무엇이 필요한가?	Vrajitoru[8][10]는 유전 알고리즘을 활용하여 기존 문장으로 부터 더 나은 응답 문장을 생성하는 방법을 제안하였다. 하지만 이 방법은 문법이 잘못된 문장을 생성할 수 있기 때문에 적절한 필터링이 필요하다.
	채팅 시스템이란?	채팅 시스템은 인간에게 익숙한 자연어를 사용한다는 점에서 사용자 친화적인 인터페이스이며, 목적 지향 대화 시스템을 보완하여 시스템 환경을 인간 중심적으로 만든다는 점에서 중요한 의미를 가진다. 이러한 채팅 시스템은 그 목적에 따라 크게 목적 지향 채팅 시스템과 말 잇기 채팅 시스템으로 나눌 수 있다.
	목적 지향 채팅 시스템의 목적은?	이러한 채팅 시스템은 그 목적에 따라 크게 목적 지향 채팅 시스템과 말 잇기 채팅 시스템으로 나눌 수 있다. 목적 지향 채팅 시스템은 사용자로부터 질의를 입력받아 길 안내나 조작 방법 등을 알려주는 것을 목적으로 한다. 대화 형식의 비행기, 기차표 예매 시스템 등이 여기에 해당한다.

참고문헌 (11)

J.-M. Seo and H.-K. Hwang, "A design and implementation of database for integrated data management on shipboard" Journal of the Korean Society of Marine Engineering, vol. 34, no. 34, pp. 1188-1194, 2010 (in Korean).

원문보기 상세보기
Y.-S. Ha, "The prospects of intelligent robots for marine pollution response", Journal of the Korean Society of Marine Engineering, vol. 26, no. 4, pp. 408-414, 2002 (in Korean).
Y.-S. Ha and S.-J. Oh, "Multi-sensor fusion as a sensing technique for system intelligence", Journal of the Korean Society of Marine Engineering, vol. 24, no. 2, pp. 151-157, 2000 (in Korean).
J. Weizenbaum "ELIZA-A computer program for the study of natural language communication between man can machine", Communications of the Association for Computing Machinery, vol. 9, no. 1, pp. 36-46, 1996.
J.-H. Kim, D.-S Jang, and H.-S Kim, "Statistical generation of korean chatting sentences using multiple feature information", Korean Journal of Cognitive Science, vol. 20, no. 4, pp. 421-437, 2009 (in Korean).

원문보기 상세보기
M. L. Mauldin, "ChatterBots, TinyMuds, and the turing test: entering the Loebner prize competition", Proceedings of the Twelfth National Conference on Artificial Intelligence, vol. 1, pp. 16-21. 1994.
B. P. Schumaker, Ying Liu, Mark Ginsburg, and Hsinchun Chen, "Evaluating mass knowledge acquisition using the ALICE chatterbot: the AZ-ALICE dialog system", International Journal of Human-Computer Studies, vol. 64, no 11, pp. 1132-1140. 2006.

상세보기
Jason L. Hutchens, Michael D. Alder, "Introducing MegaHAL", NeMLaP3 / CoNLL98 Workshop on Human-Computer Conversation, Association for Computational Linguistics, pp. 271-274, 1998.
D. Vrajitoru, "Evolutionary sentence building for chatterbots", Genetic and Evolutionary Computation Conference, pp. 315-321, 2003.
D. Vrajitoru, J. Ratkiewicz, "Evolutionary sentence combination for chatterbots", The IASTED International Conference on Artificial Intelligence and Applications, pp. 287-292, 2004.
J. R Curran, R. K. Wong, "Formalization of transformation-based learning", Australasian Computer Science Conference, pp. 51-57, 2000.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증