[논문]한국어 문형을 이용한 문장 정규화 기반의 FAQ 자동 응답 시스템

배경만; 백종탁; 고영중; 김종훈

문제 정의

[6]에서는 위치 정보만을 이용하여 문장을 비교하는 방법을 제안하였지만 속도가 너무 느리다는 단점이 있다. 본 논문에서는 위치정보를 가지는 단어 집합을 추가하면서도 빠르게 문장 비교를 할 수 있는 방법을 제안한다. 하지만 위치 정보를 추가하는 방법도 단어가 가지는 중요한 정보인 문장 성분에 대한 정보를 나타내지 못한다.
본 논문에서는 한국어 문형을 이용한 문장 정규화 기반의 FAQ 자동 응답 시스템을 제안한다. 제안하는 FAQ 시스템은 군집화 기반 FAQ 시스템을 사용한다.
본 연구는 FAQ 자동 응답 시스템에서 효과적인 문장 비교를 위한 문장 정규화 방법을 목적으로 한다. 실험을 위해서 비교 대상이 되는 2개의 문장이 필요하다.
본 논문에서는 위치정보가 고려된 효과적인 문장 비교 방법을 사용하여 사용자 질의에 대해 자동으로 유사한 FAQ 후보 정답을 보여주는 FAQ 자동 응답 시스템을 구축하였다. 본 연구는 문장에서 단어의 위치 정보를 고려하는 것이 문장 비교의 성능 향상에 도움이 된다는 성과를 얻었다. 특히 단어가 가지는 순수 위치보다는 정규화를 통해 단어가 문장 성분 내에서 가지는 위치를 고려하는 것이 문장 비교에 큰 영향을 준다는 것을 알 수 있었다.

가설 설정

3. 모든 문장 성분을 찾고 나면 나머지는 기타 문형 틀에 넣는다.
3. 입력된 단어는 문장 성분과 문장 성분에서의 위치로 표현한다.

제안 방법

2. 각 FAQ 카테고리와 유사도를 비교한다.
FAQ finder는 FAQ 목록을 이용해 개선된 FAQ 탐색을 위한 방법 제안하였다[1,2]. FAQ 텍스트 파일은 질문(question), 섹션(section), 표제(heading), 키워드(keyword) 등으로 구성하고, FAQ와 사용자 질의를 매칭하기 위해서 사용자 질의를 구문적으로 파싱하여 동사와 명사를 식별하였다. 인덱스 내의 FAQ와 사용자 질의 사이의 일치 가능한 단어를 선택하여 개념 매칭을 이용한 시스템이다.
Auto-FAQ는 FAQ를 인덱싱하지 않는 시스템으로 자동화된 FAQ 응답을 목표로 한다[3]. Shallow NLP 기술을 이용한 키워드 비교 기반 FAQ 분석 방법을 제안하였다. Sneiders' 시스템은 키워드를 필수, 옵션, 부적절과 같이 분류하여 3가지 유형으로 FAQ 검색결과를 순위화하는 방법을 제안하였다[4].
첫 번째는 유니그램과 바이그램만으로 자질을 선정하여 유사도를 계산한 기준으로 MRR을 계산한다. 두 번째는 본 논문에서 제안하는 위치 정보(단어1, 단어2, ...)를 추가한 자질 선정 방법을 이용하여 유사도를 계산한 기준으로 MRR을 계산한다. 마지막으로 정규화(주어1, 주어2, 목적어1, .
)를 추가한 자질 선정 방법을 이용하여 유사도를 계산한 기준으로 MRR을 계산한다. 마지막으로 정규화(주어1, 주어2, 목적어1, ...)를 통해 문장 성분 정보와 성분 내 위치 정보를 추가하여 유사도를 계산한 기준으로 MRR을 계산한다.
이 장에서는 문장 성분 정보와 성분 내 위치 정보를 고려한 효과적인 문장 비교를 방법을 설명한다. 본 논문에서는 문장 유사도 비교를 위해 자질(feature)을 결정할 때 유니그램과 바이그램을 이용하는 것에 추가적으로 단어의 위치 정보와 문장 성분 정보, 그리고 성분 내 위치 정보를 고려한 방법을 제안한다. 이를 위해 한국어 문형을 기반으로 문장을 정규화 방법을 제안한다.
본 논문에서는 위치정보가 고려된 효과적인 문장 비교 방법을 사용하여 사용자 질의에 대해 자동으로 유사한 FAQ 후보 정답을 보여주는 FAQ 자동 응답 시스템을 구축하였다. 본 연구는 문장에서 단어의 위치 정보를 고려하는 것이 문장 비교의 성능 향상에 도움이 된다는 성과를 얻었다.
본 연구의 성능을 평가하기 위해 사용자 질의가 입력되었을 때 가장 유사한 FAQ를 찾아주는 간단한 FAQ 자동 응답 시스템을 구축하였다. 제안된 시스템은 사용자 질의가 들어 왔을 때 유사도가 높은 상위 5개 FAQ를 후보로 보여준다.
FRACT는 클러스터링 기법을 이용 하여 질의와 문서 간 어휘 불일치 문제 해결하는 방법을 제안하였다[5]. 사전에 정의된 FAQ 카테고리에 질의 로그(log)를 클러스터링 하여 검색 시 새로운 질의를 FAQ 카테고리와 유사도를 비교하여 결과를 보여주는 클러스터링 기반 FAQ 검색 시스템을 제안하였다.
바이그램을 이용하면 단어 사이의 문맥 정보가 추가되기 때문에 성능이 향상된다. 유니그램과 바이그램을 이용하여 자질을 선정하는 방법을 기본으로 하여 논문에서 제안한 순수 위치 정보만을 추가하는 방법과 문장 성분 정보와 문장 성분 내에서의 위치 정보를 추가하는 정규화를 통해 자질을 선정하여 MRR을 계산하였다. [표5]에서 보는 바와 같이 바이그램을 통해 추가된 문맥 정보와 위치 정보를 이용한 것 보다 문맥 정보와 문장 성분 정보 그리고 성분 내 위치 정보를 이용한 것이 성능이 향상됨을 볼 수 있다.
본 논문에서는 문장 유사도 비교를 위해 자질(feature)을 결정할 때 유니그램과 바이그램을 이용하는 것에 추가적으로 단어의 위치 정보와 문장 성분 정보, 그리고 성분 내 위치 정보를 고려한 방법을 제안한다. 이를 위해 한국어 문형을 기반으로 문장을 정규화 방법을 제안한다.
이를 해결하기 위해 본 논문에서는 유니그램 단어 집합과 바이그램 단어 집합으로 문장을 표현하는 것에 위치 정보를 가지는 단어 집합과 문장 성분과 성분 내 위치 정보를 가지는 단어 집합을 추가한다. 이를 위해 한국어 문형을 이용한 문장 정규화 방법을 제안한다.
같은 단어라도 주어 위치에 있는 것과 보어 위치에 있는 것은 다른 가중치를 가져야 함에도 같은 가중치를 가지고 계산되는 문제가 발생한다. 이를 해결하기 위해 본 논문에서는 유니그램 단어 집합과 바이그램 단어 집합으로 문장을 표현하는 것에 위치 정보를 가지는 단어 집합과 문장 성분과 성분 내 위치 정보를 가지는 단어 집합을 추가한다. 이를 위해 한국어 문형을 이용한 문장 정규화 방법을 제안한다.
하지만 위치 정보를 추가하는 방법도 단어가 가지는 중요한 정보인 문장 성분에 대한 정보를 나타내지 못한다. 이를 해결하기 위해서 본 논문에서는 한국어 문장이 가지는 문형을 이용해 각 문장을 정규화 함으로써 단어가 가지는 문장 성분에 대한 정보와 성분 내 위치 정보를 문장 비교에 이용한다. 제안 하는 시스템은 사용자 질의와 FAQ 문장을 유니그램 단어 집합, 바이그램 단어 집합, 위치정보를 가지는 단어 집합, 정규화가 적용된 단어 집합으로 표현하여 유사도를 계산한다.
이를 해결하기 위해서 본 논문에서는 한국어 문장이 가지는 문형을 이용해 각 문장을 정규화 함으로써 단어가 가지는 문장 성분에 대한 정보와 성분 내 위치 정보를 문장 비교에 이용한다. 제안 하는 시스템은 사용자 질의와 FAQ 문장을 유니그램 단어 집합, 바이그램 단어 집합, 위치정보를 가지는 단어 집합, 정규화가 적용된 단어 집합으로 표현하여 유사도를 계산한다. 사용자가 새로운 질의를 입력하면 입력된 사용자 질의와 FAQ 카테고리와의 유사도를 계산하고 유사도 기준으로 순위를 정하여 상위 5개를 보여준다.
제안된 시스템은 각 문장을 벡터공간모델로 표현하여 문장사이의 코사인 유사도(cosine similarity)를 계산하여 성능을 평가하기 때문에 MRR 계산은 크게 3가지 경우로 나누어 계산한다. 첫 번째는 유니그램과 바이그램만으로 자질을 선정하여 유사도를 계산한 기준으로 MRR을 계산한다.
제안된 시스템은 각 문장을 벡터공간모델로 표현하여 문장사이의 코사인 유사도(cosine similarity)를 계산하여 성능을 평가하기 때문에 MRR 계산은 크게 3가지 경우로 나누어 계산한다. 첫 번째는 유니그램과 바이그램만으로 자질을 선정하여 유사도를 계산한 기준으로 MRR을 계산한다. 두 번째는 본 논문에서 제안하는 위치 정보(단어1, 단어2, .

대상 데이터

본 연구의 성능을 평가하기 위해 사용자 질의가 입력되었을 때 가장 유사한 FAQ를 찾아주는 간단한 FAQ 자동 응답 시스템을 구축하였다. 제안된 시스템은 사용자 질의가 들어 왔을 때 유사도가 높은 상위 5개 FAQ를 후보로 보여준다. 상위 5개 FAQ 정답 후보에 대한 평가를 위해 MRR(Mean reciprocal rank)를 계산한다.

데이터처리

제안된 시스템은 사용자 질의가 들어 왔을 때 유사도가 높은 상위 5개 FAQ를 후보로 보여준다. 상위 5개 FAQ 정답 후보에 대한 평가를 위해 MRR(Mean reciprocal rank)를 계산한다.

이론/모형

제안하는 FAQ 시스템은 군집화 기반 FAQ 시스템을 사용한다. 군집화를 위해 각 문장을 벡터공간모델(vector space model)로 표현하여 유사도를 계산한다. 일반적으로 문장을 벡터공간 모델로 표현하기 위해 사용되는 유니그램(uni-gram) 단어 집합, 바이그램(bi-gram) 단어 집합은 문장에서 단어가 가지는 중요한 정보를 모두 표현하기는 어렵다.
본 논문에서는 한국어 문형을 이용한 문장 정규화 기반의 FAQ 자동 응답 시스템을 제안한다. 제안하는 FAQ 시스템은 군집화 기반 FAQ 시스템을 사용한다. 군집화를 위해 각 문장을 벡터공간모델(vector space model)로 표현하여 유사도를 계산한다.

성능/효과

1. 새로운 사용자 질의가 들어오면 형태소 분석 후 유니그램, 바이그램, 정규화한다.
4. 모든 단어에 정규화 규칙이 적용되고 나면 문형의 순서대로 입력된 단어들을 나열한다. 문형의 순서는 주어, 목적어, 보어, 부사어, 서술어, 기타 문형 순으로 나열한다.
유니그램과 바이그램을 이용하여 자질을 선정하는 방법을 기본으로 하여 논문에서 제안한 순수 위치 정보만을 추가하는 방법과 문장 성분 정보와 문장 성분 내에서의 위치 정보를 추가하는 정규화를 통해 자질을 선정하여 MRR을 계산하였다. [표5]에서 보는 바와 같이 바이그램을 통해 추가된 문맥 정보와 위치 정보를 이용한 것 보다 문맥 정보와 문장 성분 정보 그리고 성분 내 위치 정보를 이용한 것이 성능이 향상됨을 볼 수 있다.
유니그램만으로 자질을 선정해 유사도를 계산하는 것 보다 바이그램을 추가하여 계산하는 것이 성능이 월등히 높았다. 바이그램을 이용하면 단어 사이의 문맥 정보가 추가되기 때문에 성능이 향상된다.
본 연구는 문장에서 단어의 위치 정보를 고려하는 것이 문장 비교의 성능 향상에 도움이 된다는 성과를 얻었다. 특히 단어가 가지는 순수 위치보다는 정규화를 통해 단어가 문장 성분 내에서 가지는 위치를 고려하는 것이 문장 비교에 큰 영향을 준다는 것을 알 수 있었다. 향후 문장 정규화에 고려되지 못한 부분에 대해 분석하여 개선한다면 더 향상된 성능을 얻을 수 있을 것이라고 판단된다.

후속연구

향후 문장 정규화에 고려되지 못한 부분에 대해 분석하여 개선한다면 더 향상된 성능을 얻을 수 있을 것이라고 판단된다. 그리고, 다양한 문장 비교 시스템에 적용할 수 있을 것이다.
특히 단어가 가지는 순수 위치보다는 정규화를 통해 단어가 문장 성분 내에서 가지는 위치를 고려하는 것이 문장 비교에 큰 영향을 준다는 것을 알 수 있었다. 향후 문장 정규화에 고려되지 못한 부분에 대해 분석하여 개선한다면 더 향상된 성능을 얻을 수 있을 것이라고 판단된다. 그리고, 다양한 문장 비교 시스템에 적용할 수 있을 것이다.

핵심어	질문	논문에서 추출한 답변
	문장에 정규화 규칙은 어떤 과정으로 적용되는가?	1. 먼저 종결 어미를 가지는 서술어를 찾는다 2. 문장의 처음부터 문장 틀을 가지는 문장성분(주어, 목적어, 보어, 부사어)을 찾는다. 3. 모든 문장 성분을 찾고 나면 나머지는 기타 문형 틀에 넣는다.
	한국어 문장은 무엇으로 이루어 지는가?	한국어 문장은 서술어, 주어, 목적어, 보어, 부사어 등으로 이루어진다. 서술어를 기준으로 주어, 목적어, 보어, 부사어는 부분적으로 자유로운 어순을 가진다.
	대표적인 FAQ 자동 응답 시스템으로 무엇이 있는가?	자동화된 FAQ 시스템은 사용자의 질의 문장에 대해 FAQ 리스트 중에서 가장 유사한 FAQ 문장을 찾아준다. FAQ finder, Auto-FAQ, Sneiders' System, FRACT이 대표적인 시스템이다[1,2,3,4,5]. 하지만 FAQ finder, Auto-FAQ, Sneiders' System들은 성능은 좋은 반면 기반도메인 지식이나 사람의 수작업으로 만들어진 규칙을 사용해야 하는 단점이 있다[1,2,3,4].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 한국어 문형을 이용한 문장 정규화 기반의 FAQ 자동 응답 시스템
An Automated FAQ Answering System Based on Sentence Normalization Using Korean Sentence Patterns 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 한국어 문형을 이용한 문장 정규화 기반의 FAQ 자동 응답 시스템 An Automated FAQ Answering System Based on Sentence Normalization Using Korean Sentence Patterns 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 한국어 문형을 이용한 문장 정규화 기반의 FAQ 자동 응답 시스템
An Automated FAQ Answering System Based on Sentence Normalization Using Korean Sentence Patterns 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper