초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 연구에서는 사용자의 질의에 대해 대답을 제시하는 질의응답시스템의 평가를 위한 테스트컬렉션을 구축하였다. 질의응답시스템 평가를 위한 테스트컬렉션은 207,067개의 문서, 90개의 질의, 각 질의에 대한 적합성 판정 집합으로 구성되어 있다. 문서집합은 신문기사로 SGML형식으로 가공되었고, 질의는 다양한 유형의 질의와 변형질의를 포함한다. 적합성 판정 집합은 각 질의에 대해서 문서에 대답을 포함하는지의 여부에 따라 적합/부적합으로 판정하였고, 적합한 문서에 대해서는 대답을 표시하였다. 본 연구를 통해 구축된 질의응답시스템 평가를 위한 테스트컬렉션은 질의응답시스템의 객관적인 신뢰성 평가를 위한 기반을 마련하였다.

본 연구에서는 사용자의 질의에 대해 대답을 제시하는 질의응답시스템의 평가를 위한 테스트컬렉션을 구축하였다. 질의응답시스템 평가를 위한 테스트컬렉션은 207,067개의 문서, 90개의 질의, 각 질의에 대한 적합성 판정 집합으로 구성되어 있다. 문서집합은 신문기사로 SGML형식으로 가공되었고, 질의는 다양한 유형의 질의와 변형질의를 포함한다. 적합성 판정 집합은 각 질의에 대해서 문서에 대답을 포함하는지의 여부에 따라 적합/부적합으로 판정하였고, 적합한 문서에 대해서는 대답을 표시하였다. 본 연구를 통해 구축된 질의응답시스템 평가를 위한 테스트컬렉션은 질의응답시스템의 객관적인 신뢰성 평가를 위한 기반을 마련하였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 문서에 대답이 포함되어 있는지의 여부를 평가할 때. 대답포함문서 후보집합에 대해서 평가를 하였다. 사람이 평가한 문서 수의 제한으로 인해 대답포함문서가 누락될 가능성을 살펴본 것이다.
• 본 연구에서는 사옹자의 질의에 대해 대답을 제시하는 질의응답시스팀의 긱관적인 평가를 위한 테스트컬렉션 을 구축하였다. 테스트컬렉션은 구체적인 대답을 요구하는 질의집훝匕 질의에 대한 검색대상이 되는 문서집합, 그리고 질의에 대해서 문서가 정답을 포함하고 있는지의 여부에 데한 평가와 정답을 표시하는 적합성 판정집합을 포함하고 있다.
• 대답포함문서 후보집합에 대해서 평가를 하였다. 사람이 평가한 문서 수의 제한으로 인해 대답포함문서가 누락될 가능성을 살펴본 것이다.
• 테스트컬렉션에 포함된 각 질의에 대해서 질의에 대한 확장은 질의에 대해 가능한 대답어구를 포함시켰다. 적 합성 판정 과정에서 질의에 대한 대답이 들어있는 부분 을 추출하는 것이기 때문에 대답을 추가하여 질의를 확 잠함으로써, 질의와 대답이 모두 포함되어 있는 문서들 을 상위로 검색하도록 하기 위한 것이다.

가설 설정

• 검색결과 조합 방밥 (pooling method)은 특성이 다른 다수의 정보검새시스템에 의해 검색된 문서들 중에서 상 위 N개의 검색결과의 합집합이 질의에 대한 모든 관련 문서를 포함한다고 가정한다. 검색결과 조합에 포함되어 있지 않은 문서는 질의에 대한 대답이 포함되어 있지않은 문서로 한다.

제안 방법

• 질의는 사람, 장소, 조직, 시간, 수량 , 병명 둥 다양한 대답을 요구하는 질의 유형을 포함하고 있다. 각 질의에 대해서는 같은 대답을 요구하는 질의의 변형집합을 생성 하고 있어, 질의에 변형에 따른 길의응답시스템의 성능 변화를 평가할 수 있도록 하였다. 또한, 의미증의성, 음 차표기/복원, 복합명사 문제 등과 같이 자연언어처리기법을 적용할 수 있는 질의로 구성되었다.
• 본 면구에서는 질의응답 시스템의 평가를 위한 테스트 컬렉션을 구축하였다. 질의응답 시스템 성능 평가를 위한 테스트컬렉션은 207, 067개의 문서, 90개의 질의, 각 질 의에 대한 적합성 판정 집합으로 구성되어 있다.
• 색인방법, 검색방법, 적합성 피드백 등을 이용하여 16 가지의 서로 다른 검색집합을 생성하였다. 그림1은 검색 결과 조합 방법올 이용하여 후보문서집합을 생성하는 과정을 나타낸다.
• 현재 대상으로 하고 있는 문서의 수가 20 만여개이므로 이것을 모두 읽고 대답을 추출하기는 어립 다. 실용적인 방법으로, 정보검색시스템을 이金하여 질의 에 대한 대답이 포함되어 있을 가능성이 높은 후보문서 집합을 생성하여, 평가자가 판정할 문서의 수를 줄이는 방법을 이용하였다.
• 또한, 의미증의성, 음 차표기/복원, 복합명사 문제 등과 같이 자연언어처리기법을 적용할 수 있는 질의로 구성되었다. 적합성 판정 집 합은 각 질의에 대해서 문서에 대답을 포함하는지의 여 무에 따라 적합/부적합으로 판정하였고, 적합한 문서에 대해서는 대답을 표시하였다.
• 적합성 판정을 위한 평가자는 10명으로 구성되었고, 각 질의에 대해서 2명이 상호 독립적으로 같은 질의에 대해 평가를 수행하였다, 두 사람의 판정이 다른 경우에 대해서는 최종 의견 교환을 통해서 확정지었다.
• 질의는 다양한 대답유형을 요구하는 질문을 포함하였 고, 음차 표기/복원 문제, 복합명사 분리문제, 의미중의성 해결 문제 등과 같이 자연언어처리문제를 다룰 수 있도록 하였다. 또한 다양한 분야의 질의를 포함하고 있다.
• 검색결과 조합 방법을 적용하기 위해서는 다수의 정보 검새시스템이 필요하다. 질의에 대해 다양한 검색결과를 생성하기 위해 불리언 검색올 이용한 한미르 점보검색기 (http://www.hanmir.co.kr), 형태소단위의 색인/bi-그램 방식의 색인, 적합성 피드백 등을 이용한 숭실대 정보검 색기, 벡터공간검색방법을 이용한 충남대 정보검색기, 다양한 가중치 기법을 적용한 SMART시스템을 이용하였다.
• 질의웅답시스템을 설계/구축할 때, 문서검색을 통해서 상위의 문서들에 대해서 대답을 추출하는 경우 문서검색 시스템이 대답이 포함되어 있는 문서를 어느 정도 포함 하고 있는지 비교하였다.
• 대답포함문서 후보문서집합올 생성하는 방법은 다수 의 정보검색시스템을 이용하여 질의에 대해 검색을 수행 하고, 각 시스템의 검색결과에서 높은 순위를 갖는 문서 들을 조합하여, 그 문서들에 대해서 대답포함 여부를 판 단하는 방법[5]이다. 현재 개발되어 있는 한국어 질의웅 답시스템이 없기 때문에, 기존에 개발되어 있는 문서검 색시스템을 이용하여 질의에 대해 대답포함문서 후보집 합을 생성하였다.

대상 데이터

• 검색결과 조합을 위해서 각 검색결과 집합에서 상위로 순위화된 70개의 문서 (검색결과 조합의 크기 = 70)를 추출한다. K개의 검색결과에는 서로 중복되는 문서가 포 함될 수 있으므로, 상위 70개의 문서들을 모두 합하여 유 일한 개수의 문서를 추출한다,
• 적합성판정 결과에 대해서 각 질의에 대해 대답포함문 서 후보집합의 크기, 대답포함문서위 개수, 대답을 포함 하는 부분의 개수에 대한 분포는 그림2와 같다. 전체 적 합성 판정에 참여한 문서의 수는 22, 898개 문서이다-.
• 질의응답 시스템 성능 평가를 위한 테스트컬렉션은 207, 067개의 문서, 90개의 질의, 각 질 의에 대한 적합성 판정 집합으로 구성되어 있다. 질의 90 개에 대해 적합성 판정을 한 문서집합은 22, 898개 문서 이다.
• 질의에 대한 정답을 맞추는 퀴즈문제들의 데이터베이 스와 문서내용을 기반으로 하여 300개의 질의를 생성하였다. n 중에서 다양한 의문유형의 질의, 문서에 짚의에 대한 대답이 하나이상 나타나는 것으로 최종 9。개를 선 택하였다.
• 본 면구에서는 질의응답 시스템의 평가를 위한 테스트 컬렉션을 구축하였다. 질의응답 시스템 성능 평가를 위한 테스트컬렉션은 207, 067개의 문서, 90개의 질의, 각 질 의에 대한 적합성 판정 집합으로 구성되어 있다. 질의 90 개에 대해 적합성 판정을 한 문서집합은 22, 898개 문서 이다.

데이터처리

• 질의응답 시스템의 성능 평가는 역순위 평균(Mean Reciprocal Rank)을 이용하여 성능을 평가할 수 있다. 이 방법은 질의응답 시스템에서의 결과로 나타난 것에서 정확한 대답이 포함되어 있는 것이 몇 번째 순위에 나타나 는지를 계산해서 순뮈의 역수를 평균한 값이다.

성능/효과

• 본 연구를 통해 구축된 질의응답시스템 성능 평가를 위한 테스트컬렉션은 질의응답시스템의 객관적인 신뢰 성 평가를 위한 기반을 마련하였다, 문서집합과 질의집 합의 크기가 영어권에서 구축하고 있는 富의응답묭 테스 트컬렉션 수준에 이르고 있다.
• 질의응답 시스템의 결과에 대한 평가는 吁축된 테스트 컬렉션을 이용하여 검색된 부분와 문서번호가 적합한 것 이고, 대답 문자열이] 정답이 포함되어 있는 것일 때 정확한 결과로 판단한다.

후속연구

• 구축된 테스트컬렉션은 정보검색분야 연구자 및 개발 자들에게 공개함으로써, 한국어 질의음답시스템의 연구 에 적용되어 질의응답시스템 구축을 활성화시킬 수 있을 것으로 기데한다.
• 이는 대답포함문서 후보집합의 생성 에서 검색결과의 상위문서 수의 확장을 통해 적합성 평가를 함으로써 보완을 하여야 할 것이다. 또한, 테스트컬 렉션을 배포하여 사용자들의 피드백을 반영함으로써 보다 신뢰할 수 있는 테스트컬렉션을 구축하도록 할 것이다.
• 또한, 현재의 테스트컬렉션의 분석을 통해서 비교적 안정적임 을 알 수 있지만, 적합성 판정을 한 문서 수의 제한으로 인해 적합성 판정에 포함되지 않은 문서에서 대답이 나 올 가능성이 있다. 이는 대답포함문서 후보집합의 생성 에서 검색결과의 상위문서 수의 확장을 통해 적합성 평가를 함으로써 보완을 하여야 할 것이다. 또한, 테스트컬 렉션을 배포하여 사용자들의 피드백을 반영함으로써 보다 신뢰할 수 있는 테스트컬렉션을 구축하도록 할 것이다.
• 향후 테스트컬렉션의 확장을 통해서 사람이 궁금해 할 수 있는 다양한 질의들을 포함시킴으로써 현실적인 질의 응답시스템의 평가가 가능하도록 해야 할 것이다. 또한, 현재의 테스트컬렉션의 분석을 통해서 비교적 안정적임 을 알 수 있지만, 적합성 판정을 한 문서 수의 제한으로 인해 적합성 판정에 포함되지 않은 문서에서 대답이 나 올 가능성이 있다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기