선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 DBpedia1) 나 YAGO2)(Yet Another Great Ontology) 와 같이 구조화된 DB를 활용한 질의 응답 시스템을 제안한다. 위키피디아에서 구조적인 정보를 추출하여 공개적으로 제공하는 DBpedia를 활용하였고, 위키피디아와 워드넷(WordNet)에서 추출한 온톨로지인 YAGO도 DB로 활용할 계획이다.
- 앞서 언급했던 패턴 매칭 방법이나 교사학습을 이용한 정답 유형 결정 방법은 다량의 수작업을 필요로 한다. 본 논문에서는 반교사 학습을 통해 정답 유형 분류에 필요한 노동력을 최소화하는 방법을 제안한다.
- 본 논문에서는 실험 결과를 실제 질의 응답 시스템 개발에 활용하는 것을 목적에 두고 있다. 따라서, 위키피디아 기반 질의 응답 시스템 제작을 위해 YAGO의 분류 체계와 UIUC의 정답 유형을 대응하는 작업을 선행하였다.
제안 방법
- 2007년도에 TREC에 출전한 Ephyra라는 질의 응답 시스템은 154개의 정답 유형을 사용했으며, [6]과 마찬가지로 계층 구조를 가지는 정답 유형 분류 체계를 구성했다. TREC에서 사용한 질문들을 반영하여 정답 유형 클래스를 구성했다. 정답 유형 분류에 대해 비중 있게 다루고 있으며, 규칙 기반의 방법과 통계적 학습 모델 방법 두 가지를 하이브리드 하여 사용하였다[3].
- 랜덤으로 태깅 데이터를 추출하며, 교사 학습인 CRF와의 성능 비교를 위해 각 정답 유형이 1회 이상 훈련 데이터에 반영되도록 한다. 각각의 정답 유형에 대한 성능을 측정하여 성능이 높은 정답 유형과 성능이 낮은 정답 유형을 비교 분석한다.
- 사용자 질의 데이터는 웹을 통해서 쉽게 수집할 수 있지만, 사용자 질의에 정답 유형이 태깅된 데이터는 구하기 어렵다. 따라서 기존 연구에서는 사용자 질의에 정답 유형을 수동으로 태깅하여 훈련 데이터를 제작했다[2-6,8].
- 숫자나 날짜 등 어떤 글자도 YAGO 온톨로지에서 개체로 표현되어 있다. 따라서, YAGO의 분류 체계에 UIUC의 각 정답 유형이 모두 대응 가능함으로 UIUC의 50가지 정답 유형 분류 체계와 동일한 분류 체계를 이용하였다.
- 본 논문에서는 실험 결과를 실제 질의 응답 시스템 개발에 활용하는 것을 목적에 두고 있다. 따라서, 위키피디아 기반 질의 응답 시스템 제작을 위해 YAGO의 분류 체계와 UIUC의 정답 유형을 대응하는 작업을 선행하였다. 숫자나 날짜 등 어떤 글자도 YAGO 온톨로지에서 개체로 표현되어 있다.
- 또한 DBpedia를 활용하여 질의에 고유 명사가 있는 경우 DBpedia에서 제공하는 <개체명(Named-Entity), 개체 유형(Named-Entity Type)> 데이터에서 검색하여 고유명사의 개체 유형 정보를 자질로 이용하였다.
- 2001년 TREC-10에 출전했던 질의 응답 시스템 SiteQ[7]는 2단계 계층 구조를 가지는 정답 유형 분류 체계를 구성하였다. 또한 어휘 의미 패턴(Lexical-Semantic Patterns, LSP)을 이용하여 정답 유형을 결정하였다. 사용자의 질의를 미리 정의한 LSP에 대응시켜서 정답 유형을 결정하였다.
- 본동사 추출을 위해서 Stanford Parser1)를 이용하였다. 또한 질의에서 의문사의 앞 뒤 어휘 정보를 이용하였다. 이를 통해 how many, how much 등을 구별할 수 있다.
- 전체 학습 데이터에서 정답 유형이 태깅된 데이터의 비율에 따른 각 알고리즘의 성능을 측정한다. 랜덤으로 태깅 데이터를 추출하며, 교사 학습인 CRF와의 성능 비교를 위해 각 정답 유형이 1회 이상 훈련 데이터에 반영되도록 한다. 각각의 정답 유형에 대한 성능을 측정하여 성능이 높은 정답 유형과 성능이 낮은 정답 유형을 비교 분석한다.
- 각 문장에서 추출한 자질들을 나타낸 f는 정답 유형 z와 파라미터 Φk의 다항분포에 의해 생성 된다. 본 논문에서는 일부 태깅된 데이터를 이용하여 Semi-Supervised LDA를 정답 유형 분류에 적용한다.
- 본 논문에서는 일부 태깅된 데이터를 이용한 Semi-Supervised LDA를 적용하여 정답 유형을 분류한다. 이를 통해 정답 유형 태깅에 대한 노동력 절감 효과와 수동 태깅에서 비롯된 모호성 문제를 해결할 수 있다.
- 또한 어휘 의미 패턴(Lexical-Semantic Patterns, LSP)을 이용하여 정답 유형을 결정하였다. 사용자의 질의를 미리 정의한 LSP에 대응시켜서 정답 유형을 결정하였다. 예를 들면,(%who)(%be)(@person)->PERSON이라는 LSP가 있다.
- 사용자의 질의에서 <Subject-Property-Object> 형태의 트리플과 정답 유형을 추출하여 DBpedia 및 YAGO 와 같은 구조화된 DB에서 검색한다.
- 25% 태깅된 경우는 거의 동일한 성능을 보이며, 50%, 60%, 75%, 100% 태깅 되었을 경우에는 CRF와 같거나 높은 성능을 보인다. 실험 결과에 대한 분석을 위해, 높은 정확도를 보인 정답 유형들과 낮은 정확도를 보인 정답 유형들을 분석하였다.
- 앞서, 추출된 자질을 바탕으로 Semi-Supervised LDA를 적용하여 정답 유형을 분류하였다. 정답 유형 분류는 구조화된 DB에서의 검색을 위해 위키피디아와 Wordnet을 연동한 YAGO의 분류 체계를 활용하였다.
- 본 논문에서는 반교사 학습 기반의 잠재 디리쉴레 할당(Semi-Supervised Latent DirichletAllocation, Semi-Supervised LDA)을 이용하였다. 일부 태깅된 데이터를 이용하여 정답 유형을 분류하였고, 정확도를 측정하였다. 또한 같은 양의 태깅된 훈련 데이터를 이용하였을 때 교사 학습 방법에 의한 정답 유형 분류보다 정확도가 높다는 결론을 얻었다.
- 교사 학습 방법으로 CRF(Conditional Random Fields)를 이용한다. 정답 유형 분류에 대한 CRF와 Semi-Supervised LDA의 정확도를 측정한다. 전체 학습 데이터에서 정답 유형이 태깅된 데이터의 비율에 따른 각 알고리즘의 성능을 측정한다.
- TREC에서 사용한 질문들을 반영하여 정답 유형 클래스를 구성했다. 정답 유형 분류에 대해 비중 있게 다루고 있으며, 규칙 기반의 방법과 통계적 학습 모델 방법 두 가지를 하이브리드 하여 사용하였다[3].
- 정답 유형 분류에서 많이 사용하고 있는 교사학습 방법과 본 논문에서 제안하는 반교사 학습 방법을 비교한다. 반교사 학습은 교사 학습과 다르게 일부 태깅 데이터를 통해 학습이 가능하다는 장점이 있음으로 이 부분을 검증한다.
- 정답 유형 수동 태깅에 대한 작업량을 줄이고자, 본 논문에서는 교사 학습 방법 대신에 반교사 학습 방법을 이용하여 정답 유형을 분류하였다. 반교사 학습은 일부만 태깅된 훈련 데이터를 통해 정답 유형 분류 모델 제작이 가능하다.
- 정확도가 낮았던 정답 유형들 중 교통수단에 대한 정확도를 분석한다. 실제 정답 유형은 교통수단이지만, 정답 유형이 사람, 그룹, 날짜, 동물 등 다양한 정답 유형으로 클러스터링 된 경우가 많다.
- 정확도가 높았던 정답 유형들을 특징들을 분석한다. 첫째, 정확도가 가장 높았던 정답 유형인 수량은 "How many ~" 로 시작하는 경우가 대부분이라는 특징을 보였다.
대상 데이터
- Semi-Supervised LDA는 정답 유형이 태깅된 데이터와 태깅되지 않은 데이터를 모두 훈련에 사용하였다. CRF는 훈련 데이터에 모두 정답 유형이 태깅되어야 하기 때문에, 태깅된 데이터만 훈련 데이터로 사용하였다. 표 3에 따르면, 태깅된 데이터가 10% 일 때, 즉 5000개 이상의 훈련 데이터 중에서 500개 이상의 태깅된 데이터를 포함하여 클러스터링 하였을 때, CRF보다 높은 성능을 보인다.
- UIUC(University of Illinois at Urban-Champaign)가 정답 유형 분류 실험에서 사용한 약 5500개 질의를 훈련 데이터로 사용하였다. 테스트 데이터로는 TREC 10에서 사용한 500개를 사용하였다.
- 통계 방법을 적용하기 위한 학습데이터를 제작하기 위해, 약 82000개 질문에 대해 정답 유형을 수동 태깅하는 노동력이 필요했다. 이 때 사용한 질문데이터는 국내 지식검색 사이트에서 추출한 것이다. 이처럼, 정답 유형이 태깅된 데이터를 구하는 것은 쉽지 않기에 자체적으로 수동 태깅을 한 경우가 대다수이다.
- “Who was president Cleveland's wife?"라는 예문은 (%who)(%be)(@person)라는 LSP에 대응하기 때문에 예문의 정답 유형은 PERSON이 된다. 이 방법론을 적용하기 위해, 기존 QA Track에 사용한 질문들과 웹 데이터를 수집하여 수작업으로 361개의 LSP를 구성하는 노력이 선행되었다. 2007년도에 TREC에 출전한 Ephyra라는 질의 응답 시스템은 154개의 정답 유형을 사용했으며, [6]과 마찬가지로 계층 구조를 가지는 정답 유형 분류 체계를 구성했다.
- UIUC(University of Illinois at Urban-Champaign)가 정답 유형 분류 실험에서 사용한 약 5500개 질의를 훈련 데이터로 사용하였다. 테스트 데이터로는 TREC 10에서 사용한 500개를 사용하였다. UIUC에서 정답 유형 분류 실험에 사용한 데이터는 기존의 연구들에서도 많이 사용한 공신력 있는 데이터이다[2].
이론/모형
- 교사 학습 방법으로 CRF(Conditional Random Fields)를 이용한다. 정답 유형 분류에 대한 CRF와 Semi-Supervised LDA의 정확도를 측정한다.
- 반교사 학습은 일부만 태깅된 훈련 데이터를 통해 정답 유형 분류 모델 제작이 가능하다. 본 논문에서는 반교사 학습 기반의 잠재 디리쉴레 할당(Semi-Supervised Latent DirichletAllocation, Semi-Supervised LDA)을 이용하였다. 일부 태깅된 데이터를 이용하여 정답 유형을 분류하였고, 정확도를 측정하였다.
- 본동사는 사용자의 질의 의도를 반영하는 경우가 많기 때문에 자질로서 추출했으며, TREC에서 우수한 성능을 보인 Ephyra 시스템[3]에서도 추출하였다. 본동사 추출을 위해서 Stanford Parser1)를 이용하였다. 또한 질의에서 의문사의 앞 뒤 어휘 정보를 이용하였다.
- 앞서, 추출된 자질을 바탕으로 Semi-Supervised LDA를 적용하여 정답 유형을 분류하였다. 정답 유형 분류는 구조화된 DB에서의 검색을 위해 위키피디아와 Wordnet을 연동한 YAGO의 분류 체계를 활용하였다. YAGO의 분류 체계는 약 1,700,000가지 개체들로 구성되어 있다.
성능/효과
- 둘째, 높은 정확도를 보였던 날짜 역시 주로 "When was" 로 시작되는 문장 유형이 많았고, 질문 초점인 “year"가 빈번하게 나타났다.
- Semi-supervised LDA는 태깅된 데이터와 태깅이 안된 데이터를 함께 이용할 수 있지만, CRF는 태깅된 데이터만 학습에 이용할 수 있다. 따라서, 반교사 기반의 정답 유형 분류 방법을 통해 정답 유형 태깅 노동력을 줄일 수 있다는 결론을 얻었다.
- 일부 태깅된 데이터를 이용하여 정답 유형을 분류하였고, 정확도를 측정하였다. 또한 같은 양의 태깅된 훈련 데이터를 이용하였을 때 교사 학습 방법에 의한 정답 유형 분류보다 정확도가 높다는 결론을 얻었다.
- 본 논문의 실험을 통해 동일한 양의 태깅 데이터가 주어졌을 때, Semi-supervised LDA가 CRF보다 대체적으로 높은 성능을 보이는 것을 확인할 수 있었다. Semi-supervised LDA는 태깅된 데이터와 태깅이 안된 데이터를 함께 이용할 수 있지만, CRF는 태깅된 데이터만 학습에 이용할 수 있다.
- 첫째, 정확도가 가장 높았던 정답 유형인 수량은 "How many ~" 로 시작하는 경우가 대부분이라는 특징을 보였다.
후속연구
- 이러한 대용량의 데이터에 정답 유형을 분류하기 위해서 계층적 드리쉴레 프로세스(Hierarchical Dirichlet Process , HDP)를 이용한 연구를 진행 중이다. HDP를 통해 분류된 각각의 클러스터들을 YAGO의 분류 체계에 대응시키는 연구를 진행할 것이다.
- 뿐만 아니라 FreeBase3)나 기타 구조화된 DB를 추가하여 DB를 확장하는 연구를 진행하고 있다. 궁극적으로는 웹 기반 오픈 도메인 질의 응답 시스템으로 개발을 확장할 것이다. 본 논문에서 제안하는 질의 응답 시스템은 그림 2와 같다.
- 뿐만 아니라, 본 논문의 연구결과를 활용하여, 정답 유형 레이블이 부족한 한국어 질의 데이터를 자동 레이블링할 것이다. 이를 바탕으로, 한국어 질의 응답 시스템 개발에 대한 연구를 진행할 것이다.
- (Yet Another Great Ontology) 와 같이 구조화된 DB를 활용한 질의 응답 시스템을 제안한다. 위키피디아에서 구조적인 정보를 추출하여 공개적으로 제공하는 DBpedia를 활용하였고, 위키피디아와 워드넷(WordNet)에서 추출한 온톨로지인 YAGO도 DB로 활용할 계획이다. 뿐만 아니라 FreeBase3)나 기타 구조화된 DB를 추가하여 DB를 확장하는 연구를 진행하고 있다.
- 뿐만 아니라, 본 논문의 연구결과를 활용하여, 정답 유형 레이블이 부족한 한국어 질의 데이터를 자동 레이블링할 것이다. 이를 바탕으로, 한국어 질의 응답 시스템 개발에 대한 연구를 진행할 것이다.
- 하지만 임의의 질의 말뭉치들을 정답 유형 별로 클러스터링 할 때, 전체 데이터에서 차지하는 비중이 작은 클러스터들의 정확도를 향상시키는 연구가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.