선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 지식베이스와 문서 검색의 장단점을 인지하고, 두 데이터를 모두 활용한 다중소스 기반의 질의 응답 시스템을 제안한다.
제안 방법
- “who", "what", "where" 과 같은 의문사를 검출하고, POS, Dependency Parse Tree, Semantic Role label, Chunk, named entity를 추출한다.
- " 라는 문장에서 다양한 정보를 태깅하여 아래와 같이 의미 손실은 막는 형태의 문장들로 구성된 데이터베이스를 구축하는 것이다. She가 의미하는 것이 무엇인지 Co-reference resolution을 활용하여 레이블링하고, Spotlight tool [8]을 활용하여, Named entity가 DBpedia의 어떤 URI form인지 레이블링하고 해당 DBpedia URI의 type들을 레이블링하여 정보 손실을 막는다.태깅 결과는 아래와 같다.
- Slot extraction에서 검출된 결과를 이용하여 부분 매칭을 통해 resource/class URI를 식별한다. class는 질의 분석 모듈에서 검출될 수도 있고 검출 되지 않을 수 있다.
- named entity가 표시된 다중 소스 레이블 데이터 베이스의 속성을 활용하여, Query와 관련된 문서의 문장들에서 named entity를 추출하여 정답 후보로 간주한다.
- 지식 베이스 기반 검색을 통해 답을 찾지 못하는 경우 뿐만 아니라. resource 식별에 실패할 경우, property URI 매핑에 실패할 경우 지식베이스 기반 검색을 시도하지 않고 문서 검색을 통해 정답을 찾는 방법을 활용하였다. 결과적으로 지식베이스만을 활용한 시스템보다 SPARQL query 생성 실패시, 문서검색을 시도한 방법의 성능이 높았다.
- 패턴 저장소에서 Slot에서 추출된 서술어를 검색한다. 검색시 DBpedia property URI에 매핑된 결과가 없으면 의미적 유사도를 통해 DBpedia property URI 매핑을 시도한다.
- “who", "what", "where" 과 같은 의문사를 검출하고, POS, Dependency Parse Tree, Semantic Role label, Chunk, named entity를 추출한다. 또한 각 의문사와 언어처리 결과를 활용하여 휴리스틱으로 class를 추출한다. class는 lexical answer type을 의미하며 대부분 명사이다.
- 오픈소스 Ephyra [9] 를 활용하여, 기계학습 기반 방법과 룰 기반 방법을 하이브리드한 정답 유형 검출기를 이용하고, 정답 유형을 정답 랭킹에 활용한다. 또한 정답 후보의 다중 소스 레이블 데이터 베이스에서 검색 가능한 문맥 정보를 활용하여, 정답을 찾는다. 정답 후보가 나온 문장, 정답 후보가 나온 문서의 Title 정보와 질의문과의 Cosine similarity, Wordnet Similarity를 활용한다.
- 언어처리 툴을 이용하여, SPARQL query를 추출하기 위한 Slot과 Template을 추출하였다. 또한 패턴 매칭과 ESA를 이용한 의미적 유사도 비교를 사용하여 질의에서 검출된 서술어와 DBpedia의 property URI 매핑하였다. 지식 베이스 기반 검색을 통해 답을 찾지 못하는 경우 뿐만 아니라.
- 본 논문에서 제안하는 다중소스 기반 질의 응답 시스템 (그림 1)은 질문에서 주요 정보를 추출하여, SPARQL query를 생성하여, 지식베이스에서 먼저 정답을 찾는다. SPARQL query 생성에 실패하거나, SPARQL query 검색에 실패하면 다중 소스 레이블 문서 검색을 통해 정답을 찾는다.
- 앞의 질의 분석 모듈을 활용하여 named entity와 명사 동사 등의 주요 키워드에 weight를 주고 Wordnet에서 유사어를 추출하여 Query를 extension하여 문서 검색을 한다.
- 언어처리 툴을 이용하여, SPARQL query를 추출하기 위한 Slot과 Template을 추출하였다. 또한 패턴 매칭과 ESA를 이용한 의미적 유사도 비교를 사용하여 질의에서 검출된 서술어와 DBpedia의 property URI 매핑하였다.
- 타겟 스트링을 위키피디아 개념들에 대한 weighted vector로 변환한다. 이 vector간의 거리를 측정하여 질문의 서술어와 property URI의 유사도를 측정한다. 앞서 언급한 유사도가 임계값을 넘지 못하면 SPARQL query 생성에 실패하여 다중 소스 레이블 문서 검색을 통해 정답을 찾는다.
- 이전 모듈에서 추출한 resource URI와 class URI를 활용하여, 해당 resource 또는 class와 연결된 property URI를 추출하여 매핑할 property URI 대상 후보로 한다. DBpedia 전체 Property URI들과 질문에서 추출한 서술어와 모두 의미적 유사도를 비교하기에는 그 범위가 크기 때문이다.
- 질의 분석 결과를 이용해 휴리스틱 룰을 활용하여 Slot과 SPARQL template을 추출한다. Slot과 Sparql query template은 TBSL[5]에서 정의된 개념이다.
- 질의에서 서술부를 추출하고, 이 서술부와 property URI후보들 각각의 의미적 유사도를 측정하여 가장 유사도가 높은 2개의 property URI를 이용하여 query를 만든다. n-best property의 수는 학습 데이터를 통해 조절하였다.
대상 데이터
- 최근 질의 응답 시스템 연구 [10, 11] 에는 precision, recall, f-1 score 등을 성능 측정에 활용한다. ( 표 1) 질의 셋은 공인된 QALD 경연대회 평가셋을 이용하였다. 평가셋은 총 50 질의이다.
- 앞서 언급한 유사도가 임계값을 넘지 못하면 SPARQL query 생성에 실패하여 다중 소스 레이블 문서 검색을 통해 정답을 찾는다. 2014년도에 개최된 Question Answering over linked data (QALD)경연대회 4)에서 제공하는 학습 데이터를 통해 임계값을 조절하였다.
- 평가셋은 총 50 질의이다. 검색 대상 데이터베이스로는 지식베이스는 DBpedia 3.9 와 텍스트 데이터베이스로는 영어 위키피디아를 사용하였다. Method에 P는 property URI 매핑에 PATTY 를 이용한 패턴 매칭만 사용한 결과이다.
데이터처리
- 시스템 성능 평가 방법으로 QALD 경연대회에서 사용한 성능 측정 방법 중 질의에 대한 응답율이 100%일 때의 recall, precision, F-1 score를 측정하였다. 최근 질의 응답 시스템 연구 [10, 11] 에는 precision, recall, f-1 score 등을 성능 측정에 활용한다.
이론/모형
- 본 논문에서 제안 하는 시스템에서 사용되는 다중 소스 레이블 데이터베이 스는 영어 위키피디아 원 문서에서 발생하는 정보 손실을 막기 위해 NLP tool 및 named entity linking tool [8] 을 활용하여 다중 소스가 레이블된 데이터베이스를 활용하였다. 예를 들면, 위키피디아 원문에 "Kim moved to Gunpo when she was six years old and later attended Suri High School.
- 오픈소스 Ephyra [9] 를 활용하여, 기계학습 기반 방법과 룰 기반 방법을 하이브리드한 정답 유형 검출기를 이용하고, 정답 유형을 정답 랭킹에 활용한다. 또한 정답 후보의 다중 소스 레이블 데이터 베이스에서 검색 가능한 문맥 정보를 활용하여, 정답을 찾는다.
- n-best property의 수는 학습 데이터를 통해 조절하였다. 의미적 유사도를 측정하기 위해서, Explicit Semantic Analysis (ESA) [7]에서 사용한 방법을 활용하였다3). 타겟 스트링을 위키피디아 개념들에 대한 weighted vector로 변환한다.
- 또한 정답 후보의 다중 소스 레이블 데이터 베이스에서 검색 가능한 문맥 정보를 활용하여, 정답을 찾는다. 정답 후보가 나온 문장, 정답 후보가 나온 문서의 Title 정보와 질의문과의 Cosine similarity, Wordnet Similarity를 활용한다.
성능/효과
- 50개의 질의 중에서 P+ESA 방법으로 28개의 SPARQL query 생성에 성공하였다. SPARQL query 생성 실패 원인은 아래와 같다.
- resource 식별에 실패할 경우, property URI 매핑에 실패할 경우 지식베이스 기반 검색을 시도하지 않고 문서 검색을 통해 정답을 찾는 방법을 활용하였다. 결과적으로 지식베이스만을 활용한 시스템보다 SPARQL query 생성 실패시, 문서검색을 시도한 방법의 성능이 높았다. 본 시스템은 DBpedia를 지식베이스로 사용하였지만, 도메인에 의존적이지 않은 방법이기 때문에 다른 지식베이스에서도 동일하게 적용될 수 있다.
- 본 시스템은 DBpedia를 지식베이스로 사용하였지만, 도메인에 의존적이지 않은 방법이기 때문에 다른 지식베이스에서도 동일하게 적용될 수 있다. 현 시스템은 베이스라인 시스템임으로 각 모듈의 성능이 높고, IRQA의 성능이 높으면, 기존의 KBQA에 비하여 더 큰성능 향상을 기대할 수 있다.
후속연구
- 결과적으로 지식베이스만을 활용한 시스템보다 SPARQL query 생성 실패시, 문서검색을 시도한 방법의 성능이 높았다. 본 시스템은 DBpedia를 지식베이스로 사용하였지만, 도메인에 의존적이지 않은 방법이기 때문에 다른 지식베이스에서도 동일하게 적용될 수 있다. 현 시스템은 베이스라인 시스템임으로 각 모듈의 성능이 높고, IRQA의 성능이 높으면, 기존의 KBQA에 비하여 더 큰성능 향상을 기대할 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.