선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 거리 통제는 관계 추출에 대표적으로 이용되는 학습 기법으로 지도 학습과 준지도 학습 방법의 몇 가지 이점들을 결합한 방법이다. 본 연구에서는 거리 통제 학습 기법을 개체명 인식에 적용하여 개체명 표지를 지식베이스 기반으로 다량의 텍스트 데이터에 부착하는 방법을 제안한다.
제안 방법
- 위키피디아 본문의 모든 문장 추출은 Evan Jones의 Extracting Text from Wikipedia(wikipedia2text)를 이용한다(Evan, 2009). XML 형태의 파일에는 위키피디아의 페이지에는 텍스트 이외의 그림, 표 등의 정보가 포함되어 있으므로 wikipedia2text를 이용하여 모든 페이지로부터 텍스트 이외의 정보를 제거한 데이터를 추출한다. 추출 후에는 텍스트를 문장 단위로 분할하기 위해 WikiXMLSAXParser2)를 이용한다.
- 실험 데이터는 ontoNotes5)에서 제공하는 태깅된 데이터 약 1M개의 문장과 위키피디아 기반 방법으로 태깅한 약 1M개 문장 그리고 프리베이스 기반 방법으로부터 태깅한 약 6k 문장이다. 개체명 인식을 위한 모델은 ontoNotes 데이터로만 학습시킨 ontoNotes 모델, 위키피디아로부터 추출한 문장으로 학습시킨 Wikipedia 모델, 웹으로부터 추출한 문장들로 학습시킨 프리베이스 모델, 세가지 영역의 학습 코퍼스의 모두 학습시킨 All 모델들로 총 4개의 개체명 인식 모델을 생성하였다. 이때 코퍼스 중 각 영역별로 200문장씩, 총 600문장을 추출하여 수동 태깅 후 테스트 문장으로 사용하였다.
- 본 논문에서 제안하는 전체 시스템의 구조는 (그림 1)과 같이 지식베이스를 기반으로 크게 위키피디아 기반 방법과 프리베이스 기반 방법으로 구분된다. 위키피디아(en.
- 현재 프리베이스는 인명, 기관명, 지명뿐만 아니라 영화명, 음악명 등 다양한 개체들 간의 관계가 수집되는 중이며 2015년 6월 기준으로 약 29억개의 개체로 구성되어 있다. 본 논문에서는 먼저 프리베이스의 관계에서 인명(PER), 기관명(ORG), 지명(LOC)의 개체를 포함하고 있는 관계들 중 각 개체별로 인스턴스를 많이 보유하고 있는 상위 N개의 관계를 선택한다. 상위 N개의 관계를 추출하기 위해 프리베이스 이지(Freebase Easy)3)를 사용하며 프리베이스 이지의 Query를 인스턴스 타입 즉 개체명 타입으로 입력하면 입력한 타입이 포함된 관계들을 결과로 얻을 수 있다.
- 본 논문에서는 지식베이스를 활용하여 자동으로 개체명 인식 코퍼스를 생성하는 두 가지 방법을 제안하였다. 첫 번째 방법은 위키피디아 문서들의 태깅정보를 이용하는 방법으로서 비교적 높은 정확률을 보여주었다.
- 본 장에서는 지식베이스에 따른 개체명 태깅 성능과 추출된 코퍼스에 의해 학습된 개체명 인식 모델에 대한 성능을 비교 평가한다. 실험 데이터는 ontoNotes5)에서 제공하는 태깅된 데이터 약 1M개의 문장과 위키피디아 기반 방법으로 태깅한 약 1M개 문장 그리고 프리베이스 기반 방법으로부터 태깅한 약 6k 문장이다.
- 개체명 태깅은 사람의 수작업을 통한 태깅이나 소량의 태깅된 데이터로부터 태깅되지 않은 데이터를 자동 태깅시키는 부트스트래핑(Bootstrapping) 태깅 방법 또는 지식베이스(Knowledge Base)를 이용한 태깅 방법을 이용한다. 이로부터 태그가 부착된 학습 코퍼스를 얻은 후 특징을 추출하고 이를 분류기를 통해 학습시켜 개체명 인식 모델을 생성한다. 생성된 개체명 인식 모델에 새로운 데이터가 입력되면 모델은 개체명 태그가 부착된 결과를 내놓게 된다.
대상 데이터
- 본 장에서는 지식베이스에 따른 개체명 태깅 성능과 추출된 코퍼스에 의해 학습된 개체명 인식 모델에 대한 성능을 비교 평가한다. 실험 데이터는 ontoNotes5)에서 제공하는 태깅된 데이터 약 1M개의 문장과 위키피디아 기반 방법으로 태깅한 약 1M개 문장 그리고 프리베이스 기반 방법으로부터 태깅한 약 6k 문장이다. 개체명 인식을 위한 모델은 ontoNotes 데이터로만 학습시킨 ontoNotes 모델, 위키피디아로부터 추출한 문장으로 학습시킨 Wikipedia 모델, 웹으로부터 추출한 문장들로 학습시킨 프리베이스 모델, 세가지 영역의 학습 코퍼스의 모두 학습시킨 All 모델들로 총 4개의 개체명 인식 모델을 생성하였다.
- 개체명 인식을 위한 모델은 ontoNotes 데이터로만 학습시킨 ontoNotes 모델, 위키피디아로부터 추출한 문장으로 학습시킨 Wikipedia 모델, 웹으로부터 추출한 문장들로 학습시킨 프리베이스 모델, 세가지 영역의 학습 코퍼스의 모두 학습시킨 All 모델들로 총 4개의 개체명 인식 모델을 생성하였다. 이때 코퍼스 중 각 영역별로 200문장씩, 총 600문장을 추출하여 수동 태깅 후 테스트 문장으로 사용하였다. 추출된 600개의 테스트 문장 중 특히 웹에서 추출한 200문장은 기존의 개체명 인식 코퍼스에 비해 새로운 언어현상, 새로운 개체명들이 포함되기 때문에 제안하는 모델의 장점을 측정하는데 효과적이라고 할 수 있다.
이론/모형
- 개체명 인식을 위한 학습 코퍼스 생성 방법으로는 다양한 방법이 연구되고 있으며, 대표적인 기계 학습 방법으로는 지도, 준지도, 거리 통제 방법이 있다. 개체명 태깅은 사람의 수작업을 통한 태깅이나 소량의 태깅된 데이터로부터 태깅되지 않은 데이터를 자동 태깅시키는 부트스트래핑(Bootstrapping) 태깅 방법 또는 지식베이스(Knowledge Base)를 이용한 태깅 방법을 이용한다. 이로부터 태그가 부착된 학습 코퍼스를 얻은 후 특징을 추출하고 이를 분류기를 통해 학습시켜 개체명 인식 모델을 생성한다.
- 이 외에 거리 통제를 사용하여 관계 추출 분야와 다른 방향으로 진행된 연구가 다양하다. 두 개체 사이의 의미관계에 시간 개념을 도입하는데 Garrido의 연구에서 거리 통제 기법을 사용하였으며, Surdeanu는 특정 관계의 다양한 정답 요소를 인정하여 2개 이상의 정답을 부여할 수 있는 방식의 접근을 통한 연구를 진행하였다(Garrido et al., 2012; Surdeanu et al., 2012). 또한 Surdeanu는 같은 접근 방식을 슬롯 채우기 문제(Slot Filling Task)에도 적용하여 성능 향상의 효과를 거두었다(Surdeanu et al.
- 따라서 본 논문에서는 기존의 개체명 인식 모델 중 뛰어난 성능을 제공하는 것으로 알려진 CRFs(Conditional Random Fields)를 사용한다(심광섭, 2011; McCallum & Li, 2003).
- 매개변수 Λ는 MLE(Maximum Likelihood Estimation)를 사용하여 구하는데, 다른 알고리즘 보다 수렴 속도가 빠른 BFGS(Broyden Fletcher Goldfarb Shanno)알고리즘이 주로 사용된다.
- 2번은 지식베이스에 따라 두 가지 방향으로 진행되는 학습 코퍼스 생성 방법을 나타낸다. 위키피디아 본문의 모든 문장 추출은 Evan Jones의 Extracting Text from Wikipedia(wikipedia2text)를 이용한다(Evan, 2009). XML 형태의 파일에는 위키피디아의 페이지에는 텍스트 이외의 그림, 표 등의 정보가 포함되어 있으므로 wikipedia2text를 이용하여 모든 페이지로부터 텍스트 이외의 정보를 제거한 데이터를 추출한다.
- 본 논문에서 제안하는 전체 시스템의 구조는 (그림 1)과 같이 지식베이스를 기반으로 크게 위키피디아 기반 방법과 프리베이스 기반 방법으로 구분된다. 위키피디아(en.wikipedia.org)를 기반으로 생성하는 방법은 규칙 기반 반자동 태깅을 이용하며 프리베이스(www.freebase.com)를 기반으로 생성하는 방법은 관계 기반 자동 태깅을 이용한다. (그림 2)는 본 논문에서 제안하는 코퍼스 자동 생성의 예를 보여준다.
성능/효과
- 또한 <표 4>는 테스트 문장 중 한 문장의 모든 개체명을 정확하게 맞춘 수의 비율이다. 개체명 인식 모델의 ontoNotes 코퍼스의 경우 사람이 직접 태깅한 학습 코퍼스로 내부 데이터로만 성능을 평가한 경우 모든 개체 분류에서 90%이상의 성능을 보였다. 하지만 위키피디아와 웹으로부터 추출한 문장들과 함께 테스트한 결과 성능이 현저히 떨어짐을 볼 수 있다.
- 이 방법은 기존의 수동 태깅이나 위키피디아와 비교하여 최근에 생성된 문장에서 더 좋은 성능을 보여주었다. 또한 수동 태깅된 ontoNotes와 위키피디아, 프리베이스 모델의 코퍼스를 모두 합쳤을 때 가장 높은 성능을 보여주는 것으로 제안하는 방법이 수동 코퍼스의 단점을 보완해준다는 것을 확인하였다.
- 하지만 프리베이스 모델은 웹에서 추출한 문장에 대해서는 가장 높은 성능을 보여주었기 때문에 의미 있는 문장들이 수집되었다고 할 수 있다. 마지막으로 세 코퍼스를 모두 합하여 학습한 All 모델의 성능은 가장 높은 F1-Measure를 보여주었는데 이것은 제안 방법이 수동 태깅 코퍼스의 단점을 어느 정도 보완해 줄 수 있다고 할 수 있다.
- 제안 방법으로 생성된 코퍼스로 학습한 모델들은 재현율(Recall)은 다소 낮았으나 평균적으로 약 94% 이상의 높은 정확률(Precision)을 보였다.
- 제안하는 코퍼스 생성 기법이 효과적이라는 것을 증명하기 위해서는 생성된 코퍼스를 기존의 개체명 인식 모델의 학습에 적용시켰을 때 성능 향상이 있음을 보여야 한다. 따라서 본 논문에서는 기존의 개체명 인식 모델 중 뛰어난 성능을 제공하는 것으로 알려진 CRFs(Conditional Random Fields)를 사용한다(심광섭, 2011; McCallum & Li, 2003).
- 본 논문에서는 지식베이스를 활용하여 자동으로 개체명 인식 코퍼스를 생성하는 두 가지 방법을 제안하였다. 첫 번째 방법은 위키피디아 문서들의 태깅정보를 이용하는 방법으로서 비교적 높은 정확률을 보여주었다. 두 번째 방법은 거리 통제를 적용하여 프리베이스를 이용해 웹에서 수집된 문장에 태깅을 하는 방법이다.
- 이때 코퍼스 중 각 영역별로 200문장씩, 총 600문장을 추출하여 수동 태깅 후 테스트 문장으로 사용하였다. 추출된 600개의 테스트 문장 중 특히 웹에서 추출한 200문장은 기존의 개체명 인식 코퍼스에 비해 새로운 언어현상, 새로운 개체명들이 포함되기 때문에 제안하는 모델의 장점을 측정하는데 효과적이라고 할 수 있다.
후속연구
- 거리 통제 기반 방법은 문장에서 한 개의 개체명만 출현하거나, 서로 관계가 없는 개체명이 출현한 경우 태깅을 하지 못한다는 문제가 있다. 향후 지속적인 연구를 통해 이러한 문제를 해결한다면 수동 태깅에 가까운 성능을 제공하는 개체명 인식 코퍼스를 생성할 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.