선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 CoNLL-X에서 1위를 차지한 바 있는 McDonald의 그래프 기반 의존구문분석 방법을 한국어에 적용하는 방법을 제안한다. 특히 단어와 단어간의 의존관계인 에지(edge)의 점수를 계산할 때, 단순히 단어와 단어간의 관계로 보지 않고 부분트리 (partial tree)와 부분트리의 관계로 보고 에지의 점수를 계산할 것이다.
- 본 논문에서는 한국어 의존구문분석 시에 고려해야할 점들을 알아보고 한국어에 적합한 문맥자질 집합을 제안하였다. 또한 한국어의 지배소 후위 특성과 투사성을 이용하여 Eisner(1996)[12] 알고리즘을 사용하지 않고도 O(n3)의 CYK알고리즘이 가능함을 보였다.
제안 방법
- 2장에서 제안한 지배소 후위 언어를 위한 CYK 알고리즘과 한국어 의존구문분석을 위한 자질집합을 이용하여 실험을 실시하였다. 모든 실험은 Intel Core 2 CPU (2.
- ”라는 문장에서 “2배,”와 “3배가”라는 두 어절 간의 에지는 실제로는 “10년 동안에 2배,”라는 선행구와 “20년 동안에 3배가”라는 후행구가 대등적으로 나타난 것으로 볼 수 있다. 따라서 본 논문에서는 이러한 부분트리 간의 의존관계를 잡아내기 위한 한 방법으로 특별히 두 부분트리가 공유하고 있는 조사나 어미 등의 기능어 자질을 추가하여 사용하였다. 이러한 관점은 구구조문법에서 구와 구를 합쳐서 더 큰 구를 만들어 나가는 방식과도 닮아 있어 언어학적으로도 합당해 보이며, 구문분석 오류의 상당 부분을 차지하고 있는 대등구나 대등절의 오류를 줄이는데도 기여할 것으로 기대된다.
- 2장에서 제안한 지배소 후위 언어를 위한 CYK 알고리즘과 한국어 의존구문분석을 위한 자질집합을 이용하여 실험을 실시하였다. 모든 실험은 Intel Core 2 CPU (2.13GHz), 4G 메모리의 리눅스 시스템에서 실행되었으며, 다른 시스템과의 비교를 위해 ShiftReduce 방식과 Cascaded Chunking 방식의 트랜지션 기반 의존구문분석 알고리즘은 자바로 재구현하여 실험하였다. 공정한 비교를 위해 본 논문의 제안방법과 똑같은 자질 집합을 사용하였으며, SVM의 커널은 linear kernel을 사용하였다.
- 본 논문에서 제안하는 온라인 학습을 이용한 한국어 구문분석 성능을 평가하기 위해 95년도 국어정보베이스 (KIBS 2 ) 말뭉치를 지배소 후위 원칙에 따라 구구조 구문트리에서 의존트리 형태로 변환하였다.
- 앞서 설명하였듯이 한국어는 하나의 어절이 여러 개의 형태소로 이루어질 수 있기 때문에 자질의 선택이 매우 중요하다(그림 4 참조). 본 논문에서는 한국어나 일본어에서 주로 사용하는 하나의 어절 또는 분절을 대표 내용어와 대표 기능어로 표현하는 방식을 사용하였고, 구문분석 시에 유용하게 쓰일 수 있는 쉼표나 마침표 등의 정보를 이용하기 위해 마지막 기호 정보도 자질로 사용하였다. 그림 4는 한국어 어절을 추상화한 것으로 굵은 글씨로 표현된 것이 차례대로 마지막 내용어 형태소 (CM), 마지막 내용어 품사태그 (CT), 마지막 기능어 형태소(FM), 마지막 기능어 품사태그(FT), 마지막 기호(LS), 마지막 기호 품사태그 (ST)이다.
- ) 말뭉치를 지배소 후위 원칙에 따라 구구조 구문트리에서 의존트리 형태로 변환하였다. 하나의 구(phrase)가 두개 이상의 터미널노드를 가질 경우 인접한 노드를 지배소로 설정하였다. 이렇게 변환한 의존트리 말뭉치는 총 12,084문장이며 이중 랜덤하게 선택한 10,876문장(90%)을 학습데이터로 사용하였고, 나머지 1,208문장(10%)을 평가데이터로 사용하였다.
대상 데이터
- 다음은 본 논문에서 제안하는 의존구문분석에서 사용한 유니그램(uigram) 자질, 바이그램(bigram) 자질, 부분트리 비교 자질들이다. 아래첨자(-1, -0, +0, +1)는 각각 대상 어절의 왼쪽 어절, 의존소 후보, 지배소 후보, 대상 어절의 오른쪽 어절을 의미하며, (+,-)는 이진값(boolean)을 의미한다.
- 하나의 구(phrase)가 두개 이상의 터미널노드를 가질 경우 인접한 노드를 지배소로 설정하였다. 이렇게 변환한 의존트리 말뭉치는 총 12,084문장이며 이중 랜덤하게 선택한 10,876문장(90%)을 학습데이터로 사용하였고, 나머지 1,208문장(10%)을 평가데이터로 사용하였다. 구문분석의 기본 단위는 어절이며 문장당 평균 어절 수는 11.
- 특히 마지막의 부분트리 비교 자질로서 두개의 부분트리가 공통으로 가지고 있는 기능어형태소(FM) 정보와 기능어품사태그(FT) 정보가 사용되었다.
이론/모형
- 13GHz), 4G 메모리의 리눅스 시스템에서 실행되었으며, 다른 시스템과의 비교를 위해 ShiftReduce 방식과 Cascaded Chunking 방식의 트랜지션 기반 의존구문분석 알고리즘은 자바로 재구현하여 실험하였다. 공정한 비교를 위해 본 논문의 제안방법과 똑같은 자질 집합을 사용하였으며, SVM의 커널은 linear kernel을 사용하였다. 표 2는 최종 구문분석 성능 표이며, 위쪽 3개의 성능을 제외한 나머지는 해당 논문에서 인용한 성능이다.
- 본 논문에서 제안하는 구문분석 모델은 기본적으로 Eisner(1996)[12]의 edge factered model을 사용한다. 이 모델에서는 입력문장 x에 해당하는 의존구문분석 트리 y의 점수를 트리를 구성하는 모든 에지(edge) 점수 s(i, j)의 합으로 정의한다.
- 이를 위해 두 부분트리가 공유하는 조사나 어미 등의 기능어를 비교하여 자질로 추가하여 사용하였으며, 각 자질의 가중치를 구하기 위해서는 Collins(2002)[24]의 averaged (structured) perceptron 알고리즘을 사용하였다.
- 이 방법은 모든 가능한 단어 쌍의 의존가능성을 여러 문맥자질로 표현하고 이를 점수화함으로써 가장 점수가 큰 의존트리를 찾는 전역적 학습 모델(globally training model)이다. 자질의 가중치를 구하기 위해 온라인 학습기법인 MIRA 알고리즘[11]을 사용하였으며, 구문분석을 하기 위해 투사적 언어에서는 시간 복잡도 O(n3)의 Eisner(1996)[12] 알고리즘을, 비투사적 언어에서는 시간 복잡도 O(n2)의 CLE 알고리즘을 사용하였다. 이 방법은 추후 같은 방향의 인접한 형제노드(sibling) 정보한 개를 추가로 이용하는 2차 MST 알고리즘으로 확장되었다[13].
- 최적의 가중치 벡터 w를 구하기 위해 본 논문에서는 온라인 학습 방법 중의 하나인 Collins(2002)[24]의 averaged (structured) perceptron 알고리즘을 사용하였다. 이 방법은 SVM이나 MIRA 알고리즘[11]이 수행하는 최적화 (optimization) 과정이 필요 없어, 쉽게 구현이 가능하고 학습 속도도 다른 알고리즘에 비해 매우 빠르다.
성능/효과
- 온라인 학습을 통해 얻어진 최적의 가중치 벡터를 이용하여 구문분석을 수행한 결과 빠른 학습 속도와 비교적 적은 자질집합에도 불구하고 어절 단위 정확률 88.42%의 성능을 얻을 수 있었다. 특히 한국어나 일본어 등의 교착어에 발달한 조사나 어미 등의 기능어 정보는 의존관계를 단어와 단어간의 관계로 보지 않고 부분트리와 부분트리의 의존관계로 바라볼 수 있는 가능성을 제시하였다.
- 무엇보다도 제안 모델의 장점은 빠른 학습속도이다. 온라인학습(online learning)을 이용할 경우 SVM이나 CRF 등의 배치학습(batch learning)을 사용할 때보다 10배 가까이 빠른 학습속도를 보였으며, 비교적 적은 자질집합 (816,383)으로 최고의 성능을 보여주었다.
- 제안하는 모델이 기존연구와 다른 점은 에지를 바라보는 관점이 단어와 단어간의 의존관계로 보는 것이 아니라 부분트리(partial tree) ti와 부분트리 tj의 의존관계로 본다는 점이다.
- 표 2에서 알 수 있듯이 제안모델은 어절 단위 정확률 (accuracy)이 88.42%이고, 문장 단위 정확률 (complete)이 35.13%이었다. 이용훈(2008b)[22]의 순방향 트랜지션 기반 의존구문분석 시스템보다 문장 단위 정확률은 약간 떨어진 반면, 어절 단위 정확률은 소폭 상승하였다.
후속연구
- 따라서 본 논문에서는 이러한 부분트리 간의 의존관계를 잡아내기 위한 한 방법으로 특별히 두 부분트리가 공유하고 있는 조사나 어미 등의 기능어 자질을 추가하여 사용하였다. 이러한 관점은 구구조문법에서 구와 구를 합쳐서 더 큰 구를 만들어 나가는 방식과도 닮아 있어 언어학적으로도 합당해 보이며, 구문분석 오류의 상당 부분을 차지하고 있는 대등구나 대등절의 오류를 줄이는데도 기여할 것으로 기대된다.
- 추후에 부분트리의 유사성을 표현할 수 있는 좀더 정교한 방법을 고안하거나 세종사전과 같은 고품질의 격틀사전을 이용한다면 불필요한 결과의 생성을 억제하고 성능을 높일 수 있으리라 예상된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.