개체명 인식은 질의응답 시스템이나 정보 추출 시스템에서 필수 불가결한 과정이다. 이 논문에서는 HMM 기반의 복합 명사 구성 원리를 이용한 한국어 개체명 인식 방법에 대해 설명한다. 한국어에서 많은 개체명들이 하나 이상의 단어로 구성되어 있다. 또한, 하나의 개체명을 구성하는 단어들 사이와 개체명과 개체명 주위의 단어 사이에도 문맥적 관계를 가지고 있다. 본 논문에서는 단어들을 개체명 독립 단어, 개체명 구성 단어, 개체명 인접 단어로 분류하고, 개체명 관련 단어 유형과 품사를 기반으로 HMM을 학습하였다. 본 논문에서 제안하는 개체명 인식 시스템은 가변길이의 개체명을 인식하기 위해 트라이그램 모델을 사용하였다. 트라이그램 모델을 이용한 HMM은 데이터 부족 문제를 가지고 있으며, 이를 해결하기 위해 다단계 백-오프를 이용하였다. 경제 분야 신문기사를 이용한 실험 결과 F-measure 97.6%의 결과를 얻었다.
개체명 인식은 질의응답 시스템이나 정보 추출 시스템에서 필수 불가결한 과정이다. 이 논문에서는 HMM 기반의 복합 명사 구성 원리를 이용한 한국어 개체명 인식 방법에 대해 설명한다. 한국어에서 많은 개체명들이 하나 이상의 단어로 구성되어 있다. 또한, 하나의 개체명을 구성하는 단어들 사이와 개체명과 개체명 주위의 단어 사이에도 문맥적 관계를 가지고 있다. 본 논문에서는 단어들을 개체명 독립 단어, 개체명 구성 단어, 개체명 인접 단어로 분류하고, 개체명 관련 단어 유형과 품사를 기반으로 HMM을 학습하였다. 본 논문에서 제안하는 개체명 인식 시스템은 가변길이의 개체명을 인식하기 위해 트라이그램 모델을 사용하였다. 트라이그램 모델을 이용한 HMM은 데이터 부족 문제를 가지고 있으며, 이를 해결하기 위해 다단계 백-오프를 이용하였다. 경제 분야 신문기사를 이용한 실험 결과 F-measure 97.6%의 결과를 얻었다.
Named entity recognition is the process indispensable to question answering and information extraction systems. This paper presents an HMM based named entity (m) recognition method using the construction principles of compound words. In Korean, many named entities can be decomposed into more than on...
Named entity recognition is the process indispensable to question answering and information extraction systems. This paper presents an HMM based named entity (m) recognition method using the construction principles of compound words. In Korean, many named entities can be decomposed into more than one word. Moreover, there are contextual relationships among nouns in an NE, and among an NE and its surrounding words. In this paper, we classify words into a word as an NE in itself, a word in an NE, and/or a word adjacent to an n, and train an HMM based on NE-related word types and parts of speech. Proposed named entity recognition (NER) system uses trigram model of HMM for considering variable length of NEs. However, the trigram model of HMM has a serious data sparseness problem. In order to solve the problem, we use multi-level back-offs. Experimental results show that our NER system can achieve an F-measure of 87.6% in the economic articles.
Named entity recognition is the process indispensable to question answering and information extraction systems. This paper presents an HMM based named entity (m) recognition method using the construction principles of compound words. In Korean, many named entities can be decomposed into more than one word. Moreover, there are contextual relationships among nouns in an NE, and among an NE and its surrounding words. In this paper, we classify words into a word as an NE in itself, a word in an NE, and/or a word adjacent to an n, and train an HMM based on NE-related word types and parts of speech. Proposed named entity recognition (NER) system uses trigram model of HMM for considering variable length of NEs. However, the trigram model of HMM has a serious data sparseness problem. In order to solve the problem, we use multi-level back-offs. Experimental results show that our NER system can achieve an F-measure of 87.6% in the economic articles.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 개체명 인식을 위한 국내외 연구를 살펴 보고, 한국어 문서에서 나타나는 개체형의 유형과 특성, 개체명을 구성하는 한국어의 구조적 특징을 조사하고, 한국어에 적합한 개체명 인식 방법을 제안하였다. 한국어는 일본어나 영어에 비해, 문자 자체가 가지는 타입 정보가 많이 부족하기 때문에 개체명 사전이나 개체명 구성단어 및 인접 단어 사전의 중요성이 무척 크다.
본 논문에서는 이러한 점들을 고려하여 개체명 인식을 위한 국내외의 연구를 살펴보고, 한국어 개체명의 특징을 살펴본다. 한국어 개체명의 구조적 특성을 바탕으로 개체명 및 인접 단어들 사이의 결합 원리를 이용한 HMM 기반 교사학습 방법을 제안하고 이를 평가하였다.
본 논문에서는 한국어 개체명의 특징을 먼저 살펴보고, 한국어 개체명의 구조적 특성에 바탕을 둔 개체명 인식 방법을 제안한다.
1에서 살펴본 개체명 외부 단어들과 개체명 사이의 관계와 더불어서 개체명의 인식에 중요한 정보로 활용될 수 있다. 이 논문에서는 개체명 내부 구성 단어들의 구조적 연관성과 개체명과 개체명 외부 단어들 사이의 의미적 공기 관계가 매우 높다는 분석 결과를 바탕으로 이를 활용한 HMM 기반의 개체명 인식 모델을 제안한다.
가설 설정
품사 태깅에서 T를 주어진 문장 W의 가장 적합한 태그 열로 가정하고, ", .는 문장 W를 구성하는 z.번째 단어, "는 문장의 품사 열 T에서 /번째 단어인 処의 품사를 나타낸다고 할 때, 최적의 품사 열을 찾는 HMM 기반의 확률 모델은 다음과 같다.
. 개체명 경계 인식 단계에서 B를 주어진 문장 W의 가장 적합한 개체의 경계열로 가정하고, 개체명 경계 인식을 위한 트라이그램 기반 HMMe 다음과 같다.
. 부개체형 생성 단계에서 E를 주어진 문장 W의 가장 적합한 부개체형 열로 가정하고 부개형 생성 및 모호성 해소를 위한 트라이그램 기반 HMMe 다음과 같다.
제안 방법
[1]에서는 HMM을 이용하여 영어 문장에서 개체명을 추출하는 방법을 기술하였다. 8 가지 내부 상태(7가지 유형의 개체명을 위한 상태와 '개체명^).님' 상태), 두 가지 특별한 상태(문장의 시작, 문장의 끝)를 HMM을 구성하기 위한 상태로 가정하고, 단어의 특성을 이용하여 코퍼스로부터 개체 명 인식 모델을 학습하였다. 단어의 의미 속성을 배제하고 '두 자리 숫자', 모두 대문자', 모두 소문자', '첫 문자만 대문 자' 등과 같이 문자나 단어의 철자 속성을 학습에 이용하였다.
개체명 인식 과정에서는 문장에 대해 형태소 분석과 태깅을 거친 후, 각 단어에 대해 가능한 부개체 유형을 생성하고, 부개체 유형 모호성을 해소하여 최적의 부개체형 열을. 얻는다.
개체명 인식 시스템의 성능을 평가하기 위흐H, 학습 문서를 증가시키면서 경제 분야 신문기사 10문서에 대하여 개체명 인식률을 조사하였다. 각 실험은 E0에서 El, E2로 백 -오프를 통해 얻은 결과이다.
개체명 인식의 두 과정에서 각각 모호성이 발생하고, 이를 해결하면서 개체명을 인식하기 위해 서로 다른 통계적 확률을 적용하여 HMM을 구성하였다. 충분한 학습 데이터가 없을 경우, 트라이그램 모델은 심각한 데이터 부족 문제를 야기한다.
<표 3>에서 살펴본 것처럼 한국어에서 많은 수의 개체명이 하나 이상의 단어로 구성된 복합 단어이기 때문에 개체명을 구성하는 단어들 사이의 상관관계를 이해하는 것이 개체명의 인식에 도움이 될 수 있다. 개체명을 구성하는 단어와 이들 주위의 단어들이 개체명의 형성 및 인식에 어떠한 영향을 미치는지에 따라 다음과 같은 네 가지 범주로 단어를 분류하였다.
[10]은 많은 개체명이 하나 이상의 단어로 구성되어 있다는 가정에서 단어의 다양한 유형을 바탕으로 학습하였다. 개체명의 경계를 인식하기 위해 개체명을 구성하는 각 단어에 '시작', '계속', '끝', '유일' 표현과 '이전(PRE)', '이후 (POST); '중간(MID)', '이외(OTHER)' 태그 등을 활용하고, 이들 사이의 결합 규칙을 작성하였다. 예를 들어, “여성을 중심으로 '인권을 생각하는 모임'이 열렸다”라는 문장에서, 기관명인 '인권을 생각하는 모임'을 인식하기 위해서 아래와 같은 내부 표현을 사용하였다.
즉, 품사 태깅에서 품사에 대응되는 단위로 각 단어가 가질 수 있는 부개체형에 기반하여 트라이그램을 추출한다. 개체명의 앞과 뒤에 나타나는 문맥에 대한 정보를 활용하고, 다양한 문맥 확률을 반영하기 위해 트라이그램을 사용하였다. 개체명이 하나 이상의 단어로 구성되는 가변 길 이이므로 n개의 단어로 구성된 개체명 J〃严 .
개체명이 하나 이상의 단어로 구성될 때, 개체명 주위에 발생하는 단어들과의 관계를 살펴보기 위해 개체명 주위의 품사 분포를 살펴보았다. 개체명의 앞에서 명사가 약 32% 발생하였으며, 개체명이 문장의 시작인 경우가 15.
그러나, 어휘 기반의 트라이그램 모델은 자료 부족 문제를 일으키기 때문에, 이 논문에서는 부개체 유형 및 품사 기반의 트라이그램을 학습한다. 단어 ", .
한국어는 일본어나 영어에 비해, 문자 자체가 가지는 타입 정보가 많이 부족하기 때문에 개체명 사전이나 개체명 구성단어 및 인접 단어 사전의 중요성이 무척 크다. 따라서 사전과 단어의 부개체 유형에 기반해서 개체명의 구성 원리를 이용한 개체명 인식 방법을 선택하였다. 또한, 학습 코퍼스로부터 개체명 인식에 필요한 통계 정보를 학습하고, 이를 이용하여 HMM 기반 개체명 인식 시스템을 구축하였다.
이를 통해 , , 서울산업, , 이나, , 미래 투자신탁, , 과 같은 고유명사를 인식할 수 있다. 또한 'A인 B'와 같은 문맥 실마리를 이용하여 A에 어떠한 유형의 명사가 있을 때 B가 고유명사로 인식이 가능한지 학습하였다. 그러나 이 연구에서 구축한 실마리어 나 문맥 실마리는 경제 분야에 종속적이다.
따라서 사전과 단어의 부개체 유형에 기반해서 개체명의 구성 원리를 이용한 개체명 인식 방법을 선택하였다. 또한, 학습 코퍼스로부터 개체명 인식에 필요한 통계 정보를 학습하고, 이를 이용하여 HMM 기반 개체명 인식 시스템을 구축하였다. 한국어 개체명은 개체명 주변 문맥에 의존하며, 개체명 자체의 구성 문맥에도 의존적인 경향이 많으므로, 이들을 자동으로 학습 하고 이를 개체명 인식 과정에 반영함으로써 개체명 인식의 성능 향상을 기대할 수 있었다.
개체명 인식은 주어진 문장 衣에 가장 적합한 개체형 열을 찾는 과정으로 생각할 수 있다. 본 논문에서는 부개체형2) 단위의 트라이그램 기반 학습 방법을 이용하여 최적의 개체형 열을 찾는다. 즉, 품사 태깅에서 품사에 대응되는 단위로 각 단어가 가질 수 있는 부개체형에 기반하여 트라이그램을 추출한다.
HMMe 시간에 따라 변화되는 입력 열의 다양한 변형을 표현할 수 있는 확률 모델로 음성인식, 품사 태깅과 같은 응용 분야에서 널리 사용되고 있다[6]. 본 논문은 [기과 [10]의 연구 결과를 기본으로 하여 개체명의 구조적 특성에 맞게 모델을 수정하였다. [기과 [10] 에서는 개체명을 구성할 수 있는 단어와 그렇지 않은 단어, 개체명의 시작과 계속, 끝 등을 학습한 반면, 제안하는 개체명 인식 시스템은 하나의 개체명 내의 여러 단어를 개체명 독립 단어와 개체명 구성 단어로 구분하고, 개체명 주변의 단어도 단순히 "개체명과 관련 없음” 뿐만 아니라, 개체명 인접 단어를 정의하고 학습함으로써 개체명을 형성하는 문맥의 원리를 충실히 반영하도록 하였다.
이를 해결하기 위해 상태전이 확률을 위한 백 -오프 모델[16]을 사용하였는데, 부개체형 생성 단계와 개체명 경계 인식 단계 각각에 다른 모델을 사용하였다. 부개체형 인식을 위한 상태전이 확률에서는 바이그램 확률을 이용하였다. 예를 들어, 尸(4丨弓_2。'-1)에 대한 확률이 학습되지 않았을 경우, P(시 e, T)을 이용하였다.
실험을 위해 학습 문서를 대상으로 부개체형 인식 및 경계 인식을 위한 트라이그램을 추출하였다. (그림 6)과 (그림 7)은 학습 문서를 10문서씩 90문서까지 증가하면서 추출된 문맥들이다.
위에서 분류한 범주에 따라 개체명 태깅된 문서로부터 개체명을 구성하는 단어들 사이의 긴밀성에 따른 내부 구성 요소들 사이의 관계를 학습하였다. 이는 3.
얻는다. 이를 바탕으로, 각 단어에 대해 가능한 개체명의 경계를 생성하고 이를 이용하여 최적의 개체명 경계열을 찾는다.
본 논문에서는 부개체형2) 단위의 트라이그램 기반 학습 방법을 이용하여 최적의 개체형 열을 찾는다. 즉, 품사 태깅에서 품사에 대응되는 단위로 각 단어가 가질 수 있는 부개체형에 기반하여 트라이그램을 추출한다. 개체명의 앞과 뒤에 나타나는 문맥에 대한 정보를 활용하고, 다양한 문맥 확률을 반영하기 위해 트라이그램을 사용하였다.
[7]은 트라이그램 모델과 이를 확장한 가변 길이 모델을 결정 리스트에 적용하여 일본어 개체명을 인식하였다. 트라이그램 모델이나 가변 길이 모델에서 어휘정보, 품사 정보, 철자 속성, 개체명 내의 순서 정보 등을 이용하였다. 이는 복합 명사의 단위화와 관련된 연구를 활용하여 다양한 단어로 구성된 개체명을 인식하기 위한 방법으로 도입하였다.
본 논문에서는 이러한 점들을 고려하여 개체명 인식을 위한 국내외의 연구를 살펴보고, 한국어 개체명의 특징을 살펴본다. 한국어 개체명의 구조적 특성을 바탕으로 개체명 및 인접 단어들 사이의 결합 원리를 이용한 HMM 기반 교사학습 방법을 제안하고 이를 평가하였다.
대상 데이터
경제 분야 기사 100문서에서 학습을 위해 90문서를 이용하였고, 10문서를 대상으로 실험하였다. 학습 문서는 1,075개의 개체명을 포함하고 있으며, 인명 190, 지명 362, 기관명 523개를 포함하고 있다.
경제 분야 기사 100문서에서 학습을 위해 90문서를 이용하였고, 10문서를 대상으로 실험하였다. 학습 문서는 1,075개의 개체명을 포함하고 있으며, 인명 190, 지명 362, 기관명 523개를 포함하고 있다. 또한, 문서당 평균 7 문장으로 구성되었으며, 한 문장당 평균 18.
한국어 문장에서 발생하는 개체명의 특징과 빈도를 조사하기 위해 경저)/공연/여행 관련 신문 기사 및 웹 문서에 대해 각각 100 문서를 수집하여 분석하였다. 각 분야별 개체형 분포는<표 2>와 같으며, 도메인의 특성에 따라 개체형의 비율이 조금씩 달랐다.
이론/모형
본 논문에서는 개체명 인식을 위해 학습 모델로 HMM을 이용하였다. HMMe 시간에 따라 변화되는 입력 열의 다양한 변형을 표현할 수 있는 확률 모델로 음성인식, 품사 태깅과 같은 응용 분야에서 널리 사용되고 있다[6].
충분한 학습 데이터가 없을 경우, 트라이그램 모델은 심각한 데이터 부족 문제를 야기한다. 이를 해결하기 위해 상태전이 확률을 위한 백 -오프 모델[16]을 사용하였는데, 부개체형 생성 단계와 개체명 경계 인식 단계 각각에 다른 모델을 사용하였다. 부개체형 인식을 위한 상태전이 확률에서는 바이그램 확률을 이용하였다.
성능/효과
각 분야별 개체형 분포는<표 2>와 같으며, 도메인의 특성에 따라 개체형의 비율이 조금씩 달랐다. 경제 분야에서는 기관명, 날짜, 지명의 순으로, 공연 분야에서는 인명, 날짜, 지명의 순으로 높은 빈도로 나타났으며, 여행 분야에서는 지명, 수량, 날짜 등의 순서였다.
또한, 한국어나 일본어가 한자문화권의 단어 특성을 가지고 있어, 개체형이 하나 이상의 단어로 구성된 경우가 많은더】, 이는 복합명사가 개체명으로 많이 이용되기 때문이다. 수집된 문서의 분석 결과, 65% 이상의 개체명이 하나 이상의 단어로 구성되어 있으며, 4개 이상의 단어로 구성된 개체명도 약 15% 정도를 차지하는데, 이들은 대부분 지명, 기관명, 시간 및 날짜 표현 등에서 발생하였다.
후속연구
7% 발생하였다. 따라서, 개체명을 구성하는 단어와 개체명의 앞과 뒤에 발생하는 명사들 사이에 단어 또는 개체형에 따른 의미 수준의 단어 분류 정보를 학습한다면 개체명 인식에 도움을 줄 수 있을 것이다.
이러한 문제는 미지어 추정을 통한 해결과 관련이 있으며, 이를 제안한 모델에 포함시키는 방법이 필요하다. 또한, 부개체형 인식 후 개체명을 인식하는 두 단계 접근 방법을 통합하여 하나의 학습 모델에 수용함으로써 불필요한 정보량을 줄이면서 개체명 인식 속도를 향상시키는 연구가 필요하다.
참고문헌 (16)
D. M. Bikel, S. Miller, R. Schwartz, R. Weischedel, 'Nymble : A High-Performance Learning Named-finder,' In Proceedings of the Fifth Conference on Applied Natural Language Proceesing, pp.194-201, 1997
M. Collins and Y. Singer, 'Unsupervised Models for Named Entity Classification,' EMNLP/VLC-99, pp.189-196, 1999
K. Fukuda, T. Tsunoda, A. Tamura and T. Takagi, 'Toward Information Extraction : Identifying protein names from biological papers,' In Proc. of the Pacific Symposium on Biocomputing '98 (PSB '98), 1998
J. Fukumoto, M. Shimohata, F. Masui and M. Saski, 'Description of the Oki System as Used for MET-2,' In Proceedings of 7th Message Understanding Conference, 1998
A. Mikheev, C. Grover, M. Moens, 'Description of the LTG System Used for MUC-7,' In Proceedings of 7th Message Understanding Conference, 1998
L .R. Rabiner, 'A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition,' Proceedings of the IEEE, Vol.77, No.2, pp.257-286, 1989
M. Sassano and T. Utsuro, 'Named Entity Chunking Techniques in Supervised Learning for Japanese Named Entity Recognition,' Proceedings of the 18th International Conference on Computational Linguistics, pp.705-711, 2000
S. Sekine, R. Grishman and H. Shinnou, 'A Decision Tree Method for Finding And Classifying Names in Japanese Texts,' Proceedings of the Sixth Workshop on Very Large Corpora, 1998
C. N. Seon, Y. Ko, J. S. Kim and J. Seo, 'Named Entity Recognition using Machine Learning Methods and Pattern Selection Rules,' pp.229-236, NLPRS 2001
K. Uchimoto, Q. Ma, M. Murata, H. Ozakum and H. Isahara, 'Named Entity Extraction Based on A ME Model and Transformation Rules,' In Processing of the ACL 2000
S. Yu, S. Bai and P. Wu, 'Description of the Kent Ridge Digital Labs System Used for MUC-7,' In Proceedings of 7th Message Understanding Conference, 1998
G. D. Zhou, J. Su, 'Named Entity Recognition using an HMM-based Chunk Tagger,' In Processing of the ACL 2002
김태현, 이현숙, 하유선, 이만호, 맹성현, '데이터 집합을 이용한 고유명사 추출,' 제 12회 한글 및 한국어 정보처리 학술대회, pp.11-18, 2000
노태길, 이상조, '규칙 기반의 기계학습을 통한 고유 명사의 추출과 분류,' 한국정보과학회 가을 학술발표논문집, Vol.27, No.2, pp.170-172, 2000
이경희, 이주호, '한국어 문서에서 개체명 인식에 관한 연구,' 한글 및 한국어 정보처리 학술대회, pp.292-299, 2000
S. Katz, 'Estimation of Probabilities from Sparse Data for the Language Model Component of a Speech Recognizer,' IEEE Transaction on Acoustic, Speech, and Signal Processing, Vol.ASSp-35, No.3, pp.400-401, 1987
※ AI-Helper는 부적절한 답변을 할 수 있습니다.