[논문]한국어의 어순 구조를 고려한 Two-Path 언어모델링

신중휘; 박재현; 이정태; 임해창

doi:10.7776/ask.2008.27.8.435

한국어의 어순 구조를 고려한 Two-Path 언어모델링
Two-Path Language Modeling Considering Word Order Structure of Korean 원문보기

한국음향학회지= The journal of the acoustical society of Korea, v.27 no.8, 2008년, pp.435 - 442

신중휘 (고려대학교 컴퓨터학과) , 박재현 (고려대학교 컴퓨터학과) , 이정태 (고려대학교 컴퓨터.전파통신공학과) , 임해창 (고려대학교 컴퓨터.전파통신공학과)

초록
AI-Helper

n-gram 모델은 영어와 같이 어순이 문법적으로 제약을 받는 언어에 적합하다. 그러나 어순이 비교적 자유로운 한국어에는 적합하지 않다. 기존 연구는 어절 간 어순의 고려가 어려운 한국어의 특성을 반영한 twoply HMM을 제안했으나, 인접 어절 간 어순 구조를 반영하지 못하였다. 본 논문에서는 용언형태소 사이에 나타나는 인접 어절 간에 어순 특성을 반영하기 위해 두 어절을 결합하는 세그먼트 단위를 정의하고, 제안한 세그먼트 단위에서 문맥에 따라 확률을 달리 추정하는 two-path 언어모델을 제안한다. 그 결과 기존 한국어 언어모델에 비해 제안하는 two-path 언어모델은 기존 연구보다 25.68% 혼잡도를 줄였으며, 어절 간에 결합이 일어나는 경계인 용언형태소에서는 94.03%의 혼잡도를 줄였다.

Abstract ▼ AI-Helper

The n-gram model is appropriate for languages, such as English, in which the word-order is grammatically rigid. However, it is not suitable for Korean in which the word-order is relatively free. Previous work proposed a twoply HMM that reflected the characteristics of Korean but failed to reflect word-order structures among words. In this paper, we define a new segment unit which combines two words in order to reflect the characteristic of word-order among adjacent words that appear in verbal morphemes. Moreover, we propose a two-path language model that estimates probabilities depending on the context based on the proposed segment unit. Experimental results show that the proposed two-path language model yields 25.68% perplexity improvement compared to the previous Korean language models and reduces 94.03% perplexity for the prediction of verbal morphemes where words are combined.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 용언형태소를 포함하는 어절과 그 이전 어절 간에 어순 구조가 있음을 밝히고, 두 어절의 결합을 통해 해당 인접 어절 간의 어순 구조를 고려하는 새로운 단위의 세그먼트를 정의한다. 또한 이렇게 정의된 세그먼트 단위에 적합한 문맥 정보를 이용하는 언어모델링을 제안한다. 이는 문맥에 따라서 다음과 같은 두 경로의 확률을 추정하는 문맥 기반 two-path 언어모델이다.
본 논문에서 사용하는 형태소 단위의 언어모델은 교착어의 형태소 교착에 의한 어절 생성으로 어절의 종류가 급격히 증가하는 문제를 완화하기 위해 만들어진 것이다. 따라서 많은 교착어에서 형태소 단위 언어모델 [8]을 이용하고 있고, 한국어 [9]에서도 이미 적용되고 있다.
본 논문에서는 용언형태소를 포함하는 어절과 그 이전 어절 간에 어순 구조가 있음을 밝히고, 두 어절의 결합을 통해 해당 인접 어절 간의 어순 구조를 고려하는 새로운 단위의 세그먼트를 정의한다. 또한 이렇게 정의된 세그먼트 단위에 적합한 문맥 정보를 이용하는 언어모델링을 제안한다.
본 논문에서는 한국어의 인접 어절 간 어순을 고려하여 언어모델링을 하는 방법을 제안하였다. 이를 위하여 먼저 인접 어절 간 어순이 나타나는 용언 대상 어절과 용언을 포함하는 어절 사이의 결합을 통한 세그먼트 단위를 정의하였다.
본 연구에서는 언어모델링이 용이하면서도 한국어의 어순 구조를 반영할 수 있도록 두 인접 어절 간에 어순 구조가 존재하는 경우를 살펴 볼 것이다. 그 이유는 한국어의 자유로운 어순 구조로 인해 문장 내 어절 열을 이용하여 다음 어절을 예측하는 것은 어려운 일이지만, 인접한 두 어절 간에 어순 구조가 존재하면 두 어절 중 처음 어절을 이용하여 다음 어절을 예측하기가 용이하기 때문이다.

제안 방법

해당 연구의 모델은 문맥에 따라 어절 생성 확률과 어절 내 전이 확률이라는 두 경로에 HMM을 적용한 방법으로 문맥 기반 two-path 모델이다. 각 경로에서 어절 생성 확률은 어절의 첫 번째 형태소가 나타날 확률로 추정하고, 어절 내 전이 확률은 어절 내 형태소를 HMM을 이용하여 추정한다. 그림 1은 twoply HMM이 고려하는 두 경로를 보여준다.
말뭉치는 80%의 학습 말뭉치와 10%의 개발 말뭉치, 10%의 실험 말뭉치를 임의로 분할하였다. 개발 말뭉치는 cut-off를 통한 형태소 종류의 크기를 결정하는데 이용⁴⁾하였으며, 실제 실험 결과는 실험 말뭉치에서 얻었다. 그 결과 형태소의 종류는 37,753개이고 OOV (Out-Of-Vocabulary) rate는 2.
먼저 세그먼트 생성 확률 추정에서는 twoply HMM과 같이 근거리 문맥만을 이용하여 확률을 추정함으로써 확률분포의 잘못된 분산을 막는다. 그리고 세그먼트 내 형태소 확률 추정에서는 twoply HMM의 한계인 HMM을 확장하여 세그먼트 내 문맥을 효과적으로 보는 세그먼트 내 형태소 단위 n-gram 모델을 제안한다. 마지막으로, 제안하는 세그먼트 단위와 언어모델을 어절 단위의 twoply HMM 및 기존 연구 [6]과 [7]의 언어모델과 비교실험을 하였다.
이를 위하여 먼저 인접 어절 간 어순이 나타나는 용언 대상 어절과 용언을 포함하는 어절 사이의 결합을 통한 세그먼트 단위를 정의하였다. 또한 제안한 세그먼트 단위의 문맥에 적합한 two-path 언어모델을 세그먼트 생성 확률과 세그먼트 내 형태소 확률 각각에 적합한 언어모델링으로 제안하였다. 그 결과 제안하는 세그먼트 단위와 two-path 언어모델은 기존의 어절 단위 언어모델들이 갖는 용언 대상 어절과 용언을 포함하는 어절 간 어순을 고려하지 않는 문제를 해결하였고, 한국어에 더 적합한 언어모델임을 보였다.
표 5는 제안하는 세그먼트 내 형태소 확률을 추정할 때 형태소 단위 n-gram 모델을 적용한 결과이다. 먼저 bigram 모델을 적용한 모델은 기존의 twoply HMM과 동일한 모델이며, 이 모델을 기준으로 n-gram 모델의 n을 증가시키며 비교실험 하였다. 그 결과 세그먼트 내 형태소 확률을 구할 때는 적정 수준의 문맥을 고려하는 것이 적합했으며, fourgram 모델에서 혼잡도를 약 17.
본 연구는 세그먼트 생성 확률 모델을 이용할 때 이전 세그먼트의 마지막 형태소만을 이용하여 언어모델링을 한다. 반면에 기존 연구 [6]과 [7]는 이전 두 세그먼트의 첫 형태소 열을 이용하여 언어모델링을 한다.
본 논문에서는 한국어의 인접 어절 간 어순을 고려하여 언어모델링을 하는 방법을 제안하였다. 이를 위하여 먼저 인접 어절 간 어순이 나타나는 용언 대상 어절과 용언을 포함하는 어절 사이의 결합을 통한 세그먼트 단위를 정의하였다. 또한 제안한 세그먼트 단위의 문맥에 적합한 two-path 언어모델을 세그먼트 생성 확률과 세그먼트 내 형태소 확률 각각에 적합한 언어모델링으로 제안하였다.

대상 데이터

본 연구에서는 21세기 세종 프로젝트³⁾의 형태소 품사 부착 말뭉치를 정제하여 이용한다. 이 말뭉치는 뉴스, 소설, 수필, 가사 등 다양한 종류의 문서를 포함한다.

데이터처리

그리고 세그먼트 내 형태소 확률 추정에서는 twoply HMM의 한계인 HMM을 확장하여 세그먼트 내 문맥을 효과적으로 보는 세그먼트 내 형태소 단위 n-gram 모델을 제안한다. 마지막으로, 제안하는 세그먼트 단위와 언어모델을 어절 단위의 twoply HMM 및 기존 연구 [6]과 [7]의 언어모델과 비교실험을 하였다. 그 결과 제안하는 세그먼트와 언어모델이 기존 연구보다 한국어에서 더 적합함을 밝힐 수 있었다.

이론/모형

한국어의 어순 구조의 특징을 고려하는 기존 연구는, 어절 간 어순의 고려가 어려운 한국어의 특성을 반영하여 문맥에 따라 다른 확률을 이용하는 연구 [4]가 있다. 이 연구는 형태소 단위에서 어절의 첫 형태소의 확률을 추정하는 어절 생성 확률과 어절 내의 나머지 형태소의 확률을 추정하는 어절 내 형태소 전이 확률의 twoply HMM (Hidden Markov Model)을 이용한다. 하지만 용언 형태소를 포함한 어절과 그 이전 어절 간 어순 구조를 고려하지 않아서 해당 어절 간에 발생하는 어절의 생성 확률을 올바로 추정하지 못한다.
표 6은 어절 단위 twoply HMM [4]과 제안하는 세그먼트 단위 two-path 언어모델과의 최종 성능 비교를 보여준다. 최종 성능은 많은 응용 분야에서 이용하는 trigram 모델을 세그먼트 내 형태소 확률 모델로 이용하였다. 실험 결과 언어모델의 혼잡도는 25.
평탄화 (smoothing) 기법은 Katz back-off [11]를 사용하였고, 언어모델은 SRILM toolkit [12]으로 생성하였다.
이 모델은 형태소 단위 모델에서는 고려할 수 없는 어절 단위 문맥 정보를 이용하는 모델로, HMM을 이용하여 품사 부착을 하는 모델이다. 해당 연구의 모델은 문맥에 따라 어절 생성 확률과 어절 내 전이 확률이라는 두 경로에 HMM을 적용한 방법으로 문맥 기반 two-path 모델이다. 각 경로에서 어절 생성 확률은 어절의 첫 번째 형태소가 나타날 확률로 추정하고, 어절 내 전이 확률은 어절 내 형태소를 HMM을 이용하여 추정한다.

성능/효과

먼저 bigram 모델을 적용한 모델은 기존의 twoply HMM과 동일한 모델이며, 이 모델을 기준으로 n-gram 모델의 n을 증가시키며 비교실험 하였다. 그 결과 세그먼트 내 형태소 확률을 구할 때는 적정 수준의 문맥을 고려하는 것이 적합했으며, fourgram 모델에서 혼잡도를 약 17.81% 낮추며 수렴하는 성능을 보여주는 것을 알 수 있다. 따라서 세그먼트 내 형태소 확률 추정은 세그먼트 내 HMM보다 형태소 단위 n-gram 언어모델링이 적합하다.
또한 제안한 세그먼트 단위의 문맥에 적합한 two-path 언어모델을 세그먼트 생성 확률과 세그먼트 내 형태소 확률 각각에 적합한 언어모델링으로 제안하였다. 그 결과 제안하는 세그먼트 단위와 two-path 언어모델은 기존의 어절 단위 언어모델들이 갖는 용언 대상 어절과 용언을 포함하는 어절 간 어순을 고려하지 않는 문제를 해결하였고, 한국어에 더 적합한 언어모델임을 보였다.
마지막으로, 제안하는 세그먼트 단위와 언어모델을 어절 단위의 twoply HMM 및 기존 연구 [6]과 [7]의 언어모델과 비교실험을 하였다. 그 결과 제안하는 세그먼트와 언어모델이 기존 연구보다 한국어에서 더 적합함을 밝힐 수 있었다.
개발 말뭉치는 cut-off를 통한 형태소 종류의 크기를 결정하는데 이용⁴⁾하였으며, 실제 실험 결과는 실험 말뭉치에서 얻었다. 그 결과 형태소의 종류는 37,753개이고 OOV (Out-Of-Vocabulary) rate는 2.58%이다.
81% 낮추며 수렴하는 성능을 보여주는 것을 알 수 있다. 따라서 세그먼트 내 형태소 확률 추정은 세그먼트 내 HMM보다 형태소 단위 n-gram 언어모델링이 적합하다.
04%)의 종류가 한정되어 있고 새로운 종류의 형태소가 나타날 확률이 적으며, 출현빈도가 높은 특성을 갖는 것과 밀접한 관계를 가지고 있다. 따라서 용언형태소를 기능형태소와 함께 세그먼트 내 형태소 확률 모델로 언어모델링을 함으로써 높은 성능 향상을 얻을 수 있었다.
최종 성능은 많은 응용 분야에서 이용하는 trigram 모델을 세그먼트 내 형태소 확률 모델로 이용하였다. 실험 결과 언어모델의 혼잡도는 25.68% 줄었으며 특히 어절과 세그먼트의 차이가 되는 용언형태소에 대해서 94.03%의 혼잡도를 줄이는 결과를 보였다.
표 4는 어절과 세그먼트 간의 차이가 되는 용언형태소의 혼잡도를 어절과 세그먼트의 단위에서 각각 보여준다. 실험 결과에 따르면 용언형태소를 예측할 때에는 용언의 대상 어절인 이전 어절의 형태소를 이용하여 언어모델링 하는 것이 바람직함을 보여주고 있다. 제안된 세그먼트 단위에서 혼잡도가 낮은 이유는, 용언형태소는 다른 실질형태소와 다르게 기능형태소와 비슷한 속성을 보이기 때문이다.
표 3은 twoply HMM을 어절 단위와 제안하는 세그먼트 단위에 적용한 실험 결과이다. 실험 결과에서는 제안하는 세그먼트 단위에서 혼잡도가 떨어지는 것을 볼 수 있다. 이는 제안하는 세그먼트 단위가 twoply HMM을 이용할 때 더 효과적임을 나타낸다.
표 8의 결과는 세그먼트 경계의 이용 여부에 따르는 세그먼트 내 형태소의 혼잡도를 보여준다. 실험결과에 의하면 세그먼트의 경계를 이용함으로써 혼잡도를 11.82%를 줄일 수 있었다. 그 이유는 세그먼트 도치로 인한 이전 세그먼트의 변화에 따라, 이전 형태소 열이 갖는 확률 분포의 분산을 줄일 수 있었기 때문이다.
실험 결과에서는 제안하는 세그먼트 단위에서 혼잡도가 떨어지는 것을 볼 수 있다. 이는 제안하는 세그먼트 단위가 twoply HMM을 이용할 때 더 효과적임을 나타낸다.
2절에서는 터키어 [6]와 일본어 [7]에서 제안한 세그먼트 생성 확률 추정 및 세그먼트 내 형태소 확률 추정을 제안하는 언어모델과 비교한다. 이러한 비교실험을 통해 제안하는 모델이 한국어에 가장 적합한 언어모델임을 밝힌다.

후속연구

본 연구의 향후 연구는 제안하는 모델을 한국어와 비슷한 어순의 구조를 갖는 다른 교착어에 적용하는 것이다. 또한 실제 응용인 기계번역이나 음성인식 등에서 제안하는 언어모델을 이용해 볼 수 있을 것이다.
본 연구의 향후 연구는 제안하는 모델을 한국어와 비슷한 어순의 구조를 갖는 다른 교착어에 적용하는 것이다. 또한 실제 응용인 기계번역이나 음성인식 등에서 제안하는 언어모델을 이용해 볼 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	n-gram 모델는 어떤 언어의 적용에 적합한가?	n-gram 모델은 영어와 같이 어순이 문법적으로 제약을 받는 언어에 적합하다. 그러나 어순이 비교적 자유로운 한국어에는 적합하지 않다.
	언어모델이 하는 역할은?	언어모델은 문장이 나타날 확률로 다음 단어를 예측하거나 중의성을 해소하는 등의 역할을 한다. 따라서 언어모델은 음성인식 [1], 기계번역 [2] 등 다양한 자연어처리 분야에서 이용된다.
	n-gram 모델 적용에 적합하지 않은 언어는?	n-gram 모델은 영어와 같이 어순이 문법적으로 제약을 받는 언어에 적합하다. 그러나 어순이 비교적 자유로운 한국어에는 적합하지 않다. 기존 연구는 어절 간 어순의 고려가 어려운 한국어의 특성을 반영한 twoply HMM을 제안했으나, 인접 어절 간 어순 구조를 반영하지 못하였다.

참고문헌 (12)

F. Jelinek, "Self-organized language modeling for speech recognition", Readings in Speech Recognition, A. Waibel and K. F. Lee, eds., Morgan Kaufmann, 450-506, 1990
P. F. Brown, S. A. Della Pietra, V. J. Della Pietra, F. Jelinek, J. D. Lafferty, R. L. Mercer, and Roossin, P.S. "A statistical approach to machine translation", Computational Linguistics, 16(2), 79-85, 1990
D. Jurafsky and J. H. Martin, Speech and Language Processing (Prentice Hall, 2007) Chap.4, pp.83-121
김진동, 임희석, 임해창, "Twoply HMM: 한국어의 특성을 고려한 형태소 단위의 품사 태깅 모델", 정보과학회논문지 (B), 24 (12), 1502-1512, 1997

상세보기
L. Rabiner and B. Juang, "An Introduction to hidden Markov models", ASSP Magazine IEEE Signal Processing, 3(1), 4-16, 1986

상세보기
E. Arisoy and M. Saraclar, "Lattice extension and rescoring based approaches for LVCSR of turkish", in INTERSPEECH, 1025-1028, 2006
J. Gao, H. Suzuki, and Y. Wen, "Exploiting headword dependency and predictive clustering for language modeling", in EMNLP-2002, 248-256, 2002
M. Creutz, T. Hirsimaki, M. Kurimo, A. Puurula, J. Pylkkonen, V. Siivola, M. Varjokallio, E. Arisoy, M. Saraclar, and A. Stolcke, "Morph-based speech recognition and modeling of out-of-vocabulary words across languages", ACM TSLP, 5(1), 2007
O. Kwon and J. Park, "Korean large vocabulary continuous speech recognition with morpheme-based recognition units", Speech Communication, 39(3-4), 287-300, 2003

상세보기
N. Hideki, Corpus-based approaches to sentence structures (John Benjamins Pub Co., 2005), Chap.3, pp.51-76
S. M. Katz, "Estimation of probabilities from sparse data for the language model component of a speech recognizer", IEEE Transactions on Acoustics, Speech and Signal Processing, 35, 400-401, 1987

상세보기
A. Stolcke, "SRILM-an extensible language modeling toolkit", in ICSLP-2002, 901-904, 2002

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증