선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 미등록어 처리 문제를 형태소 분석기의 후처리를 통해 처리함으로써, 미등록어를 포함하는 어절의 품사부착 결과가 잘못된 것을 인식하여 품사 재부착을 시도한다. 본 논문의 구성은 다음과 같다.
- 본 논문에서는 한국어 미등록어 추정을 위하여 기계학습을 기반으로 형태소 경계를 인식하고 품사를 재부착하는 모델을 제안하였다. 제안 모델은 기존의 모델들과는 달리 미등록어로 인해 형태소 분석이 실패한 어절뿐만 아니라 잘못 형태소 분석된 어절도 처리할 수 있다는 장점이 있다.
- 본 연구에서는 형태소 분석 실패를 통하여 미등록어라고 판명된 대상의 품사 부착문제 이외에도 미등록어로 인한 형태소 분석 오류 어절을 인식하여 품사 재부착을 하는 방법에 대해 논의한다.
제안 방법
- NA- 어절을 인식할 때, 올바르게 형태소 분석된 어절을 오인식하지 않는 것이 매우 중요하기 때문에 본 논문에서는 2단계 방법을 이용한다. 1단계로 학습 말뭉치에서 NA- 어절 패턴을 추출한다.
- 이를 위해서 본 논문에서는 미등록 어절 패턴과 SVM(Support Vector Machine)[5]을 단계적으로 사용하는 방법을 제안한다. 그리고 미등록 어절 품사 태깅은 레이블링(labeling) 문제에서 좋은 성능을 보이고 있는 CRFs[6]를 이용하는 방법을 제안한다.
- 그리고 사전 생성용 데이터에서 형태소들을 추출하여 형태소 사전을 만든다. 다음으로 새롭게 만들어진 형태소 사전을 형태소 분석기에 탑재하여 말뭉치 생성용 데이터를 형태소 분석한다. 이렇게 하면 형태소 사전에 포함되지 않은 형태소를 포함하는 어절들은 분석이 되지 않거나(NA+ 어절로 분석되거나), 다른 형태소들의 조합으로 분석(NA- 어절로 분석) 되기 때문에 상기한 3가지 종류의 학습 말뭉치를 얻을 수 있다.
- 이러한 학습 말뭉치를 자동으로 만들기 위해서 본 논문에서는 (그림 2)와 같은 과정을 거친다. 먼저, 기존의 형태소 말뭉치1)를 9:1의 비율로 사전 생성용 데이터와 말뭉치 생성용 데이터로 나눈다. 그리고 사전 생성용 데이터에서 형태소들을 추출하여 형태소 사전을 만든다.
- 학습 및 실험에는 21세기 세종계획[8] 형태소 말뭉치 중 랜덤(random)하게 샘플링(sampling)한 139,757문장을 10배 교차 검증(10-fold cross validation) 방법으로 실험하였다. 미등록어 인식 모델의 성능 평가를 위해 수식 (2)의 정밀도(accuracy), 수식 (3)의 재현율(recall), 수식 (4)의 정확률(precision)을 측정하였다.
- 미등록어 인식 결과 중 재현율이 상당히 낮게 나온 이유는 오인식률을 낮추기 위해서 정확률을 높였기 때문이다. 미등록어 추정의 목적이 잘못된 형태소 분석 결과를 올바르게 고치는 것이기 때문에 재현율이 다소 낮더라도 오인식되는 경우를 막는 것이 가장 중요하며, 이를 위하여 본 논문에서는 정확률을 높이는 방향으로 실험을 진행하였다. <표 5>는 미등록어 오인식률을 보여준다.
- <표 6>은 미등록어 인식 모델에 의해 인식된 NA- 어절과 형태소 분석에 실패한 NA+ 어절을 대상으로 품사 태깅한 결과를 대표적인 미등록어 추정 방법인 조사 최장일치 모델과 비교한 것이다. <표 6>에서 보는 것과 같이 제안 모델은 NA+ 어절만을 대상으로 비교해도 조사 최장일치 모델보다 월등히 높은 성능을 보였다.
- 미등록 어절 인식의 경우에 올바른 어절을 잘못 인식하는 것을 막기 위하여 재현율은 다소 떨어지더라도 정확률이 높은 방법을 사용해야 한다. 이를 위해서 본 논문에서는 미등록 어절 패턴과 SVM(Support Vector Machine)[5]을 단계적으로 사용하는 방법을 제안한다. 그리고 미등록 어절 품사 태깅은 레이블링(labeling) 문제에서 좋은 성능을 보이고 있는 CRFs[6]를 이용하는 방법을 제안한다.
- 제안 시스템은 (그림 1)과 같이 형태소 분석 결과에서 미등록어로 인해 형태소 분석이 잘못된 어절(이하 미등록 어절)을 인식하는 부분과 미등록 어절에 다시 품사를 부착(이하 미등록 어절 품사 태깅)하는 부분으로 나눌 수 있다. 미등록 어절 인식의 경우에 올바른 어절을 잘못 인식하는 것을 막기 위하여 재현율은 다소 떨어지더라도 정확률이 높은 방법을 사용해야 한다.
- 학습 말뭉치를 대상으로 NA- 어절 패턴을 생성한 후, 수식 (1)을 이용하여 패턴별 신뢰도를 계산한다[7].
대상 데이터
- SVM 학습을 위한 자질로는 과 같이 어절 내 형태소 바이그램과 가장 긴 형태소의 음절 길이, 그리고 어절 내 체언 형태소의 수를 사용하였다.
- 기존 연구들의 경우, 미등록어의 대상을 체언으로 한정하는 점, 어절을 두 형태소의 구성으로 보고 미등록어는 어절의 앞부분에 하나만 존재할 경우를 대상으로 하였다. 또한 미등록어로 인해 형태소 분석이 되지 않는 어절을 대상으로 하였다.
- 이것은 NA- 어절을 인식하고 형태소 분석 오류를 수정하는 것이 매우 중요하다는 것을 보여준다고 할 수 있다. 본 논문의 미등록어 인식 대상은 NA- 어절이다. NA+ 어절은 형태소 분석기의 일반적인 출력 결과에서 알 수 있기 때문에 본 논문에서는 미등록어 인식 대상으로 삼지 않는다.
데이터처리
- 학습 및 실험에는 21세기 세종계획[8] 형태소 말뭉치 중 랜덤(random)하게 샘플링(sampling)한 139,757문장을 10배 교차 검증(10-fold cross validation) 방법으로 실험하였다. 미등록어 인식 모델의 성능 평가를 위해 수식 (2)의 정밀도(accuracy), 수식 (3)의 재현율(recall), 수식 (4)의 정확률(precision)을 측정하였다.
이론/모형
- 어절로 인식되었다면, 품사 재태깅은 ‘희끗하ㄴ’이라는 문자열에 ‘희/BXR+끗/EXR+하/SXSA+ㄴ/SETM’과 같이 음절(‘ㄴ’과 같이 자소로 분리된 문자는 그 자체를 음절로 간주함) 단위 태그 셋을 부착하는 것이다. 음절 단위 품사 태깅을 위하여 본 논문에서는 CRFs를 사용한다. (그림 4)는 ‘희끗한’이라는 어절에 대한 CRFs 학습 패턴의 예이다.
성능/효과
- 또한 대부분의 기존 미등록어 추정 모델들[1, 3]은 조사 최장일치 모델과 같이 NA어절을 대상으로 하고 있지 않다. 그러나 제안 모델은 인식 재현율이 낮음에도 불구하고 일부 NA- 어절을 처리할 수 있음을 보여주었다.
- 제안 모델은 기존의 모델들과는 달리 미등록어로 인해 형태소 분석이 실패한 어절뿐만 아니라 잘못 형태소 분석된 어절도 처리할 수 있다는 장점이 있다. 또한 조사 접속과 같은 간단한 휴리스틱으로 미등록어 어절을 내용어와 기능어로 나누는 것이 아니라 기계학습을 기반으로 형태소 경계를 인식하고 품사를 추정함으로써 보다 안정된 성능을 기대할 수 있다는 장점이 있다. 향후에는 미등록어 어절 인식을 위한 좀 더 좋은 자질을 발굴하여 정확률을 많이 떨어뜨리지 않으면서 재현율을 높이는 방법을 연구할 예정이다.
- 또한 한국어 기존 시스템들은 체언(주로 고유명사)만을 대상으로 실험을 한 것이며, 제안 시스템은 세종 품사 태그 셋 42개(NA, NF, NV제외)를 대상으로 실험한 것이기 때문에 비교 자체가 무의미하다고 생각된다. 미등록어 오류의 유형에는 체언 이외에도 동사와 부사 등의 미등록어가 존재하였고, 체언 중에서도 고유명사 보다 일반명사의 비율이 높았다. 이러한 사실은 본 논문에서 제안하는 것과 같이 모든 품사를 대상으로 하는 미등록어 추정에 관한 연구가 필요하다는 것을 말해준다.
- 어절만을 대상으로 형태소 단위로 측정하였다. 미등록어 태깅 모델의 정확률은 평균 75.18%였으며, CRFs를 이용하는 기존 영어 미등록어 추정 모델[1]의 성능 83.77%보다는 낮았다. 제안 시스템은 형태소의 경계 구분까지 포함된 성능으로써 직접적인 비교는 어렵다고 생각된다.
- 어절을 대상으로 품사 태깅한 결과를 대표적인 미등록어 추정 방법인 조사 최장일치 모델과 비교한 것이다. <표 6>에서 보는 것과 같이 제안 모델은 NA+ 어절만을 대상으로 비교해도 조사 최장일치 모델보다 월등히 높은 성능을 보였다. 또한 대부분의 기존 미등록어 추정 모델들[1, 3]은 조사 최장일치 모델과 같이 NA어절을 대상으로 하고 있지 않다.
- 본 논문에서는 한국어 미등록어 추정을 위하여 기계학습을 기반으로 형태소 경계를 인식하고 품사를 재부착하는 모델을 제안하였다. 제안 모델은 기존의 모델들과는 달리 미등록어로 인해 형태소 분석이 실패한 어절뿐만 아니라 잘못 형태소 분석된 어절도 처리할 수 있다는 장점이 있다. 또한 조사 접속과 같은 간단한 휴리스틱으로 미등록어 어절을 내용어와 기능어로 나누는 것이 아니라 기계학습을 기반으로 형태소 경계를 인식하고 품사를 추정함으로써 보다 안정된 성능을 기대할 수 있다는 장점이 있다.
후속연구
- 미등록어 오류의 유형에는 체언 이외에도 동사와 부사 등의 미등록어가 존재하였고, 체언 중에서도 고유명사 보다 일반명사의 비율이 높았다. 이러한 사실은 본 논문에서 제안하는 것과 같이 모든 품사를 대상으로 하는 미등록어 추정에 관한 연구가 필요하다는 것을 말해준다.
- 또한 조사 접속과 같은 간단한 휴리스틱으로 미등록어 어절을 내용어와 기능어로 나누는 것이 아니라 기계학습을 기반으로 형태소 경계를 인식하고 품사를 추정함으로써 보다 안정된 성능을 기대할 수 있다는 장점이 있다. 향후에는 미등록어 어절 인식을 위한 좀 더 좋은 자질을 발굴하여 정확률을 많이 떨어뜨리지 않으면서 재현율을 높이는 방법을 연구할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.