선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 세 번째로 특정 어절이 철자 오류 사전에 등재된 문자열을 포함하고 있다면 1/3의 확률로 해당 어절 내의 문자열을 오류 문자열로 변환한다. 그리고 오류 문자열로 변환된 어절에 조사가 존재하는지 여부를 검사한다. 만약 조사가 존재하면 조사 문자열을 해당 어절의 오른쪽에서부터 매칭하여 찾고, 조사 변환 규칙을 적용하여 올바른 조사로 바꾼다.
- 본 논문에서는 모바일 기기에 적합한 한국어 띄어쓰기 교정 시스템을 제안하였다. 제안 시스템은 하이브리드 방법을 이용하여 2단계로 띄어쓰기를 교정한다.
- 본 논문에서는 모바일 기기용 한국어 띄어쓰기 교정 시스템을 개발할 때 필연적으로 발생하는 위에서 기술한 두 가지 문제(메모리 제약 문제와 언어자원 부족 문제)를 해결하는데 초점을 맞춘다. 먼저 가능한 한 적은 메모리를 사용하면서도 일정 수준 이상의 성능을 보장하기 위해서 2단계에 걸쳐서 띄어쓰기를 교정하는 새로운 형태의 하이브리드(hybrid) 모델을 제안한다.
- 또한 최근에 발효된 개인 정보 보호법으로 인하여 통신 사업자라고 할지라도 말뭉치 수집이 현실적으로 불가능하다. 이러한 문제를 해결하기 위해서 본 논문에서는 일반 구어체 말뭉치에 철자 오류와 조사 생략 현상을 임의로 발생시켜서 실제 모바일 구어체와 유사한 가상의 말뭉치를 만드는 방법을 제안한다. 가상의 모바일 구어체 말뭉치를 만들기 위해서 사용한 시스템 자원은 형태소 분석기, 철자 오류 사전, 그리고 조사 변환 규칙이다.
가설 설정
- 즉, 자질 선택 실험을 위해 사용한 1만 문장으로는 신뢰할 수 있는 수준의 음절 트라이그램 통계값을 얻을 수 없었기 때문인 것으로 생각된다. 이러한 실험 결과를 바탕으로 본 논문에서는 음절 바이그램과 음절 트라이그램을 자질에서 배제하였다.
제안 방법
- 제안 시스템은 하이브리드 방법을 이용하여 2단계로 띄어쓰기를 교정한다. 1단계로 적은 메모리를 사용하면서도 새로운 패턴에 대한 강건성을 보장하기 위해서 음절 유니그램 기반의 통계 모델을 이용하여 띄어쓰기를 교정한다. 2단계로 정밀도 향상을 위해서 음절 바이그램 이상의 오류 교정 규칙을 이용하여 1차 교정에 실패한 것들을 재교정한다.
- 1단계로 적은 메모리를 사용하면서도 새로운 패턴에 대한 강건성을 보장하기 위해서 음절 유니그램 기반의 통계 모델을 이용하여 띄어쓰기를 교정한다. 2단계로 정밀도 향상을 위해서 음절 바이그램 이상의 오류 교정 규칙을 이용하여 1차 교정에 실패한 것들을 재교정한다. 현실적으로 수집이 어려운 모바일 구어체 말뭉치를 구축하기 위해서는 형태소 분석기, 철자 오류 사전, 조사 변환 규칙을 이용하여 일반 구어체를 가상의 모바일 구어체로 변환하는 방법을 제안하였다.
- 제안 시스템에서 사용한 CRFs의 학습 인자는 가우시안 값을 10으로, 반복 횟수를 30회로 설정하였다. 그리고 메모리 사용량을 고려하여 수식 (4)에서 Positive(Rule)이 Negative(Rule)의 2배 이상인 오류 교정 규칙들만을 선택하도록 하였다.
- 먼저 띄어쓰기가 올바른 초기 정답 말뭉치를 모두 붙여 쓴다. 그리고 제안한 통계 모델을 적용하여 1차 띄어쓰기 말뭉치를 구성한다. 다음으로 초기 정답 말뭉치와 1차 띄어쓰기 말뭉치를 비교하여 재교정이 필요한 부분을 선정하고, ‘W-1W+1 -> 1/0’, ‘W-2W-1W+1 -> 1/0’, ‘W-2W-1W+1W+2 -> 1/0’, ‘W-3W-2W-1W+1W+2 ->1/0’와 같이 4개의 규칙을 추출한다.
- 먼저 가능한 한 적은 메모리를 사용하면서도 일정 수준 이상의 성능을 보장하기 위해서 2단계에 걸쳐서 띄어쓰기를 교정하는 새로운 형태의 하이브리드(hybrid) 모델을 제안한다. 다음으로 제안 모델을 학습시키는데 꼭 필요한 모바일 언어 말뭉치를 일반 구어체 말뭉치로부터 자동 구축하는 방법을 제안한다.
- 먼저, 원시 구어체 말뭉치에 대해서 형태소 분석을 수행한다. 두 번째로 각 어절의 형태소 분석 결과를 바탕으로 조사의 존재 여부를 판단한다. 만약 조사가 존재하면 1/2의 확률로 조사를 생략시킬 것인지 결정한다.
- 두 번째로 말뭉치에 따른 제안 시스템의 성능을 평가하였다. <표 7>에서 ‘세종 구어체 말뭉치’는 모바일 언어적 특성이 반영되지 않은 본래의 구어체 말뭉치를 말하며, ‘모바일 구어체 말뭉치’는 ‘세종 구어체 말뭉치’에 포함되어 있는 문장들을 자동으로 변형하여 구축한 가상의 모바일 구어체 말뭉치를 말한다.
- 두 번째로 에서 보는 것과 같이 입력 문장에 존재하는 띄어쓰기 정보를 사용하는 것에 따른 모델 크기와 정밀도의 변화를 측정하였다.
- 또한 데이터 희소성 문제를 완화하기 위해서 한글과 5가지 특수 문자(", ', ?, !, .)를 제외한 숫자, 영문자, 기타 문자를 NU, EN, SY라는 심볼(symbol)로 일반화하여 사용한다.
- 본 논문에서는 모바일 기기용 한국어 띄어쓰기 교정 시스템을 개발할 때 필연적으로 발생하는 위에서 기술한 두 가지 문제(메모리 제약 문제와 언어자원 부족 문제)를 해결하는데 초점을 맞춘다. 먼저 가능한 한 적은 메모리를 사용하면서도 일정 수준 이상의 성능을 보장하기 위해서 2단계에 걸쳐서 띄어쓰기를 교정하는 새로운 형태의 하이브리드(hybrid) 모델을 제안한다. 다음으로 제안 모델을 학습시키는데 꼭 필요한 모바일 언어 말뭉치를 일반 구어체 말뭉치로부터 자동 구축하는 방법을 제안한다.
- 본 논문에서 제안하는 가상의 모바일 구어체 말뭉치를 구축하는 방법은 <그림 2>와 같다. 먼저, 원시 구어체 말뭉치에 대해서 형태소 분석을 수행한다. 두 번째로 각 어절의 형태소 분석 결과를 바탕으로 조사의 존재 여부를 판단한다.
- 메모리 사용량은 적으면서 CRFs에 적합한 자질을 선택하기 위해 본 논문에서는 가상 모바일 구어체 말뭉치에서 1만 문장(361,295 음절)을 임의로 선택하여 기존 연구[4][5][6][9]에서 많이 사용한 자질들에 대한 3가지 실험을 수행하였다. 첫번째로 <표 2>에서 보는 것과 같이 n-그램 음절 자질 사용에 따른 모델 크기와 정밀도를 측정하였다.
- 그러므로 바이그램 이상의 통계 정보를 사용하는 기존의 방법들을 가용 메모리가 제한적인 모바일 기기에 그대로 적용하는 것은 사실상 불가능하다. 본 논문에서는 위에서 기술한 기존 연구 결과들을 바탕으로 분석적인 방법과 통계적인 방법의 장점을 살리면서도 메모리 사용량은 적은 모바일 기기용 띄어쓰기 교정 모델과 학습데이터 구축 방법을 제안한다.
- 한국어 띄어쓰기 교정에 대한 기존의 연구는 분석적인 방법[1][2][3]과 통계적인 방법[4][5][6]으로 나눌 수 있다. 분석적인 방법은 형태소 분석 규칙이나 띄어쓰기 오류 유형 등의 휴리스틱(heuristic)을 이용하여 띄어쓰기 오류를 교정하는 것이다. 이 방법은 제한된 영역에서 매우 높은 정확률을 보이며, 튜닝(tuning)이 가능하다는 장점이 있다.
- 그리고 정확한 평가를 위해서 모든 실험에 대해서 10배 교차 검증을 수행하였다. 성능 측정 방법은 입력 문장을 모두 붙여 쓴 후에 음절과 음절 사이를 띄어쓰기 후보 구간으로 생각하여 정밀도(accuracy)를 측정하였다. 예를 들어, 5음절로 구성된 문장이 있다면 4개의 띄어쓰기 후보 구간이 존재하며 그 중 3개의 구간에서 띄거나 붙여 쓴 결과가 맞았다면, 정밀도는 3/4=0.
- 세 번째로 에서 보는 것과 같이 품사 정보를 사용하는 것에 따른 모델 크기와 정밀도의 차이를 측정하였다.
- <표 1>에서 보는 것과 같이 제안 모델은 유니그램 형태의 좌우 문맥 정보를 자질로 사용함으로써 메모리 사용량을 최소화한다. 또한 데이터 희소성 문제를 완화하기 위해서 한글과 5가지 특수 문자(", ', ?, !, .
- 입력 문장을 구성하는 모든 음절 열과 레이블 열을 고려하여 특정 음절의 띄어쓰기 정보를 확률적으로 계산하는 것은 데이터 희소성 때문에 매우 어렵다. 이러한 문제를 해결하기 위해서 본 논문에서는 1차 마코프(Markov) 가정을 적용하여 수식 (1)을 수식 (2)와 같이 변경한다.
- 본 논문에서 제안한 통계 기반의 1단계 띄어쓰기 교정 모델은 새로운 음절 패턴에 대해 높은 강건성을 보이지만 음절 유니그램이라는 제한된 문맥 정보를 바탕으로 하기 때문에 정확률이 낮다. 이러한 문제를 해결하기 위해서 제안 시스템은 바이그램 이상의 오류 보정 규칙을 자동 학습하여 통계 모델에 의해서 교정되지 못했거나 잘못 교정된 오류들을 2단계에서 재교정한다. <그림 4>는 2단계 교정을 위해서 본 논문에서 제안하는 오류 교정 규칙 생성 방법을 보여준다.
- 학습시스템은 가상의 모바일 구어체를 기반으로 음절 유니그램 통계 데이터와 음절 바이그램 이상의 교정 규칙을 생성한다. 적용 시스템은 2단계에 걸쳐서 입력된 문장의 띄어쓰기 오류를 교정한다. 1단계에서는 음절 유니그램 통계 데이터를 기반으로 하는 확률 모델을 이용하여 띄어쓰기 오류를 교정한다.
- 제안 시스템은 새로운 음절 패턴에 대한 강건성을 높이기 위해서 통계 정보를 기반으로 1단계 띄어쓰기 교정을 수행한다. 1단계 띄어쓰기 교정을 위해서 본 논문에서 제안하는 통계 모델은 다음과 같다.
- 본 논문에서는 모바일 기기에 적합한 한국어 띄어쓰기 교정 시스템을 제안하였다. 제안 시스템은 하이브리드 방법을 이용하여 2단계로 띄어쓰기를 교정한다. 1단계로 적은 메모리를 사용하면서도 새로운 패턴에 대한 강건성을 보장하기 위해서 음절 유니그램 기반의 통계 모델을 이용하여 띄어쓰기를 교정한다.
- 제안 시스템의 성능 평가를 위해서 2가지 실험을 진행하였다. 첫 번째로 제안 시스템의 경량화 정도에 따른 성능 평가를 진행하였다.
- 제안 시스템의 성능 평가를 위해서 2가지 실험을 진행하였다. 첫 번째로 제안 시스템의 경량화 정도에 따른 성능 평가를 진행하였다. <표 5>는 교정 신뢰도에 따른 정밀도의 차이를 보여준다.
- 첫번째로 에서 보는 것과 같이 n-그램 음절 자질 사용에 따른 모델 크기와 정밀도를 측정하였다.
- 2단계로 정밀도 향상을 위해서 음절 바이그램 이상의 오류 교정 규칙을 이용하여 1차 교정에 실패한 것들을 재교정한다. 현실적으로 수집이 어려운 모바일 구어체 말뭉치를 구축하기 위해서는 형태소 분석기, 철자 오류 사전, 조사 변환 규칙을 이용하여 일반 구어체를 가상의 모바일 구어체로 변환하는 방법을 제안하였다. 가상의 모바일 구어체 말뭉치를 대상으로한 실험 결과에 따르면 제안 시스템은 1MB 내외의 메모리를 사용하면서 92.
대상 데이터
- 실험 대상 말뭉치로는 21세기 세종계획(http://www.sejong.or.kr) 원시 구어체 말뭉치 50만 문장을 대상으로 구축한 가상의 모바일 구어체 말뭉치를 사용하였다. 그리고 정확한 평가를 위해서 모든 실험에 대해서 10배 교차 검증을 수행하였다.
데이터처리
- kr) 원시 구어체 말뭉치 50만 문장을 대상으로 구축한 가상의 모바일 구어체 말뭉치를 사용하였다. 그리고 정확한 평가를 위해서 모든 실험에 대해서 10배 교차 검증을 수행하였다. 성능 측정 방법은 입력 문장을 모두 붙여 쓴 후에 음절과 음절 사이를 띄어쓰기 후보 구간으로 생각하여 정밀도(accuracy)를 측정하였다.
이론/모형
- 그리고 수식 (2)의 조건부 확률을 수식 (3)과 같은 CRFs(Conditional Random Fields)[7][8]를 이용하여 계산한다.
성능/효과
- 현실적으로 수집이 어려운 모바일 구어체 말뭉치를 구축하기 위해서는 형태소 분석기, 철자 오류 사전, 조사 변환 규칙을 이용하여 일반 구어체를 가상의 모바일 구어체로 변환하는 방법을 제안하였다. 가상의 모바일 구어체 말뭉치를 대상으로한 실험 결과에 따르면 제안 시스템은 1MB 내외의 메모리를 사용하면서 92.10%(일반 구어체 말뭉치에서 93.80%, 일반 균형 말뭉치에서 94.07%)의 정밀도를 보였다. 향후 연구 과제는 다음과 같다.
- 또한, 5MB 정도의 가용 메모리가 있다면 95% 정도의 정밀도를 보이는 자동 띄어쓰기 시스템을 만들 수 있음을 알 수 있었다. 결과적으로 바이그램 이상의 자질을 통계 모델의 입력으로 사용하는 것보다는 제안 시스템과 같이 유니그램 자질을 통계 모델의 입력으로 사용하고 바이그램 이상의 규칙으로 재보정하는 것이 효과 적인 경량화 방안이라는 것을 알 수 있었다.
- 특히 매우 제한적인 가용 메모리는 대용량의 언어 자원이 필요한 자연어처리 응용 프로그램 개발에 큰 약점으로 작용한다. 두 번째로 모바일 단말기의 입력 장치는 작고 불편하기 때문에 입력 문자열에 많은 철자 오류와 조사 생략 현상이 포함된다는 점을 들 수 있다. 이러한 특성은 모바일용 자연어처리 응용 프로그램을 개발하는데 있어서 기존의 언어 자원들(주로 문어체나 방송대본과 같은 일반적인 구어체 말뭉치들)을 이용하는 것을 어렵게 만든다.
- 0 이상을 채택한 제안 시스템이 1MB 내외의 메모리만을 사용하면서도 비교적 높은 성능을 보인다는 것을 알 수 있었다. 또한, 5MB 정도의 가용 메모리가 있다면 95% 정도의 정밀도를 보이는 자동 띄어쓰기 시스템을 만들 수 있음을 알 수 있었다. 결과적으로 바이그램 이상의 자질을 통계 모델의 입력으로 사용하는 것보다는 제안 시스템과 같이 유니그램 자질을 통계 모델의 입력으로 사용하고 바이그램 이상의 규칙으로 재보정하는 것이 효과 적인 경량화 방안이라는 것을 알 수 있었다.
- 본 논문에서 제안한 통계 기반의 1단계 띄어쓰기 교정 모델은 새로운 음절 패턴에 대해 높은 강건성을 보이지만 음절 유니그램이라는 제한된 문맥 정보를 바탕으로 하기 때문에 정확률이 낮다. 이러한 문제를 해결하기 위해서 제안 시스템은 바이그램 이상의 오류 보정 규칙을 자동 학습하여 통계 모델에 의해서 교정되지 못했거나 잘못 교정된 오류들을 2단계에서 재교정한다.
- 조사 생략 여부에 대한 확률을 1/2로 잡은 것은 조사 생략 현상이 지식이나 연령, 성별 등에 영향을 받지 않으며 개인적인 성향에 따라 임의로 발생한다고 가정을 했기 때문이다. 세 번째로 특정 어절이 철자 오류 사전에 등재된 문자열을 포함하고 있다면 1/3의 확률로 해당 어절 내의 문자열을 오류 문자열로 변환한다. 그리고 오류 문자열로 변환된 어절에 조사가 존재하는지 여부를 검사한다.
- 성능 차이는 크지 않지만 이것 역시 바이그램 자질을 사용하고 있기 때문에 모바일 기기에서 사용하기에는 무리가 따를 것으로 생각된다. 이러한 것들을 모두 고려했을 때, CRFs와 교정신뢰도 4.0 이상을 채택한 제안 시스템이 1MB 내외의 메모리만을 사용하면서도 비교적 높은 성능을 보인다는 것을 알 수 있었다. 또한, 5MB 정도의 가용 메모리가 있다면 95% 정도의 정밀도를 보이는 자동 띄어쓰기 시스템을 만들 수 있음을 알 수 있었다.
- 0인 경우를 비교했을 때, 오픈 테스트에서 거의 성능 차이가 없었다. 이러한 실험 결과를 바탕으로 모바일 기기의 가용 메모리 용량이 1MB 내외일 경우에 교정 신뢰도 4.0인 모델이 적당하며, 그 이상일 경우에는 교정 신뢰도 2.0인 모델이 가장 적합하다는 것을 알 수 있었다. <표 6>은 제안 시스템과 대표적인 기존 시스템들(‘Lee-2007’[9], ‘Kang-2001’[10])의 성능을 비교한 것이다.
- <표 7>에서 보는 것과 같이 모바일 구어체로 학습한 모델은 모바일 구어체로 평가한 것이나 세종 구어체로 평가한 것이나 비슷한 성능을 보였다. 즉, 철자 오류나 조사 생략이 일부 포함된 말뭉치로 학습한 경우에 그런 것들이 포함되지 않은 말뭉치가 입력되더라도 일정한 수준의 정밀도를 유지함을 알 수 있었다. 그러나 세종 구어체로 학습한 모델을 모바일 구어체로 평가한 경우에는 많은 성능 하락을 보였다.
- 자연어처리 응용 프로그램의 하나인 띄어쓰기 교정 시스템의 관점에서 살펴봤을 때, 모바일 환경은 두 가지 면에서 일반 PC(Personal Computer) 환경과 크게 다르다. 첫 번째로 모바일 기기의 성능이 PC와 비교했을 때 현저하게 낮다는 점을 들 수 있다. PDA나 휴대폰과 같은 모바일 기기들은 중앙처리장치의 속도, 연산 능력, 메모리 용량 등 여러 면에서 PC에 비해 낮은 컴퓨팅 파워(computing power)를 가지고 있다.
후속연구
- 이것은 모바일 환경에서 사용되는 구어체와 일반 구어체 사이에 많은 차이가 있음을 말해준다. 또한 간단한 규칙에 의해서 가상으로 구축된 말뭉치라도 모바일 환경에 적합한 띄어쓰기 시스템을 구현하는데 매우 유용하게 사용될 수 있다는 것을 보여준다.
- 향후 연구 과제는 다음과 같다. <표 7>의 결과가 실제 모바일 구어체에 대한 것이 아니기 때문에 다양한 연령대로부터 실제 수집된 말뭉치를 대상으로 한 실험이 뒤따라야 할 것으로 생각된다. 다양한 연령대로부터의 말뭉치 수집이 필요한 이유는 나이에 따라서 철자 오류나 언어 변이 현상이 매우 다르게 나타날 수 있기 때문이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.