선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 띄어쓰기와 철자 오류가 모두 포함된 입력 문장에 대해서 동시에 전처리가 가능한 새로운 통계적 방법을 제안한다. 이 방법은 기본적으로 noisychannel model 을 바탕으로 하고 있으며, 각 자소의 변환확률값과 어절변환패턴 사전을 이용하여 철자 교정 후보들을 생성한다.
- 우리는 텍스트전처리에서 특히 띄어쓰기 오류와 철자오류를 동시에 교정할 수 있는 새로운 방법을 제시하였다. 자연어 처리 부분에서 많이 쓰이는 noisy-channel mod긔을 기본으로 하여, 공백 문자 생성과 자소 변환을 동시에 할 수 있는 모델로 확장하였고 그 외의 오류들은 어절변환패턴 사전을 이용해 알맞은 후보들을 생성하였다.
제안 방법
- 이들로부터 각 오류 자소가 어떤 자소로 변환되면서 교정이 되는지 그 수를 세어서 자소 확률 변환 데이타로 구축하였다. 각각의 자소 변환 확률은 초, 중, 종성을 구분하여 계산하였다. 이는 성능의 향상과 함께 자소 후보 의과생성 을 막고자 함이다.
- 그리고 각 어절들을 자소 단위로 비교를 하여, 철자 교정의 과정이 한 개의 자소 단위로 이루어지는 경우, 두 개의 자소 단위로 이루어지는 경우, 세 개 이상의 단위로이루어지는 경우로 나누었다.
- 먼저 이미 철자가 교정된 말뭉치를 대상으로 띄어쓰기만을 적용한 실험을 하였다. 이는 앞에서 설명한 알고리즘에서 후보 생성 부분을 생략하면 띄어쓰기만을 실행하는 형태가 된다.
- 성능 측정은 전처리기에 의해 교정된 말뭉치와 정답말뭉치를 어절 단위로 비교, 띄어쓰기와 철자가 전부 일치하였을 경우에 올바로 교정되었다고 판단하여 그 비율을 측정하였다. 일단 가장 눈에 띄는 결과는 교정이이루어지기 전의 정확도보다 전처리기를 통해 교정된후의 정확도가 더 떨어진다는 것이다.
- 실험은 실험용 말뭉치를 대상으로 하여 실험용 말뭉치에서 철자가 이미 교정된 결과에 띄어쓰기를 단독으로 적용한 결과와 교정이 전혀 되어 있지 않은 실험용 말뭉치에 띄어쓰기와 철자 교정을 병행한 실험결과를 모두 기재하였다. 띄어쓰기 없이 철자 교정만을 하는 실험은 알고리즘 성격상 결과가 잘 나올 수가 없고 실험 자체가 의미가 없을 뿐 아니라 띄어쓰기 교정없이 철자만 교정된 정답 말뭉치가 없기 때문에 실험 결과 평가가 불가능하므로 실행하지 않았다.
- 실험용 말뭉치에 대해 제안한 알고리즘을 적용하여 띄어쓰기와 철자 교정을 동시에 수행한 실험 결과는 표 3과 같다. 역시 입력 문장의 띄어쓰기를 유지한 것과 무시한 것 두 가지 상황에 대해 실험하였다.
- 자소가 빠짐으로써 교정되는 경우도 자소 단위의 교정에 포함하였다(나와욧i 나와요/人—X2)). 이들로부터 각 오류 자소가 어떤 자소로 변환되면서 교정이 되는지 그 수를 세어서 자소 확률 변환 데이타로 구축하였다. 각각의 자소 변환 확률은 초, 중, 종성을 구분하여 계산하였다.
- 철자 교정을 위해 제안되었던 방법들은 문장 내의 각단어에 대해 이 단어가 단어 사전 내에 포함되어 있지않다면 그 단어를 철자 오류가 포함된 단어로 보고, 이를 대체할 만한 후보를' 역시 단어 사전에서 찾아 그 후보 중 가장 대체 확률이 높은 단어로 대체하는 .과정을따르고 있다.
대상 데이터
- 사용되었다. 여기에서 학습용 말뭉치 78213문장, 실험용 말뭉치 5240문장을 무작위로 선정하였다. 말뭉치들은 모두 수작업으로 띄어쓰기나 철자에서 오류가 발생한 경우를 찾아내어 교정하였고, 따라서 오류가 포함된 말뭉치와 오류가 교정된 말뭉치가 쌍으로 준비되었다.
- 말뭉치들은 모두 수작업으로 띄어쓰기나 철자에서 오류가 발생한 경우를 찾아내어 교정하였고, 따라서 오류가 포함된 말뭉치와 오류가 교정된 말뭉치가 쌍으로 준비되었다. 학습용 말뭉치로부터 얻어진 자소 변환 패턴의 종류는 총 279개, 자소 단위 이외에 음절 단위의 변환 패턴의 종류는 총 1083개였다. 음절 단위의 n-gram(n=l, 2, 3) 또한 학습용 말뭉치로부터 추출되었다.
이론/모형
- 본 논문에서는 자소 단위의 변환확률값을 이용한 교정 방식을 이용하였다.
- 이로써 자소변환을 이용한 noisy-charm니 model 이정의되었다. 실제 구현시에는 F(C|T) 에 로그를 취하여누적로그값의 합들로 계산하였다.
성능/효과
- 수행 결과. 오류가 교정되기 전의 원본 어절을 raw, 오류가 완전히 교정된 어절을 cor, raw에교정 시스템을 적용하여 고쳐진 어절을 hyp라고하였을 때, baseline는 "(raw와 cor가 일치하는어절 수) / (cor의 총 어절 수)”, 실험 결과 정확도는 "(hyp와 cor가 일치하는 어절 수)./ (cor의총 어절 수)"로 정의하였다.
- 만약기존의 알고리즘들을 이용한다면 띄어쓰기를 한 후에철자 교정을 하거나, 반대로 철자 교정을 먼저 한 후에띄어쓰기를 하는 방식으로 이용할 수밖에 없는데 이와같은 방법은 앞서 언급한 바와 같이 철자 교정이나 띄어쓰기를 하는 알고리즘이 일단 둘 중 하나의 오류는없다는 가정 하에 이루어지기 때문에 완벽한 성능을 낼수가 없다. 그래서 이를 통합하여 동시에 교정이 가능한전처리기를 생각하였고, 결국은 이 두 가지 오류는 동시에 교정해야 한다는 결론을 내렸다. 이를 위해 우리는새로운 통합 모델을 다음과 같이 제시한다.
- 띄어쓰기 없이 철자 교정만을 하는 실험은 알고리즘 성격상 결과가 잘 나올 수가 없고 실험 자체가 의미가 없을 뿐 아니라 띄어쓰기 교정없이 철자만 교정된 정답 말뭉치가 없기 때문에 실험 결과 평가가 불가능하므로 실행하지 않았다. 또한 각 실험은 기존의 띄어쓰기 정보를 모두 버리고 음절을 모두 붙인 상태로 실험하였으며, 각각의 실험에 대해서 동일한 조건에서 띄어쓰기 정보를 이용하여 이미 띄어진 공백문자는 무조건 유지하는 형태로 실험을 반복하였다. 이는 텍스트 상에서 띄어쓰기 오류의 대부분은 띄어써야 할 부분을 붙여쓰는 형태이고 붙여써야 할 부분을 띄어 쓰는 경우는 거의 없기 때문이다.
- 이를 해결하기 위해 우리는 일정 임계값보다 변환확률이 작은 자소들을 애초에 후보로 생성시키지 않거나, 또 생성된 후보가 음절로 조합될 때마다 가지치기를 하여 후보를 줄였다. 또한 한글에서 인정하지 않는 자소조합이 나타날 경우 후보에서 제외하는 방식으로써 후보 과생성 문제를 최대한 줄였다. 이렇게 교정대상 문장의 각 자소들로부터 변환 후보들을 생성하고 최적 경로를 찾는 방식으로 많은 철자 교정 문제를 해결할 수 있다.
- 이는 다시 말하면올바른 어절을 교정기가 틀리게 바꾼 경우가 많았다는것이다. 우리는 이 실험 결과 중 입력 띄어쓰기를 무시한 결과의 각 어절에 대해 오류 교정이 어떻게 이루어졌는지 분석하였는데 그 결과 실제로 올바른 어절을 틀리게 바꾼 경우가 상당히 많다는 것을 알 수 있었다. 그 분석 결과는 표 4에 나타나 있다.
- 이번 실험은 ME(Maximum Entropy)기법 등을 이용한 정교한 파라미터 최적화 과정 없이 가장 기본이 되는 모델 그대로를 구현하여 실험이 이루어졌기 때문에개선의 여지가 상당히 크다고 볼 수 있다. 또한 특정 어휘에 편중된 말뭉치와 수작업으로 이루어진 오류 교정결과의 질 등이 전체 성능을 떨어뜨리고 있다고 생각된다.
- 자연어 처리 부분에서 많이 쓰이는 noisy-channel mod긔을 기본으로 하여, 공백 문자 생성과 자소 변환을 동시에 할 수 있는 모델로 확장하였고 그 외의 오류들은 어절변환패턴 사전을 이용해 알맞은 후보들을 생성하였다. 통계적 자료인 자소 변환 확률을 이용함으로써 최대한 사전의 크기와 이용률을 줄이면서도 자소 조합으로 인해 올바른 후보가 빠지지 않도록 할 수 있었다. 실험 결과는 이와 같은 방법이 현재로서는 그 성능이 만족스럽지는 않지만 가능성은 충분히 있음을 말해 주고 있다.
후속연구
- 또는 최근에 중국어에서 채팅시 이용되는 문장 오류의 대부분을 발음에 따른 변화로 설명하면서 교정하는 모델이 제안되었는테[9] 한국어에도 이와 같은 발음에 따른 후보 생성이 적용 가능하다면 후보 과생성을 줄이면서 동시에 특히 Precision 성능도 개선시킬 수 있다. 또한 학습용 말뭉치에서 나타나지 않았던 미등록어나 고유명사 등을 잘못 교정하는 경우에 대해 어떻게 성능을 향상시킬 수 있을지도 후추 연구에 있어서 중요한 과제가 될 것이다.
- 앞으로의 연구 방향 중 하나는 모델의 개선에 있을 것이다. 아직 성능이 만족스럽지 못한데 가장 큰 이유는 앞서 표 4에서 볼 수 있듯이 자소 후보의 과생성으로 인하여 교정할 필요가 없는 어절까지 틀리게 고쳐지는 경우(false alarm) 가 많기 때문이다.
- 또한 특정 어휘에 편중된 말뭉치와 수작업으로 이루어진 오류 교정결과의 질 등이 전체 성능을 떨어뜨리고 있다고 생각된다. 이후 좀 더 일반적인 대화체의 말뭉치를 다수 확보하고, 정확히 교정된 말뭉치가 같이 제공된다면 더욱 정확한 실험결과를 얻을 수 있을 것이다.
- 또 다른 성능 향상의 가능성으로는 단순한 자소 변환 외에 개선된 후보 생성을 통해 이루어질 수 있다. 현재는 단순히 자소의 변환만으로 오류생성을 다루고 있는데, 자소의 변환시 앞뒤 문맥의 자소 정보를 이용하여 좀 더 구체적인 데이타를 얻을 수 있을 것이다. 또는 최근에 중국어에서 채팅시 이용되는 문장 오류의 대부분을 발음에 따른 변화로 설명하면서 교정하는 모델이 제안되었는테[9] 한국어에도 이와 같은 발음에 따른 후보 생성이 적용 가능하다면 후보 과생성을 줄이면서 동시에 특히 Precision 성능도 개선시킬 수 있다.
- 이를 방지하기 위해서는 자소 모델 생성시에 일정 확률 이상을 가지는 자소만을 후보로 생성하여 과생성올 막는 방법이 있고, 또는 자소 후보 생성 이전 단계에서 오류 감지부를 두어서, 오류가 없다고 판단되는 음절에 대해서는 애초에 자소 후보를 생성하지 않도록 하는 방법이 있을 것이다. 후보 과생성을 막는 구체적인 방법론이 세워져 현재의 모델을 개선할 수 있다면 전체적인 성능의 향상을 기대할 수 있을 것이다. 또 다른 성능 향상의 가능성으로는 단순한 자소 변환 외에 개선된 후보 생성을 통해 이루어질 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.