문제 정의

• 따라서 이런 철자 오류의 특성에 맞는 철자 오류 교정 시스템이 필요하다. 본 논문에서는 교정 사전과 신문기사 말뭉치를 이용하여 통계적으로 철자 오류를 교정하는 시스템을 제안한다. 제안 시스템은 실용성을 높이기 위해서 철자 오류 문자열의 추가와 삭제가 쉬운 교정 사전을 기반으로 한다.
• 본 논문에서는 교정사전과 철자 오류가 없는 말뭉치만을 이용하여 자동으로 철자 오류를 교정하는 방법을 제안하였다. 교정 후보 문자열 주변 자질을 사용하는 방법에 따라 여러 모델을 만들고, 신문기사 말뭉치와 휴대폰 평가 말뭉치를 사용하여 다양한 성능 측정 방법으로 제안시스템을 평가하였다.
• 교정 후보를 생성할 때 오류문자열의 중의성이 없다면 교정문자열이 집합에 추가되고, 중의성이 있는 단어라면 교정사전에 수록된 오류문자열과 교정문자열이 집합에 추가된다. 오류문자열이 중의성을 가지고 있는지 여부는 대용량의 철자 오류가 없는 말뭉치에서 오류문자열이 출현했는지를 보고 판단한다. 철자 오류가 없는 말뭉치에서 한 번도 출현하지 않은 오류문자열은 올바른 표현이 아닐 가능성이 크기 때문에 본 논문에서는 이러한 문자열은 중의성이 없다고 가정한다.
• 교정사전을 사용한 방법은 단계별 사전과 형태소 분석 결과를 이용하기 때문에 위에서 언급한 단점들을 복합적으로 포함한다. 이러한 기존 철자오류 교정 모델들이 가지고 있는 문제점들을 해결하기 위해서 본 논문에서는 신문기사나 교과서와 같이 철자 오류가 거의 없는 말뭉치만을 이용하여 통계적으로 철자 오류를 교정하는 방법을 제안한다.
• 학습 말뭉치에 한 번도 출현하지 않은 어휘는 중의성이 없는 철자 오류라는 가정을 확인하기 위해서 휴대폰 평가 말뭉치에서 중의성 없이 무조건 교정하는 문자열의 비율을과 같이 살펴보았다.
• 실험의 신뢰성 확보를 위해서 신문기사 말뭉치에 10배 교차 검증(10-fold cross validation)을 수행하여 올바른 문자열을 철자 오류로 잘못 판단하는 비율을 측정하였다. 휴대폰 평가 말뭉치는 통신어와 신조어를 포함하는 실제 철자 오류 문장에 대한 제안 모델의 성능을 평가하기 위해 구축한 것이다. 휴대폰 평가 말뭉치를 이용한 실험은 신문기사 말뭉치 전체를 학습하여 구축한 시스템을 이용하였다.

가설 설정

• (그림 2)에서는 교정사전에 ‘욕시->역시’, ‘남친->남자친구’, ‘우면->으면’이, 조사 변환 사전에는 ‘을를’이 등록되어 있다고 가정한다.
• . 일반 사전을 사용한 철자 교정은 주로 영어권 국가들이 사용하는 방법으로 모든 입력문장의 각 단어들을 일반 사전에서 검색한 후, 일반 사전에 존재하지 않는 단어는 철자 오류라고 가정한다. 철자 오류로 가정된 문자열은 편집거리(edit-distance)[4], 메타폰(metaphone) 알고리즘[4] 등을 사용하여 해당 단어와 사전의 단어 중 거리가 가까운 교정 후보를 생성한다.
• 오류문자열이 중의성을 가지고 있는지 여부는 대용량의 철자 오류가 없는 말뭉치에서 오류문자열이 출현했는지를 보고 판단한다. 철자 오류가 없는 말뭉치에서 한 번도 출현하지 않은 오류문자열은 올바른 표현이 아닐 가능성이 크기 때문에 본 논문에서는 이러한 문자열은 중의성이 없다고 가정한다. 반대로 중의성이 있는 오류문자열은 문맥에 따라 철자 오류가 아닐 가능성도 있기 때문에 오류문자열과 교정문자열 모두를 교정 후보 집합에 추가하는 것이다.
• 그러나 실용적인 관점에서 비교해 보면 제안 모델이 교정사전에 존재하지 않는 어휘는 철자 오류로 인식하지 못한다는 단점이 있지만 강승식(2008)보다 다음과 같은 장점이 있을 것으로 생각된다. 첫째, 새로운 어휘의 추가 및 삭제가 쉽다. 둘째, 교정사전의 오교정률을 학습 데이터를 통해 측정할 수 있으므로 부작용(side effect)이 큰 어휘를 사전에 인지하고 대응할 수 있다.

제안 방법

• 입력문장의 전처리는 2단계로 수행된다. 1단계로 해체된 음절을 결합하고, 2단계로 이모티콘과 모음이 생략된 문자열을 공백으로 대체한다. 해체된 음절의 예는 ‘ㅇㅏㅃㅏ’, ‘ㄱㅡㄹㅐ’ 등이 있으며 규칙을 이용하여 ‘아빠’, ‘그래’와 같이 교정한다[8].
• . 교정 후보 문자열 주변 자질을 사용하는 방법에 따라 여러 모델을 만들고, 신문기사 말뭉치와 휴대폰 평가 말뭉치를 사용하여 다양한 성능 측정 방법으로 제안시스템을 평가하였다. 실험 결과에 따르면 교정문자열 앞 1음절과 뒤 2음절 각각을 문맥 자질로 사용하는 ‘모델 J’가 가장 좋은 성능을 보였으며, F1-척도는 97.
• 칭된 경우로 나뉜다. 교정사전은 평가 말뭉치 수집과는 무관하게 별도로 구축하였으며, 통신언어 어휘집[10]에서 중의성이 많은 1음절 어휘와 적용 가능성이 매우 낮은 어휘들을 제거하는 방법으로 구축하였다. 또한 인터넷 검색과 대학생들에게 설문을 통해 자주 틀리는 어휘들을 평가 말뭉치 수집 이전에 수작업으로 추가하였다.
• 사용자로부터 문장이 입력되면 제안 시스템은 단순한 패턴 매칭(pattern matching) 방법을 이용하여 교정 사전에 등록된 문자열을 철자 오류 후보 문자열로 분류한다. 그리고 신문기사를 이용하여 학습된 문맥정보를 기반으로 철자 오류 후보 문자열이 진짜 오류 문자열인지를 판단한다.
• 매칭된 오류문자열이 발견되면 그에 대한 교정 후보를 생성한다. 그리고 학습 시스템에서 추출한 문맥 정보를 사용하여 현재 문맥에 가장 적합한 교정 후보를 선택함으로써 철자 오류를 교정한다.
• 교정사전은 평가 말뭉치 수집과는 무관하게 별도로 구축하였으며, 통신언어 어휘집[10]에서 중의성이 많은 1음절 어휘와 적용 가능성이 매우 낮은 어휘들을 제거하는 방법으로 구축하였다. 또한 인터넷 검색과 대학생들에게 설문을 통해 자주 틀리는 어휘들을 평가 말뭉치 수집 이전에 수작업으로 추가하였다. 결론적으로 평가 말뭉치와는 완전히 독립적으로 1,990개의 오류문자열과 교정문자열의 쌍을 포함하는 교정사전을 구축하였다.
• 이러한 가정을 뒷받침하기 위해서 신문기사 말뭉치와 매칭된 문자열의 철자오류 여부를 판단하는 실험을 수행했으며, 그 결과 5%만이 실제 철자 오류 문자열이었다. 본 논문에서는 상기한 가정에 기초하여 제안 시스템이 옳은 문자열을 틀리게 교정하는 비율인 오교정률을 계산한다. 오교정률은 신문기사 말뭉치에 식 (5)를 사용하여 10배 교차 검증으로 계산한다.
• . 본 논문에서는 식 (4)에 사용된 자질에 따라 다양한 모델을 만들었으며, 각 모델이 사용하는 자질은 4.3절에서 자세히 설명한다. 확률 계산이 끝나면 비터비(Viterbi) 알고리즘[9]을 사용하여 최적의 교정 후보열을 결정한다.
• 본 논문에서는 휴대폰 평가 말뭉치에 제안 시스템을 적용시켜 를 얻고, 이를 기반으로 식 (6)～(9)와 같은 다양한 척도를 이용하여 제안 모델의 성능 측정을 하였다.
• 또한 효율적인 통계 학습을 위해서 철자 오류가 비교적 적고 수집이 용이한 신문기사를 학습 말뭉치로 사용한다. 사용자로부터 문장이 입력되면 제안 시스템은 단순한 패턴 매칭(pattern matching) 방법을 이용하여 교정 사전에 등록된 문자열을 철자 오류 후보 문자열로 분류한다. 그리고 신문기사를 이용하여 학습된 문맥정보를 기반으로 철자 오류 후보 문자열이 진짜 오류 문자열인지를 판단한다.
• 형태소 분석 결과를 이용한 방법은 형태소분석기에서 분석이 실패한 어절은 철자 오류가 포함된 오류어절로 판단한다. 오류어절에 대해 교정규칙정보와 말뭉치통계정보를 적용하여 철자 오류를 교정한다. 형태소 분석기를 사용하는 방법은 형태소 분석기의 성능에 의존적이며 철자 오류 교정 문제에 형태소 분석 문제가 추가되어 복잡도가 증가하는 단점이 있다.
• 전처리 과정이 끝나면 제안 시스템은 과 같은 교정사전의 각 엔트리(entry)를 입력문장과 단순 매칭하는 방법을 이용하여 교정 후보 집합을 생성한다.
• 본 논문에서는 교정 사전과 신문기사 말뭉치를 이용하여 통계적으로 철자 오류를 교정하는 시스템을 제안한다. 제안 시스템은 실용성을 높이기 위해서 철자 오류 문자열의 추가와 삭제가 쉬운 교정 사전을 기반으로 한다. 또한 효율적인 통계 학습을 위해서 철자 오류가 비교적 적고 수집이 용이한 신문기사를 학습 말뭉치로 사용한다.
• 장에 대한 전처리를 수행한다. 제안 시스템은 전처리를 통해서 해체된 음절을 결합하고 자질로써 의미 없는 문자열이 문맥으로 사용되지 않도록 한다. 입력문장의 전처리는 2단계로 수행된다.
• 휴대폰 평가 말뭉치는 와 같이 3가지 형태(원본 문장, 공백을 모두 제거한 문장, 원본에서 띄어쓰기만 교정한 문장)로 가공하여 실험을 진행하였다.
• 휴대폰 평가 말뭉치는 통신어와 신조어를 포함하는 실제 철자 오류 문장에 대한 제안 모델의 성능을 평가하기 위해 구축한 것이다. 휴대폰 평가 말뭉치를 이용한 실험은 신문기사 말뭉치 전체를 학습하여 구축한 시스템을 이용하였다. 휴대폰 평가 말뭉치는 <표 4>와 같이 3가지 형태(원본 문장, 공백을 모두 제거한 문장, 원본에서 띄어쓰기만 교정한 문장)로 가공하여 실험을 진행하였다.

대상 데이터

• 띄어 쓰기 오류에 대한 강건성 실험을 위해서 에서 보는 것과 같이 음절자질 추출 방법이 서로 다른 모델 중 가장 성능이 좋은 ‘모델 J’ 와 ‘모델 Q’를 대상으로 실험을 수행하였다.
• 행하였다. 문맥 자질로는 공백정보와 좌우 음절 정보를 사용하였다. (그림 4)에서 ‘±n’은 교정 후보의 좌(-), 우(+) n 번째 음절을 의미한다.
• 실험은 (그림 4)에서 보는 것과 같이 제안 시스템이 사용하는 문맥 자질에 따라 35개의 서로 다른 모델을 구축하여 진행하였다. 문맥 자질로는 공백정보와 좌우 음절 정보를 사용하였다.
• 휴대폰 평가 말뭉치는 <표 4>와 같이 3가지 형태(원본 문장, 공백을 모두 제거한 문장, 원본에서 띄어쓰기만 교정한 문장)로 가공하여 실험을 진행하였다. 원본 휴대폰 평가 말뭉치는약 25Kbyte크기에 1,038개의 문자메시지로 구성되며 1,835개의 어절로 이루어졌다.
• 신문기사(이하 신문기사 말뭉치)를 사용하였다. 평가 말뭉치로는 100여명의 대학생 휴대폰에서 실제로 수집한 1,038개의 문자메시지(이하 휴대폰 평가 말뭉치)를 사용하였다. 실험의 신뢰성 확보를 위해서 신문기사 말뭉치에 10배 교차 검증(10-fold cross validation)을 수행하여 올바른 문자열을 철자 오류로 잘못 판단하는 비율을 측정하였다.
• 학습 말뭉치로는 1,705,935문장(18,529,683어절)의 조선일보 신문기사(이하 신문기사 말뭉치)를 사용하였다. 평가 말뭉치로는 100여명의 대학생 휴대폰에서 실제로 수집한 1,038개의 문자메시지(이하 휴대폰 평가 말뭉치)를 사용하였다.

• (그림 4)의 모델들과는 별도로 기저모델(baseline model)을 만들어서 최저 기본 성능을 계산하고 제안 모델들과 비교하였다. 기저모델은 중의성이 있는 오류문자열을 철자 오류 판단하는데 학습 말뭉치 내에서 출현 빈도를 사용한다.
• 평가 말뭉치로는 100여명의 대학생 휴대폰에서 실제로 수집한 1,038개의 문자메시지(이하 휴대폰 평가 말뭉치)를 사용하였다. 실험의 신뢰성 확보를 위해서 신문기사 말뭉치에 10배 교차 검증(10-fold cross validation)을 수행하여 올바른 문자열을 철자 오류로 잘못 판단하는 비율을 측정하였다. 휴대폰 평가 말뭉치는 통신어와 신조어를 포함하는 실제 철자 오류 문장에 대한 제안 모델의 성능을 평가하기 위해 구축한 것이다.
• 제안 모델의 성능을 비교하기 위해서 강승식(2008)[7]과 성능을 비교하였다. 강승식(2008)의 재현율은 옳게 교정한 문자열의 수를 실험 말뭉치에 존재하는 전체 오류 문자열의 수로 나누어 계산하였다.

이론/모형

• 제안 모델을 평가하기 위해서 오교정률(miss-correction rate)과 이진 분류기 성능 측정 방법을 사용하였다. 신문기사 말뭉치는 일반적으로 철자 오류의 비율이 낮은 편에 속한다.

성능/효과

• 또한 인터넷 검색과 대학생들에게 설문을 통해 자주 틀리는 어휘들을 평가 말뭉치 수집 이전에 수작업으로 추가하였다. 결론적으로 평가 말뭉치와는 완전히 독립적으로 1,990개의 오류문자열과 교정문자열의 쌍을 포함하는 교정사전을 구축하였다.
• <표 6>에서 X는 기저모델을 의미한다. 기저모델은 교정 사전에 매칭된 문자열 111,699개 중 74,882개를 수정함으로써 67.0%라는 매우 높은 오교정률을 보였다. 오교정률이 가장 낮은 모델은 교정 후보 문자열 좌우 음절 바이그램에 양쪽 공백정보를 모두 사용한 ‘모델 G’였다.
• 단문메시지에 대한 실험 결과에 따르면 정확률과 위양성률은 ‘모델C’가 가장 좋았고, 재현율은 ‘모델K’가 가장 좋았으며, F1-척도는‘모델 J’가 가장 좋았다.
• 첫째, 새로운 어휘의 추가 및 삭제가 쉽다. 둘째, 교정사전의 오교정률을 학습 데이터를 통해 측정할 수 있으므로 부작용(side effect)이 큰 어휘를 사전에 인지하고 대응할 수 있다. 셋째, 형태소분석기와 띄어쓰기 교정시스템과 같은 별도의 외부 모듈을 사용할 필요가 없다.
• 실험 결과에 따르면 교정문자열 앞 1음절과 뒤 2음절 각각을 문맥 자질로 사용하는 ‘모델 J’가 가장 좋은 성능을 보였으며, F1-척도는 97.3%였고 오교정률은 7.3%였다.
• 그러므로 교정사전에 등록된 오류 문자열이 신문기사 말뭉치에서 나타났다면 옳은 문자열이 부분 매칭된 것일 가능성이 높다. 이러한 가정을 뒷받침하기 위해서 신문기사 말뭉치와 매칭된 문자열의 철자오류 여부를 판단하는 실험을 수행했으며, 그 결과 5%만이 실제 철자 오류 문자열이었다. 본 논문에서는 상기한 가정에 기초하여 제안 시스템이 옳은 문자열을 틀리게 교정하는 비율인 오교정률을 계산한다.
• 뭉치에서 중의성 없이 무조건 교정하는 문자열의 비율을<표 8>과 같이 살펴보았다. 학습 말뭉치를 통해 중의성이 없다고 판단되어 무조건 교정하는 문자열은 단문메시지 데이터에 포함된 철자 오류를 100% 옳게 교정하였다. 교정사전 전체에서 중의성 없는 교정어휘 쌍은 1,489개였으며, 이것은 전체 교정사전의 74.