선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 SMS 영역 문장의 오류나 의도하지 않은 변형을 교정하는 방법으로 복수개의 사전을 단계적으로 적용하는 방법을 제안하고 구현하였다. 구현된 시스템은 통신 어휘집 및 자체 구축한 SMS 영역 데이타 파일로부터 자동으로 추출한 사전을 사용하였을 때 비교적 만족스러운 성능을 보이면서 사전 구축 자동화 가능성을 확인하였다.
- 이러한 문제점을 해결하기 위하여 변형된 문자열을 인식하고 정규화 및 띄어쓰기 등 전처리 단계를 통해 가능한 문법에 맞는 문자열로 변환하는 작업을 통해 SMS 문자열의 오류를 교정하는 연구가 수행되고 있다이. 본 논문에서는 아래의 각 단계별 오류 교정을 동해 SMS 문자열에 포함된 오류를 자동으로 교정하는 방법을 제시하고자 한다.
제안 방법
- 이 모델에서 사용한 말뭉치는 SMS-2로서 실험 및 성능 평가에 사용한 것과 동일한 말뭉치에서 추출된 것을 대상으로 하였다. 2음절 + 변형된 문자열 + 2음절 모델-C를 약간 수정하여 모델-C'와 모델-(/올 구성하였는데, 모델-C, 온 앞뒤 문맥 음절의 길이를 2에서 1 로 축소한 것이고, 모델-C"은 앞뒤 문맥 음절을 각각 선행 1음절과 후행 2음절, 그리고 선행 2음절과 후행 1 음절로 수정하여 데이타를 구축한 것이다.
- 음소 단위 변환 사전을 적용할 때 적용되는 문자열의 길이가 짧아서 변환 오류가 발생하는 경우가 있다. 변환 문자열의 패턴이 과다 적용됨으로 인하여 발생하는 변환 오류를 방지하기 위하여 “변환 오류 방지 사전 (eomLerr.dic)"올 도입하여 이 사전에 수록된 문자열은 변환이 되지 않도록 하였다. 2.
- 따라서 원문과 교정된 문장을 비교해보면 삽입/삭제/교체 오류를 추출할 수 있다. SMS 단문 말뭉치는 SMS 문자열 오류를 교정하는 시스템을 구축하는데 사용한 2개의 데이타 파일과 구축된 시스템의 성능을 실험하기 위해 사용된 실험 데이타로 구분하였다. 성능 평가를 위해 사용한 시스템 구축 및 실험 데이타는 표 1과 같다.
- SMS 문자열 변환 성능 실험을 수행하기 위하여 실제 사용자들의 문자 메시지로부터 구축한 2개의 SMS 단문 데이타 파일을 사용하였다. 각 말뭉치는 원시 상태로 수집된 말뭉치에 대해 통신 환경에서 사용되는 문법이 파괴된 어휘들을 수작업으로 교정한 것이다.
- 문자열 변환 시스템의 성능을 평가하기 위하여 프로그램을 실험할 때 적용돤 데이다의 구축 방법에 따라 수작업으로 구축된 테이타를 적용한 모델-A, 문자열이 변형된 부분만 자동으로 추출한 데이타를 적용한 모델 -B, 그리고 변형된 문자열의 앞뒤 움절 문맥을 고려하여 자동으로 추출한 모델-C로 구분하여 시스템올 구축하였다.
- 성능 평가에 사용된 실험 데이타는 1, 335 어절로 구성되었으며 변환되어야 할 총 문자열 개수 128 개이다. 세 가지 유형의 문자열 변환 모델 및 각 모델들을 조합하여 아래와 같이 동일한 실험 데이타에 대한 성능을 측정하는 살험을수행하였는데 그 결과는 표 2와 같다.
- 이 경우에 어절 단위로 구분된 어절에 적용하는 것이 효율적인 경우에는 자동 띄어쓰기 모듈을 적용한 후에 어절 단위로 오류를 교정한다. 어절 단위의 변환이 필요한 문자열을 사전으로 구축하였다. 현재까지 구축된 어절 단위의 변환 문자열은 156개이다.
- 〃?/!')를 제외한 모든 특수문자를 제거한다' 또 다른 유형의 특수문자에는 '너刁' 등과 같이 완성형 한글의 범위에서 벗어나는 한글 문자들이 있다. 이와 같이 음절 구성이 안되는 문자들도 불필요한 문자로 간주하여 제거하였다.
- 이에 법]해, 모델-C에서는 앞뒤 각 두 개의 음절을 변형을 위한 필요조건으로 하여 데이타를 구축한 것이다. 즉, 변환 문자열을 추출할 때 변형돤문자열 부분을 중심으로 선행 2음절, 후행 2음절을 추출하여 선행 및 후행 음절들이 일치하는 문맥에서만 문자열 변형 데이타가 적용되도록 하였다. 이 모델에서 사용한 말뭉치는 SMS-2로서 실험 및 성능 평가에 사용한 것과 동일한 말뭉치에서 추출된 것을 대상으로 하였다.
- 표 2에서 실험 과정에서 발생한 변환 오류를 유형별로 미변환 오류, 변환 오류1, 변환 오류2로 구분하여 오류 유형을 정리하였다. “미변환 오류”는 사전에 데이타가 없어서 오류 문자열이 변환되지 않은 경우다.
- 따라서 변환 조건으로 우측 어절이 보통명사인 경우에 한하여 변환하도록 제한할 수 있다. 형태소 분석에 의한 우측문맥 조건검사가 필요한 어절 단위 변환 문자열을 사전으로 구축하였다. 우측 어절의 품사 태그를 고려한 변환을 하더라도 '~낼게', '~맘때쯤'과 같이 과다변환되는 오류가 발생하는 경우가 있으며, 이러한 경우에는 “변환 오류 방지 사전'에 변환 금지 문자열을 수록하여 변환이 적용되지 않도록 한다.
대상 데이터
- 데이타를 구축하였다. 또한, 8만 문장 규모의 단문 메시지 말뭉치인 SMST 말뭉치에서 발견되는 변형된 문자열들을 수작업으로 추출하여 변형된 문자열 변환 사전을 구축한 것으로 최종 데이타 개수는 3, 035개이다.
- 모델-A는 문화관광부 사업으로 구축된 통신언어 어휘집에 수록된 1, 878개의 롬신어휘를 기반으로 하여 변환 데이타를 구축하였다. 또한, 8만 문장 규모의 단문 메시지 말뭉치인 SMST 말뭉치에서 발견되는 변형된 문자열들을 수작업으로 추출하여 변형된 문자열 변환 사전을 구축한 것으로 최종 데이타 개수는 3, 035개이다.
- 모델-B는 SMST에서 교체(substitution) 현상에 대한 변형된 문자열 쌍을 자동으로 추출하여 변형된 문자열 사전을 구축하였으며, 추출된 데이타 개수는 9, 851개이다. 이때 삽입(insertion) 및 삭제(deletion) 오류는데이타 구축에서 제외하였는데, 그 이유는 삽입과 삭제된 문자열 데이타는 범용으로 사용하기에 부적합하여 시스템의 성능 개선에 도움이 되지 않았기 때문이다.
- 성능 평가를 위한 실험 데이타는 시스템 구축에 사용된 SMS-2과 동일한 유형의 자료로 구축하였다. 즉, 말뭉치로 수집된 총 단문 메시지 15, 241 문장에서 99%는 시스템 구축용 데이타 SMS-2로 사용하고, 나머지 1% 는 성능 평가용으로 사용하기 위한 목적으로 15, 241 문장의 각 100번째 문장들을 추출하였다.
- 즉, 말뭉치로 수집된 총 단문 메시지 15, 241 문장에서 99%는 시스템 구축용 데이타 SMS-2로 사용하고, 나머지 1% 는 성능 평가용으로 사용하기 위한 목적으로 15, 241 문장의 각 100번째 문장들을 추출하였다. 성능 평가에 사용된 실험 데이타는 1, 335 어절로 구성되었으며 변환되어야 할 총 문자열 개수 128 개이다. 세 가지 유형의 문자열 변환 모델 및 각 모델들을 조합하여 아래와 같이 동일한 실험 데이타에 대한 성능을 측정하는 살험을수행하였는데 그 결과는 표 2와 같다.
- 즉, 변환 문자열을 추출할 때 변형돤문자열 부분을 중심으로 선행 2음절, 후행 2음절을 추출하여 선행 및 후행 음절들이 일치하는 문맥에서만 문자열 변형 데이타가 적용되도록 하였다. 이 모델에서 사용한 말뭉치는 SMS-2로서 실험 및 성능 평가에 사용한 것과 동일한 말뭉치에서 추출된 것을 대상으로 하였다. 2음절 + 변형된 문자열 + 2음절 모델-C를 약간 수정하여 모델-C'와 모델-(/올 구성하였는데, 모델-C, 온 앞뒤 문맥 음절의 길이를 2에서 1 로 축소한 것이고, 모델-C"은 앞뒤 문맥 음절을 각각 선행 1음절과 후행 2음절, 그리고 선행 2음절과 후행 1 음절로 수정하여 데이타를 구축한 것이다.
- SMS-2과 동일한 유형의 자료로 구축하였다. 즉, 말뭉치로 수집된 총 단문 메시지 15, 241 문장에서 99%는 시스템 구축용 데이타 SMS-2로 사용하고, 나머지 1% 는 성능 평가용으로 사용하기 위한 목적으로 15, 241 문장의 각 100번째 문장들을 추출하였다. 성능 평가에 사용된 실험 데이타는 1, 335 어절로 구성되었으며 변환되어야 할 총 문자열 개수 128 개이다.
성능/효과
- 각 모델에 대한 실험 결과로 A+B' 이 재현율과 정확률 모두 가장 좋은 성능을 보여주었다. 즉, 재현율과 정확률은 통신어휘집을 이용하여 구축된 데이타를 기반으로 하고, 여기에 자동으로 추출된 변형된 문자열을 수작업을 통해 부작용(side effect)를 유발하는 것을 제외하여 정련올 함으로써 정확도를 향상시킨 방법을 적용했을 때 가장 좋은 성능을 얻을 수 있음을 확인할 수 있다.
- 구현된 시스템은 통신 어휘집 및 자체 구축한 SMS 영역 데이타 파일로부터 자동으로 추출한 사전을 사용하였을 때 비교적 만족스러운 성능을 보이면서 사전 구축 자동화 가능성을 확인하였다. 그러나 좌우 문맥 정보를 최대한 이용함으로써 가능한 많은 변환을 이끌어 내고 있음에도 불구하고 여전히 문제점을 가지고 있다.
- 모두 가장 좋은 성능을 보여주었다. 즉, 재현율과 정확률은 통신어휘집을 이용하여 구축된 데이타를 기반으로 하고, 여기에 자동으로 추출된 변형된 문자열을 수작업을 통해 부작용(side effect)를 유발하는 것을 제외하여 정련올 함으로써 정확도를 향상시킨 방법을 적용했을 때 가장 좋은 성능을 얻을 수 있음을 확인할 수 있다. 모델 C는 변형된 문자알의 좌우문맥을 고려하기 때문에 문맥을 고려하지 않은 모델 B보다 정확률이 더 높다.
후속연구
- 이에 따라 통신상에서 의도적으로 혹은 통신환경의 특성에 따라 언어가 왜곡되는 현상에 대한 연구가 수행되어왔다[4-6]. 또한 SMS 영역의 한국어의 문장 분석 정확도를 향상시키기 위하여 사용자가 직접 입력하는 문장에서 사용자들이 의도적으로 혹은 실수로 빈번하게 발생하는 오류를 자동으로 교정하고, SMS 영역의 문장들에 대한 형태소 분석 및 품사 태깅 오류를 최소화하는 연구가 필요하다[7].
- 어절 단위 변환을 적용할 때 변환 오류를 최소한으로 줄이기 위해 변환 대상이 되는 우측 문맥정보를 확인하여 변환 조건을 검사할 필요가 있다. 예를 들어, '낼'을 叫이로 무조건 변환하는 것은 과다 변환 오류를 유발한다.
- 어휘의 중의성을 판별하고 그 의미에 따라서 선택적으로 사전을 적용한다면 더 좋은 성능을 기대할 수 있다. 지속적으로 통산 어휘 데이타가 갱신되는 환경에서 어휘의 중의성을 감안한 문장오류 교정 시스템을 본 논문에서 제안한 것과 같이 구현한다면 최적의 시스템이 될 수 있을 것이다.
- 중의성을 가진 어휘에 대한 사전의 적용 여부도 성능에 많은 영향을 준다. 향후 연구에서는 중의적인 어휘에 대해 연구하고 그 결과를 시스템에 반영할 필요가 있다. 어휘의 중의성을 판별하고 그 의미에 따라서 선택적으로 사전을 적용한다면 더 좋은 성능을 기대할 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.