[논문]답 러닝을 이용한 문맥 의존 철자 오류 교정

황현선; 최경호; 이창기

답 러닝을 이용한 문맥 의존 철자 오류 교정
Context-sensitive Spelling Error Correction using Deep Learning 원문보기

황현선 (강원대학교 컴퓨터과학과) , 최경호 (강원대학교 컴퓨터과학과) , 이창기 (강원대학교 컴퓨터과학과)

문맥 철자 오류란 단어만 봤을 때에는 오류가 아니지만 문맥상으로는 오류인 문제를 말한다. 이 문제를 해결하기 위해서는 문맥 정보를 보아야 하는데 기존의 방법들은 언어학의 전문가가 설계한 규칙을 사용하거나, 통계적인 분석 방법을 사용하였다. 하지만 이 방법들은 많은 시간과 노력을 필요로 하지만 높은 성능을 얻지 못한다. 본 논문에서는 최근 자연언어처리에서 연구되고 있는 딥러닝을 사용하여 문맥 철자 오류 교정을 시도하였다. 실험 결과 자질 설계 등의 복잡한 작업 없이 워드 임베딩 만을 사용하여 해당 단어들에 대해 F1-measure 91.43 ~ 97.27%의 성능을 보였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 딥 러닝을 이용한 문맥기반 철자오류 시스템을 제안하였다. 본 논문에서 제안한 딥 러닝 기반의 시스템은 형태소 단위의 자질만 갖고도 기존의 규칙 기반이나 N-gram 기반의 연구들에 비해 우수한 성능을 보여, 고도의 언어학 지식을 갖춘 전문가의 노력 없이도 딥 러닝을 이용하여 우수한 성능의 시스템을 구축할 수 있음을 보였다.

제안 방법

추출해 데이터 셋을 만들었다. 또 시스템의 학습과 평가를 위해 선행 연구[1, 2]에서 실험한 바와 같이 데이터 셋에 존재하는 교정대상 단어들 중 50% 에 대하여 고의적으로 상대되는 형태소로 바꿔 오류를 만들었다.
본 논문에서 제안한 방법과 기존의 규칙 기반의 방법 [1]과 N-gram 방법 [2]을으로 비교해 보았다.
본 논문에서는 최근 자연언어처리 연구에 새롭게 대두 되고 있는 딥 러닝(Deep Learning)을 문맥 의존철자 오류 교정에 적용한다. 또한 자연언어 처리를 위한 딥 러닝의 사전 학습 방법으로 워드 임베딩 (Word Embedding)[3, 4]을 사용했고, 과적합(Overfitting) 을 방지하기 위한 방법으로 Drop-out[5]을 사용했으며, 활성화 함수(Activation Function)로는 ReLU(Rectified Linear hidden Unit) [6]를 사용하여 성능을 높였다.

대상 데이터

본 논문에서 사용한 시스템은 아래 (그림 1)과 같이 자연언어 문장에서 문맥의존 철자오류가 발생할 수 있는 형태소를 찾아 그 형태소의 앞 뒤 3개의 형태소와 해당 형태소 총 7개의 형태소를 입력으로 받는다. 입력받은 형태소들을 사전학습인 워드 임베딩으로 구축된 Word Lookop Table에서 조회 하여 각 형 태소에 맞는 50차원 벡터로 변환한다.
한 음소가 바뀌었을 때 문맥의존 철자오류가 발생 할 수 있는 단어들 중 (배, 베), (짚, 집), (사장, 사정), (주의, 주위), (의지, 의자), (찢, 찧) 6쌍을 교정 대상으로 했고, 세종 품사부착 말뭉치에서 교정 대상이 포함된 문장을 추출해 데이터 셋을 만들었다. 또 시스템의 학습과 평가를 위해 선행 연구[1, 2]에서 실험한 바와 같이 데이터 셋에 존재하는 교정대상 단어들 중 50% 에 대하여 고의적으로 상대되는 형태소로 바꿔 오류를 만들었다.

이론/모형

(그림 2)와 같이 한 층의 ReLU 히든 레이어를 사용했으며, 학습과정에서 50%의 확률로 유닛을 비활성화 시키는 Drop-out 기술을 사용했다.
오류 교정에 적용한다. 또한 자연언어 처리를 위한 딥 러닝의 사전 학습 방법으로 워드 임베딩 (Word Embedding)[3, 4]을 사용했고, 과적합(Overfitting) 을 방지하기 위한 방법으로 Drop-out[5]을 사용했으며, 활성화 함수(Activation Function)로는 ReLU(Rectified Linear hidden Unit) [6]를 사용하여 성능을 높였다.
본 논문에서는 한글 및 한국어 정보처리학술대회에서 발표된 딥 러닝 논문에서 사용한 방법으로, 29억 개의 형태소를 원시 말뭉치(raw corpus)로 이용하여 102587개의 단어를 학습한 워드 임베딩을 사용했다 [8]. (그림 2)와 같이 한 층의 ReLU 히든 레이어를 사용했으며, 학습과정에서 50%의 확률로 유닛을 비활성화 시키는 Drop-out 기술을 사용했다.

성능/효과

92%로 나타났다[1]. 또한 N-gram 모델을 사용하여 다른 단어와 해당 단爵 가 같이 등장할 확률을 통계적으로 분석하여 문맥 의존 철자오류를 발견하는 연구에서는 평균 Precision 92.03%과 평균 Recall 85.60%의 성능을 보였다[2].
제안하였다. 본 논문에서 제안한 딥 러닝 기반의 시스템은 형태소 단위의 자질만 갖고도 기존의 규칙 기반이나 N-gram 기반의 연구들에 비해 우수한 성능을 보여, 고도의 언어학 지식을 갖춘 전문가의 노력 없이도 딥 러닝을 이용하여 우수한 성능의 시스템을 구축할 수 있음을 보였다.
실험에서 사용한 모든 단어 쌍들에 대해 기존의 연구보다 우수한 성능을 보였다. 특히 동사로 된 단어 쌍 들에서 더 눈에 띄는 성능 향상을 보였다.

후속연구

추후 연구로는 본 논문에서 3으로 고정했던 window-size를 다양하게 실험하고, 다양한 자질을 추가하여 시스템의 성능을 향상시킬 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

답 러닝을 이용한 문맥 의존 철자 오류 교정
Context-sensitive Spelling Error Correction using Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

답 러닝을 이용한 문맥 의존 철자 오류 교정 Context-sensitive Spelling Error Correction using Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

답 러닝을 이용한 문맥 의존 철자 오류 교정
Context-sensitive Spelling Error Correction using Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper