[논문]Neural Machine Translation 기반의 영어-일본어 자동번역

이창기; 김준석; 이형규; 이재송

문제 정의

본 논문에서는 SMT와 NMT의 성능을 비교 평가하기 위해서, ASPEC(Asian Scientific Paper Excerpt Corpus) 영어-일본어 병렬 코퍼스2)를 이용하여 영-일기계번역 시스템을 학습 및 평가하였다. ASPEC 코퍼스는 과학 기술 분야의 논문에서 수집된 문장으로 구성되어 있다.
본 논문에서는 전통적인 방식의 SM仃 방식인 구 기반 (Phrase-based) 모델과 계층적 구 기반(Hierarchical Phrase-based) 모델, 그리고 구문 기반(Syntax-based) 모델을 소개한다. 또한 최근에 각광받고 있는 NMT 모델에 대해설명하고 이를 어순이 상이한 영어-일본어 기계번역에 적용한다.

가설 설정

세 번째로 번역 시스템의 단순함이다. 전통적인 방식의 SMT는 번역 모델, 언어 모델 등 리소스가 필요하고 번역 방식에 따라서 다양한 형태의 디코더가 필요하다.

제안 방법

소개한다. 또한 최근에 각광받고 있는 NMT 모델에 대해설명하고 이를 어순이 상이한 영어-일본어 기계번역에 적용한다. 실험을 통해 NMT 모델이 기존의 구 기반 모델과계층적 구 기반 모델보다 성능이 우수하고, 구문분석을사용하는 Syntax-based 모델과 성능이 유사함을 보인다.
학습은 Stochastic Gradient Decent(SGD)를 사용하였으며, 입력/출력 언어 모두 200차원의 word embedding을 projection layer에 사용했고, liidden layer unit 수는 1000을 사용했으며, Dropoute 사용하지 않았다. 번역 결과의 성능 평가를 위해 테스트 데이터에서의 BLEU[1]와 RIBES[11]를 측정하였다. BLEU는 번역 평가에서 가장 널리 사용되고 있는 척도이며, RIBES는 BLEU에 비해 영어-일본어와 같이 어순 차이가 큰 언어쌍에서 더 정확한 평가가 가능하다고 알려진 척도이다.
본 논문에서는 전통적인 방식의 SMT 방식인 구 기반모델과 계층적 구 기반 모델과 구문 기반 모델을 소개하고, 최근에 각광받고 있는 Neural Machine Translation (NMT) 모델에 설명하고 이를 영어-일본어 기계번역에적용하였다. 실험 결과, Attention mechanism을 사용하는 NMT 모델이 기존의 구 기반 모델과 계층적 구 기반모델보다 성능이 우수하였으며, 구문분석을 사용하는구문 기반 모델과 유사한 성능을 보였다.
추가적으로 번역 예제 분석을 수행하였다. 표3은 SMT 번역문과 NMT 번역문을 비교하여 보여준다.
NMT 시스템은 RNN search 모델[14]과 유사하게 Theano[15]를 이용하여 자체적으로 구현하였으며, 디코더부분에서 학습 속도를 위해 Maxout network 대신 ReLU를사용하였다. 학습은 Stochastic Gradient Decent(SGD)를 사용하였으며, 입력/출력 언어 모두 200차원의 word embedding을 projection layer에 사용했고, liidden layer unit 수는 1000을 사용했으며, Dropoute 사용하지 않았다. 번역 결과의 성능 평가를 위해 테스트 데이터에서의 BLEU[1]와 RIBES[11]를 측정하였다.

대상 데이터

본 논문에서는 SMT 시스템과 NMT 시스템을 각각구현하였으며, 학습 데이터는 동일하게 번역 품질 상위 100만 문장만을 이용하였다. SMT 시스템은 오픈소스엔진인 Moses[9]을 이용하여 구현되었으며, 구문 기반 (Syntax-based) 모델 중 하나인 Tree-to-string 모델8]을학습하였다.

이론/모형

문장만을 이용하였다. SMT 시스템은 오픈소스엔진인 Moses[9]을 이용하여 구현되었으며, 구문 기반 (Syntax-based) 모델 중 하나인 Tree-to-string 모델8]을학습하였다. 또한 MERT 알고리즘[2]을 이용하여 파라미터 튜닝을 수행하였고, Chart 파싱 디코딩 [4]을 통해번역문을 생성하였다.
그림 1은 전통적인 방식의 SM仃의 기본 구조를 보여준다. SMT* 병렬코퍼스(bilingual corpus)로부터 학습된 번역모델(translation model)과 단일언어 코퍼스(monolingual corpus)로부터 학습된 언어 모델(language model)을 이용하여 번역을 수행한다. 입력 언어(source language) 문장이들어오면 형태소 분석과 같은 전처 리를 수행하고, 디코더 (decoder)에서는 번역 모델과 언어 모델 등의 통계 모델을기반으로 최적의 번역 열을 찾은 후에 출력 언어(target language) 문장에 맞게 생성하면 번역이 완료된다.
SMT의기본 모델인 구 기반 모델과 계층적 구 기반 모델의 결과는 동일한 코퍼스로 학습하고 평가되어 WAT 2014[12]에서 보고된 결과를 참조하였다. 구문 기반 모델은 구 기반 모델이나 계층적 구 기반 모델에 비해 확연히 좋은 성능을 보여주었다 실험 언어 쌍이 어순 차이가 큰 영어-일본어이기 때문에 입력 언어 문장의 구문 분석 정보가 활용되는 구문 기반 모델이 더 좋은 번역문을 만들어 내었다.
SMT 시스템은 오픈소스엔진인 Moses[9]을 이용하여 구현되었으며, 구문 기반 (Syntax-based) 모델 중 하나인 Tree-to-string 모델8]을학습하였다. 또한 MERT 알고리즘[2]을 이용하여 파라미터 튜닝을 수행하였고, Chart 파싱 디코딩 [4]을 통해번역문을 생성하였다. Tree-to-string 모델에서는 소스언어의 구문 분석 정보를 필요로 하기 때문에 영어 구문 분석을 위해서 Berkeley 파서[1 이를 이용하였다.

성능/효과

표3은 SMT 번역문과 NMT 번역문을 비교하여 보여준다. 1번예문에서 SMT 번역문은 전치사구로 수식되는 부분의해석에 오류를 보인 반면, NMT는 수식 구조를 정확히 해석하여 더욱 정확한 번역문을 만들었다. 2번 예문에서는 SMT 번역문은 콤마로 연결된 대등 관계 부분에서의 재배열 오류로 인해 원문의 의미를 정확히전달하지 못한 반면, NMT 번역문은 정확한 배열을 보이고 있다.
1번예문에서 SMT 번역문은 전치사구로 수식되는 부분의해석에 오류를 보인 반면, NMT는 수식 구조를 정확히 해석하여 더욱 정확한 번역문을 만들었다. 2번 예문에서는 SMT 번역문은 콤마로 연결된 대등 관계 부분에서의 재배열 오류로 인해 원문의 의미를 정확히전달하지 못한 반면, NMT 번역문은 정확한 배열을 보이고 있다. SMT에서는 비교적 길고 복잡한 문장에서구문 분석의 오류 전파가 자주 발생하는 것으로 보인다.
SMT의기본 모델인 구 기반 모델과 계층적 구 기반 모델의 결과는 동일한 코퍼스로 학습하고 평가되어 WAT 2014[12]에서 보고된 결과를 참조하였다. 구문 기반 모델은 구 기반 모델이나 계층적 구 기반 모델에 비해 확연히 좋은 성능을 보여주었다 실험 언어 쌍이 어순 차이가 큰 영어-일본어이기 때문에 입력 언어 문장의 구문 분석 정보가 활용되는 구문 기반 모델이 더 좋은 번역문을 만들어 내었다. 반면, NS仃는 명시적인 구문 분석을 수행하지 않음에도 불구하고 SM仃의 구 기반 모델과 계층적 구 기반 모델을 능가하였고, 구문 기반 모델과 BLEU에서는 거의 대등하였으며, RIBES에서는 오히려 더 높은 성능을 보여주었다.
구문 기반 모델은 구 기반 모델이나 계층적 구 기반 모델에 비해 확연히 좋은 성능을 보여주었다 실험 언어 쌍이 어순 차이가 큰 영어-일본어이기 때문에 입력 언어 문장의 구문 분석 정보가 활용되는 구문 기반 모델이 더 좋은 번역문을 만들어 내었다. 반면, NS仃는 명시적인 구문 분석을 수행하지 않음에도 불구하고 SM仃의 구 기반 모델과 계층적 구 기반 모델을 능가하였고, 구문 기반 모델과 BLEU에서는 거의 대등하였으며, RIBES에서는 오히려 더 높은 성능을 보여주었다. 이는 NMT의 RNN 모델이 단순히 단어 번역에서뿐만 아니라 문장 내의 원거리 의존성을 잘 학습하고 있기 때문으로 분석된다.
실험 결과, Attention mechanism을 사용하는 NMT 모델이 기존의 구 기반 모델과 계층적 구 기반모델보다 성능이 우수하였으며, 구문분석을 사용하는구문 기반 모델과 유사한 성능을 보였다.
또한 최근에 각광받고 있는 NMT 모델에 대해설명하고 이를 어순이 상이한 영어-일본어 기계번역에 적용한다. 실험을 통해 NMT 모델이 기존의 구 기반 모델과계층적 구 기반 모델보다 성능이 우수하고, 구문분석을사용하는 Syntax-based 모델과 성능이 유사함을 보인다.

후속연구

향후 연구로는 NMT 모델의 성능을 개선하고, 한국어나 일본어, 중국어와 같은 언어에 알맞은 NMT 모델을 개발할 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Neural Machine Translation 기반의 영어-일본어 자동번역 원문보기

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Neural Machine Translation 기반의 영어-일본어 자동번역 원문보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

이창기 (27) 김준석 (1)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper