[논문]기계번역 사후교정(Automatic Post Editing) 연구

박찬준; 임희석

doi:10.15207/jkcs.2020.11.5.001

기계번역 사후교정(Automatic Post Editing) 연구
Automatic Post Editing Research 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.11 no.5, 2020년, pp.1 - 8

초록
AI-Helper

기계번역이란 소스문장(Source Sentence)을 타겟문장(Target Sentence)으로 컴퓨터가 번역하는 시스템을 의미한다. 기계번역에는 다양한 하위분야가 존재하며 APE(Automatic Post Editing)이란 기계번역 시스템의 결과물을 교정하여 더 나은 번역문을 만들어내는 기계번역의 하위분야이다. 즉 기계번역 시스템이 생성한 번역문에 포함되어 있는 오류를 수정하여 교정문을 만드는 과정을 의미한다. 기계번역 모델을 변경하는 것이 아닌 기계번역 시스템의 결과 문장을 교정하여 번역품질을 높이는 연구분야이다. 2015년부터 WMT 공동 캠페인 과제로 선정되었으며 성능 평가는 TER(Translation Error Rate)을 이용한다. 이로 인해 최근 APE에 모델에 대한 다양한 연구들이 발표되고 있으며 이에 본 논문은 APE 분야의 최신 동향에 대해서 다루게 된다.

Abstract ▼ AI-Helper

Machine translation refers to a system where a computer translates a source sentence into a target sentence. There are various subfields of machine translation. APE (Automatic Post Editing) is a subfield of machine translation that produces better translations by editing the output of machine translation systems. In other words, it means the process of correcting errors included in the translations generated by the machine translation system to make proofreading. Rather than changing the machine translation model, this is a research field to improve the translation quality by correcting the result sentence of the machine translation system. Since 2015, APE has been selected for the WMT Shaed Task. and the performance evaluation uses TER (Translation Error Rate). Due to this, various studies on the APE model have been published recently, and this paper deals with the latest research trends in the field of APE.

주제어

표/그림 (7)

그림 Fig. 1. WMT 2016 Winner Model, The architecture of the multi-encoder translation model[16]
그림 Fig. 2. Winner Model in WMT 2018 [7]
그림 Fig. 3. Encoder-Decoder Attention Structure. [18]
표 Table 1. Encoder-Decoder Structure Results [18]
그림 Fig. 4. Overall Architecture of Combined Attention and Joint Representation model [19]
표 Table 2. WMT 2019 APE Shared Task Results[8]
그림 Fig. 5. Bert Based Encoder-Decoder Model [8]

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

먼저 Automatic Post Editing의 역사 및 특징에 대해서 살펴본 후 WMT 에 소개된 모델을 2016년부터 2018년까지 살펴본다. 더나아가 WMT 2019에서 우수한 성능을 거둔 1, 2등의 모델에 대해서 자세히 살펴본 후 Quality Estimation과 Automatic Post Editing의 조합을 통해 어떠한 파이프 라이닝 시스템을 이룰 수 있는지 소개한다. 이후 결론으로 마무리한다.
2018년부터 Transformer를 기반으로 딥러닝 기반 APE에 대한 연구가 활발히 이루어지고 있으며 해당 기술과 관련하여 많은 논문들이 발표되고 있다. 따라서 본 논문은 Automatic Post Editing 분야의 최신동향에 대해서 다루게 된다. 최근에 발표된 모델에 대한 장점 및 한계점 등을 본문에서 자세히 서술하며 과거 APE 기술적 흐름과 WMT에서 발표된 모델에 대해서 자세히 서술한다.
2018년부터 Transformer기반의 APE 모델들이 다수 등장했으며 최근에는 Pretrain-Finetuning Approach를 적용한 BERT기반의 APE 모델이 가장 우수한 성능을 보이고 있다. 본 논문은 기계번역 사후교정 모델과 관련된 최신동향을 다루었으며 이와 더불어 또 다른 기계번역의 하위 분야인 Quality Estimation과 어떻게 함께 적용할 수있을지에 대해 소개하였다. 추후 APE 분야의 연구동향으로 Pretrain-Finetuning기법을 적용하는 기조가 유지될 것으로 판단되며 이에 대한 심도 있는 연구가 진행되어야 할 것이다.
따라서 본 논문은 Automatic Post Editing 분야의 최신동향에 대해서 다루게 된다. 최근에 발표된 모델에 대한 장점 및 한계점 등을 본문에서 자세히 서술하며 과거 APE 기술적 흐름과 WMT에서 발표된 모델에 대해서 자세히 서술한다. 더 나아가 APE와 기계번역 품질 예측의 장점을 결합하여 다양한 응용방안을 제시한다.

제안 방법

Multi Source Attention Layer 같은 경우 크게 2가지 구조를 제안하였다. Multi Source Parallel Attention 과 Multi Source Sequential Attention을 제안하였다. Multi Source Parallel Attention이란 Linear Combined를 진행한 것을 의미하며 Multi Source Sequential Attention이란 Sequentially Combine 한 것이다.
기존 WMT 2018의 문제점은 다음과 같다. SRC와 MT를 각각의 분리 된 Encoder를 적용하여 두개의 값을 단순히 Sequential하게 처리하거나 단순 Concatenating 을 진행한다. 즉 두 개 사이의 관계를 파악하기 쉽지 않다.
Single BERT Encoder를 사용하며 SRC와 MT의 Joint Representation을 제안하였으며 Multilingual BERT를 Pretrain 모델로 사용하였다. 즉 SRC와 MT를 [SEP]로 연결한 구조이다.
기계번역 시스템 결과를 향상시키기 위한 Quality Estimation(Q.E)와 Automatic Post Editing(APE)을 결합하는 다양한 전략을 조사해 보았다.
해당 연구는 원시문과 번역문 각각을 독립적으로 인코딩했던 기존 연구와 다르게 번역문 인코딩 과정에서 원시문의 문맥정보를 포함하는 Joint Representation 즉 공동표현을 모델링하였다. 또한 Decoder에서 공동표현과 독립적으로 인코딩 된 번역문을 함께 고려해 context vector를 생성하는 결합 주의 집중(Combined Attention) 계층을 제안하였다. 모델의 전체적인 구조는 Fig.
해당 논문의 구성은 다음과 같다. 먼저 Automatic Post Editing의 역사 및 특징에 대해서 살펴본 후 WMT 에 소개된 모델을 2016년부터 2018년까지 살펴본다. 더나아가 WMT 2019에서 우수한 성능을 거둔 1, 2등의 모델에 대해서 자세히 살펴본 후 Quality Estimation과 Automatic Post Editing의 조합을 통해 어떠한 파이프 라이닝 시스템을 이룰 수 있는지 소개한다.
2019년부터 Encoder-Decoder Attention 구조에 대한 다양한 연구를 진행하였다. 먼저 포항공대에서 디코더의 다양한 구조에 따른 성능 변화를 실험하였다. 총 5가지의 디코더 구조를 설계하여 실험을 진행하였다[18].
본 장에서는 가장 최신의 연구인 WMT 2019에서 제안한 모델의 대한 분석을 진행한다. 먼저 포항공대에서 제안한 모델에 대해 분석하며 이후 해당 Task에서 1등을 거둔 Unbabel의 BERT기반 모델에 대하여 분석한다.
Joint Representation이란 포항공대에서 제안한 구조 로 소스문장(SRC)과 번역문장(MT)의 독립적인 인코딩 표현을 생성한다. 번역문장 인코딩 모듈은 기계번역 시스템의 디코딩 과정을 모방하기 위해 Masked Multi-Head Attention을 적용하였으며 각각 인코딩 된 SRC와 MT 는 별도의 인코딩 모듈을 통해 Joint Representation을 생성하며 , Multi Head Attention 계층으로부터 각 번역 단어에 원시문장의 문맥정보가 포함된 인코딩 결과를 얻을 수 있다. 결론적으로 SRC와 MT의 관계를 파악하는 것에 중점을 둔 방법론이다.
먼저 포항공대에서 디코더의 다양한 구조에 따른 성능 변화를 실험하였다. 총 5가지의 디코더 구조를 설계하여 실험을 진행하였다[18]. 각 구조에 대한 그림은 Fig.
해당 연구는 원시문과 번역문 각각을 독립적으로 인코딩했던 기존 연구와 다르게 번역문 인코딩 과정에서 원시문의 문맥정보를 포함하는 Joint Representation 즉 공동표현을 모델링하였다. 또한 Decoder에서 공동표현과 독립적으로 인코딩 된 번역문을 함께 고려해 context vector를 생성하는 결합 주의 집중(Combined Attention) 계층을 제안하였다.

이론/모형

즉 SRC와 MT를 [SEP]로 연결한 구조이다. 또한 Conservativeness Penalty를 사용하였다. 이는 단순히 휴리스틱을 적용한 방법론이며, 학습데이터의 교정률이 적은 특징을 반영하여 SRC와 MT에 등장하지 않은 단어들에 대해 Penalty 를 주는 방법이다.
2015년부터 매년 WMT Shared Task의 한 분야로 대회를 열고 있으며 이로 인해 해당 Task에 대한 문제정의, 평가방법 등이 명확히 설정되었다[1]. 성능 평가 지표는 TER(Translation Error Rate)을 사용하며 TER이 낮을수록 사후 교정을 잘 수행한 것으로 평가한다. 2018년부터 Transformer를 기반으로 딥러닝 기반 APE에 대한 연구가 활발히 이루어지고 있으며 해당 기술과 관련하여 많은 논문들이 발표되고 있다.

성능/효과

즉 원문과 번역문 사이의 관계를 고려하는 것이 성능향상에 중요한 요인임을 알 수 있는 연구이다. 즉 해당 연구는 디코더의 다양한 구조를 변경하여 실험해봄으로 번역문과 원문을 분리하여 Attention을 진행하는 것보다 함께 Attention을 진행하는 것이 더 좋은 성능을 낼 수 있는 구조임을 밝혀내었다.

후속연구

결론적으로 QE와 APE는 기계번역 품질을 높이기 위한 다양한 방식으로 결합 될 수 있으며 더 나아가 병렬코퍼스 필터링과 같은 또 다른 기계번역 하위분야를 추가적용하여 해당 파이프라이닝 시스템의 성능을 향상시킬 수 있다.
최근에 발표된 모델에 대한 장점 및 한계점 등을 본문에서 자세히 서술하며 과거 APE 기술적 흐름과 WMT에서 발표된 모델에 대해서 자세히 서술한다. 더 나아가 APE와 기계번역 품질 예측의 장점을 결합하여 다양한 응용방안을 제시한다.
본 논문은 기계번역 사후교정 모델과 관련된 최신동향을 다루었으며 이와 더불어 또 다른 기계번역의 하위 분야인 Quality Estimation과 어떻게 함께 적용할 수있을지에 대해 소개하였다. 추후 APE 분야의 연구동향으로 Pretrain-Finetuning기법을 적용하는 기조가 유지될 것으로 판단되며 이에 대한 심도 있는 연구가 진행되어야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	기계번역 품질 예측과 같은 연구가 필요한 이유는 무엇인가?	기계번역 품질 예측(Quality Estimation: QE)이란 정답번역문을 참고하지 않고 기계번역 모델의 입력으로 사용한 원문과 기계번역 모델이 생성한 결과만을 가지고 번역 결과의 품질을 예측하는 시스템을 의미한다. 이와 같은 연구가 필요한 이유는 먼저 기계번역 시스템이 출력한 문장들은 여전히 많은 번역 오류들이 존재하며 동일한 기계번역 시스템 내에서도 다양한 번역품질의 결과들이 생성되는 문제가 있기 때문이다.
	기계번역이란 무엇인가?	기계번역이란 소스문장(Source Sentence)을 타겟문장(Target Sentence)으로 컴퓨터가 번역하는 시스템을 의미한다. 기계번역에는 다양한 하위분야가 존재하며 APE(Automatic Post Editing)이란 기계번역 시스템의 결과물을 교정하여 더 나은 번역문을 만들어내는 기계번역의 하위분야이다.
	기계번역에는 다양한 하위분야가 존재하며 대표적으로 어떤 것들이 있는가?	기계번역에는 다양한 하위분야가 존재하며 대표적으로 병렬 코퍼스 필터링(Parallel Corpus Filtering), 기계번역 품질 예측(Quality Estimation), 기계번역 사후 교정(Automatic Post Editing)이 존재한다. 병렬 코퍼스 필터링이란 기계번역의 학습데이터로 쓰이는 병렬 코퍼스의 품질을 높이기 위하여 학습데이터의 적합하지 않은 병렬 쌍을 제거하는 작업을 의미한다.

참고문헌 (21)

Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huck, M. & Negri, M. (2016, August). Findings of the 2016 conference on machine translation. In Proceedings of the First Conference on Machine Translation: 2, Shared Task Papers (pp. 131-198).
Ondrej, B., Chatterjee, R., Christian, F., Yvette, G., Barry, H., Matthias, H. & Negri, M. (2017). Findings of the 2017 conference on machine translation (wmt17). In Second Conference onMachine Translation (pp. 169-214). The Association for Computational Linguistics.
Allen, J. & Hogan, C. (2000, April). Toward the development of a post editing module for raw machine translation output: A controlled language perspective. In Third International Controlled Language Applications Workshop (CLAW-00) (pp. 62-71).
Simard, M., Goutte, C. & Isabelle, P. (2007, April). Statistical phrase-based post-editing. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Proceedings of the Main Conference (pp. 508-515).
Snover, M., Dorr, B., Schwartz, R., Micciulla, L, & Makhoul, J. (2006, August). A study of translation edit rate with targeted human annotation. In Proceedings of association for machine translation in the Americas, 200(6) .
Papineni, K., Roukos, S., Ward, T. & Zhu, W. J. (2002, July). BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting on association for computational linguistics (pp. 311-318). Association for Computational Linguistics.
Junczys-Dowmunt, M. & Grundkiewicz, R. (2018). Ms-uedin submission to the wmt2018 ape shared task: Dual-source transformer for automatic post-editing. arXiv preprint arXiv:1809.00188.
Lopes, A. V., Farajian, M. A., Correia, G. M., Trenous, J. & Martins, A. F. (2019). Unbabel's Submission to the WMT2019 APE Shared Task: BERT-based Encoder-Decoder for Automatic Post-Editing. arXiv preprint arXiv:1905.13068.
Correia, G. M. & Martins, A. F. (2019). A simple and effective approach to automatic post-editing with transfer learning. arXiv preprint arXiv:1906.06253.
Lee, W., Shin, J. & Lee, J. H. (2019, August). Transformer-based Automatic Post-Editing Model with Joint Encoder and Multi-source Attention of Decoder. In Proceedings of the Fourth Conference on Machine Translation, 3 (pp. 112-117).
Negri, M., Turchi, M., Chatterjee, R. & Bertoldi, N. (2018). ESCAPE: a large-scale synthetic corpus for automatic post-editing. arXiv preprint arXiv:1803.07274.
J. H. Shin, Y. K. Kim & J. H. Lee. (2019) Transformer-based Automatic Post-Editing for Machine Translation KIISE Transactions on Computing Practices, 25(1), 64-69.

상세보기
Pal, S., Herbig, N., Kruger, A. & van Genabith, J. (2018, October). A Transformer-Based Multi-Source Automatic Post-Editing System. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers (pp. 827-835).
Shin, J. & Lee, J. H. (2018, October). Multi-encoder Transformer Network for Automatic Post-Editing. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers (pp. 840-845).
Tebbifakhr, A., Agrawal, R., Negri, M. & Turchi, M. (2018, October). Multi-source transformer with combined losses for automatic post editing. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers (pp. 846-852).
Libovicky, J., Helcl, J., Tlusty, M., Pecina, P. & Bojar, O. (2016). CUNI system for WMT16 automatic post-editing and multimodal translation tasks. arXiv preprint arXiv:1606.07481.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., & Polosukhin, I. (2017). Attention is all you need. In Advances in neural information processing systems (pp. 5998-6008).
H. Shin, W. K. Lee, Y. K. Kim & J. H. Lee. (2019). Research for the Decoder Structure of Multi-encoder Transformer-based Automatic Post-Editing Model. KIISE 2019, 634-636.
W. K. Lee, H. Shin, Y. K. Kim & J. H. Lee. (2019). Transformer-based Automatic Post-Editing with Effective Relation Modeling between Source and its Translations. KIISE 2019, 619-621.
Lee, W., Park, J., Go, B. H. & Lee, J. H. (2019). Transformer-based Automatic Post-Editing with a Context-Aware Encoding Approach for Multi-Source Inputs. arXiv preprint arXiv:1908.05679.
Chatterjee, R., Negri, M., Turchi, M., Blain, F., & Specia, L. (2018, March). Combining quality estimation and automatic post-editing to enhance machine translation output. In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas, 1, (pp. 26-38).

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증