선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 논문에서는 자동통번역 시스템의 장점과 단점을 자동으로 파악할 수 있는 방법인 언어 현상별 자동평가 방법을 제안하고자 한다. 언어 현상별 자동평가 방법에 의하면 BLEU 에서 제시하지 못하는 언어 현상별 자동평가가 가능하며 개발자 관점에서 자동통번역 시스템의 언어 현상별 장점과 단점을 직관적으로 파악하여 자동통번역 시스템의 단점을 개선할 수 있다.
- 또한 본 논문의 언어 현상별 자동평가 방법과 같이 자동으로 평가하는 방법에 대한 연구가 있었다. 독-영 평가셋에서 평가대상이 되는 평가 현상을 정규식 표현(Regular expression)으로 기술하여 자동으로 평가하는 방법이었다[7]
- 본 논문에 언어 현상별 평가 방법과 같이 자동번역 시스템의 장단점을 파악하기 위해 평가셋(Test suites)을 구축하는 연구가 있었다. Bentivogli [3]는형태소, 어휘, 어순과 관련된 IWSLT 2015 의 English-German 평가셋을 만들어 PBMT(Phrase-Based Machine Translation)와 NMT(Neural Machine Translation)의 장단점을 평가하였다.
- 본 논문에서는 언어 현상별 자동평가 방법을 소개하였다. 자동통번역 시스템의 언어 현상별 자동평가 방법은 다음과 같이 이루어졌다.
- 3) 원문을 자동번역 후, <평가어휘>가 자동번역문에 없으면 0 점을 부여한다. 이러한 언어 현상별 자동평가 방법에 따라 2 개의 자동통번역기를 평가하였으며 언어 현상별 자동평가 방법의 궁극적인 목표는 자동통번역기의 다양한 약점을 찾아내어 약점과 관련된 targeted corpus 를 반자동 수집 및 구축하고 재학습을 하여 자동통번역기의 성능을 점증적으로 향상시키는 것이다.
- BLEU 의 장점은 평가하고자 하는 원문에 대해 정답인 번역문(Reference)이 존재하면 시스템을 자동으로 평가할 수 있다는 것이다. 즉, 원문에 대한 자동번역 결과를 정답인 번역문(Reference)과의 n-gram 유사도를 계산하여 자동으로 평가를 수행하는 것이다. 반면에 BLEU 의 단점은 평가 점수만 보고서는 해당 시스템의 문제점이 무엇인지를 파악할 수 없으며, 평가에 사용한 정답인 번역문에 의존적인 결과를 내린다는 것이다 [2].
※ AI-Helper는 부적절한 답변을 할 수 있습니다.