선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이 논문에서 통계기반의 정렬기법을 이용한 한영/영한 양방향 명사구 번역 시스템을 설계하고 구현하였다. 단어정렬을 위해서는 GIZA++을 사용하였으며 번역기로는 PHARAOH, RAMSES, MARIE를 사용하였다.
제안 방법
- 구축된 병렬 학습 말뭉치와 GIZA++을 이용하여 단어 변환표와 구절 변환표를 학습하였다. GIZA++ 학습에서 한영 모델과 영한 모델은 모두 같은 방법으로 학습되었으며 M(5:0:3:3:0:0)4)+HMM(5)으로 학습하였다. 이 논문에서는 같은 병렬 말뭉치를 이용해서 한영과 영한 단어 정렬 모델을 학습하였다.
- 이 논문에서는 같은 병렬 말뭉치를 이용해서 한영과 영한 단어 정렬 모델을 학습하였다. 각 목적언어의 언어모델은 SRILM 을 이용해서 학습말뭉치로부터 구한다. 이 때 자료 부족 현상을 완화하기 위한 방법으로 KNdisco 나 nt 방법 (Kneser-Ney discounting)^ 이용하였으며 n-gram은 3 차까지 이용하였다.
- 실험 말뭉치의 크기는 전체 말뭉치에 10% 규모로 하였으며 임의로 추출하였다. 구축된 병렬 학습 말뭉치와 GIZA++을 이용하여 단어 변환표와 구절 변환표를 학습하였다. GIZA++ 학습에서 한영 모델과 영한 모델은 모두 같은 방법으로 학습되었으며 M(5:0:3:3:0:0)4)+HMM(5)으로 학습하였다.
- 수집된 병렬 문서에서 html 태그 등 불필요한 요소들을 제거하여 병렬 말뭉치를 구축한다. 수집된 말뭉치는 영한, 한영 순서를 뒤집으면 영한, 한영 병렬 말뭉치가 되므로 이것을 학습데이터로 하였다. 병렬말뭉치에서 각 명사구는 단어 단위로 분리된다.
- 이 논문에서는 명사구 번역으로 웹에 공개된 전공용어 사전 및 일반 사전으로부터 한영명사구 쌍이 포함된 문서를 수집한다. 수집된 병렬 문서에서 html 태그 등 불필요한 요소들을 제거하여 병렬 말뭉치를 구축한다. 수집된 말뭉치는 영한, 한영 순서를 뒤집으면 영한, 한영 병렬 말뭉치가 되므로 이것을 학습데이터로 하였다.
- 단어정렬을 위해서는 GIZA++을 사용하였으며 번역기로는 PHARAOH, RAMSES, MARIE를 사용하였다. 약 4만 개의 명사구 대역쌍을 병렬 말뭉치를 구축하여 시스템의 성능을 평가하였다. 한영/영한 명사구 번역 시스템 모두가 최대 59.
- GIZA++ 학습에서 한영 모델과 영한 모델은 모두 같은 방법으로 학습되었으며 M(5:0:3:3:0:0)4)+HMM(5)으로 학습하였다. 이 논문에서는 같은 병렬 말뭉치를 이용해서 한영과 영한 단어 정렬 모델을 학습하였다. 각 목적언어의 언어모델은 SRILM 을 이용해서 학습말뭉치로부터 구한다.
- 이 논문에서는 구절 단위로 정렬된 병렬 말뭉치를 이용하여 GIZA++1 통한 자동 학습 방법으로 모델의 파라미터를 학습하였다. 그러므로 결과 값의 정확도는 학습데이터의 양과 튝성에 크게 의존된다.
- 일반적으로 명사구번역은 개별 명사의 번역을 이용하여 쉽게 번역될 수 있을 것으로 생각되나 많은 명사들은 영역과 주변의 단어에 따라 서로 다르게 번역된다. 이와 같은 문제를 효과적으로 다루기 위해서 이 논문에서는 통계기반 기계번역 방법을 이용해서 한영/영한명사구 번역을 설계하고 구현하였다.
대상 데이터
- 이 논문에서 웹으로부터 90, 270개의 명사구 대역 쌍을 수집하였다. 이를 학습 알뭉치와 평가 말뭉치로 분리하였으며 각각 81, 243개와 9, 027개의 대역쌍을 포함하고 있다.
- 이 논문에서는 명사구 번역으로 웹에 공개된 전공용어 사전 및 일반 사전으로부터 한영명사구 쌍이 포함된 문서를 수집한다. 수집된 병렬 문서에서 html 태그 등 불필요한 요소들을 제거하여 병렬 말뭉치를 구축한다.
- 학습시스템은 먼서 웹으로부터 병렬 문서를 수집한다. 이 논문에서는 명사구 번역으로 웹에 공개된 전공용어 사전 및 일반 사전으로부터 한영명사구 쌍이 포함된 문서를 수집한다.
데이터처리
- 2장에서 통계기반 기계번역의 요소 기술들에 대해서 간략히 소개하고, 3장에서 한영/영한 영사구번역 시스템을 기술한다. 4장에서 제안된 한영/영한 명사구번역 시스템의 성능을 평가하고 분석한다. 마지막으로 5장에서 결론을 맺고 향후 연구 과제를 기술한다.
이론/모형
- 구현하였다. 단어정렬을 위해서는 GIZA++을 사용하였으며 번역기로는 PHARAOH, RAMSES, MARIE를 사용하였다. 약 4만 개의 명사구 대역쌍을 병렬 말뭉치를 구축하여 시스템의 성능을 평가하였다.
- , 1996), 의미모호성해소(Diab, 2000) 등이 있다. 댠어 정렬의 도구로는 GIZA++ (Och and Ney, 2000), k-vec(Fung and Church, 1994), PWA (Ahrenberg, et al, 2000) 등이 있으며, 이 논문에서는 GIZA+十를 사용하였다. 아래에서 GIZA++0II 대해서 간략히 설명할 것이다.
- 말은 통계 언어모델을 의미한다. 이 논문에서는 n-gram 언어 모델을 사용하며, S디LM3)(Stolke et al., 2002)을 이용해 언어 모델을 학습하여 구축하였다. 아래에서 n-g伝m과 SRILM에 관하여 간단히 살펴볼 것이다.
- 그리고 또 다른 방법으로는 FST를 이용하는 방법과 동적프로그래밍을 이용하는 방법들이 있다. 이 논문에서는 번역기로 PARAOH(K(^hn, 2004), RAMSES(Patry et al., 2002), MARIE(Crego, et aL, 2005) 세 가지를 사용한다.
- 각 목적언어의 언어모델은 SRILM 을 이용해서 학습말뭉치로부터 구한다. 이 때 자료 부족 현상을 완화하기 위한 방법으로 KNdisco 나 nt 방법 (Kneser-Ney discounting)^ 이용하였으며 n-gram은 3 차까지 이용하였다.
- 그러나 최근에 와서 컴퓨터의 기술이 발전되고 또 대량의 병렬 말뭉치들이 쉽게 구축할 수 있게 되면서 다시 홭발한 연구가 시작되었다. 통계기반 기계번역의 기본적인 개념은 Shannon의 정보이론에 기반을 두고 였으며, 정렬기법을 이용하여 기계번역을 모델링하였다. (식 1)은 정렬기법을 이용한 통계기반 기계 번역모델이다.
- 평가시스템은 평가알뭉치에 속한 원시언어 문장을 번역기(PHARAOH, RAMSES, MARIE)를 이용해서 번역한 결과를 이용한다. 번역된 문장을 평가말뭉치에 속한 목적 언어 문장과 비교하는 방법으로 평가된다.
- 이를 학습 알뭉치와 평가 말뭉치로 분리하였으며 각각 81, 243개와 9, 027개의 대역쌍을 포함하고 있다. 학습 말뭉치를 이용해서 영한, 한영 번역 모델을 학습하였다. 번역의 성능의 측도로는 앞에서 언급했듯이 BLEU1 사용하며 그 결과는<표 1>과<표 2>와 같다.
성능/효과
- 따라서 성능의 차이를 보인다. MAFBE의 성능이 PHARAOH 와 RAMSES 에 비해서 우수하게 좋았다. PHARAOH를 개선한 RAMESE는 PHARAOH보다 좀더 나은 성능을 보였다.
- MAFBE의 성능이 PHARAOH 와 RAMSES 에 비해서 우수하게 좋았다. PHARAOH를 개선한 RAMESE는 PHARAOH보다 좀더 나은 성능을 보였다. 그리고 영한 번역보다 한영 번역 결과가 더 좋았다.
- 학습 말뭉치의 크기와 번역 결과의 관계를 파악하기 위해 학습 말뭉치의 일정 비율로 증가시키면서 학습하였오며, 과에서 보아 알 수 있듯이 모든 시스템이 학습 말뭉치가 커지면 번역 성능이 증가됨을 알 수 있다.
- 약 4만 개의 명사구 대역쌍을 병렬 말뭉치를 구축하여 시스템의 성능을 평가하였다. 한영/영한 명사구 번역 시스템 모두가 최대 59.41%/18.67%의 BLEU를 보였다, 이는 그다지 좋은 성능을 아니라고 생각된다. 이는 학습 말뭉치의 양이 절대적으로 부족하기 때문이다.
후속연구
- 그러나 실용화나 상용화를 위해서는 좀더 많은 연구가 필요실정이다. 현재 국내의 경우에는 봉계기반 기계번역에 대한 연구가 홛발하게 이루어지지 않았다.
- 무엇보다도 한국어 특성에 적합한 단어 정렬 모델이 연구되어야 할 것이다. 또한 개발된 시스템을 다국어 정보검색 시스템에 직접 적용해서 그 宣용 성을 평가해보아야 할 것이다.
- 앞으로 좀더 많은 양의 병렬 말뭉치를 지속적으로 병렬 말뭉치를 구축할 수 있는 텍스트 마이닝 기법이 개발되어야 할 것이다. 무엇보다도 한국어 특성에 적합한 단어 정렬 모델이 연구되어야 할 것이다.
- 그리고 영한 번역보다 한영 번역 결과가 더 좋았다. 이후 좀더 많은 말뭉치를 사용하면 좀 더 정확하고, 죻은 성능을 얻을 수 있을 것으로 기대한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.