초록 ▼

연구개요
본 연구는 텍스트와 이미지 정보를 결합한 멀티모달 기계번역 모델 개발이다. 제안하는 방법은 텍스트 정보에만 의존하던 기존의 기계번역 방법론들의 한계점을 극복하기 위하여 이미지 정보로부터 번역에 필요한 정보를 최대한 활용하고 보다 정확한 번역 결과를 위하여 구문구조 정보를 결합한다. 제안 모델은 한국어에 최초로 시도되며 기존 모델보다 향상된 성능을 기대한다.

연구 목표대비 연구결과
본 연구진은 최초의 연구 제안단계에서 설계한 연도별 추진전략에 따라 철저히 진행되었다. 우선 1차, 2차년도는 핵심 기술을

연구개요
본 연구는 텍스트와 이미지 정보를 결합한 멀티모달 기계번역 모델 개발이다. 제안하는 방법은 텍스트 정보에만 의존하던 기존의 기계번역 방법론들의 한계점을 극복하기 위하여 이미지 정보로부터 번역에 필요한 정보를 최대한 활용하고 보다 정확한 번역 결과를 위하여 구문구조 정보를 결합한다. 제안 모델은 한국어에 최초로 시도되며 기존 모델보다 향상된 성능을 기대한다.

연구 목표대비 연구결과
본 연구진은 최초의 연구 제안단계에서 설계한 연도별 추진전략에 따라 철저히 진행되었다. 우선 1차, 2차년도는 핵심 기술을 확보하고, 3차년도는 기술들 간의 상호 연관관계를 고려하여 하나의 시스템으로 통합하는 과정을 수행하였다. 연차별로 목표로 한 기술은 대부분 다 확보하였고, 관련 연구들을 SCI 학술지에 등재하였다.
1차년도에서는 우선 멀티모달 기계 번역 연구를 위한 20,000개 이미지 데이터에 대하여 총 100,000문장의 한국어-영어 캡션 코퍼스 구축 완료하였다. 또한 약한 레이블을 가진 이미지를 활용한 준-지도학습 기반 멀티 레이블 이미지 분류기 학습 알고리즘 확보하였으며, 최종적으로 멀티모달 한국어-영어 기계번역 기술 개발 하였고, 이 연구 결과는 SCI 학술지에 등재하였다.
2차년도에서 본 연구진은 시퀀스 레이블링 기반 의존 파서 기술 확보하였으며 관련기술을 국내 학술지 등재하였다. 또한 본 연구진은 의존 구문 구조를 반영한 디코딩 알고리즘 개발하였다. 그리고 본 연구진은 다국어를 위한 워드 임베딩 학습 알고리즘 연구를 위해 적대적 공격 기반의 다국어 언어모델에 대한 probing 연구 및 post-training을 이용한 한국어 전이 학습 알고리즘을 개발하였다.
마지막 3차년도에서 본 연구진은 2차년도에서 개발한 의존 구문 구조 기반 디코딩 알고리즘을 결합하여 보다 정확한 한국어-영어 멀티모달 기계 번역 기술을 개발하였다. 또한 역-번역 기술을 이용한 데이터 증강 기술 개발하였다. 그리고 본 연구진은 의미적 모호한 문장들을 처리할 수 있는 문장 클러스터링 기술 확보하였으며, 관련 연구 결과를 SCI 학술지에 등재하였다.

연구개발성과의 활용 계획 및 기대효과 (연구개발결과의 중요성)
비대면 소통이 뉴노멀이 되어가는 오늘날 멀티미디어 환경에서 인간과 다양하게 소통할 수 있는 인공지능 기술(Human-AI Interaction)에 대한 수요는 점차 높아지고 있다. 특히 언어를 초월한 기술 정보의 교류와 협력이 급증함에 따라 자동 번역에 대한 수요 역시 높아지고 있다. 하지만 기존 연구는 주로 텍스트에 의존한 번역 모델로 제한되어 한계를 보이고 있기 때문에 최근 폭발적으로 증가하는 멀티모달 정보들을 적극적으로 활용하면 기존 기계번역의 한계점을 극복할 수 있을 것으로 기대한다. 본 연구팀이 확보한 기술은 SNS나 개방형 플랫폼을 활용하는 산업군에서 다방면으로 활용이 가능하다. 또한 본 연구진의 기술은 추후 IoT 등과 결합된 멀티모달 환경이 구축된다면 멀티모달 기계번역 모델은 비약적으로 향상된 번역 결과를 사용자에게 제공할 수 있을 것이며 최종적으로 새로운 AI시장을 개척할 수 있을 것으로 기대한다.

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 6
• (1) 1차년도(2019년) ... 7
• (2) 2차년도(2020년) ... 8
• (3) 3차년도(2021년) ... 8
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 10
• 1) 정성적 연구개발성과(연구개발결과) ... 10
• 2) 세부 정량적 연구개발성과 ... 10
• 3) 목표 달성 수준 ... 10
• 4) 목표 미달 시 원인 분석 ... 11
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 12
• 5. 연구개발성과의 관리 및 활용 계획 ... 13
• 6. 참고문헌 ... 14
• [붙임1] 세부 정량적 연구개발성과 ... 15
• [붙임2] 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 17
• 끝페이지 ... 27