초록 ▼

연구개요
최근 비대면 방식에 따른 디지털 소통 시대 속에서 멀티미디어 데이터가 급증함에 따라 시각/청각/언어 등 다중 형식의 멀티모달 데이터를 활용한 응용 기술 수요가 늘어나고 있다. 이에 따라 본 연구는 인간의 실제 다중 감각 인지 과정을 모방한 멀티모달 인식 기술로서 의미적으로 밀집된 자연어 의미 정보를 중심으로 시각과 청각정보의 다중 입력 정보 이해 및 통합을 위한 효과적인 멀티모달 인식 방법론을 제안한다. 이는 차세대 범용 인공지능(artificial general intelligence)을 위한 원천 기술로서 특히 인

연구개요
최근 비대면 방식에 따른 디지털 소통 시대 속에서 멀티미디어 데이터가 급증함에 따라 시각/청각/언어 등 다중 형식의 멀티모달 데이터를 활용한 응용 기술 수요가 늘어나고 있다. 이에 따라 본 연구는 인간의 실제 다중 감각 인지 과정을 모방한 멀티모달 인식 기술로서 의미적으로 밀집된 자연어 의미 정보를 중심으로 시각과 청각정보의 다중 입력 정보 이해 및 통합을 위한 효과적인 멀티모달 인식 방법론을 제안한다. 이는 차세대 범용 인공지능(artificial general intelligence)을 위한 원천 기술로서 특히 인간과 소통하는 인공지능(Human-AI interaction)에서 그 중요성이 점점 강조되고 있다. 이를 위해 본 연구팀은 2단계에 걸쳐 연구를 진행한다. 먼저 1단계는 고도화된 언어 모델을 활용한 자연어 의미 유도 기반 단일 모달리티 임베딩 연구이다. 2단계는 자기지도 학습을 이용한 cross-modal attention 기반 멀티모달 정보 통합 및 고도화 연구이다.

연구 목표대비 연구결과
연구 수행은 최초의 연구 계획단계에서 설계한 2단계 추진 전략에 따라 철저히 진행되었다. 1단계는 단일 모달리티 임베딩 고도화 기술을 확보하며, 2단계는 멀티모달 정보 통합의 단계이다. 연차별로 목표한 기술을 모두 확보하였을 뿐만 아니라, SCI 학술지 및 국제 학술대회 워크샵에 연구 기술을 활용한 논문을 게재하였다. 특히 본 연구진은 확보 기술을 활용하여 세계적으로 저명한 멀티모달 추론 경진대회(DSTC10-TRACK4)에서 1위(Subtask2)를 하여 그 우수성을 입증하였다.
구체적으로 1단계에서는 affine transformation을 이용한 자연어 의미 유도 기반 시각 및 청각 임베딩 학습 기술을 확보하였다. 특히 자연어 의미 정보와 연관성 있는 시각적, 청각적 특징 정보들을 임베딩에 반영할 수 있는 hadamard product 기반 기술 개발을 통해 시각과 청각 임베딩을 고도화하였다. 이와 연관된 기술에 대한 연구결과를 SCI 학술지에 게재하였다.
2단계에서는 자기지도 학습을 이용한 cross-modal attention 기반 멀티모달 통합 기술을 확보하였다. cross-modal attention은 모달리티 간 의미 정보를 통합가능하게 하며, 특히 대조 학습을 통한 자기지도 학습 알고리즘은 의미적으로 풍부한 자연어를 활용한 멀티모달 학습 방법으로 활용하였다. 그 결과 본 연구진은 세계적으로 저명한 멀티모달 추론 경진대회에서 그 우수성을 입증하였고, 관련 논문을 게재하였다.

연구개발성과의 활용 계획 및 기대효과 (연구개발결과의 중요성)
멀티모달 인식 연구는 개방형 플랫폼의 사업 영역 확장과 최근 코로나로 인한 비대면 시대가 도래함에 따라 그 수요가 급증하고 있다. 특히 본 연구 주제는 인간과 소통하는 인공지능 기술 등에서 그 중요성이 점차 대두되고 있으며, 본 연구는 구체적으로 산업적, 사회적 측면에서 그 효과가 기대된다.
산업적 측면에서 멀티모달 인식 연구는 인공지능 시스템이 인간과의 완전한 교감 달성하기 위한 인간 모방이 가능한 복합 대화 모델링 기술의 필수 요소로 활용된다.
특히 이 연구는 단순히 음성의 언어적 요인에만 의존하던 기존 음성대화 연구를 넘어서서 인간의 다중 감각 요소에 함축된 비언어적, 준언어적 정보에 대한 심층적이고 복합적인 이해를 포함한다. 또한 사회적 측면에서 멀티모달 인식 연구는 다양한 사회적 문제에 대응할 수 있으며 예로 최근 심각한 사회적 문제로 주목받는 가짜뉴스 검증에 활용될 수 있다. 가짜뉴스 패턴 중 하나는 기사 내용과 영상 정보 간에 논리적 연관성이 부족하거나 심지어 없는 경우도 많다. 본 연구에서 제안하는 자연어 의미 유도 기반 임베딩 연구는 영상과 텍스트 간의 연관성 분석을 통해 가짜뉴스 검증과정에 활용 가능하다.

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 6
• (1) 1단계 ... 7
• (2) 2단계 ... 7
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 8
• 1) 정성적 연구개발성과(연구개발결과) ... 8
• 2) 세부 정량적 연구개발성과 ... 9
• 3) 목표 달성 수준 ... 9
• 4) 목표 미달 시 원인 분석 ... 9
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 10
• 5. 연구개발성과의 관리 및 활용 계획 ... 10
• 6. 참고문헌 ... 12
• [붙임1] 세부 정량적 연구개발성과 ... 13
• [붙임2] 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 14
• 끝페이지 ... 20