초록 ▼

□ 연구개요
본 연구에서는 데이터 기반 의사 결정에 필수적인 데이터 탐색 및 분석을 자동화하기 위해 필수적인 시각화 및 캡션 자동 생성 기술을 연구한다. 데이터 분석에 대한 수요가 증가하였지만, 전방위적으로 수집되는 다양한 데이터를 전문가가 일일이 탐색하고 분석하는 것에는 한계가 있다. 이러한 한계를 극복하기 위해, (데이터 테이블, 시각화, 자연어 캡션)의 서로 다른 세 모달리티로 구성된 데이터를 수집하고, 이 중 일부 모달리티가 주어졌을 때 다른 모달리티를 생성하는 멀티모달 생성 모델을 개발하여 전체 또는 세부 수준 태스크

□ 연구개요
본 연구에서는 데이터 기반 의사 결정에 필수적인 데이터 탐색 및 분석을 자동화하기 위해 필수적인 시각화 및 캡션 자동 생성 기술을 연구한다. 데이터 분석에 대한 수요가 증가하였지만, 전방위적으로 수집되는 다양한 데이터를 전문가가 일일이 탐색하고 분석하는 것에는 한계가 있다. 이러한 한계를 극복하기 위해, (데이터 테이블, 시각화, 자연어 캡션)의 서로 다른 세 모달리티로 구성된 데이터를 수집하고, 이 중 일부 모달리티가 주어졌을 때 다른 모달리티를 생성하는 멀티모달 생성 모델을 개발하여 전체 또는 세부 수준 태스크를 지원하는 시각화 및 캡션 자동 생성 모델을 개발한다.

□ 연구 목표대비 연구결과
아래와 같이 제안서의 연구 내용을 달성하였다. 또한, 연구 기간 내에 국외 학술대회에 논문을 발표하였고, 성과물을 오픈 소스 형태로 공개하였다.
1. 목표치를 상회하는 566,956건의 (데이터 테이블, 시각화, 자연어 캡션)으로 구성된 학습 데이터 셋 확보.
2. 세부 수준 태스크를 지원하기 위해 상기한 데이터 셋을 정제하여, 데이터 테이블과 시각화 또는 데이터 테이블과 자연어 캡션 간의 관련성을 찾아 태깅한 데이터 셋과, 캡션의 각 문장에 대해 의도를 매핑한 데이터 셋을 추가로 개발.
3. 확보된 학습 데이터 셋을 이용하여 총 7개의 전체 및 세부 수준 태스크를 범용적으로 수행할 수 있는 멀티모달 모델을 구축. 정량적 실험을 통해 모델의 성능을 측정한 결과 모든 태스크에 대해 목표치를 상회하는 결과를 얻었음.
4. 개발된 멀티모달 모델을 기반으로 사용자의 의도를 반영하여 캡션을 자동으로 생성하는 시스템인 Intentable을 연구하고 이 결과를 IEEE VIS 2022에 발표.

□ 연구개발성과의 활용 계획 및 기대효과 (연구개발결과의 중요성)
- 데이터 분석에 인공지능을 통한 자동화 기술을 접목시켜 분석에 필요한 비용을 절감하고 신속성을 확보한다.
- 인공지능을 활용하여 단순히 자동화하는 것이 아니라 인간의 의도를 반영할 수 있게 함으로써 인간-인공지능 협업의 중요 사례를 발굴한다.
- 수작업으로 분석하기 힘든 방대한 데이터에 대한 인사이트를 도출하려고 하는 기업이나 공공기관에서 활용하여 궁극적으로 데이터 기반 의사결정 방법론을 보급할 수 있다.
- 또한, 자동화된 분석 리포트 생성 기술 형태로 실용화하고, 데이터에 대한 인터랙티브한 질의 및 응답 기술을 개발하는 데 사용될 수 있다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 7
• 2.1. 데이터 수집 및 결과 ... 7
• 2.2. 멀티모달 인공지능 모델 구축 방법 및 실험 결과 ... 9
• 2.3. 사용자의 의도를 반영한 캡션 생성 시스템 개발 결과 ... 10
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 12
• 1) 정성적 연구개발성과(연구개발결과) ... 12
• 2) 세부 정량적 연구개발성과 ... 12
• 3) 목표 달성 수준 ... 12
• 4) 목표 미달 시 원인 분석 ... 12
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 13
• 5. 연구개발성과의 관리 및 활용 계획 ... 13
• 6. 자체점검표 ... 13
• 7. 참고문헌 ... 14
• [붙임1] 세부 정량적 연구개발성과 ... 15
• [붙임2] 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 16
• 끝페이지 ... 19