초록 ▼

□ 연구개요
외부지식과 사용자 피드백을 기반으로 자가 학습 가능한 시각정보기반 대화형 인공지능 모델 연구를 제안
○ 인간-AI의 상호작용을 통한 시각정보기반 질의응답 인공지능 시스템 개발
○ 적은 학습데이터를 활용해 보다 좋은 성능의 대화형시스템 알고리즘 연구

□ 연구 목표대비 연구결과
○ (정량목표) 본 과제를 통해 3년 동안 총 9편의 BK21우수 학술대회 논문을 발표했으며, 4편의 우수SCI저널을 게재함 (이 중 사사를 포함한 우수 연구는 8편).
○ (정성목표) 본 과제를 통해 3년 동

□ 연구개요
외부지식과 사용자 피드백을 기반으로 자가 학습 가능한 시각정보기반 대화형 인공지능 모델 연구를 제안
○ 인간-AI의 상호작용을 통한 시각정보기반 질의응답 인공지능 시스템 개발
○ 적은 학습데이터를 활용해 보다 좋은 성능의 대화형시스템 알고리즘 연구

□ 연구 목표대비 연구결과
○ (정량목표) 본 과제를 통해 3년 동안 총 9편의 BK21우수 학술대회 논문을 발표했으며, 4편의 우수SCI저널을 게재함 (이 중 사사를 포함한 우수 연구는 8편).
○ (정성목표) 본 과제를 통해 3년 동안 3개의 시각-언어 모델을 만들었으며, 제안한 서비스로 카카오톡 기반의 시각기반 질의응답 챗봇과 X-LLaVA 서비스 개발. Bllossom-V 모델 공개를 통해 기여했으며 이때 자체 제작한 한국어 학습데이터 공개

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
○ [활용계획-모델활용] 시각-언어 (VL) 모델을 활용하여 비전-언어-행동 (VLA) 모델로 확장 연구 예정: 한국어, 영어로 된 자연어와 이미지를 입력으로 받아 Image-Text Encoder를 포함하는 시각-언어 모델 사전학습 연구에 활용
○ [활용계획-로봇 실증] 해당 연구의 VL모델을 토대로 로봇팔 프로토타입 개발 및 공개: ROS 기반으로 인공지능 시각-언어-행동 모델과 로봇팔을 연결하여 실제 세계에서 시연할 수 있는 시제품 설계 및 구현의 기초 모델로 활용
○ [기대효과-모델공개] 제안하는 VL (시각-언어) 연구는 인공지능의 인지 및 행동 영역에서 혁신적인 발전을 이룰 것으로 기대. 이미 구글 딥마인드, 마이크로 소프트에서 선점하기 시작함. 한국어의 경우 공개모델이 없어 발전이 발전에 제약이 있으나, 본 연구에서 구축한 데이터와 모델은 무료로 공개하여 한국어 언어모델의 발전에 크게 영향을 미칠 것으로 판단함.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 10
• 1) 정성적 연구개발성과(연구개발결과) ... 10
• 2) 세부 정량적 연구개발성과 ... 10
• 3) 목표 달성 수준 ... 10
• 4) 목표 미달 시 원인 분석 ... 10
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 11
• 5. 연구개발성과의 관리 및 활용 계획 ... 12
• 6. 자체점검표 ... 14
• 7. 참고문헌 ... 14
• 끝페이지 ... 24