초록 ▼

□ 연구의 목적 및 내용
□ 최종목표
- 멀티미디어 인지 및 재현을 위한 인공지능 기반의 오디오-비주얼 데이터 표현자 학습기술 개발

□ 세부목표
- 오디오/비주얼 데이터 기반 멀티미디어 인지 기술 연구
- 통합 오디오-비주얼 데이터 학습 모델을 이용한 멀티미디어 콘텐츠 재현 기술 연구

1차년도 목표: 오디오/비주얼 데이터 기반 멀티미디어 인지 기술 연구
□ 멀티미디어 처리를 위한 장면 인식 연구
- 비디오 기반 객체 검출 및 인스턴스 분할
- 객체 기반 오디오 처리 기술

□ 연구의 목적 및 내용
□ 최종목표
- 멀티미디어 인지 및 재현을 위한 인공지능 기반의 오디오-비주얼 데이터 표현자 학습기술 개발

□ 세부목표
- 오디오/비주얼 데이터 기반 멀티미디어 인지 기술 연구
- 통합 오디오-비주얼 데이터 학습 모델을 이용한 멀티미디어 콘텐츠 재현 기술 연구

1차년도 목표: 오디오/비주얼 데이터 기반 멀티미디어 인지 기술 연구
□ 멀티미디어 처리를 위한 장면 인식 연구
- 비디오 기반 객체 검출 및 인스턴스 분할
- 객체 기반 오디오 처리 기술
□ 오디오-비주얼 데이터 기반 3D 장면의 이해
- 화자 간 음성 구분 및 음성 신호 분리
- 객체 추적 및 3D 장면의 이해
□ 오디오-비주얼 데이터 기반 상호 보완적 장면의 이해
- 오디오-비주얼 데이터 기반 화자 식별 기술
- 오디오-비주얼 데이터 기반 3D 기하학적 구조 복원

2차년도 목표: 통합 오디오-비주얼 데이터 표현자 학습 기반 멀티미디어 재현기술
□ 통합 오디오-비주얼 데이터의 표현자 학습
- 오디오-비주얼 데이터의 표현자 정렬 학습 기술 연구
- 3D 공간상 오디오-비주얼 데이터의 심층적 표현자 추출 모델
□ 인간 중심의 3D 콘텐츠 개발
- 심층적 오디오-비주얼 표현자를 통한 인간 중심의 3D 콘텐츠 개발
- 객체 간 상호작용 학습을 통한 감정 인식 기술 개발
- 적응적인 오디오-비주얼 렌더링 및 동기화
□ 몰입형 가상현실 (Immersive VR)을 위한 멀티미디어 콘텐츠 개발
- 가상현실에서의 3D 오디오-비주얼 콘텐츠 개발

□ 연구개발성과
□ 오디오 및 비주얼의 특징을 이용한 감정인식 기술
- 오디오 및 비주얼 데이터의 특성을 동시에 활용
- 오디오 및 비주얼 데이터의 표현자를 상호 보완하여 이를 감정인식에 활용
- 관련 연구를 ACM Multimedia 2018 Workshop on Audio-Visual Scene Understanding for Immersive Multimedia에 게재[1]

□ 표현자 및 신뢰도 추정을 통한 3D 모델 복원
- 3D 장면의 이해를 위해 장면의 기하학적 정보를 추론
- 이를 통한 오디오 소스위 기하학적 위치를 표현 가능함
- 여러 관점에서 획득한 비주얼 데이터를 입력으로 기존의 stereo 방법과 유사하게 cost volume 생성
- 이 때, 여러 cost volume의 융합을 위해 신뢰도 측정 네트워크를 개발
- 최종적인 3D 모델의 정확성 향상을 위해 depth regression network 제안

□ 비정제 비디오에서의 활동 및 배경 감지, 연결 그리고 인식
- 멀티미디어 처리를 위한 장면인식 연구에 비디오를 통한 의미론적 특성 융합 모델을 제안함
- 멀티미디어 데이터에서 표현자를 추출하여 행동인식 및 배경인식 목적을 가진 네트워크를 각각 개발 및 가중치를 이용하여 융합함
- 최종적으로 융합, 생성된 표현자로 각각 행동인식 및 배경인식에 적용함
- 관련 연구를 ACM Multimedia 2018 workshop, The 1st Workshop and Challenge on Comprehensive Video Understanding in the Wild에 게재[2]

□ 그래프 정규화를 이용한 비정제 동영상에서의 행동구간 탐지 및 행동 분류
- 통합 오디오-비주얼 데이터 표현자의 학습을 위해서는 동영상에서의 주요 사건에 해당되는 구간을 분류 할 수 있어함.
- 동영상에서 효율적으로 주요사건을 분리하기 위해 약지도 학습을 이용한 행동 구간 탐지를 위해 그래프 정규화 네트워크를 제안함.
- 제안한 네트워크는 시간 활성화 맵을 생성하는 클래스 활성화 모듈, 프레임간의 유사도 측정 성능을 최대화하기 위한 표현자 학습 및 시간 활성화 맵을 정제하는 그래프 정규화 모듈로 구성
- 관련 연구를 IEEE International Conference on Image Processing, 2019에 게재 [3]

□ 칼라/적외선 영상에서의 강인한 객체 검출 기술
- 통합 오디오-비주얼 데이터 표현자 중 비주얼 표현자의 성능을 향상 시키기 위하여 칼라 영상의 정보 뿐 아니라 열 영상을 이용하는 연구를 수행함.
- 칼라 영상에서 충분한 비주얼 표현자를 획득하지 못할 경우, 다른 속성의 영상을 활용하여 비주얼 표현자의 성능 향상이 가능.
- 표현자의 성능을 나타내는 지표로 보행자 검출에서의 월등한 성능 향상을 보임
- 관련 연구를 IEEE International Conference on Image Processing, 2019에 게재 [4]

□ 연구개발성과의 활용계획 (기대효과)
□ 기술적 측면
- 기존의 오디오 및 비주얼 관련 연구들과 달리 본 과제에서는 오디오 및 비주얼 표현자를 통합하여 동시에 활용하는 기술을 제시함으로써 감정 인식, 행동분류, 행동 구간 탐지, 배경감지 등의 성능을 현저히 향상시켜 국제적 경쟁력 확보를 위한 중요 기반 기술로 활용됨.
- 학습된 오디오-비주얼 표현자를 향상 및 통합하여 고차원적인 인간 행동, 감정 인식이 가능하며 이는 인간의 행동, 감정과 같은 정보를 고려한 멀티미디어 콘텐츠로의 재현이 가능함.
- 본 과제에서 수행된 통합 오디오-비주얼 표현자 학습 방식은 심층적 신경망 네트워크(deep neural networks)를 이용하여 두 가지 모달리티를 지닌 멀티미디어 데이터로부터 실제 적용 가능한 미래형 3D 플랫폼 구축의 원천 기술로 활용될 수 있음.

□ 경제적, 산업적 측면
- 본 과제에서 개발한 오디오-비주얼 표현자의 학습 및 실제 적용 기술들을 통해 멀티미디어 콘텐츠 산업을 활성화시킬 것으로 기대됨
- 본 과제에서 개발된 심층적 신경망 네트워크 기술은 네트워크의 용량 및 속도 최적화를 이루어 낼 수 있고, 오디오-비주얼 데이터로 이루어진 다양한 콘텐츠들의 자동 분류의 가속화가 가능하여 콘텐츠 관련 산업 분야에 적용되어 기술적 혁신을 이끌어 낼 수 있음

(출처 : 요약문 4p)

목차 Contents

• 표지 ... 1
• 제출문 ... 2
• 보고서 요약서 ... 3
• 요약문 ... 4
• 목차 ... 6
• 1. 연구개발과제의 개요 ... 6
• 1-1. 연구 배경 ... 6
• 1-2. 연구의 필요성 ... 6
• 2. 연구수행내용 및 성과 ... 7
• 2-1. 오디오 및 비주얼의 특징을 이용한 감정인식 기술 ... 7
• 2-2. 비정제 비디오에서의 활동 및 배경 감지, 연결 그리고 인식 ... 8
• 2-3. 표현자 및 신뢰도 추정을 통한 3D 모델 복원 ... 9
• 2-4. 그래프 정규화를 이용한 비정제 동영상에서의 행동구간 탐지 및 행동 분류 ... 10
• 2-5. 칼라/적외선 영상에서의 강인한 객체 검출 기술 ... 12
• 3. 목표 달성도 및 관련 분야 기여도 ... 13
• 3-1. 목표 ... 13
• 3-2. 목표 달성여부 ... 14
• 3-3. 목표 미달성 시 원인(사유) 및 차후대책(후속연구의 필요성 등) ... 18
• 4. 연구개발성과의 활용 계획 등 ... 18
• 붙임. 참고문헌 ... 18
• 끝페이지 ... 19