초록 ▼

□ 연구개요
본 연구는 물체의 진동을 카메라로 관찰하여 소리를 복원하는 기술과 응용을 개발한다. 1차년도는 단일 고속 카메라를 이용하여 소리의 전달로 인한 물체의 진동을 추출하고 음원을 복원하는 기술을 개발하고 2차년도는 고속 카메라에 비해 저렴한 다수의 일반 카메라를 기반으로 음원이 하나의 경우 여러 카메라의 음원을 병합하여 음원을 복원하는 연구를 수행하고, 3차년도는 무인 항공기에서 수집한 영상을 분석하여 음원을 복원하는 기술을 개발한다.

□ 연구 목표대비 연구결과
1차년도 연구 내용: 영상 속 진동 정보

□ 연구개요
본 연구는 물체의 진동을 카메라로 관찰하여 소리를 복원하는 기술과 응용을 개발한다. 1차년도는 단일 고속 카메라를 이용하여 소리의 전달로 인한 물체의 진동을 추출하고 음원을 복원하는 기술을 개발하고 2차년도는 고속 카메라에 비해 저렴한 다수의 일반 카메라를 기반으로 음원이 하나의 경우 여러 카메라의 음원을 병합하여 음원을 복원하는 연구를 수행하고, 3차년도는 무인 항공기에서 수집한 영상을 분석하여 음원을 복원하는 기술을 개발한다.

□ 연구 목표대비 연구결과
1차년도 연구 내용: 영상 속 진동 정보를 이용한 소리 복원 기술 개발 (100% 달성)
1)물체 모션 신호 추출 기술, 2) 로컬 패치 소리 복원 기술, 3)낮음 잡음의 패치 소리 선택 기술 개발을 통해 전체 영상에서 복원한 소리보다 로컬 패치에서 소리 복원시 더 높은 SNR을 가지는 소리를 복원할 수 있다는 결과를 도출함.
2차년도 연구 내용: 다중 카메라 이용 복원된 소리의 잡음 제거 기술 및 음원 분리 기술 개발 (100% 달성)
1) 다중 카메라 기반 잡음 제거 기술, 2) Non-negative matrix factorization(NMF) 기반 잡음 제거 기술, 3) Recurrent neural network (RNN)를 이용한 음원 분리 기술 개발을 통해 다중 카메라를 이용하여 음성 품질 개선 및 음원 분리가 가능하다는 결과를 도출함.
3차년도 연구 내용: 드론 영상에서 소리 복원 기술 개발 (100% 달성)
1) 영상 분할 기술, 2) 음성 검출 기술, 3) 분할된 영역들을 이용한 소리 복원 기술 개발을 통해 드론 및 음파에 의해 진동이 발생한 영역과 드론에 의해서만 진동이 발생한 영역을 구분하여 음파에 의한 소리 신호를 복원하는 기술을 도출함.

□ 연구개발결과의 중요성
1. 비디오로부터 음원을 복원하는 기술은 2014년에 처음 학계에 발표된 초기 연구로 본 연구를 통해 세계적 기반 기술의 확보가 가능하고 더 나아가 이 분야에 연구를 선도하는 학문적 공헌을 할 수 있었음.
2. 기존의 연구가 초고속 카메라로부터 단일 음원을 복원하는 기술인데 반해 제안하는 기술은 여러 대의 일반 카메라를 사용하여 단일 음원의 경우 여러 곳에서 얻은 음원을 병합하여 음원의 복원 성능을 크게 향상 시킬수 있었음.
3. 비디오로부터 음원을 복원하고, 복원된 음원에서 정보를 추출하여 영상과 소리 정보의 융합으로 지능형 감시 시스템의 성능 개선에 기여
4. 음원 복원 기술을 군사 보안 분야에 활용하여 국가 안보를 위한 응용에 적용 가능 5. 무인 항공기에 장착된 카메라를 통해 음원을 복원하는 기술 개발을 통해 인명 구조에 활용 및 기타 비디오 감시 분야에 응용 가능

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구수행내용 및 연구결과 ... 4
• 2.1. 1차년도 연구수행내용 및 연구결과 ... 4
• 2.2. 2차년도 연구수행내용 및 연구결과 ... 9
• 2.3. 3차년도 연구수행내용 및 연구결과 ... 14
• 3. 연구개발결과의 중요성 ... 16
• 4. 참고문헌 ... 18
• 5. 연구성과 ... 19
• 대표적 연구실적 ... 20
• 끝페이지 ... 26