초록 ▼

공존 현실에서 다수의 원격 사용자를 대상으로 음향적 공존감 제공을 위한 현실음과 가상음이 결합된 입체음향 캡처링, 모델링, 렌더링의 실시간 통합 기술 개발
1. 실시간 방향성 및 공간감 구현 입체음향 생성 시스템 개발
￭ 다채널 HMD/구형 마이크로폰 어레이 기반 음원 위치 추적 및 성능 최적화 (RMSE 5°)
￭ 적응형 빔포밍 기술을 통한 음원 위치 추적 및 동적 방향성 음원 제작
￭ 다중 사용자 대상 HRTF 방향성/거리감/공간 임펄스 생성기술 기반의 실시간 컨볼루션 기술 최적화
￭ 입체음향

공존 현실에서 다수의 원격 사용자를 대상으로 음향적 공존감 제공을 위한 현실음과 가상음이 결합된 입체음향 캡처링, 모델링, 렌더링의 실시간 통합 기술 개발
1. 실시간 방향성 및 공간감 구현 입체음향 생성 시스템 개발
￭ 다채널 HMD/구형 마이크로폰 어레이 기반 음원 위치 추적 및 성능 최적화 (RMSE 5°)
￭ 적응형 빔포밍 기술을 통한 음원 위치 추적 및 동적 방향성 음원 제작
￭ 다중 사용자 대상 HRTF 방향성/거리감/공간 임펄스 생성기술 기반의 실시간 컨볼루션 기술 최적화
￭ 입체음향 통합 솔루션 개발 및 처리시간 20ms 이하 달성
2. 가상물체 상호작용에 대한 가상음향 실시간 생성 시스템 개발
￭ Linear modal synthesis를 활용한 가상음향 생성
￭ 실제 가상음과 현실음 합성 음원 대비 청감평가 선호도 기반 95% 이상 달성
￭ 인간의 청감평가 반응 기반 음원 이질감 및 음질 개선을 위한 솔루션 개발
￭ 가상음향 합성 실시간성 구현과 통합 솔루션 개발 및 A/V 동기화 20ms 이하 달성
3. 음향 렌더링 시스템 통합
￭ HMD 환경에서 소프트웨어 모듈별 통합을 통한 CRSF 연계
￭ 입체음향, 가상음향 및 공간음향 통합 시스템 개발 및 처리시간 20ms 이하 달성

(출처 : 보고서 요약서 3p)

Abstract ▼

□ Purpose & Contents
The purpose of this project is to develop the techniques for real-time sound capturing, modelling, and rendering in 3D spaces to create coexistence space. 1) Microphone array is built to analyze the spatial information by capturing acoustic parameter using spherical harmonics

□ Purpose & Contents
The purpose of this project is to develop the techniques for real-time sound capturing, modelling, and rendering in 3D spaces to create coexistence space. 1) Microphone array is built to analyze the spatial information by capturing acoustic parameter using spherical harmonics and beamforming techniques and to create sound DB. 2) Sound field immersion for real and virtual sound is generated by dynamic IRs and linear modal synthesis techniques. 3) Real-time rendering and auralization of the developed methodology and algorithm chain will be developed for deployment to the end-user.

□ Results
The development of omni-directional microphone array in HMD environment can establish the sound source tracking system which can work in noisy and reverberant field, also increase the clarity of speech source through proposing de-noise filter and de-reverberation filter. Additionally, our research group develop a real-time virtual impact sound generation and play algorithms through the development of virtual sound synthesizer which can interact with physics engine. In addition, we have developed a technology to model virtual room and to convolute acoustic characteristics according to space in real time. Based on the results of the 1^st to 2^nd years of Phase 2 and the 1^st to 5^th years of Phase 3, it has accomplished the results of 11 SCI papers, 5 domestic patents, and 40 national and international conferences.
1) Development of 3D sound rendering system (Directivity, Room acoustics)
- Source tracking and performance optimization based on multi-channel HMD / spherical microphone array (RMSE 5 °)
- Optimization of real-time convolution technology based on HRTF directional / distance / spatial impulse generation technology for multi-user
- Development of integrated 3D sound rendering solution (within 20ms)
2) Development of virtual sound real-time generation system for virtual object interaction
- Achieve 95% or more based on auditory evaluation preferences compared to real virtual sound and synthetic sound
- Development of solution for improving sound quality based on human auditory evaluation
- Realization of virtual acoustic synthesis real time, integrated solution development and A/V synchronization (within 20ms)
3) Sound rendering system integration
- CRSF Integration through integration by software module in HMD environment
- Development of integrated 3D sound, virtual sound and spatial sound system (within 20ms)

□ Expected Contribution
In technical aspects, the mathematics, signal processing technology and the physical model for the acoustic synthesis could be improved. The use of this system in socio-economic and in various fields such as engineering, business, education, healthcare, and defense, communication, collaboration of remote user-to-user as it may be in real time, is possible. It is expected to be a major effect on economic through savings the time and expenses.

(출처 : SUMMARY 5p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 보고서 요약서 ... 3
• 요약문 ... 4
• SUMMARY ... 5
• Contents ... 6
• 목차 ... 7
• 제1장 연구개발 과제의 개요 ... 8
• 1. 연구개발 목적 ... 8
• 2. 연구개발의 필요성 ... 9
• 3. 연구개발 범위 ... 11
• 제2장. 연구수행 내용 및 성과 ... 13
• 1. 연구 목표 및 실적 ... 13
• 2. 연구 내용 및 결과 ... 14
• 3. 3단계 연구 내용 및 결과 ... 51
• 제3장. 목표 달성도 및 관련 분야 기여도 ... 95
• 1~2. 목표 및 달성여부 ... 95
• 3. 관련분야 기여도 ... 99
• 4. 세계 기술과의 비교 ... 102
• 5. 목표 미달성 시 원인(사유) 및 차후대책(후속연구의 필요성 등) ... 103
• 제4장. 연구개발 성과의 활용 계획 등 ... 104
• 1. 기술이전의 세부내용 ... 104
• 제5장. 연구개발성과의 보안등급 ... 112
• 제6장. 국가과학기술종합정보시스템에 등록한 연구시설·장비 현황 ... 112
• 제7장. 연구개발과제 수행에 따른 연구실 등의 안전 조치 이행 실적 ... 113
• 1. 기술적 위험 요소 분석 ... 113
• 2. 안전 관리 ... 114
• 제8장. 연구개발과제의 대표 연구 실적 ... 115
• 제9장. 기타 사항 ... 118
• 제10장. 참고문헌 ... 119
• 끝페이지 ... 121