초록 ▼

본 연구과제의 최종목표는 화상회의 시스템에서 음원추적의 결과인 음향 정보와 화자검출의 결과인 화상정보를 융합하여 지능형 원격 화상회의 시스템을 개발하는 것이다.
본 연구에서 연구된 주 내용은 크게 음원추적, 화자검출 그리고 음향과 화상 정보를 융합한 카메라 제어기술의 세 가지로 이루어져 있다.
기존의 CPSP (Cross-Power-Spectrum Phase) 음원추적방식에서 잡음의 종류와 반향에 따른 영향을 최소로 하기 위하여 subband 방식의 알고리듬을 연구하였고 고감도의 음향수신을 위하여 정합필터 어레이(MFA)

본 연구과제의 최종목표는 화상회의 시스템에서 음원추적의 결과인 음향 정보와 화자검출의 결과인 화상정보를 융합하여 지능형 원격 화상회의 시스템을 개발하는 것이다.
본 연구에서 연구된 주 내용은 크게 음원추적, 화자검출 그리고 음향과 화상 정보를 융합한 카메라 제어기술의 세 가지로 이루어져 있다.
기존의 CPSP (Cross-Power-Spectrum Phase) 음원추적방식에서 잡음의 종류와 반향에 따른 영향을 최소로 하기 위하여 subband 방식의 알고리듬을 연구하였고 고감도의 음향수신을 위하여 정합필터 어레이(MFA)를 이용한 방식을 연구하였다. 또한 개발된 알고리듬의 성능을 검증하기 위하여 TMS 게열 의 DSP 프로세서를 사용한 시스템의 개발도 연구되었다.
화자의 안면검출 연구에서는 기존의 색체 거리를 이용한 방식의 단점을 극복하는 방식으로 피부색 분포와 마스크 기법이 연구되었으며 얼굴의 특징을 효과적으로 대변할 수 있는 특성요소의 추출도 연구되었다. 또한 음원정보와 안면정보를 결합하여 화자의 움직임을 추적하는 방법도 연구되었다. 개발된 알고리듬 및 하드웨어를 이용한 화상회의 시스템의 프로토타입의 제작에도 많은 노력을 기울였으며 다수의 실험을 통하여 그 성능을 측정하였다.
본 연구의 성과를 요약하면 아래와 같다.
- 잡음의 종류나 반향에 따른 오차를 최소화하는 음원추적 기법인 MSCPSP(Modified Subband CPSP) 알고리듬 개발
- 적응 정합필터 마이크로폰 어레이(Adaptive MFA)를 이용한 효율적 음원 추적기법 개발
- TMS320C31를 이용한 음원추적용 DSP 시스템 구현
- 피부색 분포도를 이용하여 계산량과 오류가 적은 안면검출 알고리듬 개발
- 얼굴의 특징을 효과적으로 나타내는 특성요소 정의
- 음원과 영상정보를 융합하는 카메라 제어기술 개발
- 지능형 화상회의 시스템의 프로토타입 개발
본 연구에 의하여 도출된 결과는 실제 음원추적 DSP 시스템과 화상회의 시스템으로 구현으로 그 성능이 검증되었으며 관련된 분야의 논문발표와 특허 출원 등으로 이어지고 있다.

Abstract ▼

The ultimate objective of this research is to build a intelligent video conferencing system that combines the acoustic information of sound localization with a video information which result from the speaker detection.
The main research activity of this project can be divided into three parts suc

The ultimate objective of this research is to build a intelligent video conferencing system that combines the acoustic information of sound localization with a video information which result from the speaker detection.
The main research activity of this project can be divided into three parts such as sound localization, speaker detection and camera control technology with a fusion sensor of acoustic and video information.
For the sound localization, Modified CPSP(MCPSP) based on the subband algorithm is proposed to minimize the noise and reverberant effect. Also new MFA technology is applied to obtain better speech quality through microphone array. These algorithms were implemented with TI DSP for real time processing of sound and speech.
For the speaker's face detection, a new algorithm based on skin color distribution and masking method was prosed to overcome the shortcoming of previous color distance method. For the detection of speaker's movement, these acoustic and video information was combined and the developed algorithms and hardware were tested and demonstrated under various room environments.
The following summarizes the result of this research.
- Modified CPSP sound localization algorithm that minimize the noise and reverberant effect
- New speech enhancement method based on adaptive MFA
- Real time DSP system for sound localization and enhancement
- Face detection algorithm with low computational complexity and minimized prob. of error using skin-color distribution
- Definition of characteristic components that can effectively describe the face characteristic
- Camera controlling technology based on the fusion sensor array of sound and video
- Prototype system for intelligent video conferencing system
The above research results was tested and demonstrated through the prototype video conferencing system and part of them were published in papers and patents.

목차 Contents

• 표지...1
• 목차...2
• Ⅰ. 연구계획 요약문...3
• 1. 국문요약문...3
• Ⅱ. 연구결과 요약문...4
• 1. 국문요약문...4
• 2. 영문요약문...5
• Ⅲ. 연구내용...6
• 1. 서론...6
• 2. 연구방법 및 이론...15
• 3. 결과 및 고찰...54
• 4. 결론...77
• 5. 인용문헌...79