[논문]향상된 실시간 음원방향 인지 시스템의 하드웨어 설계

김태완; 김동훈; 정연모

doi:10.7776/ask.2011.30.3.115

향상된 실시간 음원방향 인지 시스템의 하드웨어 설계
Hardware Design of Enhanced Real-Time Sound Direction Estimation System 원문보기

한국음향학회지= The journal of the acoustical society of Korea, v.30 no.3, 2011년, pp.115 - 122

김태완 (경희대학교 전자.전파공학과) , 김동훈 (LIG넥스원(주) 연구개발본부 Maritime 연구소) , 정연모 (경희대학교 전자.전파공학과)

초록
AI-Helper

본 논문에서는 십자 형태로 구성된 네 개의 마이크로폰을 이용하여 일반화된 상호 상관 기법을 적용한 음성 도달시간 지연을 측정하여 정확한 음원 방향을 실시간으로 계산하는 방식에 대해 제시하였다. 기존 시스템에서는 마이크로폰 어레이 신호처리를 위해 데이터 수집 장치를 필요로 하므로 시스템을 내장하기 힘들고, 또한 DSP 프로세서를 사용한 음원방향 인지는 마이크로폰의 채널의 수가 늘어날수록 실시간 처리가 어려워지는 두 가지 단점이 있다. 본 논문에서는 이러한 한계를 극복하기 위하여 마이크로폰 어레이 신호처리를 이용한 향상된 음원방향 인지 하드웨어의 개발을 제안하였다. 공간 구분 기법을 이용한 효율적인 설계 및 검증방식을 제안하였고 이를 통하여 보다 정확한 방향 추정과 설계시간 단축이 가능하다. 최종적으로 음성 코덱과 FPGA를 이용하는 임베디드 시스템을 위해서 사용이 가능한 시스템을 개발하였다. 실험 결과에 의하면 PC 기반이나 DSP 프로세서를 사용한 경우에 비해 보다 빠른 처리 시간을 보였다.

Abstract ▼ AI-Helper

In this paper, we present a method to estimate an accurate real-time sound source direction based on time delay of arrival by using generalized cross correlation with four cross-type microphones. In general, existing systems have two disadvantages such as system embedding limitation due to the necessity of data acquisition for signal processing from microphone input, and real-time processing difficulty because of the increased number of channels for sound direction estimation using DSP processors. To cope with these disadvantages, the system considered in this paper proposes hardware design for enhanced real-time processing using microphone array signal processing. An accurate direction estimation and its design time reduction is achieved by means of an efficient hardware design using spatial segmentation methods and verification techniques. Finally we develop a system which can be used for embedded systems using a sound codec and an FPGA chip. According to experimental results, the system gives much faster real-time processing time compared with either PC-based systems or the case with DSP processors.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

개발 시스템은 음원의 방향을 예측할 수 있으며, 가장 많은 연산이 요구되는 GCC 부분을 FPGA를 이용해 구현하여 다른 프로세서를 사용한 시스템에 비해 실시간 처리속도를 높였다. 그리고 음원 존재 가능 구역을 구분하여 더 정확 하게 전방향 음원 방향 탐지가 가능하도록 하였다.
빔포밍 방법의 경우 너무 많은 마이크로폰이 요구 되고 이에 따른 연산의 복잡성을 가지고 있다. 본 논문에서는 십자형태의 4개의 마이크로폰을 이용하여 GCC기법을 적용한 음성 도달시간지연 (TDOA)을 측정하고 음원 위치 추정 방식에 대해 연구하였으며, 마이크로폰 어레이 신호처리를 이용하여 음원 정보의 위치를 획득하는 하드웨어의 개발을 위해 보다 효율적인 설계 방식을 제안 하였다. 이러한 설계 방식을 통해 기존 연구들의 마이크로폰어레이를 사용하기 위해 DAQ를 필요로 하였고 그로 인해 시스템을 내장하기 힘든 단점을 극복하기 위해 최종 적으로 음성 코덱과 FPGA를 이용한 내장 가능한 음원방향 인지 시스템을 제안 하였다.
십자 형태로 구성된 네 개의 마이크로폰 어레이를 이용 하여 2차원 상에서 실시간으로 비교적 정확한 음원의 방향을 탐지할 수 있는 시스템에 관하여 연구하였다. 개발 시스템은 음원의 방향을 예측할 수 있으며, 가장 많은 연산이 요구되는 GCC 부분을 FPGA를 이용해 구현하여 다른 프로세서를 사용한 시스템에 비해 실시간 처리속도를 높였다.

가설 설정

) 한 쌍으로 총 네 개의 마이크로폰으로 이루어져 있다. 각 마이크로폰 쌍의 간격은 각각 30 cm이며 실내온도 20도인 경우를 가정하여 하나의 마이크로폰 쌍이 획득하는 음원으로부터 시간 지연 값을 측정하였다.

제안 방법

기존 HDL개발툴에서 음향 신호처리에 대한 시뮬레이션과 검증이 어렵기 때문에 본 시스템의 설계는 Matlab 의 Simulink를 이용하였고 HDL work flow advisor 기능을 이용하여 설계하고 시뮬레이션 및 검증하였다. Matlab 의 HDL변환 가능한 블록들을 통해 설계하고 실제 이론값과 HDL변환된 블록의 결과를 비교하여 설계상의 오류가 있는지 검증하였다. 그림 8은 GCC 연산 및 최대 시간 지연 샘플의 검출을 위해 300 Hz 정현파 신호가 마이크로폰어레이의 75도에 위치하였을 경우 최대 지연 샘플값을 측정한 것이다.
그림 9는 음악 음원이 존재할 때 전방향에 대한 음원 방향의 각도 표준 편차를 그래프로 나타내었다. 그리고 무전파실험실에서의 결과와 실험실 내부에서의 결과에 대해 비교하였다.
본 시스템은 두 개의 WM8731 스테레오 사운드 코덱을 적용하여 음원을 입력 받고, Xilinx Vertex4 FPGA를 이용하여 GCC 연산의 신호처리를 가속화 하였고, ARM s3c2440을 이용하여 FPGA에서 연산된 결과값들을 처리하고 통계적 수치관련 결과값을 획득할 수 있는 시스템을 설계하였다. 시스템 전반의 타이밍 다이어그램은 그림 6, 7과 같다.
본 연구에서 제안된 방법의 음원 방향 추정의 성능 검증을 위해 네 개의 마이크로폰을 십자 형태의 어레이로 구성하여 마이크로폰과 동일한 높이에 존재하는 음원의 방향 추정 실험을 하였다. 실험 환경은 정확한 검증을 위한 무전파실험실과 일반적인 룸 환경에서 실험하였다.
전방향 음원 추정을 위한보다 정확한 결과를 위해 그림 4와 같이 네 개의 구역 (A, B, C, D)으로 나누어 각도를 인지하는 방식을 이용한다. 영역 구분을 통해 A영역과 C영역은 마이크로폰 M_F와 M_B쌍을 이용하여 각도를 구하고 B영역와 D영역은 M_R과 M_L쌍을 이용하여 각도를 구한다.
음원방향 인지 시스템의 하드웨어 설계를 위해서는 음원을 입력 받을 수 있는 사운드 코덱이 필요하며 본 연구에서는 최대 샘플링 비율인 96 kHz로 음성 신호를 입력 받는다. 하드웨어의 전반적인 구조는 그림 5과 같다.
본 논문에서는 십자형태의 4개의 마이크로폰을 이용하여 GCC기법을 적용한 음성 도달시간지연 (TDOA)을 측정하고 음원 위치 추정 방식에 대해 연구하였으며, 마이크로폰 어레이 신호처리를 이용하여 음원 정보의 위치를 획득하는 하드웨어의 개발을 위해 보다 효율적인 설계 방식을 제안 하였다. 이러한 설계 방식을 통해 기존 연구들의 마이크로폰어레이를 사용하기 위해 DAQ를 필요로 하였고 그로 인해 시스템을 내장하기 힘든 단점을 극복하기 위해 최종 적으로 음성 코덱과 FPGA를 이용한 내장 가능한 음원방향 인지 시스템을 제안 하였다.
실험에서 사용한 음원은 일반 스피커를 사용하여 반복 되는 음악 소리와 협대역 음원을 주파수 발생기를 이용하였다. 장소의 제약 때문에 음원을 움직이는 대신 고정된 음원에서 마이크로폰 어레이를 회전 하여 음원의 방향 정보를 획득하였다. 시스템에 대한 실험은 80 dBA크기의협대역 음원 그리고 음악 신호를 이용하였으며 무전파실험실과 일반적인 잔향이 존재한 실험실 내에서 각각 실험 하였다.
마이크로폰 쌍과 일직선상에 음원이 위치할 경우 정확한 음원 방향을 획득하는데 한계가 있다. 전방향 음원 추정을 위한보다 정확한 결과를 위해 그림 4와 같이 네 개의 구역 (A, B, C, D)으로 나누어 각도를 인지하는 방식을 이용한다. 영역 구분을 통해 A영역과 C영역은 마이크로폰 M_F와 M_B쌍을 이용하여 각도를 구하고 B영역와 D영역은 M_R과 M_L쌍을 이용하여 각도를 구한다.
제안한 형태의 마이크로폰 어레이는 전방 (MF), 후방 (MB) 한 쌍과 우측 (MR), 좌측 (ML) 한 쌍으로 총 네 개의 마이크로폰으로 이루어져 있다.
하나의 마이크로폰 쌍으로 추정 가능한 각도는 0도에서 180도 사이임으로 전방향 추정이 불가능기 때문에 두개의 마이크로폰 쌍을 이용하여 전방향 추정이 가능하도록 하였다.

대상 데이터

장소의 제약 때문에 음원을 움직이는 대신 고정된 음원에서 마이크로폰 어레이를 회전 하여 음원의 방향 정보를 획득하였다. 시스템에 대한 실험은 80 dBA크기의협대역 음원 그리고 음악 신호를 이용하였으며 무전파실험실과 일반적인 잔향이 존재한 실험실 내에서 각각 실험 하였다. 그림 9는 음악 음원이 존재할 때 전방향에 대한 음원 방향의 각도 표준 편차를 그래프로 나타내었다.
본 연구에서 제안된 방법의 음원 방향 추정의 성능 검증을 위해 네 개의 마이크로폰을 십자 형태의 어레이로 구성하여 마이크로폰과 동일한 높이에 존재하는 음원의 방향 추정 실험을 하였다. 실험 환경은 정확한 검증을 위한 무전파실험실과 일반적인 룸 환경에서 실험하였다. 실험 조건과 실험에 사용된 하드웨어의 구성은 표 2과 같다.
실험에서 사용한 음원은 일반 스피커를 사용하여 반복 되는 음악 소리와 협대역 음원을 주파수 발생기를 이용하였다. 장소의 제약 때문에 음원을 움직이는 대신 고정된 음원에서 마이크로폰 어레이를 회전 하여 음원의 방향 정보를 획득하였다.

이론/모형

3 msec의 처리 시간이 요구 된다. DSP 프로세서를 이용한 음원방향 인지 시스템의 경우는 [11]을 참고 하였다. PC 기반으로 음원 국지화 시스템의 실시간 특성을 측정한 결과는 120 msec의 시간 지연을 보였다.
기존 HDL개발툴에서 음향 신호처리에 대한 시뮬레이션과 검증이 어렵기 때문에 본 시스템의 설계는 Matlab 의 Simulink를 이용하였고 HDL work flow advisor 기능을 이용하여 설계하고 시뮬레이션 및 검증하였다. Matlab 의 HDL변환 가능한 블록들을 통해 설계하고 실제 이론값과 HDL변환된 블록의 결과를 비교하여 설계상의 오류가 있는지 검증하였다.

성능/효과

DSP 프로세서를 이용한 음원방향 인지 시스템의 경우는 [11]을 참고 하였다. PC 기반으로 음원 국지화 시스템의 실시간 특성을 측정한 결과는 120 msec의 시간 지연을 보였다. PC기반 설계의 경우 PC 환경은 1.
십자 형태로 구성된 네 개의 마이크로폰 어레이를 이용 하여 2차원 상에서 실시간으로 비교적 정확한 음원의 방향을 탐지할 수 있는 시스템에 관하여 연구하였다. 개발 시스템은 음원의 방향을 예측할 수 있으며, 가장 많은 연산이 요구되는 GCC 부분을 FPGA를 이용해 구현하여 다른 프로세서를 사용한 시스템에 비해 실시간 처리속도를 높였다. 그리고 음원 존재 가능 구역을 구분하여 더 정확 하게 전방향 음원 방향 탐지가 가능하도록 하였다.
본 연구는 작은 면적에서 하드웨어 구현이 가능하여 DAQ가 요구되는 기존 연구의 제약을 극복하였다. 그리고 실제 실험에 마이크로폰이 저가형이며 네 개만을 이용 하여 실내 환경에서 어느 정도 신뢰성 있고 안정적인 음원 방향 추정이 가능하다. 본 연구의 방식을 이용한 로봇의 HRI 시스템이나 스마트 감시카메라와 같은 많은 응용 분야에 활용이 가능할 것으로 기대된다.
본 연구는 작은 면적에서 하드웨어 구현이 가능하여 DAQ가 요구되는 기존 연구의 제약을 극복하였다. 그리고 실제 실험에 마이크로폰이 저가형이며 네 개만을 이용 하여 실내 환경에서 어느 정도 신뢰성 있고 안정적인 음원 방향 추정이 가능하다.
음원 신호는 실험실내에서의 실험결과 최대 각도 오차는 약 5도를 나타내었으며, 무전파실험실에서는 약 4도의 오차를 보였다. 그리고 500 Hz의 협대역 음원은 무전파실험실의 경우에는 3도 그리고 일반적 인 방의 경우에는 4도를 나타내었다.
그림 8은 GCC 연산 및 최대 시간 지연 샘플의 검출을 위해 300 Hz 정현파 신호가 마이크로폰어레이의 75도에 위치하였을 경우 최대 지연 샘플값을 측정한 것이다. 이 경우 두 신호간에 23 샘플만큼 지연되어 입력되며 해당 샘플값을 맵핑테이블과 비교하였을 때도 74도로 거의 일치함을 확인할 수 있었다. 그림 8의 (a) 는 최대 지연값에 대한 샘플값을 검증하고 HDL을 이용한 하드웨어를 설계 블록과 시뮬레이션 블록을 비교하기 위한 전체 시스템의 구성이다.
제안한 시스템의 경우 50 MHz의 클럭을 사용하여 음성이 입력된 후 각도값이 도출 되는 전 과정에 걸리는 시간은 약 69 msec의 시간이 소요되며, 100 MHz의 DSP 프로세서를 사용한 경우 257.3 msec의 처리 시간이 요구 된다. DSP 프로세서를 이용한 음원방향 인지 시스템의 경우는 [11]을 참고 하였다.

후속연구

그리고 실제 실험에 마이크로폰이 저가형이며 네 개만을 이용 하여 실내 환경에서 어느 정도 신뢰성 있고 안정적인 음원 방향 추정이 가능하다. 본 연구의 방식을 이용한 로봇의 HRI 시스템이나 스마트 감시카메라와 같은 많은 응용 분야에 활용이 가능할 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	96 kHz 이상의 샘플링 가능한 고속 사운드 코덱의 장단점은?	위와 같은 조건을 디지털 하드웨어로 설계하기 위한 샘플링 비율은 96 kHz 를 사용하였으며 최대 지연시간의 경우에 84개의 샘플로 각각의 시간 지연을 나타낼 수 있다. 샘플링 비율이 높아질수록 더 많은 샘플 개수를 이용하여 각도를 나타낼 수있으나 96 kHz 이상의 샘플링 가능한 고속 사운드 코덱의경우 고가이고 전력을 소모가 많은 단점을 가지고 있으며 96 kHz 샘플링 비율의 경우 대부분의 사운드 코덱이 지원하며 가격이 저렴한 장점이 있다. 96 kHz의 샘플링 비율로 각각의 샘플 즉 지연 값에 대한 각도를 알아보면 그림 3과 같다.
	음원 국지화를 통한 음원이나 표적의 위치를 추정하는 방식은 어떻게 구분할 수 있는가?	방향 지각에 대한 문제는 현재 음원 국지화 이론의 밑바탕이 되어왔다 [1-2]. 음원 국지화를 통한 음원이나 표적의 위치를 추정하는 방식은 능동형 시스템 (active system)과 수동형 시스템 (passive system)으로 나눌 수 있다. 능동형 시스템의 경우 표적을 향해 펄스를 전송하여 펄스가 돌아온 시간을 측정함으로써 표적의 위치를 추정하는 방식이며 일반적인 예로 레이더 (radar) 시스템의 경우를 들 수 있다.
	수동형 시스템이란?	능동형 시스템의 경우 표적을 향해 펄스를 전송하여 펄스가 돌아온 시간을 측정함으로써 표적의 위치를 추정하는 방식이며 일반적인 예로 레이더 (radar) 시스템의 경우를 들 수 있다. 수동형의 경우 음원 표적의 소리 정보를 이용하여 수신된 신호간의 시간 지연을 측정하여 위치를 추정하는 시스템이다. 일반적인 예로 SONAR 시스템을 들 수 있다 [3].

참고문헌 (11)

구자현, "Rayleigh의 소리의 방향 지각연구에 대한 과학사적 고찰," 한국음향학회지, 21권, 8호, 695-702쪽, 2002.
구자현, "미국 음향학자 앨프레드 메이어의 음향학 연구," 한국음향학회지, 28권, 1호, 44-50쪽, 2009.
Azizul H. Quazi, "An Overview on the Time Delay Estimate in Active and Passive System for Target Localization," IEEE Transactions on Acoustic, Speech, and Signal Processing, vol. ASSP-29, no. 3, pp. 527-533, 1981.
Kim, Young Ik, "Spatial Hearing Algorithms Based on Binaural Zero-Crossings: Sound Source Localization, Segregation and Dereverberation," Doctoral thesis, KAIST, 2007.
Jindong Chen, Jacob Benesty, and Yiteng Huang, "Time Delay Estimation in Room Acoustic Environments: An Overview," EURASIP J. Appl. Signal Processing, vol. 2006, pp. 1-19, 2006.
Charles H. Knapp, "The Generalized Correlation Method for Estimation of Time Delay," IEEE Transactions on Acoustic, Speech, and Signal Processing, vol. ASSP-24, no. 4, pp. 320-327, 1976.
Richard M.stern, "Models of Binaural Interaction," Chapter in Handbook of Perception and Cognition, volume 6: Hearing.
Byoungho Kwon, Youngjin Park and Youn-sik Park, "Sound Source Localization Method Using Spatially Mapped GCC Functions," 한국소음진동공학회논문집, 19권, 4호, 355-362쪽, 2009.

원문보기 상세보기
H Atmoko, D C Tan,G Y Yian and Bruno Fazenda, "Accurate Sound Source Localization in a Reverberant Environment using Multiple Acoustic Sensors," Meas. Sci. Technol. 19, 024001, 2008.

상세보기
Jean-Marc Valin, Francois Michaud, Jean Rouant and Dominic Letourneau, "Robust Sound Source Localization Using a Microphone Array on a Mobile Robot," Proceedings of the 2003 IEEE/RSJ intl. Conference on intelligent Robots and Systems, vol. 2, pp. 1228-1223, 2003.
Russ Duren, Jeremy Stevenson and Mike Thompson, "A Comparison of FPGA and DSP Development Environments and Performance for Acoustic Array Processing," Circuits and Systems, MWSCAS 2007. 50th Midwest Symposium, pp. 1177-1180, 2007.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증