[논문]스마트 강의 시스템을 위한 시간차 검출 방식의 실시간 음원 추적 기법 구현

강민수; 오우진

doi:10.6109/jkiice.2017.21.4.708

[국내논문] 스마트 강의 시스템을 위한 시간차 검출 방식의 실시간 음원 추적 기법 구현
Implementation of Real-time Sound-location Tracking Method using TDoA for Smart Lecture System 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.21 no.4, 2017년, pp.708 - 717

강민수 (School of Electronics, Kumoh National Institute of Technology) , 오우진 (School of Electronics, Kumoh National Institute of Technology)

초록
AI-Helper

음원 추적은 지능형 CCTV, 화상회의시스템, 음성 명령 인식 등에서 널리 활용되고 있다. 본 논문에서는 스마트강의시스템에 적합한 천정 부착형 직교배열 마이크로 음성 신호의 도착 시간차인 TDoA(Time Difference of Arrival)를 이용하는 실시간 음원추적 기법을 제안한다. TDoA를 위한 점 음원과 평행음원 모델을 분석하고, 3개의 선형배열마이크를 이용하여 상호 상관 방안을 제안하였다. 또한 직교축에 십자 배열된 5개의 마이크를 사용하여 전방위(omni-direction)에서 음원 추적이 가능함을 보였다. 무음구간을 제거하기 위하여 수신 에너지를 이용하였으며 상호상관을 부호로 연산하여 계산량을 줄이고 추정 결과에 미디언 필터(Median Filter)를 적용하여 안정도를 높였다. 제안된 시스템은 고속 MCU인 TMS320F379D와 MEMs마이크 모듈로 구현하여, 방향 검출 성능이 백색잡음이나 음악 등에 대해서는 0.5도, 음성에 대해서는 6.5도의 정밀도를 보였다.

Abstract ▼ AI-Helper

Tracking of sound-location is widely used in various area such as intelligent CCTV, video conference and voice commander. In this paper we introduce the real-time sound-location tracking method for smart lecture system using TDoA(Time Difference of Arrival) with orthogonal microphone array on the ceiling. Through discussion on some models of TDoA detection, cross correlation method using linear microphone array is proposed. Orthogonal array with 5 microphone could detect omni direction of sound-location. For real-time detection we adopt the threshold of received energy for eliminating no-voice interval, signed cross correlation for reducing computational complexity. The detected azimuth angles are processed using median filter for lowering the angle deviation. The proposed system is implemented with high performance MCU of TMS320F379D and MEMs microphone module and shows the accuracy of 0.5 and 6.5 in degree for white noise and lectured voice, respectively.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 멀티미디어 강의시스템에 적합한 음원추적 방안을 제안하였다. 교단의 천정에 직교배열 마이크를 부착하여 전방위에서 강사의 위치를 추적하여 자동 로밍 마이크를 위한 제어신호를 제공하는 것이다.
마이크간의 거리 및 표본화 속도에 따른 각도 해상 도를 알아보자. 식 (1)은 평행 음원 모델의 각도이지만, 원거리에서는 오차가 적고 간단하므로 이를 적용하여 해석하겠다.
본 논문에서는 멀티미디어 강의 시스템에 적합한 강사 위치 추적을 10도 이내의 정확도로 구현하는 것을 목표로 하고 있다. 검출 범위는 강단의 크기를 고려하여 6x3m로 설정하였다.
본 논문에서는 멀티미디어 강의시스템에 적합한 음원 추적 방법을 제안한다. 강사 추적 강의 시스템은 음원의 위치를 검출하여 천정에 부착된 다수의 마이크 간에 자동 로밍이 이루어지므로 강사는 마이크를 착용하지 않아도 편리하게 강의가 가능한 장점이 있다.
본 논문에서는 멀티미디어 강의시스템에 적합한 음원추적 방안을 제안하였다. 교단의 천정에 직교배열 마이크를 부착하여 전방위에서 강사의 위치를 추적하여 자동 로밍 마이크를 위한 제어신호를 제공하는 것이다.
음성신호의 상관특성을 살펴보자. 그림 4에 유성음 (Voiced)과 무성음(Unvoiced)에 대하여 신호파형, 스펙트럼, 자기상관을 보였다.
8KHz로 변경해도 그림 6에서처럼 ±90도 근처에서는 여전히 2도 이상의 오차를 보이고 있다. 이 문제를 해결하고 0~360도의 전방위에서 가능한 음원 추적 방안을 살펴보자.

제안 방법

멀티미디어 강의 시스템에서의 음원 추적은 강사의 이동 속도가 통상의 걷기 수준인 4Km/h로 한정된다. 따라서 10ms 동안의 이동 거리는 1.11cm이므로 각도 변화는 거의 없기 때문에 두 개의 마이크 세트는 시분할로 데이터를 획득하도록 구성하였다. 마이크 모듈은 MEMs 마이크와 12비트 ADC를 내장한 Digilent사의 Pmod MIC3 모듈을 사용했으며, 직렬통신인 SPI(Serial Peripheral Interface)로 MCU와 연결된다.
음성의 TDoA를 점 음원과 평행 음원 모델로 분석하고, 3개의 마이크 세트로 기준신호에 대하여 상호상관 방안을 제안하였다. 무음구간을 제거하기 위하여 수신 에너지를 이용하였으며, 상호 상관을 부호로 연산하여 계산량을 줄이고, 추정 각도에 미디언 필터를 적용하여 안정된 각도를 얻었다. 전방위 검출을 위하여 평면에 십자 배열된 5개의 마이크로 음원 추적이 가능함을 보였다.
제안된 시스템은 고속 MCU인 TMS320F379D와 12비트 ADC가 내장된 MEMs마이크 모듈로 구현하여 실시간 동작을 확인하였다. 백색잡음과 음성으로 실험하여 각각 0.5도와 6.5도 이하의 오차를 확인하였다.
본 논문의 구성은 II장에서 TDoA기반의 음원 추적 기법을 알아보고, III장에서 강의시스템에 필요한 오차와 범위에 적합한 TDoA기법을 분석하고 전방위 음원 검출 방안을 제안하였다. 마지막으로 IV장에서 시스템 구현과 성능을 설명하겠다.
TDoA는 직선상에 위치한 3개의 마이크로부터 기준신호에 대하여 상호 상관으로 구해지며, 마이크 배열을 직교축으로 배치하여 전 방향에서 음원 추적이 가능함을 보였다. 상호 상관은 부호 연산으로 계산량을 줄였으며, 추정 각도에 대하여 미디언 필터(Median Filter)를 적용하여 오류로 인한 급격한 변화를 줄였다. 무음이나 잡음 구간에서는 음원 추적을 하지 않도록 간단히 수신 에너지를 이용하였다[5,6].
음성의 TDoA를 점 음원과 평행 음원 모델로 분석하고, 3개의 마이크 세트로 기준신호에 대하여 상호상관 방안을 제안하였다. 무음구간을 제거하기 위하여 수신 에너지를 이용하였으며, 상호 상관을 부호로 연산하여 계산량을 줄이고, 추정 각도에 미디언 필터를 적용하여 안정된 각도를 얻었다.
제안된 시스템은 고속 MCU인 TMS320F379D에 12비트 ADC가 내장된 MEMs마이크 모듈을 SPI로 연결 하여 구현하여 성능을 검증하였다. 백색잡음이나 음악과 같은 연속적인 신호에서는 0.
전방위 검출을 위하여 평면에 십자 배열된 5개의 마이크로 음원 추적이 가능함을 보였다. 제안된 시스템은 고속 MCU인 TMS320F379D와 12비트 ADC가 내장된 MEMs마이크 모듈로 구현하여 실시간 동작을 확인하였다. 백색잡음과 음성으로 실험하여 각각 0.
제안된 음원 추적은 강의 환경인 교단의 크기를 고려하여 배열 마이크를 구성하고 신호의 도착 시간차인 TDoA(Time Difference of Arrival)를 실시간으로 측정하게 된다. TDoA는 직선상에 위치한 3개의 마이크로부터 기준신호에 대하여 상호 상관으로 구해지며, 마이크 배열을 직교축으로 배치하여 전 방향에서 음원 추적이 가능함을 보였다.

대상 데이터

최종 구현된 시스템은 그림 9와 같다. 그림 9(a)의 DSP보드는 향후의 성능 개선을 위하여 2개의 MCU와 1개의 Altera Cyclone III FPGA, TI사의 개발용 키트를 연결하기 위한 소켓을 탑재하였다. 직교배열 마이크는 그림 9(b)와 같이 평면상에 직교로 배치했으며 음원 추적 결과는 (c)와 같이 외부에 장착된 OLED에 숫자로 표시된다.
본 논문에서는 멀티미디어 강의 시스템에 적합한 강사 위치 추적을 10도 이내의 정확도로 구현하는 것을 목표로 하고 있다. 검출 범위는 강단의 크기를 고려하여 6x3m로 설정하였다. 평행 음원 모델은 계산이 간단 하지만 그림 3에 보인 바와 같이 0.
11cm이므로 각도 변화는 거의 없기 때문에 두 개의 마이크 세트는 시분할로 데이터를 획득하도록 구성하였다. 마이크 모듈은 MEMs 마이크와 12비트 ADC를 내장한 Digilent사의 Pmod MIC3 모듈을 사용했으며, 직렬통신인 SPI(Serial Peripheral Interface)로 MCU와 연결된다. 두개의 마이크 세트는 GPIO핀으로 CS(Chip Select) 핀으로 제어하여 구분된다.
기준 신호의 길이가 N_c일 때 그림 5와 같이 L, R 마이크의 신호는 2ms의 데이터가 추가로 필요하다. 본 논문에서는 기준 신호를 5ms에 해당하는 220 개의 데이터, L/R 마이크의 신호는 308개의 데이터를 사용하여 TDoA 검출을 수행하였다.
위상 배열 안테나의 경우에는 상호 보완된 수신을 위한 다이버시티(diversity) 효과나 빔포밍(Beamforming)을 위해 반파장의 1/n배를 사용하지만 시간차 검출 환경에서는 동일한 세기로 검출 되도록 파장의 정수배 간격으로 설정해야한다. 본 논문에서는 마이크 간격을 파장에 근사한 34.5cm로 설정 하였다.
유성음은 ‘아’, 무성음은 ‘츠’ 를 사용하여, 44.1KHz 표본화, 8000개의 데이터를 이용하였다.
5도 이하의 오차로 정확히 검출되고 있다. 음성 신호에 대해서는 강사의 음성과 유사하도록 인터넷 강의와 토론 영상을 사용하였으며, 측정 결과는 6.5도 이내의 오차로 검출되었다. 45도에서 오차가 가장 큰 것은 두 마이크 세트의 유효영역 경계치로 인해 나타난 것이다.
검출 범위는 강단의 크기를 고려하여 6x3m로 설정하였다. 평행 음원 모델은 계산이 간단 하지만 그림 3에 보인 바와 같이 0.5m 이내의 근거리 영역에서는 큰 오차를 보이므로 3개의 마이크를 사용하는 점 음원 모델을 선택하였다.

이론/모형

에너지 기준값을 올리면 작은 소리는 검출할 수 없으며, 기준 값을 낮추면 많은 오류가 발생 할 수 있다. 본 논문에서는 이러한 오류를 줄이기 위하여 임펄스 잡음에 우수한 성능을 갖고 있는 미디언 필터(Median Filter)를 적용하였다. 길이가 7인 미디언 필터를 사용하여 7개의 관측 값들 중에서 1~2개의 오류가 발생해도 일정한 값을 유지함을 확인하였다.
이를 위하여 일정 크기이상의 음성 구간 데이터가 기준 신호가 되도록 음성 활성도 검출(VAD: Voice Activity Detection) 기법에서 사용하는 짧은 구간의 에너지를 이용하였다[5, 10].

성능/효과

제안된 음원 추적은 강의 환경인 교단의 크기를 고려하여 배열 마이크를 구성하고 신호의 도착 시간차인 TDoA(Time Difference of Arrival)를 실시간으로 측정하게 된다. TDoA는 직선상에 위치한 3개의 마이크로부터 기준신호에 대하여 상호 상관으로 구해지며, 마이크 배열을 직교축으로 배치하여 전 방향에서 음원 추적이 가능함을 보였다. 상호 상관은 부호 연산으로 계산량을 줄였으며, 추정 각도에 대하여 미디언 필터(Median Filter)를 적용하여 오류로 인한 급격한 변화를 줄였다.
본 논문에서는 이러한 오류를 줄이기 위하여 임펄스 잡음에 우수한 성능을 갖고 있는 미디언 필터(Median Filter)를 적용하였다. 길이가 7인 미디언 필터를 사용하여 7개의 관측 값들 중에서 1~2개의 오류가 발생해도 일정한 값을 유지함을 확인하였다. 이로서 강의 시스템에서 필요한 안정된 검출 성능을 얻을 수 있었다[11].
제안된 시스템은 고속 MCU인 TMS320F379D에 12비트 ADC가 내장된 MEMs마이크 모듈을 SPI로 연결 하여 구현하여 성능을 검증하였다. 백색잡음이나 음악과 같은 연속적인 신호에서는 0.5도의 오차로 추적 성능을 보였으며, 강의 음성에 대해서는 6.5도의 해상도를 보였다.
무음구간을 제거하기 위하여 수신 에너지를 이용하였으며, 상호 상관을 부호로 연산하여 계산량을 줄이고, 추정 각도에 미디언 필터를 적용하여 안정된 각도를 얻었다. 전방위 검출을 위하여 평면에 십자 배열된 5개의 마이크로 음원 추적이 가능함을 보였다. 제안된 시스템은 고속 MCU인 TMS320F379D와 12비트 ADC가 내장된 MEMs마이크 모듈로 구현하여 실시간 동작을 확인하였다.
곱셈이 필요하다. 제안한 상관기는 기준 신호를 부호만 취하여 계산량을 줄이고 있다. 예를 들면 마이크 L에 대한 상관은 다음과 같이 적용하였다.

후속연구

이를 멀티미디어 강의 시스템의 강사 추적에 활용하여 다수의 마이크로 자동 로밍이 가능해지므로 강사는 마이크 없이 자유롭게 움직이는 것이 가능해진다. 또한 2개의 마이크를 더 추가하여 x-y-z 축으로 확장하면 방위각과 고도각(Elevation Angle)을 추정이 가능할 것이다. 마이크 로밍과 3D 공간 추적은 향후의 연구과제로 진행 중에 있다.
또한 2개의 마이크를 더 추가하여 x-y-z 축으로 확장하면 방위각과 고도각(Elevation Angle)을 추정이 가능할 것이다. 마이크 로밍과 3D 공간 추적은 향후의 연구과제로 진행 중에 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	음원 추적 기술로 어떤 방식을 사용하고 있는가?	음원 추적은 지능형 CCTV, 화상회의시스템, 로봇분야 등에서 음원의 방향을 인식하여 사건 검출 및 영상 감시, 화자 지향성 마이크, 로봇-인간 인터페이스로 다양하게 활용되고 있다. 대부분의 음원 추적 기술은 사람의 인지방식과 유사하게 2개의 마이크를 사용하여 수신 음성의 전력차, 시간차, 위상차를 이용하는 IID(Interaural Intensity Difference), ITD(Interaural Time Difference), IPD(Interaural Phase Difference)를 사용하고 있다. 음성이 아닌 레이더나 RF 신호와 같은 다른 신호원의 추적은 위상배열을 갖는 송수신기로 RoA(RSSI of Arrival), ToA(Time of Arrival), AoA(Angle of Arrival)를 이용하여 다양하게 연구되고 있다[1-4].
	음원 추적은 어떻게 활용되고 있는가?	음원 추적은 지능형 CCTV, 화상회의시스템, 음성 명령 인식 등에서 널리 활용되고 있다. 본 논문에서는 스마트강의시스템에 적합한 천정 부착형 직교배열 마이크로 음성 신호의 도착 시간차인 TDoA(Time Difference of Arrival)를 이용하는 실시간 음원추적 기법을 제안한다.
	스마트강의시스템을 위한 시간차 검출 방식의 실시간 음원추적 기법의 효율성을 극대화하기 위해 어떤 기술 및 장비들을 사용하였는가?	본 논문에서는 스마트강의시스템에 적합한 천정 부착형 직교배열 마이크로 음성 신호의 도착 시간차인 TDoA(Time Difference of Arrival)를 이용하는 실시간 음원추적 기법을 제안한다. TDoA를 위한 점 음원과 평행음원 모델을 분석하고, 3개의 선형배열마이크를 이용하여 상호 상관 방안을 제안하였다. 또한 직교축에 십자 배열된 5개의 마이크를 사용하여 전방위(omni-direction)에서 음원 추적이 가능함을 보였다. 무음구간을 제거하기 위하여 수신 에너지를 이용하였으며 상호상관을 부호로 연산하여 계산량을 줄이고 추정 결과에 미디언 필터(Median Filter)를 적용하여 안정도를 높였다. 제안된 시스템은 고속 MCU인 TMS320F379D와 MEMs마이크 모듈로 구현하여, 방향 검출 성능이 백색잡음이나 음악 등에 대해서는 0.5도, 음성에 대해서는 6.5도의 정밀도를 보였다.

참고문헌 (12)

J. Murray, S. Wermter and H. Erwin, "Auditory robotic tracking of sound sources using hybrid cross-correlation and recurrent networks," in Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2005), Edmonton, AB, Canada, pp. 3554-3559, Aug. 2005.
B. Lee and B. Choi, "Spherical localization of sound source using triangular microphone Array," in Proceedings of the Korean Automatic Control Conference (KACC 2009), Institute of Control, Robotics and Systems, Busan, Korea, pp.360-363, 2009.
J. Han, S. Han, and Lee, "Sound source tracking control of a mobile robot using a microphone airay," Journal of Institute of Control, Robotics and Systems (Korea), vol. 18, no. 4, pp. 343-352, Apr. 2012.

원문보기 상세보기
S. Oh and K. Park, "Optimal acoustic sound localization system based on a tetrahedron-shaped microphone array," Journal of Korea Information Scientists and Engineers, vol. 43, no. 1, pp. 13-26, Jan. 2016.
J. Ramirez, J. M. Gorriz, and J. C. Segura, Voice activity detection. fundamentals and speech recognition system robustness. I-TECH, Vienna, Austria, 2007.
Y. A. Huang, J. Benesty (Eds.), Audio signal processing for next-Generation multimedia communication systems, Kluwer Academic Publishers, Boston, USA, 2004.
J. Kim and D. Eom, "TDoA-based practical localization using precision time-synchronization," The Journal of Korean Institute of Communications and Information Sciences, vol. 38, no. 2, pp. 141-154, Feb. 2013.
S. Lee and H. Choi, "On the speaker"s position estimation using TDOA algorithm in vehicle environments", Journal of Digital Contents Society (Korea), vol. 7, no. 2, pp. 71- 79, Apr. 2016.
R.C. Luo, C. H. Huang, and T. T. Lin, "Human tracking and following using sound source localization for multisensor based mobile assistive companion robot," in Proceedings of IECON 2010-36th Annual Conference on IEEE Industrial Electronics Society. Glendale, AZ, USA, IEEE, pp. 1552-1557, 2010.
M. H. Moattar and M. M. Homayounpour, "A simple but efficient real-time voice activity detection algorithm," in Proceedings of 17th European Signal Processing Conference (EUSIPCO), Glasgow, Scotland, IEEE, pp.2549-2553, Aug. 2009.
L. Rabiner, M. Sambur, and C. Schmidt, "Applications of a nonlinear smoothing algorithm to speech processing," IEEE Transactions on Acoustics, Speech, and Signal Processing, vol. 23, no. 6, pp. 552-557, Dec. 1975.

상세보기
Texas Instruments Inc. TMS320F2837xD Dual-core Delfino Microcontrollers: Technical Reference Manual. [Internet]. Available: http://www.ti.com/lit/pdf/spruhm8.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증