본 논문에서는 음성 신호 대신 초음파 도플러 신호를 이용하여 음성을 인식하는 새로운 음성 인식 방법을 제안하였다. 제안된 방법은 주변 잡음에 대한 강인성과 무 접촉식 센서 사용에 따른 사용자의 불편함 감소를 포함하는 기존의 음성/무음성 인식 방법에 비해 몇 가지 장점을 갖는다. 제안된 방법에서는 40 kHz의 주파수를 갖는 초음파 신호를 입 주변에 방사하여, 반사된 신호를 취득하고, 취득된 신호의 도플러 주파수 변화를 이용하여 음성 인식을 구현하였다. 단일 채널 초음파 신호를 사용하는 기존의 연구와 달리, 다양한 위치에서의 취득된 초음파 신호를 음성 인식에 사용하기 위해 다채널 취득 장치를 고안하였다. PCA(Principal Component Analysis)특징 변수를 사용한 음성 인식에는 좌-우 모델을 갖는 은닉 마코프 모델을 사용하였다. 제안된 방법의 검증을 위해 60개의 한국어 고립어에 대해 6명의 화자로부터 취득된 초음파 도플러 신호를 인식에 사용하였으며, 기존 음성기반 음성인식 기법과 비교할 만한 수준의 인식율을 얻을 수 있었다. 또한 실험 결과 제안된 방법은 기존의 단일 채널 음성 인식 방법과 비교하여 우수한 성능을 나타내었으며, 특히 잡음 환경에서도 90 % 이상의 인식율을 얻을 수 있었다.
본 논문에서는 음성 신호 대신 초음파 도플러 신호를 이용하여 음성을 인식하는 새로운 음성 인식 방법을 제안하였다. 제안된 방법은 주변 잡음에 대한 강인성과 무 접촉식 센서 사용에 따른 사용자의 불편함 감소를 포함하는 기존의 음성/무음성 인식 방법에 비해 몇 가지 장점을 갖는다. 제안된 방법에서는 40 kHz의 주파수를 갖는 초음파 신호를 입 주변에 방사하여, 반사된 신호를 취득하고, 취득된 신호의 도플러 주파수 변화를 이용하여 음성 인식을 구현하였다. 단일 채널 초음파 신호를 사용하는 기존의 연구와 달리, 다양한 위치에서의 취득된 초음파 신호를 음성 인식에 사용하기 위해 다채널 취득 장치를 고안하였다. PCA(Principal Component Analysis)특징 변수를 사용한 음성 인식에는 좌-우 모델을 갖는 은닉 마코프 모델을 사용하였다. 제안된 방법의 검증을 위해 60개의 한국어 고립어에 대해 6명의 화자로부터 취득된 초음파 도플러 신호를 인식에 사용하였으며, 기존 음성기반 음성인식 기법과 비교할 만한 수준의 인식율을 얻을 수 있었다. 또한 실험 결과 제안된 방법은 기존의 단일 채널 음성 인식 방법과 비교하여 우수한 성능을 나타내었으며, 특히 잡음 환경에서도 90 % 이상의 인식율을 얻을 수 있었다.
In this paper, a new automatic speech recognition (ASR) was proposed where ultrasonic doppler signals were used, instead of conventional speech signals. The proposed method has the advantages over the conventional speech/non-speech-based ASR including robustness against acoustic noises and user comf...
In this paper, a new automatic speech recognition (ASR) was proposed where ultrasonic doppler signals were used, instead of conventional speech signals. The proposed method has the advantages over the conventional speech/non-speech-based ASR including robustness against acoustic noises and user comfortability associated with usage of the non-contact sensor. In the method proposed herein, 40 kHz ultrasonic signal was radiated toward to the mouth and the reflected ultrasonic signals were then received. Frequency shift caused by the doppler effects was used to implement ASR. The proposed method employed multi-channel ultrasonic signals acquired from the various locations, which is different from the previous method where single channel ultrasonic signal was employed. The PCA(Principal Component Analysis) coefficients were used as the features of ASR in which hidden markov model (HMM) with left-right model was adopted. To verify the feasibility of the proposed ASR, the speech recognition experiment was carried out the 60 Korean isolated words obtained from the six speakers. Moreover, the experiment results showed that the overall word recognition rates were comparable with the conventional speech-based ASR methods and the performance of the proposed method was superior to the conventional signal channel ASR method. Especially, the average recognition rate of 90 % was maintained under the noise environments.
In this paper, a new automatic speech recognition (ASR) was proposed where ultrasonic doppler signals were used, instead of conventional speech signals. The proposed method has the advantages over the conventional speech/non-speech-based ASR including robustness against acoustic noises and user comfortability associated with usage of the non-contact sensor. In the method proposed herein, 40 kHz ultrasonic signal was radiated toward to the mouth and the reflected ultrasonic signals were then received. Frequency shift caused by the doppler effects was used to implement ASR. The proposed method employed multi-channel ultrasonic signals acquired from the various locations, which is different from the previous method where single channel ultrasonic signal was employed. The PCA(Principal Component Analysis) coefficients were used as the features of ASR in which hidden markov model (HMM) with left-right model was adopted. To verify the feasibility of the proposed ASR, the speech recognition experiment was carried out the 60 Korean isolated words obtained from the six speakers. Moreover, the experiment results showed that the overall word recognition rates were comparable with the conventional speech-based ASR methods and the performance of the proposed method was superior to the conventional signal channel ASR method. Especially, the average recognition rate of 90 % was maintained under the noise environments.
본 논문에서는 무음성 전달 방법의 하나로서, 초음파 도플러 신호를 이용한 인식 방법을 한국어 고립어 인식에 적용하여 결과를 살펴보았다. 초음파를 이용한 인식은 초기에 손이나 발의 동작 인식에 사용되었고[9,10] 이후 음성을 발성하고 있는 화자의 입주변에 초음파를 방사하고 반사되어 돌아오는 신호의 도플러 신호를 분석하는 연구가 진행되었다.
가설 설정
[11-14]초음파를 이용한 동작 및 음성 분석은 움직임이 있는 손, 발, 입주변 근육에 초음파를 방사하면, 각 부위의 변위로 인한 속도변화가 도플러 현상을 발생시킨다는 사실에 바탕을 두고 있다. 이때 발생되는 도플러 주파수가 특정 움직임 패턴에 의해 각기 다르게 나타난다고 가정하면, 도플러 주파수 패턴을 이용하여 손발의 움직임과 음성을 인식할 수 있게 된다.
초음파를 이용한 인식은 초기에 손이나 발의 동작 인식에 사용되었고[9,10] 이후 음성을 발성하고 있는 화자의 입주변에 초음파를 방사하고 반사되어 돌아오는 신호의 도플러 신호를 분석하는 연구가 진행되었다.[11-14]초음파를 이용한 동작 및 음성 분석은 움직임이 있는 손, 발, 입주변 근육에 초음파를 방사하면, 각 부위의 변위로 인한 속도변화가 도플러 현상을 발생시킨다는 사실에 바탕을 두고 있다. 이때 발생되는 도플러 주파수가 특정 움직임 패턴에 의해 각기 다르게 나타난다고 가정하면, 도플러 주파수 패턴을 이용하여 손발의 움직임과 음성을 인식할 수 있게 된다.
제안 방법
기존 방법 들은 단일 채널의 초음파 도플러 신호를 사용하였는데 본 논문에서는 음성 인식의 성능을 향상시키기 위해 다채널 센서를 사용하였으며 센서의 개수와 위치, 조합에 따른 인식율을 정량적으로 평가하였다. 한국어 음소를 골고루 포함하는 60개의 고립어에 대해 다양한 조건에서 초음파 신호를 취득하고 인식율을 관찰하였다.
마이크로폰 및 각 초음파 센서의 감도차에 따른 신호의 크기 차이를 보상하기 위해, 샘플링 전 아날로그값을 각기 다른 이득으로 증폭하였다. 즉, 음성 취득 전 센서 전면에 초음파 신호를 잘 반사시키는 재질의 판재를 설치하고, 초음파 신호를 방사하여 각 센서로부터 반사되어 돌아오는 초음파 신호를 취득하고 각 센서 별 취득된 신호가 레벨을 유지하도록 오디오인터페이스의 이득 값을 조정하였다.
2와 3에 본 연구에서 제작한 prototype 초음파 도플러 취득 장치를 나타내었다. 초음파 도플러를 이용한 이전의 연구[7-14]에서는 송신용과 수신용 각각 1개의 센서가 사용되었는데, 본 연구에서는 보다 다양한 방향에서 반사되는 초음파 신호를 취득하기 위해 최대 8개의 센서를 장착할 수 있는 센서 고정 장치를 제작하였다. 실제 실험에서는 1개의 송신 센서와 4개의 수신 센서를 사용하였으며, 센서간 거리는 53 mm였다.
대상 데이터
13차 멜 켑스트랄 계수와 델타 및 델타-델타 변수를 포함하는 총 39차원 특징 벡터를 함께 취득한 음성 신호로부터 추출하여 음성 인식 실험을 수행하였다. 특징 변수는 초음파 신호와 동일하게 25 ms의 길이를 갖는 창함수를 10 ms 만큼 이동하여 추출하였고, 똑같은 조건의 HMM을 화자마다 독립적으로 학습하여 인식에 사용하였다.
초음파 도플러 신호를 이용한 음성 인식 기법의 유효성을 검증하기 위하여 Table 1에 제시된 60개 한국어 고립어에 대한 음성 인식 실험을 수행하였다. 실험은 6명의 피실험자(남성 5명, 여성 1명 모두 20대)로부터 5개의 서로 다른 실험 조건에서 단어 당50회 반복 취득하였다. 이 중 30개는 학습에, 나머지 20개는 검증에 사용하였다.
기존 방법 들은 단일 채널의 초음파 도플러 신호를 사용하였는데 본 논문에서는 음성 인식의 성능을 향상시키기 위해 다채널 센서를 사용하였으며 센서의 개수와 위치, 조합에 따른 인식율을 정량적으로 평가하였다. 한국어 음소를 골고루 포함하는 60개의 고립어에 대해 다양한 조건에서 초음파 신호를 취득하고 인식율을 관찰하였다. 또한 극심한 잡음 환경에서 기존의 음성을 이용한 음성 인식 기법과 성능을 비교하여 초음파 도플러를 이용한 음성 인식 방법의 유용성을 평가하였다.
데이터처리
한국어 음소를 골고루 포함하는 60개의 고립어에 대해 다양한 조건에서 초음파 신호를 취득하고 인식율을 관찰하였다. 또한 극심한 잡음 환경에서 기존의 음성을 이용한 음성 인식 기법과 성능을 비교하여 초음파 도플러를 이용한 음성 인식 방법의 유용성을 평가하였다.
이론/모형
각 단어별 HMM은 화자마다 독립적으로 학습되었으며, 모든 단어에 대해 상태 수는 5개, 각 상태의 관찰 확률밀도 함수는 5개의 가우시안 함수를 포함하는 혼합 가우시안 모델(mixture gaussian model)을 사용하였다. 각 가우시안 함수의 공분산 행렬은 대각 행렬로 표현하였으며, HMM의 학습에는 Baum-Welch 알고리즘이 사용되었다.
음성 인식을 위한 모델로서 HMM이 사용되었으며 상태 천이는 좌-우 모델(left-right model)이 적용되었다. 각 단어별 HMM은 화자마다 독립적으로 학습되었으며, 모든 단어에 대해 상태 수는 5개, 각 상태의 관찰 확률밀도 함수는 5개의 가우시안 함수를 포함하는 혼합 가우시안 모델(mixture gaussian model)을 사용하였다. 각 가우시안 함수의 공분산 행렬은 대각 행렬로 표현하였으며, HMM의 학습에는 Baum-Welch 알고리즘이 사용되었다.
음성 인식을 위한 모델로서 HMM이 사용되었으며 상태 천이는 좌-우 모델(left-right model)이 적용되었다. 각 단어별 HMM은 화자마다 독립적으로 학습되었으며, 모든 단어에 대해 상태 수는 5개, 각 상태의 관찰 확률밀도 함수는 5개의 가우시안 함수를 포함하는 혼합 가우시안 모델(mixture gaussian model)을 사용하였다.
성능/효과
한국어 음성에 대한 초음파 도플러 기반 음성 인식 결과를 제시하였다. 영어 숫자음에 대한 기존의 연구 결과가 30 ~ 60 %의 낮은 인식율을 보인 것과 비교하여 100 %에 근접한 인식율을 얻었는데, 이는 센서의 개수 증가, 취득 방법의 향상 등에 기인된 것으로 판단되며, 한국어 고립어 음성에 대한 초음파 도플러 신호의 변별 정도가 높음을 의미하는 것으로 볼 수 있다. 제안된 초음파 도플러 기반 음성인식 방법은 개당 $4 이하의 비교적 저렴한 가격으로 구현이 가능하며, 기존 마이크로폰을 이용한 음성 인식방식과 비교하여 주변 잡음의 영향을 덜 받고, 속삭임(whispering)과 같은 작은 목소리만으로 음성 인식이 가능하여 주변 사람들에게 피해를 주지 않는 새로운 음성 인터페이스의 구현이 가능하다는 장점을 갖는다.
조건5에서는 학습을 위한 초음파/음성 신호는 조용한 환경에서 취득하고, 테스트를 위한 신호는 별도의 스피커를 통해 백색 잡음, 음악, 전투기 이륙음, 음성 등 다양한 소음을 출력시킨 상태에서 취득하였다. 이와 같은 조건에서 평균 신호 대 잡음 비(SNR: Signal to Noise Ratio)는 0 dB였으며, 음성 신호를 이용한 인식율은 11.42 %로서 매우 낮은 인식율을 보인 반면, 초음파를 이용한 인식율은 잡음이 없는 조건에 비해서는 전반적으로 낮은 인식율을 나타내었지만, R1+R3, R1+R2+ R3, R1+R3+R4, R1+R2+R3+R4 센서 조합의 경우 90 %를 상회하는 인식율을 얻을 수 있었다.
영어 숫자음에 대한 기존의 연구 결과가 30 ~ 60 %의 낮은 인식율을 보인 것과 비교하여 100 %에 근접한 인식율을 얻었는데, 이는 센서의 개수 증가, 취득 방법의 향상 등에 기인된 것으로 판단되며, 한국어 고립어 음성에 대한 초음파 도플러 신호의 변별 정도가 높음을 의미하는 것으로 볼 수 있다. 제안된 초음파 도플러 기반 음성인식 방법은 개당 $4 이하의 비교적 저렴한 가격으로 구현이 가능하며, 기존 마이크로폰을 이용한 음성 인식방식과 비교하여 주변 잡음의 영향을 덜 받고, 속삭임(whispering)과 같은 작은 목소리만으로 음성 인식이 가능하여 주변 사람들에게 피해를 주지 않는 새로운 음성 인터페이스의 구현이 가능하다는 장점을 갖는다.
후속연구
시간 영역의 파형을 살펴보면, 유성음 구간에서 큰 크기의 신호가 관찰되는 전형적인 음성 신호의 특성을 따르지는 않지만, 두 음성 간의 차이가 비교적 뚜렷하게 나타나며, 스펙트로그램상으로도, 초음파 송신주파수(40 kHz)를 중심으로 에너지가 시간적으로 다르게 분포하는 것을 알 수 있다. 이러한 특성은 초음파 신호를 마코프랜덤 신호로 모델링 할 수 있으며, 은닉 마코프 모델(Hidden Markov Model, HMM)과 같은 기존의 음성 인식에 널리 사용된 통계 모델을 이용하여 음성 인식을 구현할 수 있음을 의미한다.
질의응답
핵심어
질문
논문에서 추출한 답변
초음파 도플러를 이용한 음성인식의 장점은 무엇인가?
7 %의인식율을 얻는 것으로 보고하였다.[9] 초음파 도플러를 이용한 음성인식은 초음파 신호가 가청 음역대의 잡음에 영향을 받지 않으며, 신호의 취득 시 기존의 무음성 전달 방법이 주로 접촉식 센서를 사용하는 것과 비교하여 비접촉식 센싱 방법을 사용하여 사용자에게 불편감을 주지 않는다는 장점을 지닌다. 이러한 장점으로 초기에는 음성과 묵음을 구분(Voice Activity Detection, VAD)하여 초음파 도플러를 이용하였는데,[11]잡음의 크기와 종류에 무관하게 92 ~ 97 %의 인식율을 나타내었으며, 이는 잡음에 의해 손상된 음성을 사용하는 경우 단지 10 % 인식율이 얻어지는 것과 비교하여 잡음 환경에 매우 적합한 방법임을 나타내었다.
무음성 전달 방법에는 무엇이 있는가?
이러한 특수한 상황에서 적용 가능한 음성 정보 전달 방법으로 무음성 전달(silence speech interface)[1]이 제안되었다. 무음성 전달 방법으로서, 입주변에서 발생하는 근전도 신호를 이용하는 방법,[2] NAM(Non-Audible Microphone)을 입주변에 부착하여 음성을 취득하는 방법,[3]자석과 자계센서를 이용하는 방법,[4]구강 및 비강의 초음파 영상을 이용한 방법,[5] GHz microwave를 이용하는 방법,[6]초음파 신호를 이용하는 방법[7]등을 들 수 있다. 본 논문에서는 무음성 전달 방법의 하나로서, 초음파 도플러 신호를 이용한 인식 방법을 한국어 고립어 인식에 적용하여 결과를 살펴보았다.
여러 채널에서 획득된 특징 변수들을 조합하는 방법 중 Late Integration 방법은 무엇인가?
이와 같은 방법은 인식을 위한 우도(likelihood)값을 얻기 전에 특징 변수를 조합 시키므로 Early Integration(EI) 방법이라 한다. 또 다른 조합 방법으로, 각 채널의 특징 변수들로 독립적인 HMM을 생성하고, 각 채널별 사후 확률(posterior probability)를 구하고, 이들 확률을 조합하는 방법으로, 입력벡터 O = {o1, o2, o3, o4}의 모델λ = {λ1, λ2, λ3, λ4}에 대한 우도는 다음과 같다.
참고문헌 (15)
B. Denby, T. Schultz, K. Honda, T. Hueber, J. M. Gilbert, and J. S. Brumberg, "Silent speech interfaces," Speech Comm. 52, 270-287 (2010).
T. Toda and K. Shikano, "NAM-to-speech conversion with gaussian mixture models," in Proc. Interspeech, 1957-1960 (2005).
R. Hope, S. R. Ell, M. J. Fagan, J. M. Gilbert, P. D. Green, R. K. Moore, and S. I. Rybchenko, "Small-vocabulary speech recognition using a silent speech interface based on magnetic sensing," Speech Comm. 55, 22-32 (2013).
T. Hueber, G. Chollet, B. Denby, G. Dreyfus, and M. Stone, "Continuous-speech phone recognition from ultrasound and optical images of the tongue and lips," in Proc. Interspeech, 658-661 (2007).
M. Jiao, G. Lu, X. Jing, S. Li, Y. Li, and J. Wang, "A novel radar sensor for the non-contact detection of speech signals," Sensors 10, 4622-4633 (2010).
S. Srinivasan, B. Raj, and T. Ezzat, "Ultrasonic sensing for robust speech recognition," in Proc. ICASSP, 5102-5105 (2010).
K. Kalgaonkar and B. Raj, "An acoustic doppler-based front end for hands free spoken user interfaces," in Proc. SLT, 158-161 (2006).
K. Kalgaonkar and B. Raj, "Acoustic doppler sonar for gait recognition," in Proc. 2007 IEEE Conf. Advanced Video and Signal Based Surveillance, 27-32 (2007).
K. Kalgaonkar and B. Raj, "One-handed gesture recognition using ultrasonic doppler sonar," Proc. ICASSP, 1889-1892 (2009).
K. Kalgaonkar, R. Hu, and B. Raj, "Ultrasonic doppler sensor for voice activity detection," IEEE Signal Process. Lett. 14, 754-757 (2007).
※ AI-Helper는 부적절한 답변을 할 수 있습니다.