본 논문에서는 음성인식 분야에서 많이 사용되고 있는 가변어휘 단어 인식 시스템에서 미등록어에 대한 거절 성능을 향상시키는 방법을 제안한다. 거절 기능을 구현하는 방식은 핵심어 검출(keyword spotting)방식과 발화검증(utterance verification)으로 구분이 된다. 발화 검증 방식은 각 음소마다 이와 유사한 반음소모델(anti-phoneme model)을 생성한 후 정상적인 음소 모델과 반음소 모델의 유사도를 비교하여 결정하는 방식이다. 본 논문에서는 화자가 발성할 때마다 구해지는 화자확인 확률값을 신뢰도 문턱치를 결정할 때 적용하는 방법에 대하여 제안하였다. 제안한 방법을 사용하였을 때, 사무실 환경에서 CA(Correctly Accepted for keyword)가 94.23%, CR(Correctly Rejected for out-of-vocabulary)이 95.11%로 나타났고, 잡음 환경에서는 CA가 91.14%, CR이 92.74%로 나타나서 성능이 향상됨을 확인할 수 있었다.
본 논문에서는 음성인식 분야에서 많이 사용되고 있는 가변어휘 단어 인식 시스템에서 미등록어에 대한 거절 성능을 향상시키는 방법을 제안한다. 거절 기능을 구현하는 방식은 핵심어 검출(keyword spotting)방식과 발화검증(utterance verification)으로 구분이 된다. 발화 검증 방식은 각 음소마다 이와 유사한 반음소모델(anti-phoneme model)을 생성한 후 정상적인 음소 모델과 반음소 모델의 유사도를 비교하여 결정하는 방식이다. 본 논문에서는 화자가 발성할 때마다 구해지는 화자확인 확률값을 신뢰도 문턱치를 결정할 때 적용하는 방법에 대하여 제안하였다. 제안한 방법을 사용하였을 때, 사무실 환경에서 CA(Correctly Accepted for keyword)가 94.23%, CR(Correctly Rejected for out-of-vocabulary)이 95.11%로 나타났고, 잡음 환경에서는 CA가 91.14%, CR이 92.74%로 나타나서 성능이 향상됨을 확인할 수 있었다.
In this paper, we propose a technique to improve Out-Of-Vocabulary(OOV) rejection algorithms in variable vocabulary recognition system which is much used in ASR(Automatic Speech Recognition). The rejection system can be classified into two categories by their implementation method, keyword spotting ...
In this paper, we propose a technique to improve Out-Of-Vocabulary(OOV) rejection algorithms in variable vocabulary recognition system which is much used in ASR(Automatic Speech Recognition). The rejection system can be classified into two categories by their implementation method, keyword spotting method and utterance verification method. The utterance verification method uses the likelihood ratio of each phoneme Viterbi score relative to anti-phoneme score for deciding OOV. In this paper, we add speaker verification system before utterance verification and calculate an speaker verification probability. The obtained speaker verification probability is applied for determining the proposed variable-confidence threshold. Using the proposed method, we achieve the significant performance improvement; CA(Correctly Accepted for keyword) 94.23%, CR(Correctly Rejected for out-of-vocabulary) 95.11% in office environment, and CA 91.14%, CR 92.74% in noisy environment.
In this paper, we propose a technique to improve Out-Of-Vocabulary(OOV) rejection algorithms in variable vocabulary recognition system which is much used in ASR(Automatic Speech Recognition). The rejection system can be classified into two categories by their implementation method, keyword spotting method and utterance verification method. The utterance verification method uses the likelihood ratio of each phoneme Viterbi score relative to anti-phoneme score for deciding OOV. In this paper, we add speaker verification system before utterance verification and calculate an speaker verification probability. The obtained speaker verification probability is applied for determining the proposed variable-confidence threshold. Using the proposed method, we achieve the significant performance improvement; CA(Correctly Accepted for keyword) 94.23%, CR(Correctly Rejected for out-of-vocabulary) 95.11% in office environment, and CA 91.14%, CR 92.74% in noisy environment.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 가변어휘 단어 인식기의 미등록어 거절 성능을 향상시키기 위한 방법으로 입력 발성중 호출키워드 부분을 추출하여 화자 인식 확률값을 추출하고 이를 바탕으로 발화검증시스템에서의 신뢰도 문턱치를 가변적으로 적용하는 방법을 제안하였다.
본 논문에서는 발화검증 단계에서 미등록어의 거절기능을 향상시킬 수 있는 방법을 제안하였다. 우선 한국어에 존재하는 모든 음소를 다양한 환경에서 모델링해야 한다.
또 이런 다양성을 잘 수용할 수 있는 음소 모델 구조를 만들어야 한다. 본 논문에서는 이러한 가변어휘 단어 인식기의 요구사항을 충족시키기 위한 방법으로 네비게이션 기기나 홈 네트워크시스템 등을 호출할 때 사용하는 호출 키워드 (call_keyword)에 대하여 화자확인 방식을 적용하는 방법을 제안하였다. 인식된 호출키워드에서 유도된가중치를 사용하여 인식대상이 되는 단어들을 발화검증하는 방법을 제안하였으며 실험결과 기존의 등록된 단어 외에 새로운 단어가 추가되어도 패널티조정 등의 추가적인 변화가 없이 거절율과 인식률이 사무실환경이나 잡음 환경에서도 모두 개선됨을 확인하였다.
가설 설정
적응하는 기법이다. MAP에서는 파라미터 入가 어떤 분포를 갖는 랜덤 변수라 가정한디..
제안 방법
구별하게 된다. 그러나, 이 방법은 음소마다 신뢰도의 분포가 다르기 때문에 단어마다 신뢰도의 분포가 다르고 단어마다 거절 성능이 균일하지않는 문제점과 또 실제 환경에서는 잡음이 많이 추가되어지면 잡음에 따른 신뢰도의 분포 또한 달라진다 [8], 잡음환경에서의 가변어휘 단어 인식 시스템의 거절기능의 향상을 위해서 화자확인 시스템을 이용한 신뢰도를 결정하는 새로운 방법을 제안하였고 그림 4와 같이 나타내었다.
화자확인 시스템에서 계산된 화자모델의 확률값을 이용하여 발화검증 시스템의 신뢰도 문턱치를 가변적으로 결정하게 된다. 발화 검증 시스템에서는 인식 시스템을 거친 인식 음소열과 제안한 화자확인 시스템을 거쳐 구한 가변 신뢰도 문턱치를 이용하여 발화검증을 수행하여 수락(accept)과 거절(reject)을 결정하게 된다. 그 방법은 다음 절에서 서술하였다.
본 논문에서 사용한 가변어휘 단어 인식 시스템은 새로운 인식대상 단어목록이 발생하면 음성훈련과정을 새로 수행하지 않고 발음사전만을 새로이 교체하여 단어 모델을 구성하게 된다. 이러한 단어 인식기를 구현하기 위해서는 한국어에 존재하는 모든 음소를 충분한 음소환경에서 모델링해야 한다.
본 논문의 실험을 위해서 등록어(핵심어) 모델은 트라이폰(Triphone)의 문매 종속형 음소 모델로 확장하여 만들었다. 실제로 시스템에서 쓰이게 될 명령어들로 호출 키워드를 포함하는 200개를 “홈시스, 거실전등 켜'의 형태로 호출 키워드(Call-keyword) + 제어 아이템 +명령어”로 발성되어지도록 구성하여 만들었다.
만들었다. 실제로 시스템에서 쓰이게 될 명령어들로 호출 키워드를 포함하는 200개를 “홈시스, 거실전등 켜'의 형태로 호출 키워드(Call-keyword) + 제어 아이템 +명령어”로 발성되어지도록 구성하여 만들었다. 미등록어 거절 기능의 알고리즘에서 문턱치를 결정하기 위해서 사용하는 테스트 데이터를 위해 200 명의 데이터를 사용하였고 성능 평가를 위한 평가데이터에는 나머지 100명의 데이터를 사용하였다.
본 논문에서 문맥 독립 음소 모델훈련에 사용한 PBW 445DB는 총 445개의 어휘로 구성이 되어 있고 남자 22명과 여자 19명이 445 어휘를 각각 2번씩 발성한 데이터로 구성이 되어 있다. 음성은 사무실 환경과 잡음 환경에서 이동기기 등에 내장되는 내장형 마이크를 사용하여 16Khz Mono로 녹음되고 16bit PCM 양자화를 사용하였다. 실험음성으로 300명의 성인 남성이 참가하였다.
제안한 발화 검증 방법에 대한 인식결과는 호출 키워드를 포함하여 조사였을 때와 화자인식 부분에서 사용한 호출 키워드에서 화자에 대한 정보만 추출하고인식은 그 후의 명령어만을 사용하였을 때와 비교했을 때 차이가 나지 않았기에 처리속도 향상을 위해서 호출 키워드를 제외한 명령어 부분만을 발화 검증시스템에서 사용하였다. 실험환경에 따른 화자확인 확률값은 표 3와 같이 나타났다.
제안한 방법은 호출 키워드의 정보를 바탕으로 식 (12)을 이용한 가변 신뢰도 문턱치를 사용하였다. 제안한 발화 검증 방법에 대한 인식결과는 호출 키워드를 포함하여 조사였을 때와 화자인식 부분에서 사용한 호출 키워드에서 화자에 대한 정보만 추출하고인식은 그 후의 명령어만을 사용하였을 때와 비교했을 때 차이가 나지 않았기에 처리속도 향상을 위해서 호출 키워드를 제외한 명령어 부분만을 발화 검증시스템에서 사용하였다.
그 다음 가변어휘 단어인식기를 통과한 입력 음성 파라메타에 대하여 호출키워드 부분만을 추출한다. 추출된 호출키워드 부분에 대하여 화자확인을 실시하며 호출 키워드에 대한 화자모델을 구성한다. 이 화자모델은 인증된 화자의 새로운 호출이 있을 때마다 적응을 하게 된다.
필러 모델은 화자의 발성 명령어 중에서 등록어를 제외한 부분을 흡수하기 위해 등록어를 제외한 음성부분이나 비음성 부분으로 구성하게 하였다. 필러 모델은 실제 핵심어 검출기의 성능향상에 큰 영향을 미치게 되므로 묵음(silence) 모델, 말더듬(hesitation) 모델, 핵심어 이외의 단어모델, 잡음(noise)모데 배경잡음 모델 등이 이에 포함된다.
대상 데이터
실제로 시스템에서 쓰이게 될 명령어들로 호출 키워드를 포함하는 200개를 “홈시스, 거실전등 켜'의 형태로 호출 키워드(Call-keyword) + 제어 아이템 +명령어”로 발성되어지도록 구성하여 만들었다. 미등록어 거절 기능의 알고리즘에서 문턱치를 결정하기 위해서 사용하는 테스트 데이터를 위해 200 명의 데이터를 사용하였고 성능 평가를 위한 평가데이터에는 나머지 100명의 데이터를 사용하였다. 음성이 입력되면 끝점 검출기를 통해 음성 구간만을 검출하게 되고 특징 추출과정을 거치게 된다.
이를 위해 ETRI의 PBW(Phonetically Balanced Words) 445DB를 사용하였고 43개의 문맥 독립 음소모델을 사용하였다. 본 논문에서 문맥 독립 음소 모델훈련에 사용한 PBW 445DB는 총 445개의 어휘로 구성이 되어 있고 남자 22명과 여자 19명이 445 어휘를 각각 2번씩 발성한 데이터로 구성이 되어 있다. 음성은 사무실 환경과 잡음 환경에서 이동기기 등에 내장되는 내장형 마이크를 사용하여 16Khz Mono로 녹음되고 16bit PCM 양자화를 사용하였다.
음성은 사무실 환경과 잡음 환경에서 이동기기 등에 내장되는 내장형 마이크를 사용하여 16Khz Mono로 녹음되고 16bit PCM 양자화를 사용하였다. 실험음성으로 300명의 성인 남성이 참가하였다. 사무실 환경은 일반 사무실보다는 좀 더 소음이 있는 상태였으며 대체로 50~55dB 정도의 소음을 나타내고 있었고, 잡음 환경은 사무실에서 오디오를 켜 놓고 근접한 위치에 마이크를 두고 65~75dB 정도의 소음환경 하에서 실험을 하였다.
한국어의 모든 음소를 정확하게 모델링하기 위해서는 다양한 환경에서 훈련데이터를 만들어야하고, 이를 음소모델에 잘 반영하기 위한 음소 모델 구조를 가져야한다. 이를 위해 ETRI의 PBW(Phonetically Balanced Words) 445DB를 사용하였고 43개의 문맥 독립 음소모델을 사용하였다. 본 논문에서 문맥 독립 음소 모델훈련에 사용한 PBW 445DB는 총 445개의 어휘로 구성이 되어 있고 남자 22명과 여자 19명이 445 어휘를 각각 2번씩 발성한 데이터로 구성이 되어 있다.
이론/모형
음성이 입력되면 끝점 검출기를 통해 음성 구간만을 검출하게 되고 특징 추출과정을 거치게 된다. 각트라이폰의 모델링은 CHMM(Continuous hidden markov model)을 사용하였는 데 3-state Left-to-Right 모델, 4가지 혼합밀도로 정의하였다. 훈련은 Baum-Welch 재추정 (forward-backward re-esti-mation)을 이용하였다.
초기에 호출 키워드를 5회 발성하면 DHMM(Discrete Hidden Markov Model)기반 화자모델이 생성되고, 추후 인증된 화자에 대해 화자의변화에 적응하기 위해서 또한, 화자 모델을 좀 더 강건하게 만들기 위해서 화자 적응 기법이 사용된다. 본 논문에서는 MAP 기법에 기초하여 화자의 변화에 적응하는 적응 기법을 사용하였다[9, 10].
각트라이폰의 모델링은 CHMM(Continuous hidden markov model)을 사용하였는 데 3-state Left-to-Right 모델, 4가지 혼합밀도로 정의하였다. 훈련은 Baum-Welch 재추정 (forward-backward re-esti-mation)을 이용하였다.
성능/효과
0의값을 사용하여 실험하였고 그 결과를 표에 나타내었다. 기존의 발화 검증 방법은 사무실내 잡음 환경에서는 CA와 CR이 최대78.12%, 69.35%로 나타났고, 일반 사무실 환경에서는 91.43%, 68.29%로 대체로 제안한 방법에 비하여 인식률이 떨어지는 것을 볼수 있었다. 기존의 방법으로도 조용한 환경에서는 어느 정도의 CA을 보장받을 수 있었으나 CR 성능은 잘 보여주지 못하였다.
호출 키워드를 통하여 화자 확인 확률값을 추출하여 발화 검증을 하게 되므로 한정된 인원이 사용하게 되는 홈 네트워크 시스템이나 네비게이션 시스템에서 인식 성능의 향상이 있음을 확인할 수 있었다. 기존의 발화 검증 시스템과 비교하였을 때 일반적인사무실 환경과 사무실내 잡음환경 하에서 CA와 CR 이 각각 향상되었다. 등록된 화자로 판별이 되었을 경우 낮은 화자확인 확률값으로 인해 가변 신뢰도 문턱 치가 낮아져 CA가 높게 나타나서 등록된 단어에 대한 인식률이 높았고, 미등록 화자로 판별이 되었을 때는 높은 화자확인 확률값으로 인해 가변 신뢰도 문턱치가 높아져 CR이 높아져서 미등록어에 대한 거절 기능이 향상됨을 확인할 수 있었다.
기존의 발화 검증 시스템과 비교하였을 때 일반적인사무실 환경과 사무실내 잡음환경 하에서 CA와 CR 이 각각 향상되었다. 등록된 화자로 판별이 되었을 경우 낮은 화자확인 확률값으로 인해 가변 신뢰도 문턱 치가 낮아져 CA가 높게 나타나서 등록된 단어에 대한 인식률이 높았고, 미등록 화자로 판별이 되었을 때는 높은 화자확인 확률값으로 인해 가변 신뢰도 문턱치가 높아져 CR이 높아져서 미등록어에 대한 거절 기능이 향상됨을 확인할 수 있었다.
있다. 등록된 화자의 확률값에 대하여 문턱치가거의 일치하였으며 미등록 화자의 경우 문턱치의 변화가 등록화자에 비해 큰 것을 확인할 수 있다. 문턱치가 낮을 수록 등록어휘를 제대로 승인할 확률인 CA가 높고 미등록어에 대한 거절률인 CR의 값이 낮음을 확인할 수 있고, 문턱치가 높아질수록 CA는 낮아지고 CRe 높아짐을 확인할 수 있다.
등록된 화자의 확률값에 대하여 문턱치가거의 일치하였으며 미등록 화자의 경우 문턱치의 변화가 등록화자에 비해 큰 것을 확인할 수 있다. 문턱치가 낮을 수록 등록어휘를 제대로 승인할 확률인 CA가 높고 미등록어에 대한 거절률인 CR의 값이 낮음을 확인할 수 있고, 문턱치가 높아질수록 CA는 낮아지고 CRe 높아짐을 확인할 수 있다.
본 논문에서 제안한 발화 검증방법은 CA와 CR이서로 상반되는 방향으로 인식률이 변화되어 일관성이 떨어지는 것을 확인하였다. 향후 과제로는 이러한 CAW} CR의 일관성이 결여되는 문제를 해결할 방법을 연구하고, 자연어 형태의 명령어 인식에 대한 미등록어 검출 성능 향상에 대한 연구가 이루어 져야하겠다.
본 논문에서는 이러한 가변어휘 단어 인식기의 요구사항을 충족시키기 위한 방법으로 네비게이션 기기나 홈 네트워크시스템 등을 호출할 때 사용하는 호출 키워드 (call_keyword)에 대하여 화자확인 방식을 적용하는 방법을 제안하였다. 인식된 호출키워드에서 유도된가중치를 사용하여 인식대상이 되는 단어들을 발화검증하는 방법을 제안하였으며 실험결과 기존의 등록된 단어 외에 새로운 단어가 추가되어도 패널티조정 등의 추가적인 변화가 없이 거절율과 인식률이 사무실환경이나 잡음 환경에서도 모두 개선됨을 확인하였다. 또, 화자확인시 등록자에 대하여 적용되는 가중치로 인해 시스템의 인식성능이 잡음환경 하에서도 증가하였는 데, 이는 등록된 화자에 대해서는 새로운 환경에 대한 모델링 의 요구가 줄어들기 때문에 사용 환경이 계속적으로 변하는 자동차 환경에서는 더 큰 장점이 될 수 있다.
을 조성하여 실험한 결과는 나타내었다. 잡음 환경에서도 문턱치가 낮을 수록 등록어휘를 제대로 승인할확률인 CA가 높고 미등록어에 대한 거절률인 CR의 값이 낮음을 확인할 수 있고, 문턱치가 높아질수록 CA는 낮아지고 CRe 높아짐을 확인할 수 있다. 그림 6의 실험결과 차트에서 화자인식 시스템의화자 확률값이 발화검증에 어떻게 영향을 미치는 지확인할 수 있었다.
제안한 가변 문턱치는 화자 인식 시스템을 음성인식 시스템과 통합 운용시킴으로써 환경변화에 적응하도록 신뢰도 문턱치를 변화시키게 되어, 미등록어 거절기능을 향상시킬 뿐 아니라, 잡음환경 하에서 등록어 임에도 불구하고 거절하는 오류까지도 감소시킬 수 있다.
즉, 화자가 호출 키워드를 발성하지 않은 상태에서 제어 명령어를 발성하여도 이는 인식되지 않게 되며 이 때문에 뜻하지 않는 상황에서의 오작동이나 미등록어에 대한 잘못된 인식을 방지할 수 있다. 호출 키워드를 통하여 화자 확인 확률값을 추출하여 발화 검증을 하게 되므로 한정된 인원이 사용하게 되는 홈 네트워크 시스템이나 네비게이션 시스템에서 인식 성능의 향상이 있음을 확인할 수 있었다. 기존의 발화 검증 시스템과 비교하였을 때 일반적인사무실 환경과 사무실내 잡음환경 하에서 CA와 CR 이 각각 향상되었다.
후속연구
떨어지는 것을 확인하였다. 향후 과제로는 이러한 CAW} CR의 일관성이 결여되는 문제를 해결할 방법을 연구하고, 자연어 형태의 명령어 인식에 대한 미등록어 검출 성능 향상에 대한 연구가 이루어 져야하겠다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.