선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 새로이 제안되고 있는 다단계 음성인식에 대하여 실험하였다. 다단계 베이스라인 음성인식기에서는 음소인식기에서 최적의 음소 열을 lexical 인식기에 전달한다.
- 본 논문에서는 이와 같은 다단계 인식방법의 문제점을 극복하기 위해 음소 인식기에서 lexical 인식기로 전달하는 특징벡터를 각 음소 구간에서의 신뢰도 벡터로 사용하는 것을 제안하였다. 음소인식기의 최적 음소 열 대신에 신뢰도 벡터 열을 lexical 인식기에 전달할 경우 lexical 인식기에서 바라보는 특징벡터의 정보가 더 늘어나게 되어, 더욱 정확한 인식을 할 수 있게 된다.
제안 방법
- 음소인식기의 메모리 최적화 작업은 탐색 단계에서 정적으로 고정되는 탐색 네트워크 관련 정보를 바이너리 이미지 형태로 미리 만드는 작업과 변수들을 관리하는데 있어 인덱스만을 사용하는 방법을 통해 이루어 졌다. 고속화를 위흐H서 해당 state의 Gaussian 중에서 입력된 특징벡터와 가장 가까운 하나의 Gaussian만을 사용하여 유사도 계산을 수행한다.
- 식 (2)는 신뢰도 벡터 f가 음소 p일 비용을 정의한다. 음소 p에 대한 평균적 신뢰도 분포를 가중치 벡터 的로 정의하고, 이를 모든 원소에 대해 신뢰도 벡터와 가중치 합 계산을 수행한다. 식 (2)의 비용(cost)은 DTW 방식의 lexical 탐색에서의 치환 오류 경로의 비용(cost)으로써 사용되어 진다.
- 음소 열 기반 다단계 음소인식 방법에서와 다르게 본 논문에서 제안하는 신뢰도 기반 다단계 음성인식 방법은 음소구간(segment)에서 음소들의 신뢰도를 언어적 탐색 단계의 특징벡터로 사용한다. 신뢰도 기반 다단계 음소인식 방법은 음소 구간에 대해 1개의 음소 인덱스를 전달하는 대신에 음소들의 신뢰도 벡터를 전달하기 때문에 lexical 탐색단계에서 사용하는 정보가 늘어나게 되고, 음성인식 성능이 환경적 요인에 더욱 강인해 질 수 있게 된다.
- 사용되는 확률모델이기 때문에 lexical 모델이라고 부르겠다. 음소 오류 모델 훈련은 주어진 음소 오류 모델 훈련 DB에 대해서 음소인식을 수행하고, 음소 인식 결과를 바탕으로 훈련을 수행한다.
- 기존의 다단계 음성인식 방법에서는<그림 3>에서의 음소 열 “a b d c”가 특징 데이터로 사용되어 lexical 탐색을 수행한다. 음소인식 결과 음소 열과 미리 훈련된 음소 오류 모델을 기반으로 참조 단어의 음소 열과의 정렬 비용을 계산하여 탐색을 수행한다.
- 수행한다. 이때 음소의 치환 오류 확률을 모델링하는 lexical 모델을 사용하여 탐색을 수행한다. Lexical 탐색은 dynamic time warping (DTW) 방식으로 구현하였다.
- 음소 열 정렬을 수행하면 주어진 참조 음소에 대해 음소인식기가 다른 음소로 오인식되는 치환 오류, 특정 참조 음소가 음소인식 결과에서 나타나지 않는 삭제 오류, 음소 인식 결과 중 특정 음소가 추가로 관측되는 삽입 오류의 3가지 오류를 관측할 수 있다. 이와 같은 3가지 오류를 모든 훈련 DB에 대해서 누적하고, 누적된 경우의 수로 부터 각 오류 유형의 확률을 계산한다. 음소 오류 확률 모델이 업데이트되면 DTW를 통한 음소 열 정렬 과정에 음소 오류 확률 모델을 적용하여 더욱 정확한 음소 열 정 렬을 수행하게 된다.
- 이와 같은 음소 천이 제한 조건이 존재하더라도 실제로 음소인식 실험을 수행할 경우 음소들의 삽입 오류가 많이 발생하게 된다.이와 같은 삽입 오류를 조절하기 위하여 phone insertion penalty (PIP)를 정의하여 음소 천이 시에 penalty 값으로 적용하였다. 정의한 PIP 값에 따라 음소 인식률 차이가 발생하여<표 1>에서와 같이 여러 PIP 값에 대해 실험을 수행하였다.
- 음소 오류 확률 모델이 업데이트되면 DTW를 통한 음소 열 정렬 과정에 음소 오류 확률 모델을 적용하여 더욱 정확한 음소 열 정 렬을 수행하게 된다. 이와 같이 음소 열 정렬과 음소 오류 모델 업 데 이 트를 반복적으로 수행함으로써 음소 오류 모델 훈련을 수행한다.
- 음성신호가 입력될 경우 음소 인식기에서 end-point detection (EPD)과 특징추출이 이루어지고, 음향학적 탐색 단계인 음소 인식을 수행한다. 이후 언어적 탐색단계인 lexical 인식기에서 음소인 식기에서 출력하는 음소 열을 기반으로 단어인식 또는 연결단어 인식을 수행한다.
- 정의한 PIP 값에 따라 음소 인식률 차이가 발생하여에서와 같이 여러 PIP 값에 대해 실험을 수행하였다.
- 제한한 방법의 성능을 검증하기 위해 고립단어 인식실험과 finite state network (FSN) 기반 연결단어 인식실험을 수행하였다. POI 인식 실험은 22만 어휘 POI를 인식 대상으로 한다.
대상 데이터
- 기반 연결단어 인식실험을 수행하였다. POI 인식 실험은 22만 어휘 POI를 인식 대상으로 한다. 평가데이터는 7명의 화자로 부터 수집한 총 693 발화이다.
- 본 논문에서 제안하는 신뢰도 벡터 기반 다단계 음성인식은 음소인식 결과의 음소 열 대신에 특징 벡터 열을 lexical 탐색단계의 특징 데이터로 사용한다. 음성 파형에 대한 음소구간과 음소인식 결과 음소 열, 해당 음소 구간에서의 각 음소의 확률 벡터의 예를<그림 3>에 나타내었다.
- 식 (1)에서 i, J는 각 음소의 인덱스를 나타내고 Ne 정의된 음소의 개수를 의미한다. 본 논문에서는 한국어 음소를 묵음이 포함된 46개 음소로 정의하여 사용하였다. 각 단계를 간단히 보이면<그림 2그와 같다.
- 음향 모델 훈련은 실주행 차량환경에서 수집한 텔레매틱스 음성 DB를 사용하였다. 텔레메틱스 음성 DB는 ETRI에서 배포하는 2004년도, 2005년도 자동차 환경에서의 음성명령어 및 정보 검색용 대화체 문장 DB이다.
- Open 실험을 위하여 N-fold 평가 실험을 수행하였다. 즉, 7명의 화자 음성파일 중, 6명의 음성파일로 부터 lexical 모델을 훈련하고, 나머지 1명의 음성파일로 평가실험을 수행하였다. 이와 같은 방식으로 총 7번 실험을 수행하였다.
- POI 인식 실험은 22만 어휘 POI를 인식 대상으로 한다. 평가데이터는 7명의 화자로 부터 수집한 총 693 발화이다. 평가데이터는 POI 22만 어휘 중 임의의 100개의 어휘를 발성한 것이다.
- 평가데이터는 7명의 화자로 부터 수집한 총 693 발화이다. 평가데이터는 POI 22만 어휘 중 임의의 100개의 어휘를 발성한 것이다. 각 음성신호는 위너 (Wiener) 잡음처리를 수행하였다.
데이터처리
- Open 실험을 위하여 N-fold 평가 실험을 수행하였다. 즉, 7명의 화자 음성파일 중, 6명의 음성파일로 부터 lexical 모델을 훈련하고, 나머지 1명의 음성파일로 평가실험을 수행하였다.
- 기존의 음소 열을 특징으로 사용하는 다단계 음성인식 방법과 제안한 신뢰도 벡터를 특징벡터로 사용하는 다단계 음성인식 방법의 성능 차이를 자세히 관찰하기 위하여 N-Best 인식결과에 대해서 비교 분석을 수행하였다.
- Lexical 인식기에서의 lexical 모델을 위한 훈련 셋이 필요하게 된다. 주어진 평가 DB가 적은 관계로 기본적인 실험은 closed 평가실험을 하였다. Closed 실험은 인식하고자 하는 7명의 발화로 부터 lexical 모델을 훈련하는 것이다.
이론/모형
- 음소인식 단계의 음향모델은 일반적 인 음성 인식 기의 음향모델을 사용한다. ETRI 음소인식 기에서는 triphone 기반음소인식기를 사용하였다[1]. 음소인식기는 휴대용 단말기에서도 동작할 수 있도록 메모리와 계산량 측면에서 최적화 작업을 수행하였다.
- 이때 음소의 치환 오류 확률을 모델링하는 lexical 모델을 사용하여 탐색을 수행한다. Lexical 탐색은 dynamic time warping (DTW) 방식으로 구현하였다.
- 평가데이터는 POI 22만 어휘 중 임의의 100개의 어휘를 발성한 것이다. 각 음성신호는 위너 (Wiener) 잡음처리를 수행하였다.
- 음소구간과 신뢰도 벡터추출 과정의 음소인식기는 앞에서와 동일하게 triphone 기반 음소인식기를 사용하였다. triphone 기반 음소인식기에서의 신뢰도의 정의는 center-phone이 동일한 모든 triphone 중에서 가장 유사도 확률이 좋은 음소를 해당 center-phone의 대표 음소로 선택하여 식 (1)에 적용하여 계산하였다.
- 다단계 음성인식의 구조도는<그림 1>과 같다. 음소인식 단계의 음향모델은 일반적 인 음성 인식 기의 음향모델을 사용한다. ETRI 음소인식 기에서는 triphone 기반음소인식기를 사용하였다[1].
- 음소인식기는 MFCC를 특징으로 하고, triphone을 음향모델로 사용하였다. 음향 모델 훈련은 실주행 차량환경에서 수집한 텔레매틱스 음성 DB를 사용하였다.
성능/효과
- 실험결과를 보면 제안한 신뢰도 벡터 방식의 다단계 음성인식 방법이 N-Best 결과에서 성능차이는 더욱 더 벌어지고 있는 것을 확인할 수 있었다. 2~5 Best 결과에서 3-4% 가량의 성능향상을 얻을 수 있었다.
- N-fold 방식의 평가이기 때문에의 closed 평가 실험에 비해 성능이 저하되는 것을 확인할 수 있었다.
- <그림 4>에서 X축은 N-best를 의미하고, y축은 closed 평가에 대해 N-fold 평가에 의한 성능저하 %를 나타낸다. 각 N-best 성능을 살펴보면 음소 열 방식에 비해 성능저하 폭이 1/4 이하인 것을 확인할 수 있었다.
- N-fold 방식의 평가이기 때문에<표 2>의 closed 평가 실험에 비해 성능이 저하되는 것을 확인할 수 있었다. 그러나 제안한 방식의 성능 저하는 음소 열을 특징벡터로 사용하는 다단계 인식기에 비해 성능저하 정도가 적은 것을 알 수 있다. 두 방식의 성능저하 정도를<그림 4>에 나타내었다.
- 점유 메모리량은 동적, 정적 메모리를 합한 것으로 정적 메모리는 약간 증가하지만, 동적 메모리가 감소하였다. 속도 측면에서 신뢰도 벡터 추출 과정이 추가되어 계산량이 늘어나지만 lexical 탐색 단계에서 활성 노드의 개수가 약 1/10로 줄어들어 전체적인 인식속도가 향상되는 것을 확인하였다. 이와 같이 활성 노드의 개수가 줄어들면서 인식 성능이 향상되는 것으로 부터 lexical 탐색단계에서의 특징 벡터로서 신뢰도 벡터가 음소 열보다 더욱 변별력이 강한 특징인 것을 알 수 있었다.
- 각 실험은<표 1>의 실험에서 최고의 성능을 낸 PIP 값을 사용하여 실험을 수행한 것이다. 실험결과를 보면 제안한 신뢰도 벡터 방식의 다단계 음성인식 방법이 N-Best 결과에서 성능차이는 더욱 더 벌어지고 있는 것을 확인할 수 있었다. 2~5 Best 결과에서 3-4% 가량의 성능향상을 얻을 수 있었다.
- <표 1>에서 보는 것과 같이 제안한 신뢰도 벡터를 특징벡터로 사용하는 다단계 음성인식 방식이 최고 성능으로 0.9% 가량 더 좋았으며, PIP의 변화에 비교적 무관하게 좋은 성능을 내는 것을 확인할 수 있었다.
- 와에서의 결과로 부터 lexical 인식단계에서 음소 열만을 특징 벡터로 사용하는 것에 비해, 각 음소구간에서의 음소들의 신뢰도 벡터를 전달받는 경우의 다단계 음성인식기가 더욱 우수한 것을 확인하였다.
- 반면 본 논문에서는 음소인식기에서 음소 구간에서의 각 음소의 신뢰도 벡터를 lexical 인식기에 전달한다. 이와 같이 음소인식기와 lexical 인식기 사이의 정보량을 확대함으로써 N-best 성능과 N-fold 성능에서 성능향상을 얻을 수 있었고 보다 강인한 성능을 나타내었다.
- 속도 측면에서 신뢰도 벡터 추출 과정이 추가되어 계산량이 늘어나지만 lexical 탐색 단계에서 활성 노드의 개수가 약 1/10로 줄어들어 전체적인 인식속도가 향상되는 것을 확인하였다. 이와 같이 활성 노드의 개수가 줄어들면서 인식 성능이 향상되는 것으로 부터 lexical 탐색단계에서의 특징 벡터로서 신뢰도 벡터가 음소 열보다 더욱 변별력이 강한 특징인 것을 알 수 있었다.
- 신뢰도 벡터 기반의 다단계 음성인식 방법은 음소인식기를 음소 구간 검출과 신뢰도 벡터 추출에 사용하기 때문에 메모리 요구량이 약간 증가하게 된다. 점유 메모리량은 동적, 정적 메모리를 합한 것으로 정적 메모리는 약간 증가하지만, 동적 메모리가 감소하였다. 속도 측면에서 신뢰도 벡터 추출 과정이 추가되어 계산량이 늘어나지만 lexical 탐색 단계에서 활성 노드의 개수가 약 1/10로 줄어들어 전체적인 인식속도가 향상되는 것을 확인하였다.
- 이 결과는 N-fold의 open 평가 실험에서도 일관되게 나타나고 있다. 즉 음소인식기에서 lexical 인식기로 더욱 많은 정보를 전달한 경우에 전체적으로 인식률 향상을 얻을 수 있었으며, 또한 음성인식기 성능도 더욱 강인해지는 것을 확인할 수 있었다.
후속연구
- 일반적인 MAP 기반 적응방법을 도입할 수 있을 것이다. 이와 같은 적응을 통해 실제 서비스될 수 있는 음성인식 엔진으로의 가능성을 높여줄 것이다.
- 제안한 다단계 음성인식은 lexical 모델이 신뢰도 벡터의 분포로서 모델링 되기 때문에 일반적인 MAP 기반 적응방법을 도입할 수 있을 것이다. 이와 같은 적응을 통해 실제 서비스될 수 있는 음성인식 엔진으로의 가능성을 높여줄 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.