선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 기존의 초음파 음성 합성 방법이 단일채널 초음파 신호만을 사용한 것과 비교하여, 본 연구에서는 4채널 초음파 신호를 이용, 다양한 방향에서 수신되는 초음파 신호를 이용하여 음성을 합성하였다. 본 논문에서는 음성 합성에 앞서서 초음파 도플러 신호와 음성 신호간의 상관성을 정량적으로 분석하였으며, 이로부터 음성 합성의 가능성을 살펴보았다. 음성 합성의 유효성은 음성 파라메터의 왜곡을 이용한 객관적 검증과 청취테스트를 통한 주관적인 검증을 통해 확인하였다.
- 기존 연구는 모두 영어를 대상으로 하였는데 본 연구에서는 한국어 음소를 골고루 포함하는 60개의 한국어에 대해 음성합성 실험을 수행하였다. 이로부터 초음파 도플러 기반 음성 합성 방법이 한국어에 적용 가능 여부를 살펴보았다. 기존의 초음파 음성 합성 방법이 단일채널 초음파 신호만을 사용한 것과 비교하여, 본 연구에서는 4채널 초음파 신호를 이용, 다양한 방향에서 수신되는 초음파 신호를 이용하여 음성을 합성하였다.
- 한국어 음성에 대한 초음파 도플러 기반 음성 합성 결과를 제시하였다. 제안된 초음파 도플러 기반 음성합성 방법은 비교적 저렴한 비용으로 구현이 가능하며, 기존 마이크로폰을 이용한 음성 취득 방식과 비교하여 주변 잡음의 영향을 덜 받고, 속삭임 (whispering)과 같은 작은 목소리만으로 상대방에게 의사 전달이 가능한 방법이다.
제안 방법
- Correct word identification ratios for each speaker, for each method (EMG:EMG-to-Speech, ADS+Pulse excitation: Acoustic Doppler–to-Speech using pulse excitation, ADS+Natural excitation: Acoustic Dopplerto-Speech using natural excitation).
- 기존 연구는 모두 영어를 대상으로 하였는데 본 연구에서는 한국어 음소를 골고루 포함하는 60개의 한국어에 대해 음성합성 실험을 수행하였다. 이로부터 초음파 도플러 기반 음성 합성 방법이 한국어에 적용 가능 여부를 살펴보았다.
- 이로부터 초음파 도플러 기반 음성 합성 방법이 한국어에 적용 가능 여부를 살펴보았다. 기존의 초음파 음성 합성 방법이 단일채널 초음파 신호만을 사용한 것과 비교하여, 본 연구에서는 4채널 초음파 신호를 이용, 다양한 방향에서 수신되는 초음파 신호를 이용하여 음성을 합성하였다. 본 논문에서는 음성 합성에 앞서서 초음파 도플러 신호와 음성 신호간의 상관성을 정량적으로 분석하였으며, 이로부터 음성 합성의 가능성을 살펴보았다.
- 40 kHz 초음파 신호는 함수발생기(33250A, Agilent, USA).를 사용하여 발생시켰으며 4개의 초음파 센서에서 수신된 각 신호 및 마이크로폰에서 취득된 음성 신호를 동시에 디지털 값으로 변환하기 위해 다채널 오디오인터페이스(Fireface 800, RME, Germany) 를 사용하였다. 초음파 신호 및 음성 신호 모두 샘플링 주파수는 192 kHz, 양자화 비트수는 16비트로 설정하였으며 각 채널 이득은 동일하게 맞추었다.
- 변환 규칙을 이용하여 얻어진 LPC켑스트럼 계수를 이용하여 음성을 합성하고 합성음을 평가하였다. 청취 가능한 음성을 합성하기 위해서는 추정된 LPC 켑스트럼 외에 선형예측 잔차 신호(Linear Prective residual; LP-residual) 신호가 필요하다.
- 청취 가능한 음성을 합성하기 위해서는 추정된 LPC 켑스트럼 외에 선형예측 잔차 신호(Linear Prective residual; LP-residual) 신호가 필요하다. 본 논문에서는 유성음 구간에서는 주기적인 임펄스 열, 무성음 구간에서는 백색 잡음을 여기신호로 사용하거나 본래의 음성에서 얻어진 선형예측 잔차 신호(natural excitation)을 그대로 사용하여 음성을 합성하였다.
- 초음파 도플러를 이용한 방법은 비접촉식 방법의 장점을 지니면서 소형, 휴대가 간편하고 저렴한 가격으로 제작이 가능하다. 본 논문에서는 초음파센서를 이용하여 무 음성 인터페이스를 구현하였다.
- 초음파 도플러 신호를 음성신호로 변환하기에 앞서, 두 신호간의 상관관계를 분석하였다. 상관 분석시 초음파 신호는 II장에서 제시한 필터뱅크 에너지 값과 델타 값을 특징 변수를 사용하였다. 음성 신호는 주파수별로 상관관계를 살펴보기 위해 푸리어 변환 후 각 멜밴드의 에너지 값을 특징 변수로 사용하였다.
- 이 중 30개는 변환규칙을 생성하는데 사용하고, 나머지 20개는 테스트에 사용하였다. 신호 취득은 비교적 조용한 환경에서 제작된 취득 장치를 이용하여 초음파 신호와 음성 신호를 동시에 취득하였다.
- 상관 분석시 초음파 신호는 II장에서 제시한 필터뱅크 에너지 값과 델타 값을 특징 변수를 사용하였다. 음성 신호는 주파수별로 상관관계를 살펴보기 위해 푸리어 변환 후 각 멜밴드의 에너지 값을 특징 변수로 사용하였다. 사용된 상관계수는 아래와 같다.
- 음성 합성을 위한 다양한 파라메터로 본 논문에서는 LPC 켑스트럼 계수(LPC Cpetrum Coefficient, LPCC), 쌍선형 계수(Line Spectrum Pair, LSP), 멜켑스트럼계수(Mel Cepstral Coefficients, MCC)가 사용되었으며, 각 파라메터에 대한 객관적인 성능을 비교, 평가하고 가장 우수한 성능을 나타내는 파라메터를 선택하여 합성음을 생성하는데 사용하였다.
- 본 논문에서는 음성 합성에 앞서서 초음파 도플러 신호와 음성 신호간의 상관성을 정량적으로 분석하였으며, 이로부터 음성 합성의 가능성을 살펴보았다. 음성 합성의 유효성은 음성 파라메터의 왜곡을 이용한 객관적 검증과 청취테스트를 통한 주관적인 검증을 통해 확인하였다.
- 한국어 음성에 대한 초음파 도플러 기반 음성 합성 결과를 제시하였다. 제안된 초음파 도플러 기반 음성합성 방법은 비교적 저렴한 비용으로 구현이 가능하며, 기존 마이크로폰을 이용한 음성 취득 방식과 비교하여 주변 잡음의 영향을 덜 받고, 속삭임 (whispering)과 같은 작은 목소리만으로 상대방에게 의사 전달이 가능한 방법이다. 이러한 특정을 이용하여 주변 사람들에게 피해를 주지 않는 새로운 음성 인터페이스의 구현이 가능할 것으로 기대된다.
- 초음파 도플러 신호를 음성신호로 변환하기에 앞서, 두 신호간의 상관관계를 분석하였다. 상관 분석시 초음파 신호는 II장에서 제시한 필터뱅크 에너지 값과 델타 값을 특징 변수를 사용하였다.
대상 데이터
- 초음파 도플러 신호를 이용한 음성 합성 기법의 유효성을 검증하기 위하여 Table 2에 제시된 60개 한국어 고립어에 대해 실험을 수행하였다. 실험은 5명의 피실험자(남성 5명M1-M4, 여성 1명F, 모두 20대) 로부터 각 단어 당50회 반복 취득하였다. 이 중 30개는 변환규칙을 생성하는데 사용하고, 나머지 20개는 테스트에 사용하였다.
- 5의 왼쪽에 제시하였다. 음성을 동시 취득하기 위해 가청주파수 대역의 마이크로폰(AKG880, AKG, Austria)이 사용되었으며, 각 센서와 레이저 포인터 및 마이크로폰은 별도 제작된 홀더를 이용하여 Fig. 5의 오른쪽 사진과 같이 배치하였다. 이러한 배치는 수차례의 실험을 통해 상관계수가 가장 크게 나타나는 경우를 경험적으로 찾은 것이다.
- 실험은 5명의 피실험자(남성 5명M1-M4, 여성 1명F, 모두 20대) 로부터 각 단어 당50회 반복 취득하였다. 이 중 30개는 변환규칙을 생성하는데 사용하고, 나머지 20개는 테스트에 사용하였다. 신호 취득은 비교적 조용한 환경에서 제작된 취득 장치를 이용하여 초음파 신호와 음성 신호를 동시에 취득하였다.
- 본 논문에서 사용된 주관적 척도인 인식율은 합성음을 청취자에게 들려주 었을 때, 올바르게 인식된 단어수를 전체 단어수로 나눈 값(%)이다. 청취테스트에는 15명의 정상청력을 가진 피 실험자가 참여하였으며, 일부 참가자는 이전에 유사한 실험에 참여한 경험이 있었다. 결과를 살펴보면 실제 LP-residual을 사용한 경우 근전도를 이용한 합성방법에 비해 모든 화자의 음성에 대해 우수한 성능을 나타내었다.
- 초음파 도플러 신호를 이용한 음성 합성 기법의 유효성을 검증하기 위하여 Table 2에 제시된 60개 한국어 고립어에 대해 실험을 수행하였다. 실험은 5명의 피실험자(남성 5명M1-M4, 여성 1명F, 모두 20대) 로부터 각 단어 당50회 반복 취득하였다.
- 초음파 신호의 방사를 위한 센서로 40 kHz의 중심 주파수를 갖는 소형 초음파트랜스듀서(AW8TR40, Audiowell, China, 음압레벨115 dB)가 사용되었고 수 신용으로는 광대역 특성을 갖는 초소형 MEMS 센서 (SPM0404UD5, Knowles Acoustic, Japan)를 사용하였다. 수신감도는 –47 dB (10 kHz ~ 65 kHz)이며 수신부에 사용된 센서의 사진을 Fig.
이론/모형
- [5]에 의해 제안된 GMM 기반의 궤적 변환 기법을 초음파 특징 변수와 음성 특징 변수간의 변환 규칙을 생성하는데 사용하였다. 앞 절의 실험결과에 따르면 인접된 특징 변수도 함께 고려할 때 초음파 신호와 음성 신호 간 상관관계가 증가하는 것을 알 수 있었다.
- 기존의 초음파 도플러를 이용한 음성합성 기법에서는 초음파 신호에 대한 특징변수로 음성 신호의 특징 변수로 널리 사용되는 멜 주파수 켑스트럼 계수(mel-frequency cepstral coefficient)가 사용되었다.[11]켑스트럼 계수는 인간의 청각 특성을 반영한 멜 주파수 대역별 에너지 값을 이산 여현 변환(discrete cosine transform)하여 얻는다.
- 모델 λ를 구성하는 각 파라메터들은 학습데이터를 이용하여 EM-알고리즘을 이용하여 얻을 수 있다.
성능/효과
- [6-8]에 의해 진행되었다. 결과를 살펴보면 간단한 손동작은 평균 88.4 %, 보행패턴을 인식하는 경우 91.7 %의 인식율이 얻어지는 것으로 보고되어 기존의 영상기반 동작인식 방법을 대치할 수 있는 가능성을 보여주었다. 이러한 연구 결과에 힘입어 초음파 도플러를 이용해 음성을 인식하고자 하는 연구가 Srinivasan et al.
- 청취테스트에는 15명의 정상청력을 가진 피 실험자가 참여하였으며, 일부 참가자는 이전에 유사한 실험에 참여한 경험이 있었다. 결과를 살펴보면 실제 LP-residual을 사용한 경우 근전도를 이용한 합성방법에 비해 모든 화자의 음성에 대해 우수한 성능을 나타내었다. 청취자들은 초음파를 통해 합성된 음성이 상대적으로 잡음이 적고, 자음 부분이 좀 더 명료하게 들려 전반적으로 음질이 우수하다는 의견을 표시하였다.
- 모든 실험자에 대한 평균값을 살펴보면 LPC 켑스트럼계수가 평균 거리 감소율 및 스펙트럼 왜곡에 있어서 가장 우수한 성능을 나타내었다. 또한 표준 편차값도 LPC 켑스트럼이 가장 작게 나타나 화자 간 변환 성능 차이 면에서도 우수한 파라메터임을 알 수 있다.
- 7 이상의 높은 상관관계를 가짐을 알 수 있다. 또한 화자별 고유 음색과 관련이 있는 4 kHz의 고주파 대역에서도 높은 상관값을 보였는데, 이는 화자 고유 특성과 초음파 도플러신호 간에도 높은 상관성이 존재하여, 초음파 도플러를 이용해 음성을 합성할 경우, 화자의 음색도 유지될 수 있음을 의미한다.
- Table 3에 피 실험자별 평균거리 감소율과 평균 스팩트럼 왜곡을 음성 파라메터별로 제시하였다. 모든 실험자에 대한 평균값을 살펴보면 LPC 켑스트럼계수가 평균 거리 감소율 및 스펙트럼 왜곡에 있어서 가장 우수한 성능을 나타내었다. 또한 표준 편차값도 LPC 켑스트럼이 가장 작게 나타나 화자 간 변환 성능 차이 면에서도 우수한 파라메터임을 알 수 있다.
- 유/무성음 구간에 따라 주기적인 임펄스 열과 백색잡음을 사용한 경우는 잔차 신호를 사용한 경우와 비교하여 모든 화자에 걸쳐 성능저하가 관찰되었으며, 근전도 음성합성 기법과 비교하여 약간 우수하거나(M1, M2, M3), 저하된 인식율을 나타내었다(M4, F). 이는 LP-잔차 신호에도 성도전달함수의 특성이다수 포함되어 잔차 신호를 사용하여 합성된 음성의 인식율이 증가된 것에 원인이 있는 듯하다.
- 결과를 살펴보면 실제 LP-residual을 사용한 경우 근전도를 이용한 합성방법에 비해 모든 화자의 음성에 대해 우수한 성능을 나타내었다. 청취자들은 초음파를 통해 합성된 음성이 상대적으로 잡음이 적고, 자음 부분이 좀 더 명료하게 들려 전반적으로 음질이 우수하다는 의견을 표시하였다.
- 테스트결과를 살펴보면, 모음에 대해서는 대체로 높은 인식율(96 %)을 보이는 반면, 초성자음에 대해서는 낮은 인식율(82 %)을 나타내어 초성자음의 합성음 품질이 인식율에 주된 영향을 끼치는 것으로 관찰되었다. 이는 유성자음(예: “바람”을 “사람”으로, “근세”를 “뜬세”로 인식)과 무성자음(예:“찌게”를 “희게”로, “틀”을 “풀”로 인식)의 구분 없이 공통적으로 나타내어 초성자음에 대한 음질 향상이 요구된다고 판단된다.
- 표에서 N-Neighboring 은 현재 특징벡터를 중심으로 좌, 우 N개의 특징벡터를 포함시킨다는 것을 의미하며 따라서 N = 8인 경우 좌, 우 각각 4개의 특징벡터를 포함하여 새로운 특징벡터를 구성함을 나타낸다. 표에서 보면 동적인 특성을 반영하지 않고 필터뱅크에너지 단독으로 사용한 경우 상관 값은 작고 표준편차는 큰 것으로 나타났으며, 인접된 값을 많이 포함시킬 수 록, 상관 값이 증가됨을 알 수 있다. 따라서 되도록 다수의 인접 특징 벡터를 포함시키는 것이 합성음이 실제 음성과 가까워질 것으로 판단된다.
후속연구
- 본 논문에서는 한국어 고립어에 대한 실험을 수행하고 성능을 평가하였는데, 보다 실용적이 되기 위해서는 기본주파수, 여기신호와 같은 음성 변수들을 어떻게 추정할 것인지에 대한 연구가 추후에 진행되어야 할 것으로 판단된다.
- 제안된 초음파 도플러 기반 음성합성 방법은 비교적 저렴한 비용으로 구현이 가능하며, 기존 마이크로폰을 이용한 음성 취득 방식과 비교하여 주변 잡음의 영향을 덜 받고, 속삭임 (whispering)과 같은 작은 목소리만으로 상대방에게 의사 전달이 가능한 방법이다. 이러한 특정을 이용하여 주변 사람들에게 피해를 주지 않는 새로운 음성 인터페이스의 구현이 가능할 것으로 기대된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.