초록 ▼

음성 정보를 이용하여 음성을 시각화하는 문제는 많은 응용 분야를 가진 중요한 연구 주제이다. 예를 들면, 외국어 발음 학습이나 청각 장애인의 언어 학습 시 자신이 발화한 발음에 대해 시각적 또는 청각적 피드백을 받지 못하기 때문에 언어 학습에 어려움을 겪는다. 본 연구에서는 영상 장비를 사용하지 않고 발화된 음성 정보만을 이용하여 발성 기관을 시각화하고자 한다. 즉, 화자가 발성했을 때 소리 정보만을 이용하여 그 음성을 발화할 때의 혀, 성도, 비강 등의 조음 기관 및 입술 모양 등을 추정하여 시각적으로 보여주는 음성시각화 알고리즘

음성 정보를 이용하여 음성을 시각화하는 문제는 많은 응용 분야를 가진 중요한 연구 주제이다. 예를 들면, 외국어 발음 학습이나 청각 장애인의 언어 학습 시 자신이 발화한 발음에 대해 시각적 또는 청각적 피드백을 받지 못하기 때문에 언어 학습에 어려움을 겪는다. 본 연구에서는 영상 장비를 사용하지 않고 발화된 음성 정보만을 이용하여 발성 기관을 시각화하고자 한다. 즉, 화자가 발성했을 때 소리 정보만을 이용하여 그 음성을 발화할 때의 혀, 성도, 비강 등의 조음 기관 및 입술 모양 등을 추정하여 시각적으로 보여주는 음성시각화 알고리즘을 연구하였다.
음성의 시각화를 위해서는 입력된 소리 신호 중에서 잡음을 제외한 음성 부분에 대해서만 시각화를 하기 위해서 음성 구간을 정확히 검출하여야 한다. 검출된 음성은 폐에서 발생하여 입을 통해 발성될 때까지 어떤 형태의 터널을 통과했는지 성도 모델링을 통해 예측한다. 음성을 이용한 기존의 성도 면적 추정기법은 사람의 성도를 무손실 음향 튜브로 가정하고 단면적만을 추정하였다. 이러한 기존 방법은 성도의 모양을 심하게 단순화시킨다는 문제점 외에도 서로 다른 두 소리에 대해서도 유사한 성도 모양으로 추정할 가능성이 있는 등 정확성이 떨어지는 단점이 있다. 이러한 단점을 보완하기 위해 본 연구에서는 음성인식 기술을 적용하였다. 즉, inverse　filter 기법을 통해 성도를 구간마다 면적이 다른 음향 튜브 모델을 연속적으로 나열한 비균일 모델로 가정하여 각 튜브들의 단면적을 계산하여 성도의 면적을 추정하였다.
그리고 발화된 모음의 포먼트를 측정하고 모음 특유의 포먼트 주파수를 이용하여 발성된 모음의 혀의 위치, 그리고 입술 모양을 추정하였다. 또한, 음성 인식을 이용하여 발성된 음성이 코를 통해 발성된 비음인지, 혀를 경구개에 붙이고 발성된 파찰음인지 등을 파악한 후 추정된 결과를 보정하였다. 다양한 보정처리를 통해 얻어진 시각적 정보를 사용자에게 보다 쉽고 정확한 피드백을 주기 위해 OpenGL을 사용해 3D 시각화를 하였다.
본 연구의 결과물은 언어 장애 분석 및 치료 도구 등 다양한 분야에 사용될 수 있다. 기존의 청각 장애인의 언어 학습 보조 기구를 대체할 수 있을 뿐만 아니라 언어 교사의 도움 없이도 스스로 학습할 수 있도록 활용될 수 있다. 또한 음성시각화는 외국어를 학습할 때 원어민의 해당 발음과 자신의 발음을 시각적으로 비교하면서 외국어 발음 교정을 할 수 있도록 도와 줄 수 있을 뿐만 아니라 애니메이션의 자동 립싱크 기술에 활용될 수 있다. 본 과제에서 얻은 연구 결과는 음성 인식, 음성 합성, 언어 병리학, 언어학, 음향학 등 다양한 분야에서 파급 효과를 기대할 수 있다.

목차 Contents

• 일반연구자지원사업 최종(결과)보고서 ... 1
• 목차 ... 3
• I. 연구결과 요약문 ... 4
• II. 연구내용 및 결과 ... 5
• 1. 연구과제의 개요 ... 5
• 2. 국내외 기술개발 현황 ... 5
• 3. 연구수행 내용 및 결과 ... 5
• 4. 목표 달성도 및 관련 분야에의 기여도 ... 8
• 5. 연구결과의 활용계획 ... 9
• 인용문헌 ... 10
• III. 연구성과 ... 11