초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문에서는 한국어에 대한 실시간 음소 인식을 통한 Lip Synch 구현에 필수요소인 Viseme(Visual Phoneme)을 한국어의 음운학적 접근 방법을 통해 제시하고, Lip Synch에서 입술의 모양에 결정적인 영향을 미치는 모음에 대한 모음 인식 실험 및 결과 분석을 한다.모음인식 실험에서는 한국어 음소 51개 각각에 대해 3개의 State로 이루어진 CHMM (Continilous Hidden Makov Model)으로 모델링하고, 각각의 음소가 병렬로 연결되어진 음소네트워크를 사용한다. 입력된 음성은 12차 MFCC로 특징을 추출하고, Viterbi 알고리즘을 인식 알고리즘으로 사용했으며, 인식과정에서 Bigrim 문법과 유사한 구조의 음소배열 규칙을 사용해서 인식률과 인식 속도를 향상시켰다.

본 논문에서는 한국어에 대한 실시간 음소 인식을 통한 Lip Synch 구현에 필수요소인 Viseme(Visual Phoneme)을 한국어의 음운학적 접근 방법을 통해 제시하고, Lip Synch에서 입술의 모양에 결정적인 영향을 미치는 모음에 대한 모음 인식 실험 및 결과 분석을 한다.모음인식 실험에서는 한국어 음소 51개 각각에 대해 3개의 State로 이루어진 CHMM (Continilous Hidden Makov Model)으로 모델링하고, 각각의 음소가 병렬로 연결되어진 음소네트워크를 사용한다. 입력된 음성은 12차 MFCC로 특징을 추출하고, Viterbi 알고리즘을 인식 알고리즘으로 사용했으며, 인식과정에서 Bigrim 문법과 유사한 구조의 음소배열 규칙을 사용해서 인식률과 인식 속도를 향상시켰다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 향후에는 음소 인식 성능의 향상을 위하여 음향 모델링, 음소 배열 규칙, 인식 알고리즘 등을 개선하기 위한 연구를 진행한다. 또한, 입력되는 음성을 자음과 모음으로 구분해서 정확한 음소의 위치를 파악할 수 있게 해주는 알고리즘을 전처리 부분에 추가하는 방법도 고려하고자 한다.
• 본 논문에서는 Lip Synch 구현을 위한 Viseme을 한국어 음운학에 근거해서 제시함으로써 음소 인식 기반의 Lip Synch 구현을 위한 기초적인 발판을 마련하였다. 연속분포 HMM기반의 음소인식기를 설계하고, 입술 모양에 결정적인 영향을 미치는 한국어 모음에 대한 인식 실험을 통해 자음에 비해 모음이 비교적 정확한 인식이 되는 것을 볼 수 있었다.

가설 설정

• 국외의 경우엔 음성인식과 음성합성분야에서 다양하게 Lip Synch연구 활동이 있어왔다.[2]-[6] 음성인식을 통한 Lip Synch구현은 음성인식 결과에 상당한 영향을 받게된다. 음성인식 분야는 60년대 이후부터 발전해서 현재는 대용량 음성 인식기 구현과 실용화를 위한 연구, 연속적인 음성의 인식과 자유발화를 인식하는 연구가 활발히 진행되고 있다.

제안 방법

• 따라서, 한국어 모음은 표 2에서 보는 바와 같이 9개의 Viseme으로 mapping할 수 있다. 자음의 경우에는 두 입술이 붙어야 발음이 되는 「口, H, 二」과 그렇지 않은 나머지 자음으로 분류해서 두 개의 Viseme으로 설정(표 3)했다.

대상 데이터

• Lip Synch구현을 위한 모음인식 실험에 사용한 음성데이터는 고려대 공대 교수님 100명의 이름을 10명의 20대 남자가 발음한 데이터 베이스를 사용해서 MFCC로 특징추출을 하고, 음소 CHMM로 학습했으며, 그림 4와 같은 네트워크를 사용해서 인식 실험을 수행했다.

이론/모형

• 그림 2는 IPA에서 제정한 Consonant Chart로써, 가로축은 조음위치를 세로축은 조음방식을 나타낸다. 모음과 자음의 조음위치와 방식에 대한 학계의 의견은 여러 가지가 있지만 국제 표준이 되고있는 IPA chart를 기본으로 해서 한국어에 대한 Viseme설정의 근거로 삼았다.
• 인식 알고리즘으로 Viterbi Beam Search 알고리즘을 사용했으며, 100명의 교수님 이름에서 나타난 음소배열 규칙을 사용했다.

성능/효과

• 본 실험에서 사용된 음소배열 규칙은 언어 모델의 Bigram 문법과 유사한 구조를 가지고 있으며, 한 음소 뒤에 올 수 있는 후보 음소의 개수를 제한하여 인식과정에서 Search 공간을 줄이고, 인식률 향상을 도모했다. 그림 5가 본 실험에 사용된 음소배열 규칙이다.
• 본 논문에서는 Lip Synch 구현을 위한 Viseme을 한국어 음운학에 근거해서 제시함으로써 음소 인식 기반의 Lip Synch 구현을 위한 기초적인 발판을 마련하였다. 연속분포 HMM기반의 음소인식기를 설계하고, 입술 모양에 결정적인 영향을 미치는 한국어 모음에 대한 인식 실험을 통해 자음에 비해 모음이 비교적 정확한 인식이 되는 것을 볼 수 있었다.

후속연구

• 주로 청각장애자에게 음성을 가르칠 때 화자의 입술모양만을 보고도 그 뜻을 파악할 수 있도록 만든 것인더), 영어에 대한 Viseme은 많은 연구 그룹에 의해 만들어져 사용되고 있 으나, 아직 그 표준은 정해진 것이 없다. 한국어에 대한 Viseme 역시 그 표준이 정해진 것이 없기 때문에 본 논문에서 한국어에 대한 Viseme을 한국어 음운학적인 특성을 고려해서 모음과 자음 각각에 대하여 제시하고 향후 음성인식을 통한 Lip Synch 구현에 사용할 것이다.
• 그러나, 자음에서 발생되는 인식 에러는 Lip Synch에 치명적인 영향을 미치므로 이 에러를 줄이기 위한 노력이 필요하다. 향후에는 음소 인식 성능의 향상을 위하여 음향 모델링, 음소 배열 규칙, 인식 알고리즘 등을 개선하기 위한 연구를 진행한다. 또한, 입력되는 음성을 자음과 모음으로 구분해서 정확한 음소의 위치를 파악할 수 있게 해주는 알고리즘을 전처리 부분에 추가하는 방법도 고려하고자 한다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기