선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 제작기간이 상당히 길고 고비용 저효율을 낳아 고가의 영화나 광고 동영상에 주로 활용되어왔다. 이러한 어려움을 감소시키기 위해 자동으로 음성에 영상을 동기화하는 페이셜애니메이션을 위한 연구들이 행해지고 있으며 본 연구에서는 3 차원 애니메이션에서 쉽게 재사용이 가능한 한국어 립씽크 합성방법에 관한 연구를 하였다.
제안 방법
- (4) Cluster 메뉴에서는 모든 음소를 K-평균(KMeans) 군집분석을 사용해 7 개의 군집으로 분류하고 각 군집에서 가장 중심에서 가까운 음소를 처음에 표기하였으며 중심에서 떨어진 거리에 따라 군집의 나머지 음소들을 표기하였다. 이를 통해 각 군집을 대표하는, 움직임이 큰 음소를 시뮬레이션 해봄으로써 애니메이션 작업을 할 때 3D 모델과 조인트와의 세부적인 조절을 보다 빠르게 할 수 있다.
- 445 개 단어의 발성에서 얻은 3 차원 데이터와 동영상에서 추출한 음성파일을 가지고 MFCC 와 HMM 알고리듬을 통해 각 음소에 대응하는 3 차원 위치 데이터를 얻었으며 그 프로세스는 아래와 같다. 이 때 같은 음소라도 연음 관계에 따라 입 모양이 달라질 수 있으므로 음소에 따른 입 모양을 정의하기 위해 K-평균(K-Means)군집분석을 사용해 수 개에서 수 천 개의 음소 중에서 가장 중심이 되는 음소를 그 음소를 대표하는 입 모양으로 정의하였다.
- 입력된 단어를 발성할 때의 발음열로 바꾸어 주는 발음열 생성 프로그램, 음성파일에서 MFCC를 추출해는 프로그램, 발음열과 음성파일을 시분할하는 프로그램, 각 음소의 입 모양을 정의한 데이터를 가지고 한국어 립씽크 합성프로그램을 제작하였다. 각 단위프로그램들은 Microsoft 의 Visual C++ 언어로 제작되었으며 MAYA 에서 구동시키기 위해 MEL 로 인터페이스를 만들었다. 완성된 프로그램은 그림 6)과 같으며 프로그램의 기능은 다음과 같다.
- 본 연구에서는 이와 같은 문제점들을 해결한 한국어 립싱크 합성을 위해 표기된 텍스트를 한국어 발음열로 변환하는 발음열 생성 모듈과 HMM 알고리즘을 이용한 음소 시분할 모듈, 그리고 음소에 따른 얼굴특징점의 움직임과 음성를 동기화하는 음성-영상 동기화 모듈을 통해 한국어의 특성을 고려한 한국어 립싱크합성시스템을 제안하였다. 현재 3 차원 입모양에 관한 표준은 아직 규정된 것이 없으므로 이와 같은 시스템은 몇 가지 제약점을 가진다.
- 여러 명의 화자로부터 다양한 음운현상이 충분히 반영된 대용량 음성 데이터베이스를 사용하여 음소모델을 훈련하고, 인식대상 어휘 모델들을 이러한 음소모델들의 연결로 구성하면 처음 한 번의 훈련으로 어떤 어휘라도 시분할이 가능하게 된다[7][8]. 시분할단계에서 음성이 입력되면 음성의 특징을 MFCC 특징파라미터(MFCC Feature Parameters)로 추출한 후 HMM 알고리듬을 사용한 인식네트워크를 통하여 시분할 과정을 수행하였다. 음성의 특징을 추출하고 음소 모델을 만들기 위한 훈련 데이터로 445 균일음소 분포단어(PBW; Phonetically Balanced Word)데이터 베이스를 사용했다.
- 완성된 프로그램을 검증하기 위해 음소의 입 모양 정의에 사용했던 445 균일음소분포단어와 한국전자통신연구원(ETRI)에서 구축한 POW(Phonetically Optimized Word) 3848 단어 DB 의 목록에 있는 단어를 발성하는 모습을 실제로 녹화한 동영상과 여기에서 음성파일을 추출한 후 한국어 립싱크합성프로그램을 사용해서 만든 애니메이션과 비교하였다. 음소모델링의 구축에 사용했던 모션 트래킹을 사용해서 비교하였으며 각 프레임에서의 입 모양(그림 7)과 모든 구간에서 각 특징점의 궤적의 변화(그림 8)를 비교하였다.
- 완성된 프로그램을 검증하기 위해 음소의 입 모양 정의에 사용했던 445 균일음소분포단어와 한국전자통신연구원(ETRI)에서 구축한 POW(Phonetically Optimized Word) 3848 단어 DB 의 목록에 있는 단어를 발성하는 모습을 실제로 녹화한 동영상과 여기에서 음성파일을 추출한 후 한국어 립싱크합성프로그램을 사용해서 만든 애니메이션과 비교하였다. 음소모델링의 구축에 사용했던 모션 트래킹을 사용해서 비교하였으며 각 프레임에서의 입 모양(그림 7)과 모든 구간에서 각 특징점의 궤적의 변화(그림 8)를 비교하였다.
- 445 개 단어의 발성에서 얻은 3 차원 데이터와 동영상에서 추출한 음성파일을 가지고 MFCC 와 HMM 알고리듬을 통해 각 음소에 대응하는 3 차원 위치 데이터를 얻었으며 그 프로세스는 아래와 같다. 이 때 같은 음소라도 연음 관계에 따라 입 모양이 달라질 수 있으므로 음소에 따른 입 모양을 정의하기 위해 K-평균(K-Means)군집분석을 사용해 수 개에서 수 천 개의 음소 중에서 가장 중심이 되는 음소를 그 음소를 대표하는 입 모양으로 정의하였다. 이렇게 정의된 39 개의 입 모양에 대해 계층적 분류분석을 하고 이를 토대로 특징점의 움직임이 유사한 입 모양을 군집화(clustering)하였다.
- 이 때 같은 음소라도 연음 관계에 따라 입 모양이 달라질 수 있으므로 음소에 따른 입 모양을 정의하기 위해 K-평균(K-Means)군집분석을 사용해 수 개에서 수 천 개의 음소 중에서 가장 중심이 되는 음소를 그 음소를 대표하는 입 모양으로 정의하였다. 이렇게 정의된 39 개의 입 모양에 대해 계층적 분류분석을 하고 이를 토대로 특징점의 움직임이 유사한 입 모양을 군집화(clustering)하였다. 군집의 개수를 7 로 했을 때 가장 고른 분포를 보였으며 각 군집에서 가장 거리가 가까운 음소를 그 군집의 대표값으로 정의하였다.
- 입력된 단어를 발성할 때의 발음열로 바꾸어 주는 발음열 생성 프로그램, 음성파일에서 MFCC를 추출해는 프로그램, 발음열과 음성파일을 시분할하는 프로그램, 각 음소의 입 모양을 정의한 데이터를 가지고 한국어 립씽크 합성프로그램을 제작하였다. 각 단위프로그램들은 Microsoft 의 Visual C++ 언어로 제작되었으며 MAYA 에서 구동시키기 위해 MEL 로 인터페이스를 만들었다.
- 입모양의 분류에 관한 기존의 연구에서는 대부분 입 모양의 변화를 단지 정면에서 본 사진으로만 분류하였기 때문에 정면 외의 각도에서의 변화는 고려하지 않았다[10]. 하지만 본 연구에서는 입모양의 변화를 입체적으로 측정할 것이므로 한국어의 모든 모음과 자음을 분류하였다.
대상 데이터
- 시분할단계에서 음성이 입력되면 음성의 특징을 MFCC 특징파라미터(MFCC Feature Parameters)로 추출한 후 HMM 알고리듬을 사용한 인식네트워크를 통하여 시분할 과정을 수행하였다. 음성의 특징을 추출하고 음소 모델을 만들기 위한 훈련 데이터로 445 균일음소 분포단어(PBW; Phonetically Balanced Word)데이터 베이스를 사용했다.
이론/모형
- 이러한 발음열은 수작업으로 작성하기에는 많은 시간과 노력이 필요하며 일관성의 유지도 힘들기 때문에 정확한 발음열을 생성하기 위해서는 해당 언어가 가지는 특징뿐만 아니라 그 언어의 음운변화 규칙과 적용 양상에 대한 정확한 분석이 필요하다[6]. 본 논문에서는 이와 같은 발음열 생성의 문제를 해결하기 위해 문교부 표준어 규정의 표준 발음법에서 유도된 필수 및 수의적 음소 변동 규칙과 변이음 규칙의 단계적 적용 모델을 사용했다[6].
- 본 연구에서는 한국어의 음소에 대응하는 입모양의 움직임을 측정하기 위해 위해 MPEG(Moving Picture Experts Group)의 MPEG-4 에서 정의한 FDP(Facial Definition Parameter)기반의 특징점을 사용하였다. FDP 는 눈, 눈썹, 코, 입, 턱, 뺨, 혀, 치아, 귀, 머리 그리고 얼굴의 회전 등을 나타내는 총 9 개의 그룹으로 나뉘어 정의되는데[11] 본 연구에서는 이중 조음동작에 관련된 턱, 입술, 뺨의 범주에 해당하는 11 개의 FAP 를 입 모양 합성을 위한 특징점으로 선정하였다.
- 입력된 음성을 음소로 시분할하기 위한 방법으로 가변어휘(vocabulary-independent) 음소분할 방법을 사용했다. 여러 명의 화자로부터 다양한 음운현상이 충분히 반영된 대용량 음성 데이터베이스를 사용하여 음소모델을 훈련하고, 인식대상 어휘 모델들을 이러한 음소모델들의 연결로 구성하면 처음 한 번의 훈련으로 어떤 어휘라도 시분할이 가능하게 된다[7][8].
성능/효과
- (3) Consonant 메뉴에서는 각 자음이 표기된 버튼을 누름으로써 자음에 대해 정의한 입 모양을 시뮬레이션 할 수 있다.
- 본 연구의 결과로 모음 몇 개를 통해 입 모양을 수동으로 생성하던 기존의 방식의 한계를 넘어 보다 자연스러운 입 모양을 시간의 변화에 따라 정확하게 생성해낼 수 있었다. 하지만 생성된 입 모양애니메이션은 몇 가지 문제를 가지고 있다.
- 첫째, 표준발음에 대한 3 차원 입모양의 표준 규약이 없으므로 본 시스템을 통해 생성된 입모양은 표준이 아닌 개인에 특화된 입모양으로 합성이 될 수 밖에 없다.
후속연구
- 본 연구에서는 무표정한 상태에서 발성했을 때의 입 모양의 움직임만을 모델링 하였지만 여러가지 상황에 따라 달라지는 입 모양의 변이까지 모델링 하여야 더욱 다양한 립씽크애니메이션을 생성할 수 있을 것이다. 더 나아가 무표정한 상태에서의 입 모양뿐 아니라 감정에 따라 달라지는 입 모양의 변화의 강약까지 모델링에 적용한다면 보다 상호작용성이 강조됨으로써 아바타를 활용한 HCI 와 가상현실 분야에 보다 폭넓게 활용될 수 있을 것이다.
- 본 연구에서는 무표정한 상태에서 발성했을 때의 입 모양의 움직임만을 모델링 하였지만 여러가지 상황에 따라 달라지는 입 모양의 변이까지 모델링 하여야 더욱 다양한 립씽크애니메이션을 생성할 수 있을 것이다. 더 나아가 무표정한 상태에서의 입 모양뿐 아니라 감정에 따라 달라지는 입 모양의 변화의 강약까지 모델링에 적용한다면 보다 상호작용성이 강조됨으로써 아바타를 활용한 HCI 와 가상현실 분야에 보다 폭넓게 활용될 수 있을 것이다.
- 먼저 사람마다 골격과 근육이 다르고 이에 따라 실제 발성하는 입 모양도 틀리다. 본 연구에서는 실제로 발성하는 모습의 모션을 캡쳐 하였기 때문에 실제 사람의 골격과 애니메이션을 만들고자 하는 골격과의 차이가 심한 경우 움직임이 완전하게 정합되지 않으며 이는 수동으로 움직임의 가중치를 수정해주어야 한다. 또 사람에 따라 어떤 특정한 발성이 끝났을 때 입을 닫는 경우가 있고 벌린 상태를 그대로 유지하는 경우, 그 중간의 경우가 존재하며 이 역시 사람마다 다른 경향을 보였다.
- 셋째, 본 연구는 표정을 제거한 상태에서의 입모양만을 고려했으므로 감정 및 상황에 대한 변이는 적용되지 않았다. 감정 및 상황에 대한 얼굴의 변화는 얼굴 근육의 움직임을 기호화하여 이들의 조합으로 얼굴 표정을 나타내도록 한 FACS(Facial Action Coding System)[4]의 적용을 통해 이루어질 수 있을 것이다.
- 감정 및 상황에 대한 얼굴의 변화는 얼굴 근육의 움직임을 기호화하여 이들의 조합으로 얼굴 표정을 나타내도록 한 FACS(Facial Action Coding System)[4]의 적용을 통해 이루어질 수 있을 것이다. 이 같은 제약점들은 추후 연구를 통해서 보완할 예정이다.
- 이와 같은 지각의 문제로 인해 인간 간의 대화하는 느낌으로 아바타 혹은 매개 캐릭터와 대화할 수 있는 자연스러운 음성과 얼굴표정의 합성이 실시간 가능하다면 애니메이션 분야뿐만 아니라 HCI 에 커다란 진전을 보일 수 있을 것이다. 이러한 이유로 얼굴 표정 및 입 모양 합성에 관한 연구는 최근에 와서 얼굴 영상의 지적 부호화를 중심으로 그 연구가 활발해지고 있으며 해외에서는 이 같은 연구결과를 토대로 토킹헤드, 버추얼프랜드, 페이스이메일, 토크쇼, 버추얼 아나운서 등 많은 상업적 제품들이 개발되고 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.