[논문]한글 문자 입력에 따른 얼굴 에니메이션

김태은; 박유신

초록
AI-Helper

본 논문에서는 얼굴 애니메이션을 좀 더 실질적으로 표현하기 위하여 한글 생성의 원리와 입 모양 형태의 유사성을 기반으로 기본 음소를 선정하고 이를 이용하는 새로운 알고리듬을 제안한다. 카메라를 통해 얻어진 특징 점 이용이 아닌, 모션 캡쳐 (Motion Capture) 장비를 사용하여 실제 입모양의 움직임 데이터를 취득하여 취득된 데이터를 지수 증,감 형태로 나타내어 발성에 대한 음소를 표현하고 연속된 음절을 표현하기 위하여 지배 함수(Dominance Function)와 혼합 함수(Blending Function)를 적용하여 동시 조음에 대한 표현을 해결하였다. 또한 음절 간의 결합 시간을 입 주변의 마커(Marker) 거리 값의 변위를 이용하여 그 기울기 값에 따라 시간 지연을 함으로 현실감 있는 사용자 입력 문자에 대한 입 모양 궤적 데이터를 생성하는 실험 결과를 보여준다.

Abstract ▼ AI-Helper

In this paper, we propose a new method which generates the trajectory of the mouth shape for the characters by the user inputs. It is based on the character at a basis syllable and can be suitable to the mouth shape generation. In this paper, we understand the principle of the Korean language creati...

In this paper, we propose a new method which generates the trajectory of the mouth shape for the characters by the user inputs. It is based on the character at a basis syllable and can be suitable to the mouth shape generation. In this paper, we understand the principle of the Korean language creation and find the similarity for the form of the mouth shape and select it as a basic syllable. We also consider the articulation of this phoneme for it and create a new mouth shape trajectory and apply at face of an 3D avatar.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

입력에 의한 코드는 완성형이다. 따라서 입력된 완성형 코드를 조합형으로 변환하여 각 초성, 중성, 종성에 해당하는 값들을 찾아 사용자가 입력한 문자에 해당하는 음소 데이터를 찾기 위한 코드 변환을 하는 것이다. 한글의 비트 표현은 다음과 같다.
본 논문에서는 가상의 얼굴 모델에 적용할 수 있는입 모양의 궤적을 음소들간의 조합을이용하여 얼굴 애니메이션 입 모양 궤적 시스템을 제안하였다. 기존의 방법과는 다른 발성 시 유사한 입모양으로 분류한 음소를 모션 캡쳐 장비를 이용하여 3차원 데이터를 취하였다.

제안 방법

초기의 얼굴관련 연구는 얼굴 인식과 얼굴 모델을 변형하는 연구로 수행되었다. 얼굴인식은 사람의 얼굴 영역을 알맞게 추출하여 눈, 코, 입 부분의 명암 및 컬러 특징을 이용하여 얼굴 영역을 추출하였다. 그러나 이것은 배경, 조명 상태, 얼굴과 카메라의 거리, 얼굴의 상하좌우 각도, 카메라 시야 내에서의 얼굴의 위치 등을 고려해 시스템의 가정에 부합되도록 조정해야 하는 문제점을 갖고 있다[6].
즉, 말하는 경우의 입 모양 형태는 입이 닫히거나 열려 이는 형태를 취하였고 표정에 있어서는 화가 난 경우 눈과 눈썹이 위로 올라가고 슬픔을 표현할 경우는 눈과 눈썹 끝이 아래로 내려가는 형태를 취하였다.Parke로 사진으로부터 정지된 모양을 찾아 모델을 만들고 얼굴의 특징을 찾아 몇 개의 제어 파라미터(control parameter)를 선정하여 파라미터를 이용해 얼굴을 변형하여 애니메이션을 구현하였다[8][9]. 그 후 Hill과 Wyvill 등은 Parke의 모델을 변형하여 두 이접한 음소들 간의 파라미터 값들을 비선형으로 보간(interpolation)하여 입술 움직임 시스템을 개발 하였으나 동시 조음 현상을 적용하지 않아 자연스럽지 못함을 보였다[10].
이 단계까지는 입 모양의 기본 궤적들을 알고 있기 때문에 사용자가 원하는 문자에 대한 입 모양 생성에 대한 준비가 모두 끝난 것이다. 이 후 각 음소의 입 모양에 대한 동시 조음(articulation)을 고려하기 위하여 우세함수(Dominance Function)을 사용하고 이 우세함수들을 조합하기 위해 혼합함수(Blanding Function)를 사용하여 입 모양에 대한 움직임 제어 파라미터 값을 구한다[5]. 이를 통해 최종적으로 입력 문자에 대한 입 모양 궤적 Data를 생성하는 것이다.
이와 같이 각 한글 유사 입 모양으로 음소를 분류한 것은 성대나 혀의 움직임 같은 동작은 소리에 대한 차이는 있어도 발음에 대한 입 모양은 유사하기 때문에 이와 같이 데이터를 분류하였다.
0을 사용하였고 기본 음절 데이터를 취득하기 위해 25개의 마커를 사용하였다. 각 음절마다 키 프레임(Key frame)을 선정하여 선형 보간(linear interpolation)을 통해 우세함수에 적용하였다. 또한 프레임율은 초당 20프레임으로 하였다.

대상 데이터

모음의 경우는 기본 세자의 제자 원리, 즉 천(•), 지(ㅡ), 인(ㅣ)의 삼재를 본떠서 만들었으며 기본 삼재를 조합하여 초출자 4개와 재출자 4개를 만들어 사용하였다.
그러나 자음의 영향을 받는 것은 양 입술이 닫혀서 발성되는 순음과 치아 사이에서 발성되는 치음은 발음 시 입 모양에 영향을 준다. 따라서 입 모양 표현에 있어 한글 유사 입 모양의 음소는 다음과 같이 40개로 나누었고 이를 취득 하였다.
본 실험에서는 VC++ 6.0을 사용하였고 기본 음절 데이터를 취득하기 위해 25개의 마커를 사용하였다. 각 음절마다 키 프레임(Key frame)을 선정하여 선형 보간(linear interpolation)을 통해 우세함수에 적용하였다.

성능/효과

따라서 본 논문에서 제안한 입력 문자에 대한 입 모양 궤적 생성 방법은 기존의 방법과는 다른 한글 발성 시 유사한 입 모양으로 분류한 음소를 모션 캡쳐 장비를 이용하여 3차원 데이터를 취하여 3차원 데이터 정보를 알 수 있으므로 Cohen과 Massaro가 응용한 스피치 생성 제스처 이론이나 기존의 동시 조음 모델보다는 정확한 데이터를 이용하여 사용될 수 있다는 장점을 갖고 있다.
이렇게 하여 한글은 총 11,172자를 표현 하고 있다. 그러나 본 연구에서는 이와 같이 모든 한글을 사용하는 것이 아니라 입 모양에 대한 한글 유사성 분류에 의한 기본 음소를 선택하여 한글을 표현 가능하였고 그 데이터 양을 줄였다.
기존의 방법과는 다른 발성 시 유사한 입모양으로 분류한 음소를 모션 캡쳐 장비를 이용하여 3차원 데이터를 취하였다. 이 취득 데이터를 지수 증가, 감소의 형태로 표현을 하고 각 음소를 3개의 영역으로 분리를 하여 지배함수와 혼합함수를 이용하였으며 4개의 마커의 거리의 변위 값을 지배함수에 적용하여 정확한 입 모양의 궤적을 생성함을 실험 결과를 통해서 우수함을 확인할 수 있었다.

후속연구

제안하는 입력 문자에 대한 입 모양 궤적생성 방법은 3차원 궤적 데이터로 가상의 얼굴 모델에 합성할 수 있기 때문에 방송, 영화, 게임 등의 컨텐츠 분야에서 널리 응용될 것으로 기대 된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	얼굴 모델을 변형하는 초기 연구에는 어떤 기술이 사용되었는가?	그러나 이것은 배경, 조명 상태, 얼굴과 카메라의 거리, 얼굴의 상하좌우 각도, 카메라 시야 내에서의 얼굴의 위치 등을 고려해 시스템의 가정에 부합되도록 조정해야 하는 문제점을 갖고 있다[6]. 얼굴 모델을 변형하는 초기 연구에는 단순히 얼굴의 변형하기 위해 워핑(warping)이나 모핑(morphing)기술을 사용하였다[7]. 이후 인간의 말하는 형태를 언어 학자들과 같이 언어의 형태들을 파악하는 연구가 시작 되었다.
	한글을 발음할 때 입 모양 형태는 무엇에 영향을 받는가?	한글은 자음과 모음의 조합으로 구성되어 있고 발음시 입 모양 형태는 자음 보다는 모음의 영향을 많이 받는다. 그러나 자음의 영향을 받는 것은 양 입술이 닫혀서 발성되는 순음과 치아 사이에서 발성되는 치음은 발음 시 입 모양에 영향을 준다.
	초기의 얼굴인식은 얼굴영역을 알맞게 추출하여 명암 및 컬러 특징을 이용하여 얼굴 영역을 추출했는데 이로 인해 어떤 문제점이 있는가?	얼굴인식은 사람의 얼굴 영역을 알맞게 추출하여 눈, 코, 입 부분의 명암 및 컬러 특징을 이용하여 얼굴 영역을 추출하였다. 그러나 이것은 배경, 조명 상태, 얼굴과 카메라의 거리, 얼굴의 상하좌우 각도, 카메라 시야 내에서의 얼굴의 위치 등을 고려해 시스템의 가정에 부합되도록 조정해야 하는 문제점을 갖고 있다[6]. 얼굴 모델을 변형하는 초기 연구에는 단순히 얼굴의 변형하기 위해 워핑(warping)이나 모핑(morphing)기술을 사용하였다[7].

참고문헌 (13)

R. Chellappa, C. H. Wilson and S. Sirohey, "Human and Machine Recognition of Faces : A Survey", Proc. of the IEEE, Vol. 83, No. 5, pp. 705-740, May 1995.

상세보기
한영환, 홍승홍, "연속 영상에서의 얼굴표정 및 제스처 인식", 의공학회지, Vol. 20, No. 4, pp.419-425, 1999.

원문보기 상세보기
Jun-yong Noh, Ulrich Neumann, " Expression Cloning", SIGGRAPH 2001.
이인서, 박운기, 전병우, "MPEG-4 FAP기반 얼굴 근육모델을 이용한 Facial Animation", 춘천멀티미디어 학술회의, pp.147-151, Feb. 2000.
Kwang-Sik Kong and Chang-Hun Kim, "MODELING COARTICULATION IN KOREAN VISUAL SPEECH", Proceedings of the first CGIM conference, pp.207-210, Jun. 1998.
G. Yang and T.S. Huang, " Human face detection in a complex background", Pattern Recognition, Vol. 27, No. 1, pp.55-63, 1994.
Sims, Karl., "Particle Animation and Rendering Using Data Parallel Computation", Computer Graphics(SIGGRAPH'90 Proceedings), pp.405-413, 1990.
Parke, F. I., "Parametrized models ofr facial animation", IEEE Computer Graphics, Vol. 2, No. 9, pp.61-68, 1982.
Fu Jie Huang, and Tsuhan Chen., "Real-time lip-synch face animation driven by human voice", In IEEE Multimedia Signal Processing Workshop, LosAngeles, California, 1998
Hill, D.R., Pearce., & Wyvill, B.m, "Animating Speech: And automated Approach using speech synthesized by Rules", The Visual Computer, Vol. 3, pp.277-289, 1988.

상세보기
Nahas, M., Huitric, H. and Saintourens, "M.(1988) Animation of a B-spline figure", The Visual computer, Vol. 3, pp.272-276.

상세보기
Cohen, M.M. & Massaro, D.W., "Modeling Coarticulation in Synthetic Visual Speech", In Thalman N.M. & Thalmann D. (Eds) Models and Techniques in Computer Animation, Tokyo : Springer-Verlag, 1993.
Cohen, M.M. & Massoro, D.M., "Modeling Coarticulation in Synthetic Visual Speech", In Thalman N.M. & Thalmann D. (Eds) Models and Techniques in Computer Animation, Tokyo : Springer-Verlag.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 한글 문자 입력에 따른 얼굴 에니메이션
Facial Animation Generation by Korean Text Input 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

질의응답

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 한글 문자 입력에 따른 얼굴 에니메이션 Facial Animation Generation by Korean Text Input 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

질의응답

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

김태은 (43)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 한글 문자 입력에 따른 얼굴 에니메이션
Facial Animation Generation by Korean Text Input 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper