[논문]간단한 사용자 인터페이스에 의한 벡터 그래픽 캐릭터의 자동 표정 생성 시스템

박태희; 김재호

간단한 사용자 인터페이스에 의한 벡터 그래픽 캐릭터의 자동 표정 생성 시스템
Automatic facial expression generation system of vector graphic character by simple user interface 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.12 no.8, 2009년, pp.1155 - 1163

박태희 (동명대학교 메카트로닉스공학과) , 김재호 (부산대학교 공과대학 전자공학과)

초록
AI-Helper

본 논문에서는 가우시안 프로세스 모델을 이용한 벡터 그래픽 캐릭터의 자동 표정 생성 시스템을 제안한다. 제안한 방법은 Russell의 내적 정서 상태의 차원 모형을 근거로 재정의된 캐릭터의 26가지 표정 데이터로 부터 주요 특징 벡터를 추출한다. 그리고 추출된 고차원의 특징 벡터에 대해 SGPLVM이라는 가우시안 프로세스 모델을 이용하여 저차원 특징 벡터를 찾고, 확률분포함수(PDF)를 학습한다. 확률분포함수의 모든 파라메타는 학습된 표정 데이터의 우도를 최대화함으로써 추정할 수 있으며, 이는 2차원 공간에서 사용자가 원하는 얼굴 표정을 실시간으로 선택하기 위해 사용된다. 시뮬레이션 결과 본 논문에서 제안한 표정 생성 프로그램은 얼굴 표정의 작은 데이터셋에도 잘 동작하며, 사용자는 표정과 정서간의 관련성에 관한 사전지식이 없이도 연속되는 다양한 캐릭터의 표정을 생성할 수 있음을 확인할 수 있었다.

Abstract ▼ AI-Helper

This paper proposes an automatic facial expression generation system of vector graphic character using gaussian process model. Proposed method extracts the main feature vectors from twenty-six facial data of character redefined based on Russell's internal emotion state. Also by using new gaussian process model, SGPLVM, we find low-dimensional feature data from extracted high-dimensional feature vectors, and learn probability distribution function (PDF). All parameters of PDF are estimated by maximization the likelihood of learned expression data, and these are used to select wanted facial expressions on two-dimensional space in real time. As a result of simulation, we confirm that proposed facial expression generation tool is working in the small facial expression datasets and can generate various facial expressions without prior knowledge about relation between facial expression and emotion.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문은 사용자가 캐릭터의 비선형적인 표정을 자연스럽게 생성하는데 있어 가장 간편한 사용자 인터페이스를 제공하는데 목적이 있다. 이를 위해 본 논문에서는 Russell의 내적 정서 상태의 차원 모형을 근거로 재정의된 캐릭터의 26가지 표정 데이터에 대해 SGPLVM(Sclaed Gaussian Process Latent Variable Model) 확률 모델을 사용하여 비선형적인 캐릭터의 표정 변화를 분석한다.
본 논문에서는 SGPLVM 모델에 의해 생성된 캐릭터들의 보간을 위해 간단한 접근을 시도하였다. 이는 본 논문에서 구현한 캐릭터들의 2차원 표정 공간이 서로 동일하기 때문에 새로운 좌표축 z를 추가하여 각 캐릭터의 표정 공간을 분리시킨 후, 식 (13)과 같이 블렌딩 인자(blending factor) s의 값을 변화시킴으로써 동일한 표정을 가지는 중간 캐릭터를 생성하는 것이다.
본 논문에서는 가우시안 프로세스 모델에 기반하여 애니메이션 캐릭터의 연속된 얼굴 표정을 2차원 표정 공간 상에서 실시간으로 구현하기 위한 자동 표정 생성 시스템을 제안하였다.

가설 설정

1 에서 Nelder-Mead 방법 [20]을 사용하였으며, <邛, 了의 초기값은 1로 설정하였다. 수렴 속도를 향상시키기 위해 {re자의 초기값은 {exj에 대한 2차원 고유벡터(eigen-vector)로 가정하였다.

제안 방법

것이다. 각 캐릭터의 26가지 표정 데이터로부터 추출된 2880 차원의 특징 벡터 ex는 표정 모델 파라메타를 학습하기 위해 식 (4)의 부 로그-사후확률에 사용되었으며, 본 논문에서는 고차원의 특징 벡터 ex로부터 2차원 잠재 공간 벡 터 rex를 모델 링하였다. 또한 부로 그-사후확률을 최적화하기 위해 Matlab 7.
이를 위해 본 논문에서는 Russell의 내적 정서 상태의 차원 모형을 근거로 재정의된 캐릭터의 26가지 표정 데이터에 대해 SGPLVM(Sclaed Gaussian Process Latent Variable Model) 확률 모델을 사용하여 비선형적인 캐릭터의 표정 변화를 분석한다. 그리고 분석된 데이터를 이용하여 캐릭터의 표정을 자연스럽게 구현할 수 있는 표정 자동 생성 시스템을 제안한다. 표정 학습에 사용된 벡터 그래픽 캐릭터들은 각 스타일에 따라 서로 다른 표정 공간을 가지게 된다.
따라서 본 논문에서는 그림 6과 같이 캐릭터들의 표정 공간을 벨 캐릭터의 잠재공간 상에 고정시킨후 이에 따라 각 캐릭터의 모델 파라메타 를 학습하였다.
따라서 본 논문에서는 통일된 표정 공간을 학습하기 위해 변형된 최적화 수식을 제안하고, 캐릭터들의 각 스타일에 따른 몇 개의 파라메타들을 학습한다. 이로부터 캐릭터들의 표정 데이터는 고정된 2차원 공간 상에 분포되며, 각 스타일에 따라 학습된 파라메타들은 실시간으로 새로운 얼굴 표정을 생성하는데 사용된다.
또한 Ekman⑹은 얼굴을 통해 보편적으로 인지하거나 표현할 수 있는 6가지 기본 감정을 행복, 분노, 공포, 슬픔, 혐오, 놀람으로 분류하였다.
이로부터 캐릭터들의 표정 데이터는 고정된 2차원 공간 상에 분포되며, 각 스타일에 따라 학습된 파라메타들은 실시간으로 새로운 얼굴 표정을 생성하는데 사용된다. 또한 간단한 보간법을 통해 동일한 표정을 가지는 중간 캐릭터들을 생성하는 방법을 제안한다. 시뮬레이션 결과 사용자는 표정과 정서와의 관련성에 대한 사전 지식없이 중간 성격을 갖는 인물의 표정까지도 생성 가능함을 확인할 수 있었다.
나머지 학습 파라메타들을 학습하였다. 또한 간단한 보간을 이용하여 동일한 표정을 가지는 중간 캐릭터들을 생성하였다. 이로써 보다 많은 캐릭터들의 표정 모델을 효과적으로 학습할 수 있으며, 표정 생성인터페이스의 구현을 단순화할 수 있다.
본 논문에서는 Russell의 내적 정서 상태에 근거하여 재정의된 벡터 그래픽 캐릭터의 26가지 고차원표정 데이터로부터 SGPLVM 모델의 확률분포함수를 학습하고 이로부터 추정된 저차원의 파라메타들을 사용하여 실시간으로 새로운 표정을 생성한다. 이때 각 캐릭터들의 표정 공간은 스타일에 무관하게 동일하며, 각 스타일에 따른 몇 개의 파라메타만을 조절함으로써 다양한 캐릭터들의 표정을 효율적으로 생성할 수 있다.
이는 제안된 시스템에서 몇 개의 파라메터를 정의하고 이를 사용하여 얼굴의 필요한 요소를 변화시킴으로써 표정 및 형태를 변화시켰다. 또한 WatersDLO]는 근육 벡터와 동적 파라메터를 제안함으로서 각 근육에 대해 근육의 영향이 미치는 범위, 최대 움직임 등을 정의하고 각 근육이 움직임에 따라 그와 연관된 피부의 점들이 움직이도록 하였다.
있다. 이를 위해 본 논문에서는 Russell의 내적 정서 상태의 차원 모형을 근거로 재정의된 캐릭터의 26가지 표정 데이터에 대해 SGPLVM(Sclaed Gaussian Process Latent Variable Model) 확률 모델을 사용하여 비선형적인 캐릭터의 표정 변화를 분석한다. 그리고 분석된 데이터를 이용하여 캐릭터의 표정을 자연스럽게 구현할 수 있는 표정 자동 생성 시스템을 제안한다.
이를 위해 본 논문에서는 캐릭터의 표정으로부터 학습에 효과적인 특징 벡터를 추출한다. 학습에 사용된 특징 벡터 ex는 각 표정의 제어 정보에 대응되는 각 오브젝트의 제어점 좌표와 크기 및 형태 정보로 서한 예로 본 실험에 사용되어진 얼굴 표정의 특징 벡터는 1)(=2880) 차원의 정보로 구성된다.
표정 학습에 사용된 벡터 그래픽 캐릭터들은 스타일에 따라 서로 다른 표정 공간을 가지나 2차원 표정 공간을 학습하기 위한 최적화 수식을 변형함으로써 고정된 2차원 표정 공간 상에 배치시킨 후 캐릭터에 따라 나머지 학습 파라메타들을 학습하였다. 또한 간단한 보간을 이용하여 동일한 표정을 가지는 중간 캐릭터들을 생성하였다.

대상 데이터

본 논문에서는 표정 모델의 학습을 위해 고혜영의 연구에서 재정의한 디즈니 영화 "미녀와 야수”의 등장 인물인 벨과 게스톤의 26가지 표정을 사용하였으며, 그림 4는 대표적인 9가지 표정만을 보인 것이다. 각 캐릭터의 26가지 표정 데이터로부터 추출된 2880 차원의 특징 벡터 ex는 표정 모델 파라메타를 학습하기 위해 식 (4)의 부 로그-사후확률에 사용되었으며, 본 논문에서는 고차원의 특징 벡터 ex로부터 2차원 잠재 공간 벡 터 rex를 모델 링하였다.
효과적인 특징 벡터를 추출한다. 학습에 사용된 특징 벡터 ex는 각 표정의 제어 정보에 대응되는 각 오브젝트의 제어점 좌표와 크기 및 형태 정보로 서한 예로 본 실험에 사용되어진 얼굴 표정의 특징 벡터는 1)(=2880) 차원의 정보로 구성된다.

이론/모형

각 캐릭터의 26가지 표정 데이터로부터 추출된 2880 차원의 특징 벡터 ex는 표정 모델 파라메타를 학습하기 위해 식 (4)의 부 로그-사후확률에 사용되었으며, 본 논문에서는 고차원의 특징 벡터 ex로부터 2차원 잠재 공간 벡 터 rex를 모델 링하였다. 또한 부로 그-사후확률을 최적화하기 위해 Matlab 7.1 에서 Nelder-Mead 방법 [20]을 사용하였으며, <邛, 了의 초기값은 1로 설정하였다. 수렴 속도를 향상시키기 위해 {re자의 초기값은 {exj에 대한 2차원 고유벡터(eigen-vector)로 가정하였다.

성능/효과

이로써 보다 많은 캐릭터들의 표정 모델을 효과적으로 학습할 수 있으며, 표정 생성인터페이스의 구현을 단순화할 수 있다. 또한 사용자는 표정과 정서와의 관련성에 대한 사전 지식과 관찰 없이도 연속되는 다양한 캐릭터들의 표정을 직관적으로 쉽게 생성할 수 있음을 확인할 수 있었다. 향후 정면 캐릭터 뿐만 아니라 각도를 가진 다양한 캐릭터들의 표정을 분석하고 학습에 사용되지 않은 새로운 표정을 생성할 수 있는 자동 표정 생성시스템을 구현한다면 캐릭터 애니메이션 구현의 효율성을 높이는데 기여할 수 있을 것이다.
또한 간단한 보간법을 통해 동일한 표정을 가지는 중간 캐릭터들을 생성하는 방법을 제안한다. 시뮬레이션 결과 사용자는 표정과 정서와의 관련성에 대한 사전 지식없이 중간 성격을 갖는 인물의 표정까지도 생성 가능함을 확인할 수 있었다. 본 논문의 구성은 다음과 같다.
시뮬레이션 결과로부터 캐릭터의 표정 공간은 스타일에 따라 서로 다르게 나타남을 알 수 있다. 그러나 유사한 표정들은 2차원 공간 상에서 서로 인접하며, 26개의 연속된 표정들의 움직임은 거의 유사하다.

후속연구

또한 사용자는 표정과 정서와의 관련성에 대한 사전 지식과 관찰 없이도 연속되는 다양한 캐릭터들의 표정을 직관적으로 쉽게 생성할 수 있음을 확인할 수 있었다. 향후 정면 캐릭터 뿐만 아니라 각도를 가진 다양한 캐릭터들의 표정을 분석하고 학습에 사용되지 않은 새로운 표정을 생성할 수 있는 자동 표정 생성시스템을 구현한다면 캐릭터 애니메이션 구현의 효율성을 높이는데 기여할 수 있을 것이다.

참고문헌 (20)

Frederic I. Parke, Keith Waters, Computer Facial Animation, A K. Peters, Wellesley, Massachusetts, 1996.
B. Guenter, C. Grimm, D. Wood, H. Malvar, and F. Pighin, "Making Faces," Procedings of SIGGRAPH 98, pp. 55-66, 1998.
J.J. Choi, D.S.Kim and I.K.Lee : Anticipation for Facial Animation, In proceeding of Computer Animation and Social Agents(CASA), 2004.
Pyun, H., Kim, Y., Chae, W., Kang, H. W. & Shin, S. Y., "An example-based approach for facial expression cloning," ACM Transactions on Graphics (SIGGRAPH 2006).
Plutchik, R. Emotions : A Psycho evolutionary Synthesis, New York; Harper & Row, 1980.
P. Ekman, Emotion in the human face, Second Edition. Cambridge University Press, 1982.
Russell, J. A., A circumplex model of affect. Journal of Personality and Social Psychology, 1980.
P. Ekman, W. V.Friesen, "Facial Action Coding System," Psychologists Press, 1977.
F. I. Parke, "Parameterized models for facial animation," IEEE computer Graphics and Applications, 2:61-68, 1982.
Keith Waters, "A Muscle Model for Animation Three-Dimensional Facial Expression," Computer Graphics, Vol.21, No.4, 1987.
강만석, 최종일, "국내 애니메이션 산업 발전방안 연구," 한국방송영상산업진흥원, 2001.
Khronos Group(차세대 이동통신 포럼) http://www.khronos.org/openvg/.
http://kr.blog.yahoo.com/feelif2/1740.
고혜영, 이재식, 김재호, "내적 정서 상태 차원에 근거한 캐릭터 표정 생성 프로그램 구현," 한국해양정보통신학회논문지, 제12권, 제3호, pp. 438-444, 2008.

원문보기 상세보기
P.C. Yuen and J.H. Lai, "Face Representation Using Independent Component Analysis," Pattern Recognition, Vol.35, No.6, pp. 1247-1257, 2002.

상세보기
박태희, "간소화된 주성분 벡터를 이용한 벡터 그래픽 캐릭터의 얼굴 표정 생성," 한국해양정보통신학회논문지, 제12권, 제9호, pp. 1547-1553, 2008.

원문보기 상세보기
이해구 저, 포토삽 cs2+일러스트레이터 cs2 : okokok 알찬 예제로 배우는, 교학사, 2007.
Keith Grochow, Steven Martin, Aaron Hertzmann, and Zoran Popovic, "Style-based inverse kinematics," ACM transactions on Graphics(Proceedings of SIGGRAPH 2004), Vol.23, No.3, pp. 522-531, 2004.
류근영, 음양오행(陰陽五行) 사상에 의한 캐릭터의 두상과 체상의 유형 분석 연구, 부산대학교 석사학위논문, 2002.
정상권, 이승래, 권욱현 편저, 수치해석, 도서출판 한산, 2000.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증