초록 ▼

본 연구에서는 다양한 한국인에 대한 3차원을 3D모델 DB를 구축하고, 얼굴표정과 제스처를 3차원으로 애니메이션하는 시스템을 개발하고 있다.다양한 한국인의 3D 모델 DB를 구축하기 위해 성별, 용도별로 3D 모델을 6종설정하고 있다. 표준 3D 모델의 연령은 24세를 기준으로 하고 합성영상의 품질과 애니메이션 속도등을 고려하여 용도별로는 영화 및 애니메이션용, 게임용, 인터넷으로 해상도에 따라 나누고 있다. 표준 3D모델 구성시 인체치수는 97년에 실시한 국민체위조사보고서 (국립품질 기술원과 한국표준과학 연구원)을 참조하고 있다.

본 연구에서는 다양한 한국인에 대한 3차원을 3D모델 DB를 구축하고, 얼굴표정과 제스처를 3차원으로 애니메이션하는 시스템을 개발하고 있다.다양한 한국인의 3D 모델 DB를 구축하기 위해 성별, 용도별로 3D 모델을 6종설정하고 있다. 표준 3D 모델의 연령은 24세를 기준으로 하고 합성영상의 품질과 애니메이션 속도등을 고려하여 용도별로는 영화 및 애니메이션용, 게임용, 인터넷으로 해상도에 따라 나누고 있다. 표준 3D모델 구성시 인체치수는 97년에 실시한 국민체위조사보고서 (국립품질 기술원과 한국표준과학 연구원)을 참조하고 있다. 이 표준 모델을 연령별, 체형별로 세분화하여 한국인 모델 100종을 DB로 구축하고 있다.얼굴표정을 3D로 합성하기 위해서, 얼굴 3D 전방향 텍스처를 2가지 방법으로 구성하고 있다. 하나는 3D 스캔 텍스처를 이용하는 방법이고, 다른 하나는 전후좌우의 4매 2D 영상을 이용하는 방법이다. 전자는 얼굴의 3D 모델을 원통을 통해 2D 평면모델로 변환하여 3D 스캔데이터에 정합하고 있다. 이 방법은 본래 3D 데이터를 얻는 장점이 있지만, 스캔 비용이 고가이고, 스캔 시간이 17초 정도로 대상인물이 정지 상태로 있기에는 다소 길기 때문에 자연스런 얼굴을 얻기 어렵다는 단점이 있다. 후자는 4매의 2D 영상에 3D 모델을 정합한 후, 통합하여 얼굴 3D 텍스처를 구성하고 있다. 이 방법은 저가이면서, 실제 인물의 3차원 형상을 대체로 근사한 3D 모델을 얻게 된다.MPEG-4 FAP(68종)와 FACS의 AU를 얼굴표정파라미터로 하여 표정을 합성하는 툴을 개발하고 있다. 표정합성 툴을 이용하여, 표정파라미터를 입력하면 다양한 표정 애니메이션을 용이하게 생성할 수 있다. FAP는 모션캡쳐등을 이용하여 얼굴부위의 변화를 추출하여, 추출된 결과를 다른 인물에 적용하기가 쉽다. 반면에 AU는 모션 캡처 데이터가 없다고 하더라도 자연스런 표정을 개발할 수 있는 장점이 있다. MPEG-4에 규정된 BAP(Body Animation parameter)의 94종에 대한 동작을 애니메이션 하는 툴을 개발했다. BAP의 회전각과 애니메이션 속도를 입력하며, 여러 가지 동작을 동영상으로 합성할 수 있다. BAP에 대해서 강체의 동작과 비강체의 동작으로 분류하여 실현하고 있다. 강체동작은 어파인 변환을 적용하고, 비강체동작은 인체구조를 고려하여 임의의 축을 중심으로 회전변환을 적절히 적용하고 있다. 강체 동작과 비강체동작을 조합하여 인체의 하부구조로부터의 계층적 동작을 실현하고, 여러 관절이 동시에 움직이는 복합동작도 실현하고 있다.텍스처 매핑과 쉐이딩의 렌더링 방법으로 OpenGl과 자체개발한 엔진을 이용하고 있다. OpenGl을 이용하는 경우, 그래픽 가속기를 이용하면 18∼19 프레임 정도를 얻을 수 있으나, 가속기가 없으면 7∼8 프레임 정도로 애니메이션이 가능하다. 자체개발한 고속 엔진은 5∼6 프레임을 생성하고 있다. OpenGL은 고속 에니메이션이 가능한 반면, 자체 엔진은 핵심기술을 확보하고 있어 여러 가지 응용분야에 확장성이 좋은 편이다.본 시스템은 한국인 3D 모델 DB, 얼굴 3D 텍스처 DB, 표정 및 제스처 애니메이션을 통합하고 있다. 또한, 전후좌우면의 2D 영상에 3D 모델의 정합 툴, 얼굴 2D 평면 모델을 3D 스캔데이터에 정합하는 툴, 전후좌우면의 2D 영상을 통합하여 얼굴 3D 텍스처를 생성하는 툴, 표정 애니메이션 툴, 제스처 애니메이션 툴이 시스템에 포함되어 있다. 나아가서 이들 툴을 이용하여 여러 가지 표정파라미터와 제스처파라미터를 개발할 수 있다.

Abstract ▼

This research constructs the Korean 3D model DB and develops a system for the face and gesture amination.At first, we establish the two standard models for the 24 year old Korean man and woman. The models are classified into three groups according to application fields as cinema, game and internet.

This research constructs the Korean 3D model DB and develops a system for the face and gesture amination.At first, we establish the two standard models for the 24 year old Korean man and woman. The models are classified into three groups according to application fields as cinema, game and internet. Classification reference is polygon resolution considering image quality and animation speed. Each group is subdivided according to age and body type. Our system provides the 100 kinds of the Korean 3D model.our research developes two kinds of the methods for constructing the 3D facial textures. The textures permit us to 3D synthesis of the facial expressions. The one uses the textures obtained by the 3D scanner and the other integrates the four 2D images as frontal, side and rear view. The former adjusts a facial 2D planer model to the 3D scan texture. The 2D planer model is to ap the 3D model to the cylinder including the 3D model. This method obtains the exact 3D model and 3D texture for the object person. However, it is expensive in scanning and obtains a tense face since scanning time is comparative long in taking static pose. The latter adjusts the 3D model to four images and integrates the images as 3D texture. This model is very cheap. But, it obtains the nearly approximated 3D model.This research develops a tool for synthesizing the facial expressions. The tool uses both the MPEG-4 FAP(Facial Animation Parameters) and the FACS(Facial Action Coding System) AU(Action Units). The FAP are suitable in extracting the parameters using the motion capture since they describe the detailed facial changes. On the other hand, the AU allow us to synthesize the facial expressions with their means.The research also develops a gesture animation tool with the MPEG-4 BAP(Body Animation Parameters). The BAP include rigid motions and nonrigid motions. Affine transform ralizes the rigid motions and Rotation with arbitrary axis realizes the nonrigid motions considering local parts of the body structure. Suitable combinations of these two motions lead to the various hierarchical and complex motions.Rendering uses texture mapping and shading. They are developed with OpenGL and our engine. OpenGL generates 18∼19 frame/sec with graphic accelerator and 9∼8 frame/sec with only software. Our engine generates 5∼6 frame/sec with only software. OpenGL permits high-speed animation. However, our engine permits extension to various applications.Our system integrates the Korean 3D model DB, the facial 3D texture DB, the facial expression and gesture animation. The system also includes a tool for adjusting 3D model to four 2D images, a tool for adjusting the facial 2D planer model to 3D scan texture, tool for generating 3D texture by integrating the four 2D images and tools for generating the facial expression and gesture animation.

목차 Contents

• I. 서 론...11
• 1. 연구의 필요성...11
• 2. 연구목표 및 내용...13
• II. 한국인의 3D 모델...15
• 1. MPEG-4 인체의 정의 파라미터...15
• 2. 한국인 3D 모델의 표준화...18
• 3. 한국인 3D 모델의 DB의 구축...21
• 4. 연구결과...25
• III. 얼굴의 3D 텍스처의 구성...26
• 1. 얼굴 형상모델의 정합...26
• 2. 3D 스캔 데이터를 이용...34
• 3. 전후좌우의 4장의 2D 사진을 이용...40
• 4. 연구결과...45
• IV. 얼굴표정 애니메이션...46
• 1. 얼굴 표정 합성의 개요...46
• 2. 얼굴 애니메이션 파라미터...47
• 3. 표정합성을 위한 얼굴 3D 모델의 변형...56
• 4. 표정의 합성 툴...65
• 5. 연구결과...74
• V. 제스처 애니메이션...75
• 1. 제스처 애니메이션의 개요...75
• 2. 제스처 파라미터...75
• 3. 제스처의 계층적 애니메이션 방법...84
• 4. 연구결과...104
• VI. 실시간 텍스처 매핑...105
• 1. OpenGL 이용...105
• 2. 고속 알고리즘 개발...107
• 3. 연구결과...113
• VII. 얼굴표정과 제스처 애니메이션 생성시스템...114
• VIII. 결론...119
• 참고문헌...122