초록 ▼

I. 연구 개발의 목적 및 필요성
1. 실시간 컴퓨터 애니메이션은 공중파, 인터넷, 게임 등 다양한 영역에서 활용 중
2. 기하 모델링, 자연스러운 표정 및 동작 생성은 숙련된 애니메이터에게도 많은 수작업을 요함
3. 가상 캐릭터의 자연스러운 표정이나 동작을 실시간에 생성하는 기술 개발을 목표로 함
III. 연구 개발 내용
1. 동작 포착 및 합성
- 연기자의 동작을 캐릭터 크기 및 주변 환경에 맞도록 실시간에 변형
- 포착된 동작을 다층 구조를 이용하여 편집
- 포착된 동작들을 합성하여

I. 연구 개발의 목적 및 필요성
1. 실시간 컴퓨터 애니메이션은 공중파, 인터넷, 게임 등 다양한 영역에서 활용 중
2. 기하 모델링, 자연스러운 표정 및 동작 생성은 숙련된 애니메이터에게도 많은 수작업을 요함
3. 가상 캐릭터의 자연스러운 표정이나 동작을 실시간에 생성하는 기술 개발을 목표로 함
III. 연구 개발 내용
1. 동작 포착 및 합성
- 연기자의 동작을 캐릭터 크기 및 주변 환경에 맞도록 실시간에 변형
- 포착된 동작을 다층 구조를 이용하여 편집
- 포착된 동작들을 합성하여 실시간, 온라인으로 보행 동작을 생성
- 단일 비디오가 입력되었을 때 동작 라이브러리를 이용하여 인간의 동작을 재구성
- 동작 데이터의 방향 정보에 대한 좌표계 불변 필터링과 다중 해상도 분석 기법
- 환경과 목표 지점들을 만족하는 이동 동작을 확률적으로 계획
- 율동의 리듬을 분석하여 율동과 음악을 동기화
- 다중 캐릭터를 제어하고 실시간에 다중 동작을 혼합
2. 표정 포착 및 합성
- 와이어 및 다층 B-스플라인을 이용한 얼굴 모델 변형
- 얼굴 모델의 와이어를 추출하고 혼합하여 실시간에 표정 생성
- 예제 표정들을 이용하여 다양한 가상 캐릭터 간의 얼굴 표정을 복제
3. 영상 기반 모델링 및 렌더링
- 단일 영상을 이용하여 배경을 구성하고 영상 와핑을 통하여 사실적인 배경 영상을 생성
- 그림 속으로의 여행 기법을 파노라마 영상으로 확장
- 비디오 속으로의 여행 기법
- 점집합 형태의 기하 정보를 포착하여 전경 및 배경 물체의 표면을 합성
III. 연구 개발 성과
1. 해외 학술지: ACM TOC, IEEE TVCC, Graphical Models 등 총 15편
2. 국제 학술 회의: ACM SIGGRAPH, Eurographics, ACM SCA 등 총 11회
3. 기술 이전: KBS, ETRI, 디지털 에이전트, 엔젠 테크놀로지 총 4건
4. 지적 소유권: 국내 특허 등록 4건, 국내 특허 출원 7건, 미국 특허 출원 1건
5. 초청강연: ACM SIGGRAPH course, IPSJ(Information Processing Society of Japan) Annual Conference, 동경대, CASA(Computer Animation and Social Agents), USC-ICT(Univ of Southern California - Institute of Creative Technology), Korea-Japan Joint Workshop on Algorithms and Computation, Korea-Japan Computer Graphics Conference 등 총 19회

Abstract ▼

The goal of this research project is to develop real-time computer animation technology for producing natural facial expressions, character motions, and visually convincing scenes in an on-line manner. Our technology is composed of three major components: motion capture and synthesis, facial express

The goal of this research project is to develop real-time computer animation technology for producing natural facial expressions, character motions, and visually convincing scenes in an on-line manner. Our technology is composed of three major components: motion capture and synthesis, facial expression capture and synthesis, and image-based modeling and rendering. All of these components employ the paradigm of synthesis by reusing existing data, that is, by modifying and processing the data acquired from real worlds such as motions of puppeteers or pictures of actual scenes. During the first stage of this research, we have established the groundwork for real-time animation. We had concentrated on developing"basic" techniques, utilizing captured motions, facial expressions, and pictures. During the second stage, we have further extended them as "core" and "applicable" techniques for real-time applications, covering automatic motion synthesis using a motion database, real-time facial animation by interpolating expressions, and Image-based navigation with automatic background generation.
To capture and synthesize realistic motions in real-time, we devised a filtering scheme to suppress noises in the data captured from actual motions of puppeteers. We also devised a hierarchical approach for interactive motion editing and on-line motion retargeting that adapts motions of an articulated figure to another figure with an identical structure. Those results were applied to producing real-time animations of virtual characters, "Pang-pang" and "Aliang". In cooperation with the technical research institute of KBS(Korean Broadcasting System), they had appeared in a TV show for children for nearly two years and coverage for the general election in 2000. We developed a scheme for representing and comparing motion data based on multiresolution analysis, a method for tracing and reconstructing 3D motion of a character in a video, a framework for real-time motion blending, and a scheme for motion planning techniques. We combined them to form the framework for multiple character animation. Finally, we made it possible to generate more convincing animation in real-time by devising a synchronization scheme of motions and music, together with a model for interactions among virtual characters and their interactions with real actors.
To capture and synthesize realistic facial expressions, we extracted contours of facial features such as the eyes, the nose, and the mouth of aface model from the image sequence taken from a single camera, and then estimate the displacement of each feature and the pose of the head. In order to make facial expressions from the estimated displacements of the features in real-time, we deformed the geometric model of a face using WIRE curves based on multi-level B-splines. As an application of this technique, we generated facial expressions in real-time by extracting and blending WIRE curves from a given face model. We further extended the facial animation techniques for lip sync animation and facial expression cloning between characters.
In image-based modeling and rendering, we enhanced the TIP (Tour Into the Picture) technique for real-time navigation and background image generation. This technique was further extended to panoramic images and video streams. We stitched multiple images taken under the same lighting condition to generate a panoramic image. We also devised a method that extracts depth information from multiple images and provided a image-based method for controling a virtual camera. Moreover, we synthesized surface details by capturing point-based geometric information and efficiently visualized them by point-based rendering.
Finally, we have built a library for transferring our techniques to industries by integrating all of the developed techniques and made arototype software for real-time computer animation.

목차 Contents

• 제1장 서론...26
• 제2장 국내외 기술개발 현황...31
• 제3장 연구개발 수행 내용 및 결과...33
• 1절 동작 포착 및 합성...33
• 1. 실시간 동작 대입 및 변형...33
• 가. 개요...34
• 나. 동작의 잡음 제거...40
• 다. 동작분석...44
• 라. 역 운동학 해법...48
• 마. 시간적 제약조건 분석...57
• 바. 실험 결과...59
• 사. 결론 및 향후과제...62
• 아. 블록: 구(sphere)들의 교집합 위의 최근 점 (closest point)...63
• 2. 대화형 동작 편집...71
• 가. 기존 연구...73
• 나. 배경지식...74
• 다. 계층적 동작 편집...77
• 라. 인간형 관절체의 역운동학...83
• 마. 실험 결과...87
• 바. 토의...90
• 사. 결론...91
• 3. 동작의 다해상도 분석...91
• 가. 서론...91
• 나. 관련 연구...93
• 다. 다해상도 표현법...95
• 라. 좌표불변...103
• 마. 실험...106
• 바. 결론...110
• 4. 비디오 기반 동작 생성...115
• 가. 기존 연구...115
• 나. 원리...117
• 다. 실험 결과...129
• 라. 결론...132
• 5. 이동 동작 계획...132
• 가. 기존 연구...133
• 나. 본문...136
• 다. 로드맵 구성 및 로드맵 탐색...137
• 라. 실험 결과...150
• 마. 결론...153
• 6. 실시간 다중 동작 합성...155
• 가. 기존 연구...155
• 나. 본문...156
• 다. 보행 동작 매개변수화 및 동작 합성...158
• 라. 실험 결과...169
• 마. 결론...172
• 7. 이벤트 구동 군중 시뮬레이션...173
• 가. 소개...173
• 나. 이벤트 기반 충돌 회피...177
• 다. 군중 시뮬레이션...187
• 라. 실험 결과...191
• 마. 결론...195
• 8. 동작과 음악의 동기화...196
• 가. 기존 연구...197
• 나. 동작 분석...200
• 다. 동작 전이 그래프...206
• 라. 동작 합성...211
• 마. 실험 결과...213
• 바. 결론...218
• 2절 표정 포착 및 합성...219
• 1. 행위기반 애니메이션을 위한 실시간 얼굴 표정 포착...219
• 가. 관련연구들...220
• 나. 2차원 얼굴 부분 추적...222
• 다. 3차원 머리 움직임 추적...227
• 라. 3차원 특징점 추적과 잡음 필터링...234
• 마. 실험 결과...236
• 바. 결론...238
• 2. 표정모델로부터의 와이어 곡선 추출...239
• 가. 와이어 변형...239
• 나. 와이어 추출...241
• 다. 실험 결과...244
• 라. 결론...248
• 3. 와이어 기반 실시간 표정 합성...248
• 가. 다중 얼굴 모델의 와이어 추출...249
• 나. 와이어 혼합에 의한 표정 생성 결과...254
• 다. 결론...258
• 4. 표정이 담긴 텍스트 구동 입술 동기화 애니메이션...259
• 가. 입술 동기화 애니메이션...264
• 나. 표정 애니메이션과의 결합...272
• 다. 실험 결과...282
• 라. 결론...289
• 5. 예제 기반 얼굴 표정 애니메이션 복제...290
• 가. 예제 기반 복제 방식...291
• 나. 영역 기반 복제 기법으로의 확장...302
• 다. 실험 결과...310
• 라. 결론...320
• 3절 영상 기반 모델링 및 렌더링...321
• 1. 영상 기반 배경 정보 추출...321
• 가. 단일 영상 다중 소실점 배경 모델 개발...321
• 나. 효율적인 전경과 배경의 분리...332
• 다. 다중 영상을 이용한 파노라마 생성...347
• 2. 영상 기반 배경 정보의 분석 및 렌더링...361
• 가. 계층적 전경 모델 처리 및 파노라믹 영상으로의 확장...361
• 나. 깊이 정보 추출...369
• 3. 동영상 기반 장면 구성...379
• 가. 서론...379
• 나. 배경 영상 생성...384
• 다. 환경 모델 구성...390
• 라. 전경 영상 생성...395
• 마. 실험 결과...400
• 바. 결론 및 향후과제...403
• 4. 가상 카메라 동작 제어...405
• 가. 소개...405
• 나. 기존 연구...406
• 다. 문제 정의...409
• 라. 새로운 TTL 카메라 제어 기법...413
• 마. 실험 결과...418
• 바. 결론...419
• 5. 점 집합 기반 모델링 및 렌더링...422
• 가. 서론...422
• 나. 전처리...426
• 다. 지역 좌표계 추정...428
• 라. 표면 디테일 합성...431
• 마. 점집합 정련...433
• 바. 실험 결과...436
• 사. 결론...436
• 제4장 연구개발 목표 달성도 및 대외기여도...439
• 1절 연구개발 목표 달성도...439
• 2절 대외기여도...446
• 1. 연구개발의 산업화 실적...446
• 2. 공공 기능 수행 현황...446
• 가. 홈페이지 운영 현황...446
• 나. 산$\cdot$학$\cdot$연 협력 거점 활동 현황...447
• 제5장 연구 개발 결과의 활용 계획...450
• 제6장 연구개발과정에서 수집한 해외과학기술정보...452
• 제7장 참고문헌...456