초록 ▼

연구의 목적 및 내용
2차원 비디오 콘텐츠를 3차원으로 변환하는 기존의 2D-to-3D 변환 알고리즘은 주로 풍경, 스포츠현장 등 넓은 일반 환경들을 목표로 하기 때문에, 사람 얼굴에 적용했을 경우에는 매우 부정확하고 어색한 결과를 초래한다. 이 연구는 2차원 비디오 콘텐츠에서의 얼굴 영상을 3차원으로 자동 변환하는 것을 목표로 하되, 기존의 2차원 일반 영상을 3차원으로 변환하는 환경에 접목하였을 때, 보다 정확하고 사실적인 3차원 얼굴 영상을 제공하여 생동감 있는 3D 콘텐츠를 얻을 수 있도록 한다. 세부적으로는, 2차원

연구의 목적 및 내용
2차원 비디오 콘텐츠를 3차원으로 변환하는 기존의 2D-to-3D 변환 알고리즘은 주로 풍경, 스포츠현장 등 넓은 일반 환경들을 목표로 하기 때문에, 사람 얼굴에 적용했을 경우에는 매우 부정확하고 어색한 결과를 초래한다. 이 연구는 2차원 비디오 콘텐츠에서의 얼굴 영상을 3차원으로 자동 변환하는 것을 목표로 하되, 기존의 2차원 일반 영상을 3차원으로 변환하는 환경에 접목하였을 때, 보다 정확하고 사실적인 3차원 얼굴 영상을 제공하여 생동감 있는 3D 콘텐츠를 얻을 수 있도록 한다. 세부적으로는, 2차원 얼굴의 주요한 특징점과 표준 3차원 얼굴 모델을 사용하여 실시간으로 3차원 얼굴을 얻는 연구를 수행하고, 이어서 보다 정교한 3차원 얼굴모델을 생성하기 위하여, 비실시간으로 여러 장의 2차원 얼굴 영상을 사용하여 생김새, 조명, 포즈 변화에 강인한 3차원 얼굴 변환 연구와 더 나아가 사람의 표정 및 말하는 동작까지를 고려한 3차원 얼굴 변환 연구를 수행한다.
연구결과
(1차년도) 주요 얼굴 특징점을 기반으로 하는 고속 3차원 얼굴 변환 연구
▸ 2D 비디오에서 목표 얼굴 영상을 자동 추출하는 방법 연구에서 오차율 4.5% 달성.
▸ 사람의 다양한 생김새, 조명, 포즈 변화에 독립적인 주요 얼굴 특징점(동공 중심, 양 콧구멍 중앙, 입 중앙 위치) 추출 방법 연구에서 검출율 95.4% 이상 달성.
▸ 추출된 눈, 코, 입 위치와 표준 3D 얼굴모델에 기반한 고속 3차원 얼굴 변환 알고리즘 개발
▸ 움직임 벡터를 이용하는 3차원 얼굴 추적을 통한 실시간 3차원 얼굴 변환 알고리즘 개발
(2차년도) 정교하고, 얼굴의 생김새, 조명, 포즈 변화에 강인한 강체(rigid/표정변화가 없는) 얼굴을 위한 3차원 변환 방법 연구
▸ 표정 변화에 영향을 받지 않는 얼굴 특징점(양 눈 꼬리, 코끝, 콧등, 콧구멍 등)을 얼굴의 생김새, 조명, 포즈 변화에 강인하게 추출하는 방법 연구에서 95%이상의 검출율 달성.
▸ 비디오 얼굴 영상에서 이전 프레임과의 차이 및 칼라 정보를 이용한 얼굴 윤곽 추출 연구에서 RMS 에러 기준 3.42mm 달성.
▸ 확장된 얼굴 특징점 기반으로 개인별 3D 얼굴 생성을 위한 3차원 강체 얼굴 변환 연구에서RMS 에러 기준 2.62mm 달성
(3차년도) 표정 및 입술 움직임의 변화를 반영하는 비강체(non-rigid/표정변화가 있는) 얼굴을 위한 3차원 변환 방법 연구
▸ 표정 변화 및 입술 움직임을 반영하는 얼굴 특징점 (눈 형태, 코 형태, 입 형태, 눈썹 형태) 추출 방법 연구에서 Precision, Recall 기준 95% 이상 달성.
▸ 추출된 특징점을 사용한 개인별 3D 얼굴 생성을 위한 3차원 비강체 얼굴 변환 연구에서 RMS 에러 3mm 이내 달성.
▸ 고속 처리를 위하여 2차원 연속 영상들 간의 움직임 벡터를 이용하여 변환된 3차원 얼굴의 표정 및 입술 움직임 변화 추정 연구에서 주관적 평가 기준 10점 만점에 9점 이상, 처리 시간 20fps 달성.
연구결과의 활용계획
▶ 본 연구 과제를 통해 수행한 얼굴 포즈 변화에 강인한 특징 추출 및 3차원 얼굴 복원 연구는 기존방법들의 문제를 해결하였기에, 우수한 국제 논문 및 지적 재산권을 확보를 준비 중이며, 향후2D-to-3D 얼굴변환 뿐 아니라 3차원 얼굴 인식, 3차원 캐릭터 생성, 나이 인식, 표정 인식 등 관련된 패턴 인식, 컴퓨터 비전 분야의 다양한 연구에 연계됨으로써 큰 학술적 파급효과를 기대하고 있다.
▶ 본 연구는 현재 기업이나 연구소들에서 관심을 가지고 연구 및 사업화를 고려하고 있는 기술로써, 향후 3D TV 콘텐츠, 모바일 서비스, 사용자 등장 3D 영화, 3차원 아바타 생성, 3차원 의료영상 등을 대상으로 하는 기업들과 산학 협력을 통한 기술 이전을 기대하고 있다.
▶ CCTV에 의한 감시 환경이나 Teleconference에서, 2차원 얼굴영상들로부터 3차원 복원이 가능하여짐으로써, 정면 얼굴뿐만 아니라 보다 다양한 각도에서 대상자의 얼굴 영상을 조명할 수 있다. 또한 3차원 얼굴 인식, 인터넷 쇼핑몰에서 3차원 아바타생성, 사용자에 특화된 3차원 게임,영화, 및 애니메이션 캐릭터 생성 등에도 널리 응용되어질 수 있다.

Abstract ▼

Purpose&contents
Existing 2D-to-3D conversion methods cannot convert 2D face images accurately because these methods have focused on wide-view images such as landscapes and sport images. The purpose of this research is the automatic conversion of 2D face images in 2D videos to accurate 3D face mo

Purpose&contents
Existing 2D-to-3D conversion methods cannot convert 2D face images accurately because these methods have focused on wide-view images such as landscapes and sport images. The purpose of this research is the automatic conversion of 2D face images in 2D videos to accurate 3D face models by combining existing 2D-to-3D conversion methods with the developed 3D face modeling method. Research on conversion of 2D faces to 3D faces for real time applications will be performed by finding a small number of salient facial feature points and adapting a standard 3D face model to them. Then, extended facial feature points will be extracted for various illuminations, facial appearances, and pose conditions and these points will be used for generating rigid 3D faces. In the last, additional facial feature points greatly affected by facial expression and speaking will be investigated to be used for generating realistic non-rigid 3D faces.
Result
(1st year) Development of a fast 2D-to-3D face conversion method based on salient facial feature points ▸ Extraction of target facial images including at least one sizable face in a moderate pose from an input video
▸ Extraction of salient facial feature points (Level Ⅰ points) under various appearances, poses, illumination conditions
▸ Fast 3D face modeling by adapting the standard 3D face model to the extracted facial feature points
▸ Translation of the created 3D face by using a motion vector
(2nd year) Development of a rigid 3D face conversion method robust to appearance,illumination, and pose variations for the sophisticated 2D-to-3D face conversion
▸ Extraction of extended facial feature points (Level Ⅱ points and these points are not affected by expression variations) under various appearances, poses,illumination conditions
▸ Extraction of the facial contour by using frame difference image and facial color information
▸ Rigid 3D face modeling based on the extended facial feature points
(3rd year) Development of a non-rigid 3D face conversion method robust to expression and mouth shape variations for the realistic 2D-to-3D face conversion
▸ Extraction of Level Ⅲ facial feature points (which can be affected by expression and mouth shape variations) under expression and mouth shape variations
▸ Non-rigid 3D face modeling based on the extended facial feature points
▸ Fast compensation of non-rigid facial shape variation by using motion vector patterns
Expected Contribution
▶ Publication of outstanding SCI journal papers and competitive intellectual properties in the field of 2D-to-3D face conversion, 3D face modeling, and fusion of them
▶ Great effect on 3D display industry caused by accurate 2D-to-3D face conversion
▶ Various view generation from side view face images for forensic and teleconference applications and extension of possible applications including 3D face recognition, generation of 3D avatar for internet shopping mall, generation of 3D person-specific game and animation character, etc

목차 Contents

• 핵심연구사업 최종보고서(평가용) ... 1
• 목차 ... 2
• 연구계획 요약문 ... 3
• 연구결과 요약문 ... 4
• 한글요약문 ... 4
• SUMMARY ... 5
• 연구내용 및 결과 ... 6
• 1. 연구개발과제의 개요 ... 6
• 2. 국내외 기술개발 현황 ... 9
• 3. 연구수행 내용 및 결과 ... 11
• 4. 목표 달성도 및 관련 분야에의 기여도 ... 59
• 5. 연구결과의 활용 계획 ... 67
• 6. 연구과정에서 수집한 해외 과학기술 정보 ... 68
• 7. 주관연구책임자 대표적 연구실적 ... 71
• 8. 참고문헌 ... 71
• 9. 연구성과 ... 74
• 10. 기타사항 ... 77
• 끝페이지 ... 92