얼굴의 3차원 정보를 인식하기 위해서는 3D 스캐너, 깊이 카메라 등과 같은 고가의 장비가 요구된다. 본 논문에서는 손쉽게 획득 가능한 2차원의 얼굴 영상을 학습하여 3차원으로 변화하는 사용자 얼굴의 포즈 (X, Y, Z축 이동 및 회전) 및 얼굴 표정 변화에 대한 3차원 얼굴 정보의 효과적인 추적, 피팅(Fitting) 방법을 제안한다. 제안된 방법은 학습된 2차원의 얼굴 형태와 3차원의 깊이 정보를 결합하여 입력 얼굴을 피팅하기 때문에 입력 얼굴의 3차원 얼굴 포즈가 학습 영상에 의존적이지 않으며 사전 학습되지 않은 얼굴 포즈에 대해서도 효과적인 3차원 얼굴 피팅을 수행한다. 본 논문에서는 사용자의 얼굴 표정 변화를 학습하기 위해 먼저 사용자의 정면 얼굴에 대한 표정 변화를 Active Appearance Models을 이용하여 학습한다. 그리고 정면, 측면의 얼굴 포즈를 갖는 3장의 영상으로부터 얼굴의 깊이 정보를 추정하고 추정된 깊이 정보와 학습된 AAM을 결합하여 얼굴의 3차원 정보를 피팅한다. 또한 얼굴의 포즈 변화는 3차원 회전을 포함하기 때문에 자기 가림(Self-Occlusion)이 발생된다. 본 논문에서는 이러한 자기 가림이 발생된 영역에 대해 정규 얼굴(Normalized face)의 가중치를 부여함으로써 보다 정확한 3차원 얼굴 피팅을 수행한다. 본 논문에서 제안된 방법은 얼굴의 다양한 표정 변화와 함께 3차원의 얼굴 포즈 변화를 포함한 실험 영상을 이용하여 기존의 AAM 및 View-based AAM에 비해 정확한 얼굴 피팅을 수행할 수 있음을 보인다.
얼굴의 3차원 정보를 인식하기 위해서는 3D 스캐너, 깊이 카메라 등과 같은 고가의 장비가 요구된다. 본 논문에서는 손쉽게 획득 가능한 2차원의 얼굴 영상을 학습하여 3차원으로 변화하는 사용자 얼굴의 포즈 (X, Y, Z축 이동 및 회전) 및 얼굴 표정 변화에 대한 3차원 얼굴 정보의 효과적인 추적, 피팅(Fitting) 방법을 제안한다. 제안된 방법은 학습된 2차원의 얼굴 형태와 3차원의 깊이 정보를 결합하여 입력 얼굴을 피팅하기 때문에 입력 얼굴의 3차원 얼굴 포즈가 학습 영상에 의존적이지 않으며 사전 학습되지 않은 얼굴 포즈에 대해서도 효과적인 3차원 얼굴 피팅을 수행한다. 본 논문에서는 사용자의 얼굴 표정 변화를 학습하기 위해 먼저 사용자의 정면 얼굴에 대한 표정 변화를 Active Appearance Models을 이용하여 학습한다. 그리고 정면, 측면의 얼굴 포즈를 갖는 3장의 영상으로부터 얼굴의 깊이 정보를 추정하고 추정된 깊이 정보와 학습된 AAM을 결합하여 얼굴의 3차원 정보를 피팅한다. 또한 얼굴의 포즈 변화는 3차원 회전을 포함하기 때문에 자기 가림(Self-Occlusion)이 발생된다. 본 논문에서는 이러한 자기 가림이 발생된 영역에 대해 정규 얼굴(Normalized face)의 가중치를 부여함으로써 보다 정확한 3차원 얼굴 피팅을 수행한다. 본 논문에서 제안된 방법은 얼굴의 다양한 표정 변화와 함께 3차원의 얼굴 포즈 변화를 포함한 실험 영상을 이용하여 기존의 AAM 및 View-based AAM에 비해 정확한 얼굴 피팅을 수행할 수 있음을 보인다.
Special cameras (e.g. 3D scanners or depth cameras) are needed to recognize 3D shape information from input faces. In this paper, we propose an efficient face fitting method which can fit various 3D faces including various poses (the rotation of X, Y axies) and facial expressions. Our method takes a...
Special cameras (e.g. 3D scanners or depth cameras) are needed to recognize 3D shape information from input faces. In this paper, we propose an efficient face fitting method which can fit various 3D faces including various poses (the rotation of X, Y axies) and facial expressions. Our method takes advantage of 2D Active Appearance Models (AAM) from 2D face images rather than the depth information measured by special cameras. The proposed method combines 2D face model with depth information, thereby the poses of the input faces are not depend on the training data. We construct an AAM for the variation of facial expressions. Then, we estimate depth information of each land mark from frontal, side view images. By combining the estimated depth information with AAM, we can fit various 3D faces. Self-occlusions due to the 3D pose variation are also processed by the region weighting function on the normalized face at each frame. Our proposed method can fit on various face poses which are not trained. Our experimental results show that the proposed method can efficiently fit various faces better than the typical AAM and View-based AAM.
Special cameras (e.g. 3D scanners or depth cameras) are needed to recognize 3D shape information from input faces. In this paper, we propose an efficient face fitting method which can fit various 3D faces including various poses (the rotation of X, Y axies) and facial expressions. Our method takes advantage of 2D Active Appearance Models (AAM) from 2D face images rather than the depth information measured by special cameras. The proposed method combines 2D face model with depth information, thereby the poses of the input faces are not depend on the training data. We construct an AAM for the variation of facial expressions. Then, we estimate depth information of each land mark from frontal, side view images. By combining the estimated depth information with AAM, we can fit various 3D faces. Self-occlusions due to the 3D pose variation are also processed by the region weighting function on the normalized face at each frame. Our proposed method can fit on various face poses which are not trained. Our experimental results show that the proposed method can efficiently fit various faces better than the typical AAM and View-based AAM.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.