본 논문은 사실적인 3D 얼굴 모델링과 얼굴 표정 생성 시스템을 제안한다. 사실적인 3D 얼굴 모델링 기법에서 개별적인 3D 얼굴 모양과 텍스쳐 맵을 만들기 위해 Generic Model Fitting 기법을 적용하였다. Generic Model Fitting에서 Deformation Function을 계산하기 위해 개별적인 얼굴과 Generic Model 사이의 대응점을 결정하였다. 그 후, Calibrated Stereo Camera로부터 캡쳐 된 영상들로부터 특징점을 3D로 복원하였다. 텍스쳐 매핑을 위해 Fitted된 Generic Model을 영상으로 Projection하였고 사전에 정의된 Triangle Mesh에서 텍스쳐를 Generic Model에 매핑 하였다. 잘못된 텍스쳐 매핑을 방지하기 위해, Modified Interpolation Function을 사용한 간단한 방법을 제안하였다. 3D 얼굴 표정을 생성하기 위해 Vector Muscle기반 알고리즘을 사용하고, 보다 사실적인 표정 생성을 위해 Deformation 과 vector muscle 기반의 턱 rotation을 적용하였다.
본 논문은 사실적인 3D 얼굴 모델링과 얼굴 표정 생성 시스템을 제안한다. 사실적인 3D 얼굴 모델링 기법에서 개별적인 3D 얼굴 모양과 텍스쳐 맵을 만들기 위해 Generic Model Fitting 기법을 적용하였다. Generic Model Fitting에서 Deformation Function을 계산하기 위해 개별적인 얼굴과 Generic Model 사이의 대응점을 결정하였다. 그 후, Calibrated Stereo Camera로부터 캡쳐 된 영상들로부터 특징점을 3D로 복원하였다. 텍스쳐 매핑을 위해 Fitted된 Generic Model을 영상으로 Projection하였고 사전에 정의된 Triangle Mesh에서 텍스쳐를 Generic Model에 매핑 하였다. 잘못된 텍스쳐 매핑을 방지하기 위해, Modified Interpolation Function을 사용한 간단한 방법을 제안하였다. 3D 얼굴 표정을 생성하기 위해 Vector Muscle기반 알고리즘을 사용하고, 보다 사실적인 표정 생성을 위해 Deformation 과 vector muscle 기반의 턱 rotation을 적용하였다.
In this paper, we present realistic 3D head modeling and facial expression systems. For 3D head modeling, we perform generic model fitting to make individual head shape and texture mapping. To calculate the deformation function in the generic model fitting, we determine correspondence between indivi...
In this paper, we present realistic 3D head modeling and facial expression systems. For 3D head modeling, we perform generic model fitting to make individual head shape and texture mapping. To calculate the deformation function in the generic model fitting, we determine correspondence between individual heads and the generic model. Then, we reconstruct the feature points to 3D with simultaneously captured images from calibrated stereo camera. For texture mapping, we project the fitted generic model to image and map the texture in the predefined triangle mesh to generic model. To prevent extracting the wrong texture, we propose a simple method using a modified interpolation function. For generating 3D facial expression, we use the vector muscle based algorithm. For more realistic facial expression, we add the deformation of the skin according to the jaw rotation to basic vector muscle model and apply mass spring model. Finally, several 3D facial expression results are shown at the end of the paper.
In this paper, we present realistic 3D head modeling and facial expression systems. For 3D head modeling, we perform generic model fitting to make individual head shape and texture mapping. To calculate the deformation function in the generic model fitting, we determine correspondence between individual heads and the generic model. Then, we reconstruct the feature points to 3D with simultaneously captured images from calibrated stereo camera. For texture mapping, we project the fitted generic model to image and map the texture in the predefined triangle mesh to generic model. To prevent extracting the wrong texture, we propose a simple method using a modified interpolation function. For generating 3D facial expression, we use the vector muscle based algorithm. For more realistic facial expression, we add the deformation of the skin according to the jaw rotation to basic vector muscle model and apply mass spring model. Finally, several 3D facial expression results are shown at the end of the paper.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러나 실제 사용면에서 레이져 스캐너 장비는 매우 고가이고 불편하다. 그러므로 본 논문에서는 레이져 스캐너와 같은 추가 장비 없이 디지털 카메라를 이용한 사실적인 얼굴 모델을 생성하는 것을 목표로 한다. W.
오프라인으로 Calibration 이후 3D 특징점을 복원 하기 위해 두 카메라 사이의 대응점을 측정한다. 대응 점을 쉽게 찾기 위해 라인 레이져, 프로젝터 등의 Active 장치를 사용할 수 있지만 본 논문에서는 Active 장치 없이 3D 얼굴 모델을 생성하는 것이 목적이기 때문에 대응점은 피동적으로 찾았다. 본 논문에서는 대응점을 매뉴얼하게 선택했지만 추후 연구에서 Active Shape Model(ASM)과 Active Appearance Model(AAM)과 같은 잘 알려진 특징 추출 기법을 이용하여 자동 특징 추출 알고리즘을 사용할 예정이다[11, 12].
본 논문에서 사실적인 3D 얼굴 모델링 및 애니메이션 시스템을 제안했다. 순차적인 영상을 이용한 3D 포인트 재구성 기법은 사용자가 움직이면 안되기 때문에 제약조건이 있다.
본 논문에서는 3개의 고정된 카메라부터 한 번에 획득된 영상들을 이용하여 3D 얼굴 모델을 생성하는 방법을 제안한다. 기존 연구들과 달리 영상을 순차적 으로 영상을 획득 하지 않기 때문에 정확한 대응점을 추출할 수 있었다.
영상에서 얼굴 영역의 투사 정점이 배경으로 잘못 매핑될 수 있다. 이러한 문제를 해결하기 위해 머리의 외형에 투영 정점을 조정하는 간단한 방법을 제안한다. 머리의 외형을 추출하는 다양한 알고리즘이 있기 때문에 머리의 외부 형태는 안다고 가정한다.
가설 설정
이러한 문제를 해결하기 위해 머리의 외형에 투영 정점을 조정하는 간단한 방법을 제안한다. 머리의 외형을 추출하는 다양한 알고리즘이 있기 때문에 머리의 외부 형태는 안다고 가정한다. 그 후 예상 정점의 Convex Hull을 결정할 수 있고 랜덤하게 Convex Hull에 정점을 선택한다.
제안 방법
본 논문에서 제안한 방법은 한번에 영상을 획득 하기 때문에 제한이 없으며 신속히 3D 특징점을 복원할 수 있다. 개별 3D 얼굴 모양을 생성하기 위해 Generic 모델을 복원 특징점에 피팅하였다. 텍스쳐 매핑에서 카메라에 따라 머리를 조정한 후 개별적으로 정의되어 있는 Generic 모델에 정의된 삼각형에 텍스쳐를 투영하였다.
3D 얼굴 표정 애니메이션을 위해 간단하지만 효과적인 벡터 근육 모델 알고리즘을 적용하였다. 벡터 근육 알고리즘을 추가하여 턱의 회전에 따라 피부 변형을 결정하고 입술 끝에서 급격한 위에 의해 발생된 일부 비현실적인 결과를 보완하기 위해 매스 스프링 모델을 적용하여 사실적인 3D 얼굴 표정을 생성 하였다. 이러한 과정을 통해 획득한 3D 얼굴 표정 데이터는 애니메이션 및 영화의 특수 효과 등에 효율적으로 활용될 수 있을 것으로 생각된다.
따라서 이동하는 턱에 따른 피부 변형을 표현하기 위해 모델을 설정해야 한다. 본 논문에서는 피부 변형을 통해 피부영역을 턱과 동일 하게 돌린다. 그림 7.
사실적인 3D 얼굴 모델을 생성하기 위해 개별 텍스쳐 매핑 방식에 맞게 Generic 모델을 사용 하였다. 영상에서 정확한 텍스쳐를 추출하기 위해 3D 보간 함수를 2D로 수정하였다. 이후 3D 얼굴에 대한 텍스처 맵을 추출 할 수 있었다.
오프라인으로 Calibration 이후 3D 특징점을 복원 하기 위해 두 카메라 사이의 대응점을 측정한다. 대응 점을 쉽게 찾기 위해 라인 레이져, 프로젝터 등의 Active 장치를 사용할 수 있지만 본 논문에서는 Active 장치 없이 3D 얼굴 모델을 생성하는 것이 목적이기 때문에 대응점은 피동적으로 찾았다.
취득 영상으로부터 텍스쳐를 추출하기 위해, 우선 취득된 2D 영상으로부터 모델링 과정에서 생성한 변형된 Generic 모델로 재 투영한 후 해당 텍스쳐를 매핑하는 관계를 계산하였다. 이 과정에서 모든 2D 좌표에 대해 계산하려면 상당한 시간이 소요 되기 때문에, 삼각 메쉬 형태로 만들어 재 투영한 후 내부 텍스쳐를 동시에 추출하는 방법을 사용하였다. 문제는 재 투영시 가려진 부분에 의해 중복된 텍스쳐가 추출 된다는 것이다.
문제는 재 투영시 가려진 부분에 의해 중복된 텍스쳐가 추출 된다는 것이다. 이를 해결하기 위하여 후면 제거와 은면 제거 방법을 적용하였다.
보다 사실적인 3D 얼굴 모델을 만들기 위해 취득된 영상으로부터 텍스쳐를 추출하고 매핑하는 기술이 필요하다. 취득 영상으로부터 텍스쳐를 추출하기 위해, 우선 취득된 2D 영상으로부터 모델링 과정에서 생성한 변형된 Generic 모델로 재 투영한 후 해당 텍스쳐를 매핑하는 관계를 계산하였다. 이 과정에서 모든 2D 좌표에 대해 계산하려면 상당한 시간이 소요 되기 때문에, 삼각 메쉬 형태로 만들어 재 투영한 후 내부 텍스쳐를 동시에 추출하는 방법을 사용하였다.
개별 3D 얼굴 모양을 생성하기 위해 Generic 모델을 복원 특징점에 피팅하였다. 텍스쳐 매핑에서 카메라에 따라 머리를 조정한 후 개별적으로 정의되어 있는 Generic 모델에 정의된 삼각형에 텍스쳐를 투영하였다.
이론/모형
3D 얼굴 표정 애니메이션을 위해 간단하지만 효과적인 벡터 근육 모델 알고리즘을 적용하였다. 벡터 근육 알고리즘을 추가하여 턱의 회전에 따라 피부 변형을 결정하고 입술 끝에서 급격한 위에 의해 발생된 일부 비현실적인 결과를 보완하기 위해 매스 스프링 모델을 적용하여 사실적인 3D 얼굴 표정을 생성 하였다.
이는 Epiplolar Geometry에 두 카메라간의 Fundamental Matrix를 사용하여 계산 될 수 있다. Fundamental Matrix를 계산하기 위해 Normalized 8-point 알고리즘을 사용하였다[10]. 그림 1.
이로한 절차를 Generic 모델 피팅이라 하고 Deformation Function은 분산 데이터 보간 함수가 될 수 있다. 다양한 보간 기법 중에 본 논문에서는 Radial Basis 함수[10]를 사용하였다. 만약 p′포인트가 함수에 의한 변형된 포인트 p 와 같으면, 그것을 p ′ = f (p) 으로 유도 할 수 있다.
미지의 coefficientci Affine 파라메터 M 과 t 를 결정하기 위해, 식 (2)를 변환하여 Linear Matrix Form AX = B 로 만든 후 일반적인 Linear 식 해석 방법으로 해를 결정하였다.
2장에서는 개인별 3D 얼굴 모델을 생성하는 방법을 보인다. 사실적인 3D 얼굴 모델을 생성하기 위해 개별 텍스쳐 매핑 방식에 맞게 Generic 모델을 사용 하였다. 영상에서 정확한 텍스쳐를 추출하기 위해 3D 보간 함수를 2D로 수정하였다.
γi 은 마철을 통해 변형 격자의 운동 에너지를 방출하기 위한 속도 의존 감쇠 계수이다[15]. 식(13)을 풀기위해 Explicit Euler Method를 시간 단계 스텝 후에 사용한다[16]. 그림 8.
Parke[13] 이후로 얼굴의 표정을 생성하려는 많은 시도가 있었다. 이 장에서는 K. Waters[14]의 벡터 근육 알고리즘을 사용하여 이전 장에서 생성한 3D 얼굴 모델을 사용 하여 얼굴 표정을 생성한다. 보다 사실적인 얼굴 표정 생성을 위해, 원래 표정 결과에 간단한 방법을 추가한다.
성능/효과
순차적인 영상을 이용한 3D 포인트 재구성 기법은 사용자가 움직이면 안되기 때문에 제약조건이 있다. 본 논문에서 제안한 방법은 한번에 영상을 획득 하기 때문에 제한이 없으며 신속히 3D 특징점을 복원할 수 있다. 개별 3D 얼굴 모양을 생성하기 위해 Generic 모델을 복원 특징점에 피팅하였다.
후속연구
대응 점을 쉽게 찾기 위해 라인 레이져, 프로젝터 등의 Active 장치를 사용할 수 있지만 본 논문에서는 Active 장치 없이 3D 얼굴 모델을 생성하는 것이 목적이기 때문에 대응점은 피동적으로 찾았다. 본 논문에서는 대응점을 매뉴얼하게 선택했지만 추후 연구에서 Active Shape Model(ASM)과 Active Appearance Model(AAM)과 같은 잘 알려진 특징 추출 기법을 이용하여 자동 특징 추출 알고리즘을 사용할 예정이다[11, 12]. 그림 2에서 왼쪽 카메라 영상에서 대응점과 3D 특징점 복원 결과를 보이고 있다.
대응 점을 쉽게 찾기 위해 라인 레이져, 프로젝터 등의 Active 장치를 사용할 수 있지만 본 논문에서는 Active 장치 없이 3D 얼굴 모델을 생성하는 것이 목적이기 때문에 대응점은 피동적으로 찾았다. 본 논문에서는 대응점을 매뉴얼하게 선택했지만 추후 연구에서 Active Shape Model(ASM)과 Active Appearance Model(AAM)과 같은 잘 알려진 특징 추출 기법을 이용하여 자동 특징 추출 알고리즘을 사용할 예정이다[11, 12]. 그림 2에서 왼쪽 카메라 영상에서 대응점과 3D 특징점 복원 결과를 보이고 있다.
벡터 근육 알고리즘을 추가하여 턱의 회전에 따라 피부 변형을 결정하고 입술 끝에서 급격한 위에 의해 발생된 일부 비현실적인 결과를 보완하기 위해 매스 스프링 모델을 적용하여 사실적인 3D 얼굴 표정을 생성 하였다. 이러한 과정을 통해 획득한 3D 얼굴 표정 데이터는 애니메이션 및 영화의 특수 효과 등에 효율적으로 활용될 수 있을 것으로 생각된다.
질의응답
핵심어
질문
논문에서 추출한 답변
Generic 모델을 사용하여 3D 얼굴 모델을 생성하기 위해서 무엇이 필요한가?
Generic 모델을 사용하여 3D 얼굴 모델을 생성하기 위해서 대응하는 2D 특징점으로부터 3D 점들을 복원해야 하고 복원된 3D 특징점에 Generic 모델을 맞추어야한다. Deformation 함수에 전체 모양에 관한 정보를 제공하기 위해 Generic 모델에 맞추어지게 될 충분한 특징점이 복원되어져야 한다.
W. S. Lee[8]는 두 개의 Orthogonal view 영상으로부터 3D 얼굴 모델을 빠르고 간단하게 복원 하는 방법을 제안하였는데, 이러한 방법은 어떠한 단점이 있는가?
Lee[8]는 두 개의 Orthogonal view 영상으로부터 3D 얼굴 모델을 빠르고 간단하게 복원 하는 방법을 제안하였다. 그리고 이러한 방법은 각 방향에서 얼굴의 정면과 측면이 획득되어져야 한다는 단점을 가지고 있다. Pighin[9]은 사전에 생성된 Generic 모델을 하나의 카메라로부터 획득된 몇 장의 영상으로부터 복원된 3D 특징점으로 Fitting하는 방법을 제안하였다.
3D 얼굴 모델링 기술은 어떠한 분야에서 사용되는가?
영상으로부터 3D 정보 획득 및 사실적인 3D 얼굴 모델을 생성하는 것은 컴퓨터 그래픽과 비전 분야에서 도전적인 분야이다[1,2,3,4,5,6]. 3D 얼굴 모델링 기술은 영화 컴퓨터 게임 화상 회의 등과 같은 분야에서 사용되고 있다. 70년대부터 3D 얼굴 모델링에 많은 시도가 있었다.
참고문헌 (16)
D.Terzopoulos and K.Waters, "Physically-based facial modeling, analysis, and animation", The Journal of Visualization and Computer Animation, Vol. 1, No. 4, pp. 73-80, 1990.
Tae-eun Kim, You-Shin Park, "Facial Animation Generation by Korean Text Input", The Journal of the Korea Institute of Electronic Communication Sciences, Vol. 4, No. 2, pp. 116-122, 2009.
Sang-Hoon Kim, Tae-eun Kim, "A study on underwater 3D contents production", The Journal of the Korea Institute of Electronic Communication Sciences, Vol. 7, No. 3, pp. 529-536, 2012.
Seung-Il Cho, Jong-Chan Kim, Kyeong-Jin Ban, Eung-Kon Kim, "A Study on 3D Panoramic Generation using Depth-map", The Journal of the Korea Institute of Electronic Communication Sciences, Vol. 6, No. 6, pp. 831-838, 2011.
Y.Lee, D.Terzopoulos, and K.Waters, "Realistic modeling for facial animation," SIGGRAPH conference proceedings, pp. 55-62, ACM SIGGRAPH, August 1995.
W.S.Lee, N.M.Thalmann, "Generating a population of animated faces from pictures," IEEE International workshop on model people, pp. 62-69. 1999.
F.I.Parke, "Computer generated animation of faces," Proceedings of ACM conference, Vol. 1, pp. 451-457, 1972.
R.Hartley and A.Zisserman, "Multiple view geometry in computer vison," Cambridge university press, 2000.
T.F.Cootes,G.Edwards and C.Taylor, "Active apperance models," IEEE Trans. Pattern Anal.Mach.Inell. Vol. 23, No. 6, pp. 681-685, 2001.
T.Cootes, D.Cooper, C.Taylor, and J. Graham, "Active shape models- their training and application," Computer Vision and Image Understanding, Vol. 61, No.1, pp. 38-59, 1995.
K.Waters, "A muscle model for animating three-dimensional facial expression", IGGRAPH 87 Conference proceedings, Vol. 21, pp. 17-24, ACM SIGGRAPH, 1987.
F.Pighin, J.Heckeer, D.Lischinski, P.Szeliski, D.H.Salesin", nthesizing realistic facial expressions from photographs," Proceedings of ACM Computer Graphics (SIGGRAPH '98), pp. 55-66, 1998.
W.Press, B.Flanney, S.Teukolsky, and W.Verttering. "Numerical Recipes: The Art of scientific computing", ambridge university press, 1986.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.