초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문에서는 암시적 표현법과 명시적 표현법을 결합하여 사실적인 인간 얼굴을 렌더링하면서도 명시적인 표정 조작이 가능한 삼차원 얼굴 모델을 소개한다. 암시적 볼륨 기반의 방법은 여러 시점에서 일관성을 가지는 삼차원 사람 얼굴을 생성할 수 있지만 명시적인 표정 조작이 어렵다는 단점이 존재한다. 뉴럴 텍스쳐를 사용하는 명시적인 방법은 UV 맵을 통한 사용자 친화적인 조작이 가능하지만 기하로 정의되지 않는 부분에 대해서는 표현할 수 없다는 단점이 존재한다.
본 논문에서는 두 가지 방식의 장점을 활용한 딥러닝 기반의 삼차원 얼굴 생성 방법을 제안한다. 제안하는 ...

본 논문에서는 암시적 표현법과 명시적 표현법을 결합하여 사실적인 인간 얼굴을 렌더링하면서도 명시적인 표정 조작이 가능한 삼차원 얼굴 모델을 소개한다. 암시적 볼륨 기반의 방법은 여러 시점에서 일관성을 가지는 삼차원 사람 얼굴을 생성할 수 있지만 명시적인 표정 조작이 어렵다는 단점이 존재한다. 뉴럴 텍스쳐를 사용하는 명시적인 방법은 UV 맵을 통한 사용자 친화적인 조작이 가능하지만 기하로 정의되지 않는 부분에 대해서는 표현할 수 없다는 단점이 존재한다.
본 논문에서는 두 가지 방식의 장점을 활용한 딥러닝 기반의 삼차원 얼굴 생성 방법을 제안한다. 제안하는 프레임워크는 뉴럴 텍스쳐를 사용하여 얼굴을 생성하고, 얼굴을 제외한 나머지 부분은 볼륨 구조를 통해 생성한 후 두 표현법을 깊이 기반으로 통합한다. 이러한 두 표현법이 혼합된 뉴럴 렌더링을 통해 여러 시점에서 일관성 있는 삼차원 사람 얼굴을 만들어내면서도 사용자 친화적인 표정 조작이 가능하다. 제안하는 방법을 이용하여 다양한 모양과 표정을 반영한 삼차원 얼굴 생성이 가능함을 실험을 통해 보인다. 또한 제안하는 방법이 뉴럴 텍스쳐를 사용한 기존의 얼굴 생성 방법 대비 정량적 지표가 상승하였음을 보인다.

Abstract ▼ AI-Helper

This paper introduces a 3D generative model that combines implicit and explicit representation for photo-realistic human face image synthesis with multi-view consistency and explicit manipulation. The implicit volume-based method can generate human face images with multi-view consistency but lacks c...

This paper introduces a 3D generative model that combines implicit and explicit representation for photo-realistic human face image synthesis with multi-view consistency and explicit manipulation. The implicit volume-based method can generate human face images with multi-view consistency but lacks controllability. On the other hand, the explicit method of using neural textures enables user-friendly manipulation through the UV map, though it cannot express the features unaccounted by the geometry. This paper proposes a novel deep learning-based 3D human face generation model through a hybrid method using both implicit and explicit representations. This framework enables the generation of the face region via neural textures and the non-face regions through a 3D volume, combined by depth compositing. With this hybrid method, we can achieve 3D human face generation with multi-view consistency and explicit control of the expression. We empirically show that the proposed approach can generate various shapes and expressions of human faces. We also show that the proposed method improves the result quantitatively compared to the previous work on the face generation method that utilises neural textures.