초록 ▼

□ 연구개요
• 본 과제에서는 제한되지 않은 환경에서 취득된 일반적인 얼굴 영상으로부터의 완전한 얼굴 정보 복원 기법을 연구함
• ‘제한되지 않는 환경’은 얼굴 포즈, 카메라 위치, 조명, 실내 한정 등의 특정한 취득 조건을 가지지 않는 임의의 시공간을 의미하며, ‘완전한 얼굴 정보’는 3차원 얼굴의 형상(geometry), 포토메트릭(photometric) 정보 등의 물리적(physical) 정보와, 나이, 감정 등의 감성적 (affective) 정보를 동시에 취득하는 것을 의미함

□ 연구 목표대비 연구결과

□ 연구개요
• 본 과제에서는 제한되지 않은 환경에서 취득된 일반적인 얼굴 영상으로부터의 완전한 얼굴 정보 복원 기법을 연구함
• ‘제한되지 않는 환경’은 얼굴 포즈, 카메라 위치, 조명, 실내 한정 등의 특정한 취득 조건을 가지지 않는 임의의 시공간을 의미하며, ‘완전한 얼굴 정보’는 3차원 얼굴의 형상(geometry), 포토메트릭(photometric) 정보 등의 물리적(physical) 정보와, 나이, 감정 등의 감성적 (affective) 정보를 동시에 취득하는 것을 의미함

□ 연구 목표대비 연구결과
• 1~5차년도 연구계획에 따라 충실하게 연구가 진행되었으며, 전체 5년간의 연구 과정에 걸쳐 양적, 질적으로 일관성 있게 특정 연도에 치우치지 않고 중견연구과제 성과물로서 충분히 제시 가능한 수준의 성과물이 생성됨. 연구 성과는 6편의 SCI급 전문학술지 게재, 2편의 Top-Tier 학술대회 논문발표, 5편의 국내 등재 학술지 논문 게재, 6건의 국내 특허출원, 6건의 국내 특허등록, 1명의 박사와 12명의 석사 인력 배출 등으로 다양한 면에서 양적, 질적으로 우수한 성과가 도출됨
• 1차년도: (1) 임의 시공간에서 취득된 영상으로부터 얼굴 영상의 복합적 초해상도 기법 개발에서는 저화질과 블러가 복합적으로 존재하는 얼굴 영상에 대해 초해상도 및 블러 제거를 동시에 해결하는 것을 목표로 하는 GAN 기반의 네트워크를 제시함. (2) 임의 시공간에서 취득된 영상으로부터 정면 얼굴 복원 기법 개발에서는 기하학적 사전 정보뿐만 아니라 얼굴 영역에 대한 정보도 포함하는 3D morphable model의 역 사용과 GAN을 이용하여 다양한 얼굴 포즈와 조명을 포함하는 가림을 제거하여 정면 얼굴을 복원함
• 2차년도: 임의의 시공간에서 취득된 영상으로부터 얼굴의 3차원 형상 복원 기법 개발에서는 주어진 2차원 영상으로부터 정밀한 3차원 얼굴 형상을 취득하며 미세형상 정보를 갖는 displacement map을 생성하는 네트워크를 제안함. 제안하는 기법은 얼굴의 전체 두상과 미세 형상을 안경이나 머리카락에 의해 가리어짐에 강인한 3차원 얼굴 복원을 수행함
• 3차년도: 임의 시공간에서 취득된 영상으로부터 3차원 얼굴의 BRDF 및 BSDF 추정 기법 개발에서는 다양한 조명 조건을 가지는 2,208장의 얼굴 데이터셋을 구축하였으며, 이를 통해 얼굴의 반사 특성을 BRDF, BSDF의 형태로 복원함
• 4차년도: (1) 조건부 생성적 적대 신경망에서 제어 가능한 영상 데이터셋 구축에서는 조건부 정보를 효율적으로 활용하여 다양한 표정과 조명 조건의 얼굴 영상을 생성할 수 있는 생성 네트워크를 제안함. (2) 특징 분해를 이용한 얼굴 연령 분류 및 재합성 기법 개발에서는 얼굴 데이터에서 연령 분류와 새로운 연령으로 재합성을 동시에 수행하여 다양한 연령대의 얼굴 영상을 합성할 수 있음
• 5차년도: (1) 시간 변화에 따른 형상 및 포토메트릭 정보 예측 기법 개발에서는 RAGAN, RAGAN++ 네트워크를 제안하여 정지 영상 및 동영상에서 주어진 인물의 나이를 변형한 새로운 영상/동영상을 합성하는 생성 모델 기반의 기법을 제안함. (2) 공간 및 감정 변화에 따른 포토메트릭 정보 예측 기법에서는 세그멘테이션 맵을 텍스처 이미지로 변환하여 합성 얼굴 데이터셋을 생성하는 새로운 방법을 제시함

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
• 본 과제 수행을 통해 연구책임자 연구그룹의 2차원/3차원 얼굴 인식/복원 분야의 연구 경쟁력이 질적, 양적으로 향상되었으며, 국내 주요 산업의 규모와 국제 경쟁력에 비교하였을 때 본 분야의 연구 수준도 해외 주요 연구 그룹과 대등한 수준으로 향상되었음
• 연구 성과는 컴퓨터 게임, 영화, 증강현실 등의 엔터테인먼트 산업뿐 아니라 사회 보안 유지, 범죄자/실종자 수색 등의 사회문제 해결형 응용 분야까지 매우 다양한 응용 분야로 확장될 수 있음

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 4
• (1) 임의 시공간에서 취득된 영상으로부터 얼굴 영상의 복합적 초해상도 (super-resolution)및 블러 제거 (deblur) (1차년도) ... 4
• (2) 임의 시공간에서 취득된 영상으로부터 정면 얼굴 복원 (1차년도) ... 5
• (3) 임의의 시공간에서 취득된 영상으로부터 얼굴의 3차원 형상 복원 기법 (2차년도) ... 7
• (4) 임의 시공간에서 취득된 영상으로부터 3차원 얼굴의 BRDF 및 BSDF 추정 기법 (3차년도) ... 10
• (5) 조건부 생성적 적대 신경망에서 제어 가능한 영상 데이터셋 구축 (4차년도) ... 12
• (6) 특징 분해를 이용한 얼굴 연령 분류 및 재합성 (4차년도) ... 14
• (7) 시간 변화에 따른 형상 및 포토메트릭 정보 예측 (5차년도) ... 16
• (8) 공간 및 감정 변화에 따른 포토메트릭 정보 예측 ... 18
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 19
• 1) 정성적 연구개발성과 (연구개발결과) ... 19
• 2) 세부 정량적 연구개발성과 ... 19
• 3) 목표 달성 수준 ... 19
• 4. 연구개발성과의 관련 분야에 대한 기여 정도 (연구개발결과의 중요성) ... 20
• 5. 연구개발성과의 관리 및 활용 계획 ... 20
• 6. 자체점검표 ... 21
• 7. 참고문헌 ... 21
• 끝페이지 ... 39