초록 ▼

□ 연구개발 목표 및 내용
○ 최종 목표
사용자의 사진을 촬영하면 머신러닝 알고리즘을 기반으로 표정 애니메이션이 풍부한 photo-realistic 방식 및 3D 아바타 생성 방식의 실감 3D 얼굴 캐릭터 생성 기술 개발

○ 전체 내용
- 사용자의 사진을 촬영하면 머신러닝 알고리즘을 기반으로 표정 애니메이션이 풍부한 photo-realistic 방식 및 3D 아바타 생성 방식의 실감 3D 얼굴 캐릭터 생성 기술 개발
- 사용자의 사진을 촬영하면 머신러닝 알고리즘을 기반으로 사용자의 얼굴을 분석하여

□ 연구개발 목표 및 내용
○ 최종 목표
사용자의 사진을 촬영하면 머신러닝 알고리즘을 기반으로 표정 애니메이션이 풍부한 photo-realistic 방식 및 3D 아바타 생성 방식의 실감 3D 얼굴 캐릭터 생성 기술 개발

○ 전체 내용
- 사용자의 사진을 촬영하면 머신러닝 알고리즘을 기반으로 표정 애니메이션이 풍부한 photo-realistic 방식 및 3D 아바타 생성 방식의 실감 3D 얼굴 캐릭터 생성 기술 개발
- 사용자의 사진을 촬영하면 머신러닝 알고리즘을 기반으로 사용자의 얼굴을 분석하여 성별(남자/여자) 인식, 나이 인식, 인종 인식 등을 수행하는 기술 개발
- 상기 기술을 기반으로 하여 온 가족이 주인공이 되는 인터랙티브 융합현실 콘텐츠 어플리케이션, StorySelf 개발

○ 1단계
□ 목표
사용자의 사진을 촬영하면 머신러닝 알고리즘을 기반으로 표정 애니메이션이 풍부한 photo-realistic 방식 및 3D 아바타 생성 방식의 실감 3D 얼굴 캐릭터 생성 기술 개발
□ 내용
얼굴 정면화 및 정규화, 자동리깅 기술을 기반으로 표정 표현이 다양한 얼굴 캐릭터 생성 기술 개발 및 응용 콘텐츠 제작

□ 연구개발성과
○ 모바일에서 동작하는 포토리얼리스틱 얼굴 캐릭터 생성 기술 개발 완료 및 응용 서비스인 인터랙티브 실감 스토리 콘텐츠, 스토리셀프 출시
- 본 연구개발과제에서 개발한 기술을 기반으로 실제 문화상품, 스토리셀프(사진 한 장으로 온 가족이 주인공이 되는 인터랙티브 실감 동화 콘텐츠)를 개발하여서 구글플레이/앱스토어를 통하여 운영중에 있음.
본 사업기간동안 개발한 포토리얼리스틱 얼굴 캐릭터 생성 기술에 기반하여서, 응용 콘텐츠, 스토리셀프를 개발할 수 있었고, 구글플레이 및 앱스토어에서 출시를 수행함.
○ 사용자 얼굴 캐릭터 생성 기술에 기반한 온 가족이 주인공이 되는 인터랙티브 실감 동화 콘텐츠 8종 개발
위와 같은 포토리얼리스틱 얼굴 캐릭터 생성 기술에 기반한 응용 콘텐츠 8종을 개발 완료하고 스토리셀프 서비스에서 유통중에 있음.
○ 얼굴 분석(성별, 나이, 인종, 안경 착용 유무, 모자 착용 유무, 얼굴 형태, 머리스타일) 기술 개발
- 얼굴 이미지 정보를 분석하여, 성별, 나이, 인종, 안경 착용 유무 등을 판단하여서 맞춤형 콘텐츠 제공의 시스템을 구축함.
- 사용자가 안경을 착용하였을 시, 안경을 벗게 하고 안경 악세사리를 착용할 수 있도록 사용자 경험을 제공함.
본 과제에서 개발한 얼굴 분석 기술에 기반하여서, 사용자가 얼굴 캐릭터 생성을 위하여 얼굴 촬영 후, 촬영된 얼굴 사진의 얼굴 정보를 분석할 수 있는 시스템을 구축함.
○ 얼굴 정면화 알고리즘 기술 개발
다양한 이미지들에 대한 얼굴 정면화 알고리즘 추론 결과. 전체적으로 정면 얼굴을 표현하고 있는걸 확인할 수 있음.
- 얼굴사진 촬영시, 얼굴 캐릭터의 정면 이미지를 추론한 후, 포토리얼리스틱 얼굴 캐릭터를 생성하기 위하여, 얼굴 정면화 알고리즘을 개발함.
○ 얼굴 조명 변화 알고리즘 기술 개발
얼굴 조명 변화 알고리즘 추론 결과. 전체적으로 타겟 조명 방향으로 이미지를 생성하는 것을 확인할 수 있음.
- 얼굴사진을 촬영하고, 얼굴 캐릭터를 생성할 시, 해당 얼굴 사진의 조명 정보를 시뮬레이션 하여 최적의 조명 환경에서 포토리얼리스틱 얼굴 캐릭터를 생성할 수 있는 시스템을 구축함.
○ 자동 리깅을 통한 다양한 표정의 얼굴 3D 캐릭터 생성 기술 개발
입력 사진으로부터 얼굴을 정면화 시키고, 자동 리깅을 통하여 다양한 얼굴 표정 캐릭터를 생성하여 동화 속 주인공으로 만들어주는 프로세스 예시.
- 얼굴사진을 촬영하고, 해당 얼굴 사진의 포토리얼리스틱 얼굴 캐릭터를 생성하여 무한한 얼굴 표정을 시뮬레이션하는 기술 개발. 이를 기반으로 실감나는 사용자의 얼굴 캐릭터를 생성하여 동화 속 주인공으로 제공.
○ 다양한 아기 얼굴 필터링을 통한 사용자 얼굴 캐릭터의 아동 얼굴화 기술 개발
입력 사진으로부터 생성된 얼굴 캐릭터 모델에 아기 얼굴 필터링을 입힌 시뮬레이션 다양한 필터링을 시도해보았으며 . , 최종 문화상품(스토리셀프)에는 아이 필터 #2를 채택하여서 운영중에 있음.
입력 사진으로부터 생성된 얼굴 캐릭터 모델에 라이팅 조정 및 피부톤 조정 필터링 결과

□ 연구개발성과 활용계획 및 기대 효과
본 연구개발을 통해서 개발된 포토리얼리스틱 얼굴 캐릭터 생성 기술을 기반으로 하여서 다양한 에듀테인먼트 콘텐츠 제작 가능. 본 사업기간동안 온 가족이 주인공이 되는 인터랙티브 융합현실 실감 동화 콘텐츠, 스토리셀프와 자신이 직접 만드는 자신이 주인공이 되는 동화책, 스토리셀프 커스텀 스티커북 2건의 상용화를 수행하였음. 또한, 더 나아가서, 메타버스 시대에, 자신의 얼굴 캐릭터 생성 기술을 기반으로 하여서 다양한 응용이 가능할 것으로 기대함.

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요 약 문 ... 2
• 목차 ... 7
• 1. 연구개발과제의 개요 ... 8
• 1-1. 연구의 필요성 ... 8
• 1-2. 개발 목표(기술 및 제품)의 국내외 현황 ... 9
• 1-3. 본 연구의 필요성 ... 10
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 10
• 2-1. 얼굴 정면화 및 정규화 기술 개발 ... 10
• 2-2. 얼굴 조명 변화 알고리즘 개발 ... 16
• 2-3. 자동 리깅을 통한 다양한 표정의 얼굴 3D 캐릭터 생성 기술 개발 ... 19
• 2-4. 다양한 아기 얼굴 필터링을 통한 사용자 얼굴 캐릭터의 아동 얼굴화 기술 개발 ... 20
• 2-5. 사용자 얼굴 정보 분석 기술 개발 ... 21
• 2-6. 사용자 얼굴 캐릭터 생성 기술에 기반한 온 가족이 주인공이 되는 인터랙티브 실감 동화 콘텐츠 개발 ... 24
• 2-7. 포토리얼리스틱 기반 사용자 얼굴 캐릭터 생성 기술에 기반한 온 가족이 주인공이 되는 인터랙티브 실감 동화 콘텐츠 사업화 ... 25
• 2-8. 본 사업의 산출물 사용성 평가 ... 26
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 37
• 4. 목표 미달 시 원인분석 ... 56
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 56
• 6. 연구개발성과의 관리 및 활용 계획 ... 58
• 끝페이지 ... 59