초록 ▼

VR에 대한 대중적 관심이 커졌고 이후 HoloLens에 의해 AR 관련 산업도 빠른 속도로 확산 중임. 이와 같이 VR/AR 저변이 확대됨에 따라 tele-presence 시스템 구현 가능성 여부가 주목받고 있는데, tele-presence의 핵심은 원격지 사용자가 마치곁에 있는 느낌을 제공하는 teleportation 기술임. 본 과제에서는 원격지로 teleportation 된 사용자의 얼굴 표정을 실제에 최대한 가깝게 재현하고 로컬 환경의 조명 조건으로 재조명(relighting)하는 기술을 개발함. 원격지 조명 조건에 맞춘

VR에 대한 대중적 관심이 커졌고 이후 HoloLens에 의해 AR 관련 산업도 빠른 속도로 확산 중임. 이와 같이 VR/AR 저변이 확대됨에 따라 tele-presence 시스템 구현 가능성 여부가 주목받고 있는데, tele-presence의 핵심은 원격지 사용자가 마치곁에 있는 느낌을 제공하는 teleportation 기술임. 본 과제에서는 원격지로 teleportation 된 사용자의 얼굴 표정을 실제에 최대한 가깝게 재현하고 로컬 환경의 조명 조건으로 재조명(relighting)하는 기술을 개발함. 원격지 조명 조건에 맞춘 자연스러운 얼굴 모델을 상대방에게 렌더링하는 기반 기술을 확보하여 사용자의 tele-presense를 제고함. 따라서 본 과제에서 개발될 기술을 이용하면 지리적, 공간적 제약을 넘어 다수 사용자들 간 협업을 도울 수 있을 것으로 판단됨.

(출처 : 보고서 요약서 3p)

Abstract ▼

Starting with Head Mounted Display (HMD), various VR- and AR-related technologies have been developed rapidly. Particularly, the tele-presence system capable of multi-party interactions in a more advanced form is receiving great attention. In such a system, however, the realism of teleported human i

Starting with Head Mounted Display (HMD), various VR- and AR-related technologies have been developed rapidly. Particularly, the tele-presence system capable of multi-party interactions in a more advanced form is receiving great attention. In such a system, however, the realism of teleported human is important in order to improve the sense of reality. In this project, various research topics are studied and developed for realistic facial animation and relighting for improvement of presence in tele-presence system.
This project aims to achieve the following:
(1) Facial animation – To generate high-resolution face model of the user based on the RGB-D image and the face template derived from the large-scale face database, and to track user’s facial expression in real-time by using RGB-D image and the blendshape of the user’s face model.
(2) Relighting – To separate the intrinsic color of the object and surrounding ambient light using intrinsic decomposition method, and to develop a high-resolution global illumination algorithm by fusing the intrinsic color of the teleported model with the ambient light of the remote site.

The results of this project are expected to secure industrial competitiveness that will lead the global AR/VR market in the future through technology integration for low-cost tele-presence environment construction. The results of this project can also be applied to the following:
(1) Virtual classroom – can improve the presence and learning effect through the sight alignment between the instructor and the learner.
(2) Tele-medicine – can provide medical services for remote patients.
(3) Virtual personal training (PT) - can provide the observation of the instructor’s demonstration pose at the point of the view that the learner wants, and can be extended to the sport fields where the accuracy of the posture is important such as golf or yoga.

(출처 : SUMMARY 6p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 보고서 요약서 ... 3
• 요 약 문 ... 4
• SUMMARY ... 6
• CONTENTS ... 7
• 목차 ... 8
• 제 1 장 연구개발과제의 개요 ... 9
• 제 1 절 연구개발의 필요성 ... 9
• 제 2 절 연구개발 목표 ... 11
• 제 2 장 국내외 기술개발 현황 ... 12
• 제 3 장 연구개발수행 내용 및 결과 ... 18
• 제 1 절 연구개발 내용 ... 18
• 제 2 절 연구수행 방법 ... 26
• 제 3 절 연구수행 결과 ... 30
• 제 4 장 목표달성도 및 관련분야에의 기여도 ... 38
• 제 1 절 목표달성도 ... 38
• 제 2 절 평가의 착안점에 따른 목표달성도에 대한 자체평가 ... 41
• 제 5 장 연구개발결과의 활용계획 ... 46
• 제 1 절 연구개발 결과의 활용방안 ... 46
• 제 2 절 연구개발 결과의 기대효과 ... 47
• 제 6 장 연구개발과정에서 수집한 해외과학기술정보 ... 48
• 제 7 장 참고문헌 ... 52
• 끝페이지 ... 55