초록 ▼

본 과제에서는 첫째, 최신의 다양한 센서를 융합하여 저렴한 비용으로 높은 tele-presence를 제공할 수 있는 사용자 복원(reconstruction) 기술을 개발하고, 둘째, 원격지로 teleportation 된 사용자의 얼굴 표정을 실제에 최대한 가깝게 재현하고 로컬 환경의 조명 조건으로 재조명(relighting)하는 기술을 개발함. 관련 연구를 통해 사용자의 사지, 얼굴, 손가락, 시선에 대해 정확한 트래킹을 수행하였음. 또한, 원격 협업 시에 사용자의 몰입감과 실재감을 증진하기 위한 다양한 요소들을 분석하고, 원격지

본 과제에서는 첫째, 최신의 다양한 센서를 융합하여 저렴한 비용으로 높은 tele-presence를 제공할 수 있는 사용자 복원(reconstruction) 기술을 개발하고, 둘째, 원격지로 teleportation 된 사용자의 얼굴 표정을 실제에 최대한 가깝게 재현하고 로컬 환경의 조명 조건으로 재조명(relighting)하는 기술을 개발함. 관련 연구를 통해 사용자의 사지, 얼굴, 손가락, 시선에 대해 정확한 트래킹을 수행하였음. 또한, 원격 협업 시에 사용자의 몰입감과 실재감을 증진하기 위한 다양한 요소들을 분석하고, 원격지 조명 조건에 맞춘 자연스러운 얼굴 모델을 상대방에게 렌더링하는 기반 기술을 확보하여 tele-presense 핵심 기술을 개발하였음. 본 과제에서 개발될 기술을 이용하면 지리적, 공간적 제약을 넘어 다수 사용자들 간 인터랙션을 가능케 할 것으로 기대됨.

(출처 : 보고서 요약서 3p)

Abstract ▼

Starting with Microsoft Holoportation and Facebook Spaces, research for tele-presence systems has been actively conducted for remote interaction between users. However, many prototype systems have limitations since they require unrealistic hardware configuration or have limited capability for provid

Starting with Microsoft Holoportation and Facebook Spaces, research for tele-presence systems has been actively conducted for remote interaction between users. However, many prototype systems have limitations since they require unrealistic hardware configuration or have limited capability for providing tele-presence. In this project, necessary research topics will be studied for reconstruction technology, which is a key factor for providing high tele-presence. On the other hand, another set of various research topics will be studied for realistic facial animation and relighting for improvement of presence in teleported human.
This project aims to achieve the following:
(1) Body and facial reconstruction – To reconstruct a user’s body and facial mesh using the input image of RGB-D camera, and to extract the motion of the user through the skeleton extraction method based on deep learning.
(2) Hand reconstruction – To reconstruct the user’s hand mesh and extract the motion of the hand based on the imput image of a small RGB-D camera attached to the AR headset, and to improve the precision of reconstruction and motion extraction using wrist-worn IMU sensor information.
(3) Gaze tracking – To estimate the position of pupil and track user’s gaze using the input image of the near-infrared camera attached to the AR headset, and to detect facial expression based on feature points.
(5) Facial animation – To generate high-resolution face model of the user based on the RGB-D image and the face template derived from the large-scale face database, and to track user’s facial expression in real-time by using RGB-D image and the blendshape of the user’s face model.
(6) Relighting – To separate the intrinsic color of the object and surrounding ambient light using intrinsic decomposition method, and to develop a high-resolution global illumination algorithm by fusing the intrinsic color of the teleported model with the ambient light of the remote site.

The results of this project are expected to secure industrial competitiveness that will lead the global AR/VR market in the future through technology integration for low-cost tele-presence environment construction. The results of this project can also be applied to the following:
(1) Virtual classroom – can improve the presence and learning effect through the sight alignment between the instructor and the learner.
(2) Tele-medicine – can provide medical services for remote patients.
(3) Virtual personal training (PT) - can provide the observation of the instructor’s demonstration pose at the point of the view that the learner wants, and can be extended to the sport fields where the accuracy of the posture is important such as golf or yoga.

(출처 : SUMMARY 6p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 보고서 요약서 ... 3
• 요 약 문 ... 4
• SUMMARY ... 6
• CONTENTS ... 7
• 목차 ... 8
• 제 1 장 연구개발과제의 개요 ... 9
• 제 1 절 연구개발의 필요성 ... 9
• 제 2 절 연구개발 목표 ... 13
• 제 2 장 국내외 기술개발 현황 ... 15
• 제 3 장 연구개발수행 내용 및 결과 ... 22
• 제 1 절 연구개발 내용 ... 22
• 제 2 절 연구수행 방법 ... 42
• 제 3 절 연구수행 결과 ... 50
• 제 4 장 목표달성도 및 관련분야에의 기여도 ... 65
• 제 1 절 목표달성도 ... 65
• 제 2 절 평가의 착안점에 따른 목표달성도에 대한 자체평가 ... 70
• 제 5 장 연구개발결과의 활용계획 ... 80
• 제 1 절 연구개발 결과의 활용방안 ... 80
• 제 2 절 연구개발 결과의 기대효과 ... 81
• 제 6 장 연구개발과정에서 수집한 해외과학기술정보 ... 82
• 제 7 장 참고문헌 ... 88
• 끝페이지 ... 92