초록 ▼

□ 연구개요
본 과제는 VR 시스템의 지연으로 인한 Motion-to-Photon (MTP) latency와 이미지의 시점 차이를 보상하기 위해, 디스플레이 후 인간에게 지각되는 시점을 미리 예측하는 기법의 개발을 목표한다. 이렇게 미리 예측한 시점을 VR 렌더링에 입력으로 주어, 디스플레이 시에 지각되는 지연을 최소화하는 효과를 얻을 수 있고, 지연으로 유발되는 멀미의 감소를 유도한다. 본 연구는 지연 보상을 위한 기존 접근 처럼 하드웨어나 VR 렌더링 시스템의 최적화와 같은 시스템 의존성 없이, 일반적인 접근에서 소프트웨어

□ 연구개요
본 과제는 VR 시스템의 지연으로 인한 Motion-to-Photon (MTP) latency와 이미지의 시점 차이를 보상하기 위해, 디스플레이 후 인간에게 지각되는 시점을 미리 예측하는 기법의 개발을 목표한다. 이렇게 미리 예측한 시점을 VR 렌더링에 입력으로 주어, 디스플레이 시에 지각되는 지연을 최소화하는 효과를 얻을 수 있고, 지연으로 유발되는 멀미의 감소를 유도한다. 본 연구는 지연 보상을 위한 기존 접근 처럼 하드웨어나 VR 렌더링 시스템의 최적화와 같은 시스템 의존성 없이, 일반적인 접근에서 소프트웨어적으로 보상함을 목표한다.
구체적으로 본 연구는 VR 렌더링에 사용되는 HMD의 헤드 모션의 딥러닝 기반 예측기법을 개발하고, VR 렌더링에서 시점 지연으로 인한 멀미와 시각 피로의 감소를 유도하는 기법 개발을 목표한다. 최종 목표는 다음과 같다.
• VR 시스템과 렌더링의 지연을 보상하는 딥러닝 기반 HMD 헤드 모션 예측 기법

□ 연구 목표대비 연구결과
• Motion-to-Photon Latency 분석: Oculus Quest2 기기와 Oculus Debug Tool을 사용하여 MTP Latency를 측정하여 평균 40ms의 Latency가 발생함을 확인하였다. 평균적인 MTP Latency와 본 연구에서 제시하는 딥러닝 모델의 평균 소요 시간을 고려하여 본 연구의 딥러닝 모델에 5개의 프레임을 입력하여 5개의 프레임을 예측하는 모델을 설계하여 MTP Latency를 최소화 할 수 있는 모델을 제시하였다.
• 딥 헤드모션 예측: 기존 LSTM 기반의 seq2seq 모델을 개선하기 위해, 본 연구에서는 Transformer 모델을 적용한다. Transformer 모델은 기계 번역 분야에서 사용되며, LSTM 기반의 seq2seq 모델의 병렬 처리 단점을 보완하여 더 깊은 네트워크를 사용할 수 있다. 개발한 Transformer 기반 예측 모델은 LSTM 기반의 seq2seq 모델에 비해 MSE 기준 약 30% 높은 정확도를 보인다.
• 지연을 반영한 예측적 렌더링: 예측된 시점과 최초 입력 시점을 동시에 반영하여 렌더링의 시간적 비일관성을 최소화할 수 있도록 시점의 트래킹과 sensor fusion의 결과를 바탕으로 렌더링하여 사용자에게 디스플레이하는 이미지의 지연을 감소시킨다. 원본 시점 이미지와 예측한 시점 이미지의 유사도를 측정한 결과 PeakSignal-to-Noise Ratio (PSNR) 기준 기존 모델보다 약 4% 향상된 유사도를 보인다.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
• 본 연구의 성과는 학술적 논문 출간과 국내 특허 출원을 목표한다. 나아가, 본 연구 결과는 VR/메타버스 분야는 VR 렌더링 엔진, HMD 드라이버, VR 어플리케이션 등에 활용될 수 있다.
• 과학기술적 측면에서, 본 연구의 시점 예측 기법은 관련 VR/컴퓨터그래픽스 분야에서 국내 기술의 수준 향상을 통해 학술적 선도를 목표한다.
• 경제/산업적 측면에서, 본 연구는 메타버스 경험의 장벽을 낮추어 VR/메타버스가 경제/산업적으로 보편화 하여 시장을 확장하고 국내 산업의 글로벌 경쟁력을 높일 수 있도록 한다. 또한, 국내 산업적 향상을 위해 필수적인 VR/메타버스 관련 인력을 배출하도록 한다.
• 사회적 측면으로 보면, VR과 메타버스는 통한 취약계층 지원과 일반 사용자의 업무, 오락, 의료, 교육 등 사회 전반에 오프라인과 병행하는 플랫폼으로서 자리잡을 예정이고, 본 연구는 이를 위한 기반 기술이다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 6
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 9
• 1) 정성적 연구개발성과(연구개발결과) ... 9
• 2) 세부 정량적 연구개발성과 ... 9
• 3) 목표 달성 수준 ... 9
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 10
• 5. 연구개발성과의 관리 및 활용 계획 ... 10
• 6. 자체점검표 ... 11
• 7. 참고문헌 ... 12
• [붙임1] 세부 정량적 연구개발성과 ... 13
• [붙임2] 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 15
• 끝페이지 ... 19