초록 ▼

□ 연구개발 목표 및 내용
○ 최종 목표
본 과제는 홀로그램의 실시간 획득 및 전처리를 딥러닝(deep learning) 기술과 포비에이티드 렌더링기술을 활용하여 고속화하고, 이를 5G 네트워크 스트리밍 기술을 통해 서비스할 수 있도록 관련된 원천기술을 개발하는 것을 목적으로 함.

○ 전체 내용
1. 2차원 이미지 데이터로부터 깊이지도를 추출하는 딥러닝 알고리즘 개발
2. 3차원 입체 데이터를 홀로그램으로 변환하는 딥러닝 알고리즘 개발
3. 재현 환경의 호환성을 위한 홀로그램 데이터 전처리 기

□ 연구개발 목표 및 내용
○ 최종 목표
본 과제는 홀로그램의 실시간 획득 및 전처리를 딥러닝(deep learning) 기술과 포비에이티드 렌더링기술을 활용하여 고속화하고, 이를 5G 네트워크 스트리밍 기술을 통해 서비스할 수 있도록 관련된 원천기술을 개발하는 것을 목적으로 함.

○ 전체 내용
1. 2차원 이미지 데이터로부터 깊이지도를 추출하는 딥러닝 알고리즘 개발
2. 3차원 입체 데이터를 홀로그램으로 변환하는 딥러닝 알고리즘 개발
3. 재현 환경의 호환성을 위한 홀로그램 데이터 전처리 기술 개발
4. SIDH기반의 on-axis/single-shot 홀로그램 획득 및 denoising을 위한 딥러닝 알고리즘 개발
5. 5G 연동 통합 데모 시스템 개발

○ 1단계
● 목표
① 2차원 이미지 데이터로부터 깊이지도를 추출하는 딥러닝 알고리즘 개발
② 3차원 입체 데이터를 홀로그램으로 변환하는 딥러닝 알고리즘 개발
③ 재현 환경의 호환성을 위한 홀로그램 데이터 전처리 기술 개발
④ Self-interference digital holography(SIDH) 기반의 on-axis/single-shot 홀로그램 획득 및 denoising을 위한 딥러닝 알고리즘 개발
⑤ 5G 연동 통합 데모 시스템 개발

● 내용
1. 2차원 이미지 데이터로부터 깊이지도를 추출하는 딥러닝 알고리즘 개발
- 단일 카메라, 스테레오 및 라이트필드 이미지에서 깊이지도를 획득하는 딥러닝 알고리즘 개발
- 3차원 입체 데이터 획득을 위한 테스트 베드 개발 및 콘텐츠 데이터 베이스 구축
2. 3차원 입체 데이터를 홀로그램으로 변환하는 딥러닝 알고리즘 개발
- 라이트필드, 깊이지도 카메라 등으로 획득된 실사 이미지 또는 컴퓨터그래픽스로 생성된 가상 3차원 영상 데이터를 홀로그램으로 변환하는 딥러닝 알고리즘 개발
- 무한 데이터 수집 및 딥러닝 트레이닝을 위한 플랫폼 개발
- 딥러닝 기반의 깊이지도 최적화를 통한 하이브리드 홀로그램 생성 알고리즘 개발
- 고속 홀로그램 획득 시제품 제작 개발
3. 재현 환경의 호환성을 위한 홀로그램 데이터 전처리 기술 개발
- 생성된 홀로그램을 픽셀 크기 또는 파장 등이 다른 디스플레이에 호환되는 홀로그램으로 변환하는 딥러닝 알고리즘 개발
- 저해상도(2K)로 생성된 홀로그램을 고해상도(4K)로 변환하는 딥러닝 알고리즘 개발
- Foveated super resolution에 기반한 홀로그램 해상도 향상 기술 개발
- 재현 환경 호환성 평가를 위한 테스트베드 개발
4. SIDH기반의 on-axis/single-shot 홀로그램 획득 및 denoising을 위한 딥러닝 알고리즘 개발
- SIDH에 기반한 홀로그램 획득 및 denoising을 위한 딥러닝 알고리즘 개발
- SIDH에 기반한 on-axis/single-shot 홀로그램 획득 장치 개발
5. 5G 연동 통합 데모 시스템 개발
- 실시간 촬영 및 출력을 위한 5G 연동 통신 시스템 개발
- 2차원 이미지 데이터로부터 홀로그램 생성을 한 번에 수행하는 최적화된 딥러닝 알고리즘 개발

□ 연구개발성과
- 연구개발 성과물
1. 딥러닝 기반 깊이지도 획득 (해상도: 2K, 속도: 24FPS)
2. 이미지 콘텐츠 DB 구축 (10만장 이상)
3. 딥러닝 알고리즘 기반 홀로그램 획득 (해상도:2K, 속도: 24FPS)
4. 홀로그램 변환 및 재현 환경 홀로그램 변환 (속도: 24FPS)
5. 홀로그램 Super-resolution (해상도: 2K→4K)
6. 재현 환경 Display 종류(2종)
7. 생성 홀로그램의 화질 : 80%(Groundtruth 대비)

□ 연구개발성과 활용계획 및 기대 효과
- 사업화를 위한 Business Model (활용계획)
본 과제에서 개발된 기술을 활용하여 일반인들도 쉽게 구할 수 있는 단일 카메라로도 홀로그램을 복원하고 네트워크로 전송하여, 원격지의 상대방이 전송된 홀로그램을 직접 체험할 수 있는 홀로포테이션 체험 시스템 활용할 계획임.

- 기대효과
1. 움직이는 사람 또는 객체에 대한 복원 기술은 새로운 매체 기술로써 다양한 AR/VR/MR 기술에 적용이 가능하여, 다양한 새로운 응용분야 창출이 기대되며, 기존 산업과의 다양한 융합을 통한 새로운 산업이 창출될 것으로 기대됨
2. 엔터테인먼트, 재난·안전 교육 및 훈련 등 국민이 체감할 수 있는 분야의 선도 프로젝트로 새로운 사회 문화 트렌드를 창출하고 콘텐츠 산업으로 고도화 시키고 신한류 확산에 기여할 수 있음.

(출처 : 요약문 6p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 6
• 목차 ... 10
• 1. 연구개발과제의 개요 ... 11
• 가. 기술개발 목적 ... 11
• 나. 기술개발 범위 ... 12
• 다. 연구개발의 필요성 ... 14
• 라. 세부 과제와의 연계성 ... 15
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 16
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 143
• 1) 연구수행 결과 ... 143
• 2) 목표 달성 수준 ... 195
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 203
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 203
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 203
• 3) 연구개발 과정의 성실성 ... 204
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 213
• 6. 연구개발성과의 관리 및 활용 계획 ... 216
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 217
• 2) 주요 성과활용 (기대)성과목표 ... 219
• 3) 성과활용·관리 추진체계 ... 221
• 4) 기타 ... 221
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 222
• 8. 연구개발비 사용실적 ... 224
• 끝페이지 ... 241