초록 ▼

연구개발 목표 및 내용
최종 목표
스마트카 센서(Stereo Camera, LiDAR, IMU) 빅테이터 및 딥러닝 기반 초정밀 AR & VR 콘텐츠 기술 개발
전체 내용
- 다중 스마트카 센서 초정밀 융합 및 동기화
- 딥러닝 기반의 스테레오 초정밀 깊이 추정 기술
- 대규모 실외 RGB-D 데이터베이스
- Deep network를 이용하여 Odometry 추정
- 딥러닝 기반 배경 위주의 내츄럴 3D 뷰 생성
- 딥러닝 기반 동적 객체 추정 및 제거 3D Mapping 기술

연구개발 목표 및 내용
최종 목표
스마트카 센서(Stereo Camera, LiDAR, IMU) 빅테이터 및 딥러닝 기반 초정밀 AR & VR 콘텐츠 기술 개발
전체 내용
- 다중 스마트카 센서 초정밀 융합 및 동기화
- 딥러닝 기반의 스테레오 초정밀 깊이 추정 기술
- 대규모 실외 RGB-D 데이터베이스
- Deep network를 이용하여 Odometry 추정
- 딥러닝 기반 배경 위주의 내츄럴 3D 뷰 생성
- 딥러닝 기반 동적 객체 추정 및 제거 3D Mapping 기술
- 고 정확도의 3D Mesh 품질 보정 기술
- 운전자 동일 시점 3D 스트리트뷰 기술
- Deep Network 기반의 위험 인지 기술
- 콘텐츠 연동 가능 오픈 플랫폼

1단계
1차년도
목표
단순한 환경에서 3차원 맵 생성 및 VR Visualization 기술
내용
- 3차원 지도 생성을 위한 다중 센서간 정합 및 보정 기술 개발
- 일정 시간 축적된 차량 주행 센서 정보를 통한 빅데이터 분석 및 표지판 검출 기술 개발
- 초정밀 3차원 지도 생성 및 지도데이터 가시화(Visualization) 기술 개발

2단계
1차년도
목표
딥러닝을 활용한 다중센서 360°실외 데이터 융합 시스템
내용
- 스마트카 다중 센서 영상 획득 시스템 개발
- 스마트카 다중 센서 영상 융합 및 동기화 기술 개발
- 딥러닝 학습을 위한 RGB-D 대규모 데이터베이스 구축
- 딥러닝 기반 초정밀 깊이 정보 획득 및 후처리 기술 개발

2단계
2차년도
목표
내츄럴 3D 뷰 생성을 위한 Deep Network 설계 및 구현 기술 개발
내용
- 딥러닝 기반 특징점 추출 기술 및 동일점 검출 기술 개발
- 딥러닝 기반 3차원 동일 환경 인지 기술 개발
- 고정밀 3차원 정보 기반 딥러닝 모델 성능 향상 및 Odometry 추정 및 3D 맵핑 기술 개발
- 실제 배경 중심의 내츄럴 3D 뷰 생성 기술 개발

2단계
3차년도
목표
반복적 빅데이터를 이용한 초정밀 내츄럴 3D 뷰 정제 기술
내용
- 딥러닝 기반 반복적인 빅데이터를 이용한 Odometry 추정 및 3D 맵 생성 기술 및 Texture Mapping 기술 개발
- 고채널 LiDAR 기반 딥러닝 학습을 통한 깊이 정보 정밀화 기술 개발
- 초정밀화를 위한 다중 3D 뷰 융합 기술 및 적응형 3D 뷰 생성 기술 개발
- 초정밀 내츄럴 3D 뷰 기반 360°가상공간 생성 및 체험 기술 개발

2단계
4차년도
목표
실감형 AR·VR 콘텐츠를 위한 그래픽스 기술과 이를 활용한 Active 콘텐츠 응용 기술 및 플랫폼 UI(User Interface) 개발
내용
- 실시간 정보 획득 및 초정밀 콘텐츠 획득을 위한 UI(User Interface) 제작
- 고품질 3D 모델 획득을 위한 비디오 기반 Mesh 렌더링 기술 개발
- 3D 뷰 기반 동적 객체 및 환경 분석을 통한 3D AR ADAS 콘텐츠 기술 개발
- 커넥티드카 정보 기반 내츄럴 3D 뷰 트래픽 모니터링 시각화 기술 개발

2단계
5차년도
목표
Interactive 오픈 플랫폼 서비스 요소 기술 개발 및 구축을 통한 사업화 추진
내용
- 시스템 통합 및 고품질 콘텐츠 제공을 위한 Interactive 오픈 플랫폼 구축
- 3D AR·VR 디지털 콘텐츠 서비스 모듈 개발
- 서비스 응용 프로그램을 위한 요소 기술 개발

연구개발성과
- 스마트카 센서 빅데이터 구축 시스템 기술
- 스마트카 다중 센서 융합 및 동기화 기술
- 딥러닝 기반 내츄럴 3D 뷰 생성 기술
- 반복적 빅데이터 기반 초정밀 내츄럴 3D 뷰 정제 기술
- Interactive 콘텐츠 Open Platform 시스템

연구개발성과 활용계획 및 기대 효과
- 대규모 실외 RGB-D 데이터베이스를 활용하여 초정밀 3D 지도를 생성을 가능하게 하고, 고품질 3D 영화 콘텐츠 생성, 다시점 방송을 위한 고품질 다시점 콘텐츠 생성 등에 활용 가능
- 반복적인 비디오 영상기반 Mesh 렌더링 기법을 통해 고품질의 3D Mesh 모델을 획득함으로서 3D 영화, 3D 게임 등의 3D 콘텐츠 시장에 활용 가능
- 360°3D 스트리트뷰 생성을 통해 현실 영상 기반 가상공간을 생성하여 실감나는 정보를 제공할 수 있으므로 3D 가상관광, 3D 통신, 게임 등 다양한 VR 산업에 활용 가능
- 다중 스마트카 센서에서 획득되는 데이터를 융합 및 가공하여 초정밀 3D 지도뿐만 아니라 사용자 편의 제공을 위한 교통량 측정/교통사고 방지 등 ADAS 시스템에 활용 가능
- 딥러닝 기반의 스테레오 초정밀 깊이 추정 기술을 통하여 다양한 왜곡이 존재하는 상황에서도 자동차간 초정밀 깊이 추정을 통한 충돌 감지 시스템/ 보행자 검출/ 도로상황 측정 기술 등에 활용 가능
- 위험 상황 인식을 통해 안전경로를 찾는 알고리즘을 개발하여 3D 네비게이션 산업이나 맹인 보조 산업에 활용 가능
- 자동차 입력 영상 기반 실시간 트래픽 모니터링 시스템을 구축하여 스마트 자동차 산업 전 분야에 활용 가능

(출처 : 요약문 8p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 8
• 목차 ... 10
• 1. 연구개발과제의 개요 ... 11
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 15
• 2-1. 연구개발과제의 최종 목표 ... 15
• 2-2. 연구개발과제의 연구 내용 ... 17
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 45
• 1) 연구수행 결과 ... 45
• 2) 목표 달성 수준 ... 60
• 4. 목표 미달 또는 미흡한 사항에 대한 분석 ... 60
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 60
• 6. 연구개발성과의 관리 및 활용 계획 ... 62
• 끝페이지 ... 65