초록 ▼

연구개발 목표
□ 세부목표:
■ 고품질의 대규모 RGB+D 데이터베이스 구축
■ Deep network 기반 단일 영상의 깊이 추정 모델 학습 시스템 개발
■ 디바이스 특성 기반의 깊이 영상 보정 및 렌더링 기술 개발

□ 최종목표: RGB+D 빅데이터 (2,000,000 RGB+D 세트) 기반 단일 영상의 고정밀 (FHD 급) 깊이 정보 추정 기술 개발

연구개발 내용
□ 고품질의 대규모 RGB+D 데이터베이스 구축
■ 고품질의 (FHD 급) RGB+D 데이터베이스 (총 2,0

연구개발 목표
□ 세부목표:
■ 고품질의 대규모 RGB+D 데이터베이스 구축
■ Deep network 기반 단일 영상의 깊이 추정 모델 학습 시스템 개발
■ 디바이스 특성 기반의 깊이 영상 보정 및 렌더링 기술 개발

□ 최종목표: RGB+D 빅데이터 (2,000,000 RGB+D 세트) 기반 단일 영상의 고정밀 (FHD 급) 깊이 정보 추정 기술 개발

연구개발 내용
□ 고품질의 대규모 RGB+D 데이터베이스 구축
■ 고품질의 (FHD 급) RGB+D 데이터베이스 (총 2,000,000 RGB+D 세트)
■ RGB+D 영상 간 정합 기술
■ 깊이 정보 업샘플링 및 품질 보정 기술

□ Deep network 기반 단일 영상의 깊이 추정 모델 학습 시스템 개발
■ Deep network 기반의 전역적 기하 정보 추정 모델 학습 기술
■ Deep network 기반의 지역적 깊이 정보 추정 모델 학습 기술
■ 학습 모델 기반 단일 영상의 깊이 정보 추정 기술

□ 디바이스 특성 기반의 깊이 영상 보정 및 렌더링 기술 개발
■ RGB+D 빅데이터 기반 깊이 영상 보정 및 자유시점 렌더링 기술
■ 사용자 인터랙션 기반 깊이 영상 보정 및 증강현실 렌더링 기술

연구개발성과
□ FHD급 실내/외 RGB+D 데이터베이스 획득 시스템 구축
■ 실내 데이터베이스 획득 HW & SW 구축
- Kinect v2 (실내용 깊이 영상 획득 센서), 대용량 휴대용 배터리, 휴대용 노트북 3set 구성
- Microsoft Kinect SDK2.0, Visual studio을 이용하여 획득 시스템 구축
■ 실외 데이터베이스 획득 HW & SW 구축
- 스테레오 영상 획득: Full HD급의 전문가용 스테레오 카메라를 사용하여 야외에서 스테레오 영상을 실시간으로 획득 할 수 있는 시스템 개발
- StereoLabs ZED 카메라와 OpenCV 기반 획득 SW 구성

□ FHD급 실내/외 RGB+D 데이터베이스 획득
■ 실내 RGB+D 데이터베이스 획득
- 1차년도 획득 목표인 50만장을 모두 획득하였음
- 연세대학교, 실내 인테리어 전시장, 서점 등에서 다양한 구도와 배경을 포함한 장면을 촬영하여 광범위한 깊이 영상 데이터베이스 획득
- 깊이 영상의 경우 실제 깊이 정보를 그대로 저장하기 위해 원본 데이터 그대로 저장 (단위: mm)
■ 실외 RGB+D 데이터베이스 획득
- 실외 환경에서 깊이 영상을 획득하기 위하여 ZED 스테레오 카메라를 사용하여 영상을 획득한 후, 스테레오 정합을 통해 고품질의 실외 깊이 영상을 획득
- 2016년 8월 5일까지 47만장의 야외 스테레오 영상을 획득 예정이며, 8월 중순까지 50만장 획득 및 검증을 완료할 계획임

□ FHD급 실내/외 RGB+D 데이터베이스 처리 시스템 및 저장 서버 구축
■ 실내 RGB+D 데이터베이스 처리
- RGB 영상과 깊이 영상의 structure 차이를 고려한 깊이 영상 upsampling 기술 개발
- 실내 RGB+D 데이터베이스 규격
◦ RGB 영상 + 깊이 영상 (단위 mm)
■ 실외 RGB+D 데이터베이스 처리
- ZED 스테레오 카메라 왜곡 보정: 카메라 렌즈에서의 굴절로 인해 발생되는 영상 왜곡을 보정하는 SW 개발
- 영상 교정(Rectification): 두 영상간의 수평축을 맞추기 위한 영상 교정 SW 개발
- 딥러닝 (MC-CNN) 기반의 스테레오 깊이 추정 ◦ KITTI 2012 데이터를 이용하여 작은 패치간의 유사도 모델을 학습하고, 이를 통해 대응점을 추정하여 야외 스테레오 영상에서 깊이 영상을 계산
- 학습 알고리듬 기반 깊이영상 신뢰도 측정 기술 ◦ 깊이영상의 정확도를 예측하기 위한 신뢰도 측정 기술
◦ 신뢰도 영상의 공간적 상관성을 고려하여 신뢰도 벡터를 공간적으로 집성하는 방식 개발
◦ 정의된 신뢰도 벡터에 기반 하여 임의 회귀 포레스트를 통한 신뢰도 학습 모델 개발
◦ 개발된 신뢰도 추정기술을 이용하여 2016년 8월 5일까지 15만장의 실외 RGB+D 데이터베이스 확보 예정이며, 2016년 8월 과제 종료시점까지 50만장 구축 계획
- 실내 RGB+D 데이터베이스 규격
◦ RGB 영상 + 깊이 영상 (단위 mm) + 신뢰도 영상
■ RGB+D 데이터베이스 저장 서버 구축
- 실내/외 데이터베이스를 저장하기 위하여 15TB의 물리적 서버 구축

□ RGB+D 빅데이터 기반 딥 러닝 학습을 위한 고성능 서버 구축
■ Deep network 학습을 위하여 총 5대의 서버 컴퓨터 구축 및 학습전략 수립
- Geforce Titan 그래픽카드 탑재
- Deep learning 분야의 최신 동향 파악 및 알고리듬 개발을 위하여 연구 참여기관 간의 공동 연구회의 진행

□ RGB+D 빅데이터 기반 단일 영상 깊이 추정 알고리듬 개발
■ 전역적 기하정보 추정 모델 학습 기술 개발
- Fully convolutional deep network (FCN) 기반 전역적 깊이 정보 추정 모델 개발
- 1200장의 RGB+D 데이터베이스를 이용하여 pre-training 수행
- 20만장의 RGB+D 데이터베이스를 이용하여 fine-tuning 진행
- 학습된 parameter를 이용하여 초기 결과 생성 / 분석/ 토의 진행
- Fully convolutional deep network (FCN) 과 residual network의 결합을 통한 전역적 깊이 정보 추정 모델 개발
- 추가적인 convolutional layer와 residual network를 학습
- 1200장의 RGB+D 데이터베이스를 이용하여 pre-training 수행
- 학습된 parameter를 이용하여 초기 결과 생성 / 분석/ 토의 진행

□ 정량적 연구개발 성과
■ 특허출원 : 3건
- 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
- 2D 영상에 대한 깊이 영상 생성 방법 및 장치
- 딥러닝 기술을 이용한 단일 영상 기반 외각 시점 합성 기술

■ 국외논문 게재 : 게재 2편, 승인 2편, 제출 2편
- Parallax adjustment for visual comofrt enhancement using the effect of parallax distribution and crosstalk in parallax-barrier auto-stereoscopic 3d display (Optical Engineering)
- Non-parametric human segmentation using support vector machine (IEEE Consumer Electronics)
- Real-time rear obstacle detection using reliable disparity for driver assistance (Expert Systems with Applications)
- Cross-scale cost aggregation for stereo matching (IEEE Circuit and Systems for Video Technology)
- Categroy-specific objectness estimation for anytime detection on mobile devices (IEEE Circuit and Systems for Video Technology)
- Illumination-robust foreground detection using hierarchical distribution map for real time video surveillance system (Expert Systems with Applications)

■ 국내논문 게재 : 제출 1편
- 야외 RGB+D 데이터베이스 구축을 위한 깊이 영상 신뢰도 측정 기법

■ 기술이전 : 40백만원
- 지능형 영상감시 시스템을 위한 영상 처리 기술

■ 소프트웨어 등록 : 5건
- 스테레오 매칭에서의 신뢰도 측정 방법
- 고속 전역적 영상 평활화 기법
- 효율적인 깊이 추정을 위한 트랜스폼 기반 정합 기법
- 효율적인 Gabor filtering 구현기법
- Fast global image smoothing

■ 시제품 : 3건
- 스테레오 매칭에서의 신뢰도 측정 방법
- RGB 영상과 깊이 영상의 structure 차이를 고려한 깊이 영상 초해상도 방법
- 야외 RGB stereo 영상 획득 시스템

활용계획 및 기대효과
□ 활용 계획 (산업적 측면)
■ 3DTV 및 영화 산업
- 다시점 방송을 위한 고품질 다시점 콘텐츠 생성 기술에 활용
- 고품질 3D 영화 콘텐츠 생성 기술에 활용
■ 스마트 기기 관련 산업
- 단일 영상 기반의 증강 현실 기술 현실화
- 추가적인 깊이 정보의 추정을 통해 사용자 인터랙션 기반의 영상 편집 기술 용이
■ 3D 프린팅 산업
- 단일 영상에서의 깊이 정보 추정을 통한 3D 프린팅 서비스에 활용
■ 스마트 자동차 산업
- 추가적인 센서가 필요하지 않은 단일 카메라 기반 충돌 감지 시스템에 활용
- 자동 주행 시스템에 활용

□ 활용 계획 (학술적 측면)
■ 그래픽스 분야
- 희소 인터랙션 기반 고속 객체 분할 기법 연구
■ 컴퓨터 비전 및 기계학습 분야
- 단일 영상 기반의 3D object proposal 기술 개발
- 깊이 정보를 추가로 활용한 deep architecture 개발

□ 기대효과
■ 3D 산업의 활성화로 인한 수요 증가
- 깊이 정보 추정기술은 3D TV, 영화, 프린팅, 자동차, 의료, 항공, 예술등 광범위한 분야에 걸쳐 방대한 수요가 예상되는 3D 산업의 기반 기술
- 따라서 제안 기술의 성공적인 개발이 3D 산업의 활서오하로 인한 수요 증가에 크게 영향을 미칠 수 있을 것으로 기대됨
■ 기존 3D 시장의 확대
- 본 과제의 제안 기술은 최산 연구 동향을 반영한 상용화 대상 기술로서, 기존의 3D 산업체에서 출시되는 기술 (3D 촬영, 스캐닝)과 상생 가능
- 따라서 성공적인 개발을 통해 3D 융합 시장의 상당 부분에 활용될 수 있으며, 이는 기존 시장의 확대에 도움이 될 것으로 예상됨

목차 Contents

• 표지 ... 1
• 정보통신·방송 연구개발 (1연차·2단계) 보고서 ... 2
• 제출문 ... 3
• 목차 ... 6
• 국문요약문 ... 7
• 기술개발사업 주요 연구 성과 ... 12
• 1. 연구개발 목표 ... 12
• 2. 연구 범위 및 연구 수행 방법 ... 12
• 3. 연구개발 목표의 달성도 및 자체 평가 ... 14
• 4. 연구개발성과(해당되는 성과만 기재) ... 17
• 5. 구매 금액이 3천만원 이상인 연구시설ㆍ장비 구축 현황 ... 20
• 6. 연구개발비 집행 실적 ... 20
• 7. 연구 수행에 따른 문제점 및 개선 방향 ... 21
• 8. 중요 연구 변경 사항 ... 21
• 9. 기타 건의 사항 ... 21
• 붙임1. 자체 보안관리 진단표 ... 22
• 붙임2. 연구실 안전조치 이행표 ... 23
• 별첨 ... 24
• 끝페이지 ... 38