초록 ▼

□ 연구개요
영상을 촬영할 때 유리가 같이 촬영되는 경우는 빈번하게 발생한다. 유리 전시장 안의 상품이나 전시물을 촬영하거나 자동차 또는 기차 내에서 유리 바깥을 촬영하는 등의 예가 있다. 이런 경우, 촬영하고자 하는 유리 뒷면의 투과 영상 외에 유리 반사에 의한 반사 영상이 같이 촬영되는 문제가 발생한다. 이런 유리 반사에 의한 왜곡은 2차원 영상을 촬영할 때만 아니라 LiDAR와 같은 장비를 활용하여 3차원 영상을 촬영할 때도 발생한다. 본 연구에서는 광학적, 기하학적 영상 분석을 통하여 2차원 및 3차원 영상 촬영 시 발

□ 연구개요
영상을 촬영할 때 유리가 같이 촬영되는 경우는 빈번하게 발생한다. 유리 전시장 안의 상품이나 전시물을 촬영하거나 자동차 또는 기차 내에서 유리 바깥을 촬영하는 등의 예가 있다. 이런 경우, 촬영하고자 하는 유리 뒷면의 투과 영상 외에 유리 반사에 의한 반사 영상이 같이 촬영되는 문제가 발생한다. 이런 유리 반사에 의한 왜곡은 2차원 영상을 촬영할 때만 아니라 LiDAR와 같은 장비를 활용하여 3차원 영상을 촬영할 때도 발생한다. 본 연구에서는 광학적, 기하학적 영상 분석을 통하여 2차원 및 3차원 영상 촬영 시 발생하는 유리에 의한 왜곡을 제거하고 원하는 영상 정보를 복원하는 연구를 수행하였다.

□ 연구 목표대비 연구결과
본 연구에서는 광학적, 기하학적 영상 분석을 통하여 실세계의 2차원 및 3차원 영상 촬영 시 유리로 인한 왜곡을 제거하고 원하는 영상 정보를 정확하게 복원하는 통합 시스템을 개발하였다. 1차년도에는 복수의 유리 영상을 투과 영상을 기준으로 정렬하고 반사 영상이 정렬되지 않았다는 점을 이용하여 투과 영상을 복원하였다. 동적 장면에서는 움직이는 투과 영상의 객체가 높은 spatio-temporal saliency 값을 갖는다는 특성을 이용하여 복원하였다. 2차년도에는 LiDAR 정보를 활용하여 360° 영상에서 유리 영역을 검출하고, 해당 유리 영역에 대응되는 직접 촬영된 영상을 이용하여 반사 성분을 제거하였다. 대용량 3차원 포인트 군에서 유리에 의한 왜곡을 제거하기 위해 LiDAR 장비의 특성을 분석하였다. 분석한 특성을 바탕으로 유리 영역을 검출하고, LiDAR 장비에서 방출된 레이저 펄스의 경로를 추정하여 실상 포인트와 허상 포인트로 분류하였다. 3차년도에는 비선형 모델을 이용하여 합성한 2차원 유리 영상과 딥러닝을 이용하여 투과 영상을 복원하였다. 또한 2차원 및 3차원 유리 영상 제거 기법을 융합하여 대용량 실감 3차원 영상 복원 시스템을 구축하였다.

□ 연구개발결과의 중요성
2차원 영상에 대한 유리 왜곡 보정 기술은 세계적인 권위를 자랑하는 학회 CVPR에 발표되었고, 그를 확장한 기술은 세계적인 권위를 자랑하는 학술지인 IEEE Transactions on Image Processing에 출판되어 학술적 중요성을 입증받았다. 3차원 영상에 대한 유리 왜곡 보정 기술은 세계적인 권위를 자랑하는 학회 CVPR에 발표되었으며, 그를 확장한 기술은 세계적인 권위를 자랑하는 학술지인 IEEE Transactions on Pattern Analysis and Machine Intelligence에 출판 예정이다. 특히 3차원 영상에 대한 유리 왜곡 보정 기술은 본 연구에서 최초로 정립한 연구 분야로 과학기술정보통신부에서 우수 성과로 언론에 홍보되었다. 본 연구에서 진행한 2차원 및 3차원 영상에 대한 유리 왜곡 보정 기술은 대용량 실감 3차원 영상 복원에 대한 원천 기술로 3차원 영상 처리 분야에 대한 국가 기술 경쟁력 확보에 도움이 될 것으로 사료된다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 가. 연구개발의 필요성 ... 4
• 나. 최종 연구 목표 ... 4
• 다. 연차별 연구 범위 ... 5
• 2. 연구수행내용 및 연구결과 ... 6
• 가. 1차년도(2017) ... 6
• 나. 2차년도(2018) ... 9
• 다. 3차년도(2019) ... 12
• 3. 연구개발결과의 중요성 ... 17
• 4. 참고문헌 ... 19
• 5. 연구성과 ... 20
• 대표적 연구실적 ... 27
• 끝페이지 ... 41