초록 ▼

본 연구의 최종목표는 단일 카메라로부터 가시영역 및 근적외선이 혼합된 영상을 획득한 후, 딥러닝 과정을 통해 입력영상으로부터 가시영역과 근적외선 영역 영상을 분리하고 근적외선 영상을 활용한 영상 향상기술을 개발하는 것이다. 이러한 연구목표의 달성을 위해 본 연구에서는 영상 획득구조, 영상 분리 알고리즘, 영상 향상 알고리즘의 세 가지 세부 연구를 수행하였다.

▶ 영상 획득구조 연구
카메라 H/W구조 연구 및 근적외선 광원 연구: 본 연구에서는 종래의 RGB 컬러필터배열을 사용한 카메라에서 IR hot-mirror를

본 연구의 최종목표는 단일 카메라로부터 가시영역 및 근적외선이 혼합된 영상을 획득한 후, 딥러닝 과정을 통해 입력영상으로부터 가시영역과 근적외선 영역 영상을 분리하고 근적외선 영상을 활용한 영상 향상기술을 개발하는 것이다. 이러한 연구목표의 달성을 위해 본 연구에서는 영상 획득구조, 영상 분리 알고리즘, 영상 향상 알고리즘의 세 가지 세부 연구를 수행하였다.

▶ 영상 획득구조 연구
카메라 H/W구조 연구 및 근적외선 광원 연구: 본 연구에서는 종래의 RGB 컬러필터배열을 사용한 카메라에서 IR hot-mirror를 제거하는 작업을 수행한 다음, 근적외선과 가시광선 영역이 혼합된 영상을 획득하는 방법을 사용하였다.
테스트 영상 획득 방법 연구: 딥러닝 학습을 위해서는 동일 scene에 대해 가시영역(VIS)과 근적외선(NIR)이 혼합된 VIS+NIR영상, VIS only영상, NIR only영상 3장을 필요로 한다. VIS+NIR영상의 경우 본 연구에서 사용하는 카메라를 통해 바로 획득 가능한 반면, VIS only영상 촬영 시에는 IR cut-off filter를 사용하였으며, NIR only영상 촬영 시에는 IR pass filter를 사용하였다. 세 경우 모두 동일한 조건(ISO, Manual focus, shutter speed, White balance 고정, Auto exposure off)에서 촬영을 하였다. 실내 및 야외에서 가시영역과 근적외선 광원을 다양하게 받을 수 있도록 고안하여 다양한 촬영을 수행하였다.

▶ 영상 분리 알고리즘 개발
입력 영상 및 분리과정의 모델링 연구: 본 연구에서는 CMYG 컬러필터배열을 통해 수식을 모델링하여 이로부터 RGB, NIR을 분리하는 방법을 개발하였다. 또한, 본 연구에서는 CMYG 컬러필터배열을 사용한 방법 외에도 RGB 컬러필터배열을 사용한 방법에 대한 연구가 진행되었으며, CMYG 방법은 간단한 신호처리기술을 사용하여 복원을 수행하였으며, RGB방법은 딥러닝 기술을 이용한 복원을 수행하였다.
학습기반 분리 알고리즘 연구: 본 연구에서는 RGB컬러필터배열을 사용한 카메라로부터 획득한 영상을 Generative Adversarial Network(GAN)을 활용하여 VIS 및 NIR 신호를 분리하였다. 학습과정에서는 입력된 VIS+NIR영상을 VIS 및 NIR 분리를 위한 두 개의 Network를 사용하도록 하여 VIS 및 NIR분리를 수행하였다. 개발된 알고리즘 수행결과, 식물과 같이 NIR의 특성이 두드러지는 부분에서 해당 영상의 NIR 특징이 잘 반영되는 것을 확인하였다.

▶영상 향상 알고리즘 개발
가시영역 및 근적외선 영상활용 향상방법 모델: 본 연구에서는 저조도에서 가시영역영상의 높은 노이즈를 저감하기 위해 근적외선 영상을 활용하는 실용적인 응용환경을 가정하였다. 야간에는 사람눈에 보이지 않는 근적외선 조명을 활용하여 가시영역의 낮은 밝기를 보강할 수 있다.
영상 향상 알고리즘 개발: 본 연구에서는 저조도에서 가시영역영상의 노이즈를 줄이기 위해 근적외선 영상을 활용하였다. 실험을 위해 야간에 VIS+NIR 영상을 촬영하였으며, NIR조명을 통해 밝은 근적외선 영상을 획득하도록 하였다. 획득한 VIS+NIR영상은 본 연구에서 개발한 분리알고리즘을 통해 VIS 및 NIR로 분리하였으며, Guided filtering기반으로 NIR 영상의 텍스쳐를 기반으로 VIS영상의 컬러정보를 추출한 다음 결합하는 방법을 연구하였다.

(출처 : 연구결과 요약문 4p)

목차 Contents

• 표지 ... 1
• 목차 ... 3
• Ⅰ. 연구결과 요약문 ... 4
• Ⅱ. 연구내용 및 결과 ... 5
• 1. 연구과제의 개요 ... 5
• 2. 국내외 기술개발 현황 ... 5
• 3. 연구수행 내용 및 결과 ... 6
• 4. 목표 달성도 및 관련 분야에의 기여도 ... 7
• 5. 연구결과의 활용계획 ... 7
• 6. 연구과정에서 수집한 해외과학기술정보 ... 7
• Ⅲ. 연구성과 ... 8
• 끝페이지 ... 9