[논문]컬러 영상과 근적외선 영상을 이용한 영상 융합

길태호; 조남익

doi:10.5909/jbe.2016.21.4.515

컬러 영상과 근적외선 영상을 이용한 영상 융합
Image Fusion using RGB and Near Infrared Image 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.21 no.4, 2016년, pp.515 - 524

길태호 (서울대학교 공과대학 전기.정보공학부) , 조남익 (서울대학교 공과대학 전기.정보공학부)

초록
AI-Helper

근적외선은 눈에 보이는 가시광선 파장 대역을 벗어난 빛으로 일반적인 디지털 카메라에서는 핫미러 필터에 의하여 차단된다. 하지만 근적외선으로부터 얻어지는 정보들은 영상의 전체적인 가시성을 향상시킬 수 있다고 알려져 있기 때문에 영상의 질 개선에 유용한 정보가 될 수 있다. 예를 들어 영상에 안개가 낀 경우, 근적외선은 가시광선보다 안개 입자에 대한 침투성이 더 강하다는 성질을 가지고 있기 때문에 근적외선 카메라로 영상을 촬영하면 일반적인 카메라 영상보다 더 선명한 영상을 얻을 수 있다. 본 논문은 실외 영상의 질을 높이기 위해 컬러 영상과 근적외선 영상을 융합하는 알고리즘을 제안한다. 첫 번째로, 본 논문은 컬러 영상과 근적외선 영상의 대비를 비교하여 가중치 맵을 구한다. 그 후, 이 가중치 맵을 이용하여 두 영상을 융합하는 과정을 거치게 된다. 본 논문은 실험 결과들을 통해서 제안하는 알고리즘이 효과적으로 영상의 질을 높이고, 또한 안개를 제거하는 것을 보여준다.

Abstract ▼ AI-Helper

Infrared (IR) wavelength is out of visible range and thus usually cut by hot filters in general commercial cameras. However, some information from the near-IR (NIR) range is known to improve the overall visibility of scene in many cases. For example when there is fog or haze in the scene, NIR image has clearer visibility than visible image because of its stronger penetration property. In this paper, we propose an algorithm for fusing the RGB and NIR images to obtain the enhanced images of the outdoor scenes. First, we construct a weight map by comparing the contrast of the RGB and NIR images, and then fuse the two images based on the weight map. Experimental results show that the proposed method is effective in enhancing visible image and removing the haze.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 두 밝기 영상을 융합하기 위해서, 우선 Harr 웨이블릿 변환을 통해 두 영상을 저주역대와 고주역대 영상으로 분리하고 각대역 대별로 그에 맞는 융합 알고리즘을 수행한다. 웨이블릿 공간상에서 LL 대역에 해당하는 영상은 영상의 전반적인 밝기를, 나머지 고주파 대역은 영상의 자세한 에지 및 윤곽정보를 의미한다
본 논문은 컬러 영상과 근적외선 영상을 융합하여 컬러 영상의 질을 강화하는 알고리즘을 제안한다. 첫 번째로 본 논문은 가중치 맵을 제안한다.
본 논문은 컬러 영상의 질을 강화하기 위해 컬러 영상과 근적외선 영상을 융합하는 알고리즘을 제안하였다. 우선 컬러 영상과 근적외선 영상 중 어느 영상이 더 텍스쳐 정보가 풍부한지를 나타내는 가중치 맵을 제안하였고, 이를 이용하여 두 영상 중 더욱 더 텍스쳐가 풍부한 영상을 이용하여 결과 영상을 융합하였다 HDR의 경우 가중치 맵은 두 영상의 대비 값을 비교하여 구하였고, 안개 제거의 경우 전달량 맵을 가중치 맵으로 설정하였다 실험결과를 통해 근적외선 영상을 이용한 경우, 컬러 영상만을 이용하여 영상 강화를 한 경우보다 더 효과적으로 영상의 질을 높임을 확인하였다.

가설 설정

본 논문은 근적외선 영상과 컬러 영상 둘 중 하나는 윤곽선과 같은 텍스쳐 정보가 풍부하다는 가정을 하고 있다. 따라서 근적외선 파장대역과 가시광선 파장대역 모두에서 너무 밝거나 어두워 saturation 되는 경우 본 논문의 가정이 맞지 않아 영상의 질을 높일 수 없다는 한계점이 존재한다.

제안 방법

그들은 첫 번째로 근적외선/컬 러 영상쌍을 웨이블릿 변환을 통해서 저주파와 고주파 영상으로 분리하였다. 그 후 물체의 전반적인 색상에 해당하는 저주파 대역 영상에서는 물체의 색상 및 대비 값을, 영상의 세부적인 에지 및 윤곽에 해당하는 고주파 대역 영상에서는 물체의 텍스쳐 값을 변환하여 두 영상을 결합하였다. 논문 [4]에서 Schaule 가중치 최소 자승법 (Weighted Least Squares)을 이용하여 근적외선 영상의 세부적인 에지 및 텍스쳐 성분을 컬러 영상과 융합하는 알고리즘을 제안하였다.
따라서 컬러 영상의 HSV 값 중 밝기(Value)를 근적외선 영상과 융합하고, 그 외의 성분인 색상(Hue), 채도(Saturation) 값은 컬러 영상에서 추출한 값을 그대로 사용한다. 그 후, 본 논문에서 제안한 가중치 맵을 구한다. 가중치맵은 두 밝기 영상의 텍스쳐 성분을 비교한 것이다.
그 후 물체의 전반적인 색상에 해당하는 저주파 대역 영상에서는 물체의 색상 및 대비 값을, 영상의 세부적인 에지 및 윤곽에 해당하는 고주파 대역 영상에서는 물체의 텍스쳐 값을 변환하여 두 영상을 결합하였다. 논문 [4]에서 Schaule 가중치 최소 자승법 (Weighted Least Squares)을 이용하여 근적외선 영상의 세부적인 에지 및 텍스쳐 성분을 컬러 영상과 융합하는 알고리즘을 제안하였다. 또한 논문 [5]에서 Fenge 안개가 없는 것처럼 보이는 근적외선 영상의 세부적인 에지 및 윤곽정보를 이용한 함수 값을 최적화하는 방법을 통해 안개를 제거하고 근적외선 영상의 에지정보를 컬러 영상으로 변환하는 알고리즘을 제안하였다.
또한 영상의 가중치 맵을 구하는 과정이 패치 단위의 연산이기 때문에 블록 현상 발생한다. 따라서 이를 없애기 위해 컬러 영상의에지를 고려한 에지보존 필터링(Edge-Preserving Filtering)을 이용하여 가중치 맵의 블록 현상을 제거한다. 본 논문에서는 컬러 영상의 밝기 영상을 Guided Image로 한 Guided Filtering [9] 방법을 이용 하였다 또한 두 영상 간의 대비 값에 차이가 크지 않다면 근적외선 영상의 윤곽 정보가 큰 의미가 없기 때문에, 근적 외선 영상은 이용하지 않고 컬러 영상만을 영상 강화에 이용 하기 위하여 가중치 맵은 1로 설정하였다.
논문 [4]에서 Schaule 가중치 최소 자승법 (Weighted Least Squares)을 이용하여 근적외선 영상의 세부적인 에지 및 텍스쳐 성분을 컬러 영상과 융합하는 알고리즘을 제안하였다. 또한 논문 [5]에서 Fenge 안개가 없는 것처럼 보이는 근적외선 영상의 세부적인 에지 및 윤곽정보를 이용한 함수 값을 최적화하는 방법을 통해 안개를 제거하고 근적외선 영상의 에지정보를 컬러 영상으로 변환하는 알고리즘을 제안하였다. 논문[6]의 경우 컬러 영상의 가공 데이터 영상과 근적외선 영상을 동시에 얻은 후 AP(Alternating Projections) 알고리즘을 통해 가공 데이터 영상을 Demo- saic하여 기존의 Demosaic 결과보다 더 선명한 컬러 영상을 얻을 수 있는 알고리즘을 제안하였다 또한 논문 [5]의 경우 그림자 제거 알고리즘에 있어서 오검출의 원인이 되는 어두운 물체는 근적외선 반사율이 높다는 성질을 이용하여, 기존보다 오 검출이 적은 그림자 제거 알고리즘을 제안하였다.
따라서 이를 없애기 위해 컬러 영상의에지를 고려한 에지보존 필터링(Edge-Preserving Filtering)을 이용하여 가중치 맵의 블록 현상을 제거한다. 본 논문에서는 컬러 영상의 밝기 영상을 Guided Image로 한 Guided Filtering [9] 방법을 이용 하였다 또한 두 영상 간의 대비 값에 차이가 크지 않다면 근적외선 영상의 윤곽 정보가 큰 의미가 없기 때문에, 근적 외선 영상은 이용하지 않고 컬러 영상만을 영상 강화에 이용 하기 위하여 가중치 맵은 1로 설정하였다. 그림 4의 (a)~(c)는 HDR 응용에서 가중치 맵을 보여준다.
그 후, 두 영상을 웨이블릿 변환을 통해서 저주파와 고주파 대역의 영상으로 분리한다. 저주파 대역에서는 가중치 맵을 이용한 가중합을 통해 두 영상의 색상 정보를 융합하고 고주파 대역에서는 두 영상 중 더 큰 성분을 골라내는 방법을 통해 두 영상의 텍스쳐 정보를 융합하여 새로운 컬러 영상을 만든다 본 논문은 근적외선 영상의 세부 정보를 변환하는 것뿐만 아니라 가중치 맵을 이용하여 컬러 영상 정보도 이용하였기 때문에, 두 영상을 효율적으로 융합한다는 점에서 의미가 있다. 또한 하나의 framework을 통해 두 가지의 영상 강화 문제를 모두 해결한다는 점에서도 의미가 있다.
본 논문은 컬러 영상과 근적외선 영상을 융합하여 컬러 영상의 질을 강화하는 알고리즘을 제안한다. 첫 번째로 본 논문은 가중치 맵을 제안한다. 가중치 맵은 컬러/근적외선 두 영상 중에서 어떤 영상이 더 세부적인 텍스쳐 정보가 풍부한지를 나타내는 맵을 뜻한다.

이론/모형

따라서 안개의 농도를 나타내는 전달량 맵을 가중치 맵으로 설정하면 효과적으로 두 영상을 융합할 수 있다. 본 논문에서는 가중치 맵을 전달량 맵으로 설정하였고, 이는 Dark Channel Prior [8] 방법을 통해 구할 수 있다. 이러한 결과는 그림 5와 같다 안개가 낀 배경에 대한 컬러 영상인(a)와 근적외선 영상은 (b)와 같다 안개가 매우 짙은 하늘 지역의 경우 근적외선 영상의 텍스쳐 정보와 선명도가 더 높기 때문에 가중치 맵인 (c)는 0에 가까운 작은 값(검은색)을 띄게 된다.

성능/효과

우선 컬러 영상과 근적외선 영상 중 어느 영상이 더 텍스쳐 정보가 풍부한지를 나타내는 가중치 맵을 제안하였고, 이를 이용하여 두 영상 중 더욱 더 텍스쳐가 풍부한 영상을 이용하여 결과 영상을 융합하였다 HDR의 경우 가중치 맵은 두 영상의 대비 값을 비교하여 구하였고, 안개 제거의 경우 전달량 맵을 가중치 맵으로 설정하였다 실험결과를 통해 근적외선 영상을 이용한 경우, 컬러 영상만을 이용하여 영상 강화를 한 경우보다 더 효과적으로 영상의 질을 높임을 확인하였다. 또한 가중치 맵을 설정함으로 융합된 결과 영상은 근적외선 영상을 활용한 기존 알고리즘에 비해서도 색 상 왜곡은 더 적고, 더 높은 가시성을 보여주었다 또한 본 논문의 경우 영상 융합이라는 하나의 framework를 통해 HDR과 안개 제거라는 서로 다른 영상 강화 분야의 문제를 해결한다는 점에 의의가 있다.
또한 하나의 framework을 통해 두 가지의 영상 강화 문제를 모두 해결한다는 점에서도 의미가 있다. 실험 결과들을 통해 제안하는 알고리즘이 효과적으로 안개를 제거하고 또한 HDR(High Dynamic Range)과 같이 저조도의 컬러 영상을 근적외선 영상을 통해 영상의 윤곽을 뚜렷하게 하는 것과 같이 서로 다른 두 영상 강화 분야에 대해서 모두 영상의 질을 높임을 확인할 수 있었다
본 논문은 컬러 영상의 질을 강화하기 위해 컬러 영상과 근적외선 영상을 융합하는 알고리즘을 제안하였다. 우선 컬러 영상과 근적외선 영상 중 어느 영상이 더 텍스쳐 정보가 풍부한지를 나타내는 가중치 맵을 제안하였고, 이를 이용하여 두 영상 중 더욱 더 텍스쳐가 풍부한 영상을 이용하여 결과 영상을 융합하였다 HDR의 경우 가중치 맵은 두 영상의 대비 값을 비교하여 구하였고, 안개 제거의 경우 전달량 맵을 가중치 맵으로 설정하였다 실험결과를 통해 근적외선 영상을 이용한 경우, 컬러 영상만을 이용하여 영상 강화를 한 경우보다 더 효과적으로 영상의 질을 높임을 확인하였다. 또한 가중치 맵을 설정함으로 융합된 결과 영상은 근적외선 영상을 활용한 기존 알고리즘에 비해서도 색 상 왜곡은 더 적고, 더 높은 가시성을 보여주었다 또한 본 논문의 경우 영상 융합이라는 하나의 framework를 통해 HDR과 안개 제거라는 서로 다른 영상 강화 분야의 문제를 해결한다는 점에 의의가 있다.

후속연구

본 논문은 근적외선 영상과 컬러 영상 둘 중 하나는 윤곽선과 같은 텍스쳐 정보가 풍부하다는 가정을 하고 있다. 따라서 근적외선 파장대역과 가시광선 파장대역 모두에서 너무 밝거나 어두워 saturation 되는 경우 본 논문의 가정이 맞지 않아 영상의 질을 높일 수 없다는 한계점이 존재한다. 따라서 컬러 영상과 근적외선 영상을 한 장씩이 아닌 조명과 함께 다양한 조도에 대하여 여러 장을 촬영함으로 기존의 한계점을 넘어 영상의 질을 강화하는 알고리즘에 대해 연구할 계획이다.
따라서 근적외선 파장대역과 가시광선 파장대역 모두에서 너무 밝거나 어두워 saturation 되는 경우 본 논문의 가정이 맞지 않아 영상의 질을 높일 수 없다는 한계점이 존재한다. 따라서 컬러 영상과 근적외선 영상을 한 장씩이 아닌 조명과 함께 다양한 조도에 대하여 여러 장을 촬영함으로 기존의 한계점을 넘어 영상의 질을 강화하는 알고리즘에 대해 연구할 계획이다.

참고문헌 (13)

Y. M. Lu, C. Fredembach, M. Vetterli and S. Susstrunk, “Designing color filter arrays for the joint capture of visible and near-infrared images,” Proc. IEEE International Conferenece on Image Processing (ICIP), 2009.
Z. Sadeghipoor, Y. M. Lu and S. Susstrunk, “Correlation-based joint acquisition and demosaicing of visible and near-infrared images,” Proc. IEEE International Conferenece on Image Processing (ICIP), 2011.
X. Zhang, T. Sim and X. Miao, “Enhancing photographs with near infra-red images,” IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2008.
L. Schaul, C. Fredembach and S. Susstrunk, “Color image dehazing using the near-infrared,” Proc. IEEE International Conferenece on Image Processing (ICIP), 2009.
C. Feng, S. Zhuo, X. Zhang and L. Shen, “Near-infrared guided color image dehazing,” Proc. IEEE International Conferenece on Image Processing (ICIP), 2013.
X. Luo, J. Zhang and Q. Dai, “Hybrid fusion and interpolation algorithm with near-infrared image,” Frontiers of Computer Science, 9(3), pp. 375-382, June, 2015.

상세보기
D. Rufenact, C. Fredembach and S. Susstrunk, “Automatic and accurate shadow detection using near-infrared information,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(8), pp. 1672-1678, July, 2014.

상세보기
K. He, J. Sun and X. Tang, “Single image haze removal using dark channel prior,” IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2009.
K. He, J. Sun and X. Tang, “Guided image filtering,” IEEE International Conference on European Conference on Computer Vision (ECCV), 2010.
M. Brown and S. Susstrunk, “Multispectral SIFT for scene category recognition,” IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2011.
C. Liu, J. Yuen, A. Torralba, J. Sivic and W. Freeman, “SIFT flow dense correspondence across difference scenes,” IEEE International Conference on European Conference on Computer Vision (ECCV), 2008.
Z. Farbman, R. Fattal, D. Lishinski and R. Szeliski, “Edge-preserving decompositions for mutli-scale tone and detail manipulation,” ACM Transactions on Graphics, 27(3), No. 67, August, 2008.

상세보기
P. Debevec and J. Malik, “Recovering high dynamic range radiance maps from photographs,” Proc. ACM SIGGRAPH, 2008.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증