히스토그램 정보와 dark channel prior를 이용한 다해상도 기반 단일 영상 안개 제거 알고리즘 A Single Image Defogging Algorithm Based on Multi-Resolution Method Using Histogram Information and Dark Channel Prior원문보기
본 논문에서는 효과적인 단일 영상 안개 제거 알고리즘을 제안한다. 잘 알려진 안개 제거 알고리즘인 dark channel prior(DCP)는 경계선 영역에서의 후광 현상(halo artifact) 및 결과 영상의 저대비를 초래하고 전달량 정제(refinement) 과정에서 긴 계산 시간을 필요로 한다. 이러한 문제들을 해결하기 위해 제안한 방법은 전달량을 추정할 때 DCP와 히스토그램 정보로 구성된 비용함수를 이용하고, 빠른 처리를 위해 다해상도 기법을 이용한다. 히스토그램 정보는 안개 제거 결과의 저대비 현상을 방지해주고, 에지 정보를 참고하는 다해상도 기법은 계산 시간을 감소시키고 후광 현상을 방지할 수 있다. 다수의 안개 영상에 대한 실험을 통해 제안한 방법이 기존의 방법들보다 효율적이고 우수함을 확인하였다.
본 논문에서는 효과적인 단일 영상 안개 제거 알고리즘을 제안한다. 잘 알려진 안개 제거 알고리즘인 dark channel prior(DCP)는 경계선 영역에서의 후광 현상(halo artifact) 및 결과 영상의 저대비를 초래하고 전달량 정제(refinement) 과정에서 긴 계산 시간을 필요로 한다. 이러한 문제들을 해결하기 위해 제안한 방법은 전달량을 추정할 때 DCP와 히스토그램 정보로 구성된 비용함수를 이용하고, 빠른 처리를 위해 다해상도 기법을 이용한다. 히스토그램 정보는 안개 제거 결과의 저대비 현상을 방지해주고, 에지 정보를 참고하는 다해상도 기법은 계산 시간을 감소시키고 후광 현상을 방지할 수 있다. 다수의 안개 영상에 대한 실험을 통해 제안한 방법이 기존의 방법들보다 효율적이고 우수함을 확인하였다.
In this paper, we propose a defogging algorithm for a single image. Dark channel prior (DCP), which is a well-known defogging algorithm, can cause halo artifacts on boundary regions, low-contrast defogging images, and requires a large computational time. To solve these problems, we use histogram inf...
In this paper, we propose a defogging algorithm for a single image. Dark channel prior (DCP), which is a well-known defogging algorithm, can cause halo artifacts on boundary regions, low-contrast defogging images, and requires a large computational time. To solve these problems, we use histogram information with DCP on transmission estimation regions and a multi-resolution method. Local histogram information can reduce the low-contrast problem on a defogging image, and the multi-resolution method with edge information can reduce the total computational time and halo artifacts. We validate the proposed method by performing experiments on fog images, and we confirm that the proposed algorithm is more efficient and superior than conventional algorithms.
In this paper, we propose a defogging algorithm for a single image. Dark channel prior (DCP), which is a well-known defogging algorithm, can cause halo artifacts on boundary regions, low-contrast defogging images, and requires a large computational time. To solve these problems, we use histogram information with DCP on transmission estimation regions and a multi-resolution method. Local histogram information can reduce the low-contrast problem on a defogging image, and the multi-resolution method with edge information can reduce the total computational time and halo artifacts. We validate the proposed method by performing experiments on fog images, and we confirm that the proposed algorithm is more efficient and superior than conventional algorithms.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서는 안개 영상에서 전달량을 효율적으로 추정하여 안개를 제거하는 방법을 제안한다. 제안한 방법은 DCP 기반으로 안개 영역을 추정하는 과정에서 히스토그램 정보를 추가하여 저대비 및 색 왜곡을 방지하였다.
본 논문에서는 안개 영상에서 전달량을 효율적으로 추정 하여 안개를 제거하기 위해 히스토그램 분포와 DCP를 이용한 다해상도 기반의 단일 영상 안개 제거 기법을 제안하였다. 제안한 방법은 안개 모델링을 이용하여 DCP와 히스 토그램 분포 특성에 대한 비용항의 가중합 형태로 전달량에 관한 비용함수를 정의하였고, 안개 제거 처리 전후 색의 왜곡이 적은 DCP의 특성에 입각하여 DCP로 얻은 기준 전달량을 이용하여 색 왜곡 정도에 따른 가중치를 계산한 후 비용함수에 적용하였다.
가설 설정
Tan et al. [2]은 인접한 화소들의 깊이값이 비슷하다는 가정과 안개 영역에서는 밝기 차이의 합이 아닌 안개 없는 영역보다 적다는 가정을 이용하여 지역적으로 안개 영역을 찾아내는 방법을 제안하였고 Fattal et al. [11]은 안개 영상에서 반사율을 추정하여 안개를 제거하는 방법을 제안하였다.
제안 방법
제안한 다해상도 기법은 Figure 5와 같다. 3단계로 구성된 안개 영상 피라미드의 최상위 계층에서 앞절의 과정으로 전달량 맵을 구하고 bilateral filter를 이용하여 전달량 맵을 정제한다. 화소수가 1/16배이므로 연산에 큰 시간이 소요되지 않는다.
제안한 방법은 안개 모델링을 이용하여 DCP와 히스 토그램 분포 특성에 대한 비용항의 가중합 형태로 전달량에 관한 비용함수를 정의하였고, 안개 제거 처리 전후 색의 왜곡이 적은 DCP의 특성에 입각하여 DCP로 얻은 기준 전달량을 이용하여 색 왜곡 정도에 따른 가중치를 계산한 후 비용함수에 적용하였다. 그리고 에지 정보를 추가한 다해상도 기법을 이용하여 전달량 정제를 수행하였다. 제안한 비용함수는 색 왜곡이 적다고 판단되는 영역에서는 히스토그램 처리의 비중을 높여서 장면의 명확성을 높일 수 있었고, 색 왜곡이 발생하는 영역에서는 DCP 처리의 비중을 높임으로써 색 왜곡을 방지할 수 있었다.
정제과정에서 bilateral filter를 이용하는 soft-matting 기법이 가장 많이 쓰이며, 조밀한 전달량 맵을 얻기 위해서는 그만큼 처리 시간이 많이 소요되는 단점이 있다[12]. 따라서 제안하는 방법은 정제과정에서 계산량을 줄이기 위해 가우시안 영상 피라미드를 이용한다. 가우시안 영상 피라미드는 상위 레벨로 축소된 영상을 더 자세히 표현해주는 장점을 가지고 있다[1].
최상위 계층 전달량 맵은 bilateral filter[1][12]를 이용하여 정제 처리를 한다. 마지막으로 상위 계층에서 얻은 전달량 맵을 하위 계층으로 전파함과 동시에 에지 영상을 이용하여 복원하면서 에지 화소 주변을 bilateral filter로 정제한다.
다양한 안개 특성에 대한 성능을 확인하고 비교하기 위해 분포된 영역의 크기 및 농도가 다른 안개 영상들을 사용하였다. 성능 검증은 안개 제거 영상의 시각적 선명도의 정성적 비교 및 처리 전후 에지 화소 비율 산출을 통한 정량적 비교를 통해 수행하였고, 계산 시간을 산출하여 처리 속도를 비교하였다. 실험시 적용된 각종 파라미터 등 실험 조건들은 Table 1과 같다.
안개 영상에 대해 영상 피라미드를 구축할 경우 예측차 영상에도 안개 성분이 포함되기 때문에 제안한 방법은 예측차 영상을 사용하지 않고 각 단계 근사영상에서 추출한 에지 영상을 이용한다.
따라서 본 논문에서는 안개 영상에서 전달량을 효율적으로 추정하여 안개를 제거하는 방법을 제안한다. 제안한 방법은 DCP 기반으로 안개 영역을 추정하는 과정에서 히스토그램 정보를 추가하여 저대비 및 색 왜곡을 방지하였다..
본 논문에서는 안개 영상에서 전달량을 효율적으로 추정 하여 안개를 제거하기 위해 히스토그램 분포와 DCP를 이용한 다해상도 기반의 단일 영상 안개 제거 기법을 제안하였다. 제안한 방법은 안개 모델링을 이용하여 DCP와 히스 토그램 분포 특성에 대한 비용항의 가중합 형태로 전달량에 관한 비용함수를 정의하였고, 안개 제거 처리 전후 색의 왜곡이 적은 DCP의 특성에 입각하여 DCP로 얻은 기준 전달량을 이용하여 색 왜곡 정도에 따른 가중치를 계산한 후 비용함수에 적용하였다. 그리고 에지 정보를 추가한 다해상도 기법을 이용하여 전달량 정제를 수행하였다.
제안한 방법의 비용 함수는 DCP 항과 히스토그램 균등화 항의 가중합으로 표현되며, 적용하는 가중치는 해당 영역의 안개 제거 전의 색상(hue)값과 현재 전달량에 의해 얻어진 새로운 색상값의 비로 결정된다.
제안한 방법의 비용함수의 주요 항은 앞서 설명한 DCP 항과 히스토그램 균등화 항이다. 여기에 안개 제거 과정에서 색상이 왜곡되는 것을 방지하기 위해 먼저 전달량에 대한 색상 함수 F(t(x))는 식 (8)과 같이 계산한다.
주어진 윈도우 영역의 안개값 추정을 위해 윈도우 내의 화소들을 분석하여 r, g, b 중 가장 어두운 채널을 각 화소의 dark channel로 선택한다. 그리고 dark channel들의 상위 0.
대상 데이터
제안한 방법의 성능을 검증하기 위해 안개 분포의 특성에 따른 결과 영상을 제시하고 기존의 DCP 방법[12]의 결과와 비교하였다. 다양한 안개 특성에 대한 성능을 확인하고 비교하기 위해 분포된 영역의 크기 및 농도가 다른 안개 영상들을 사용하였다. 성능 검증은 안개 제거 영상의 시각적 선명도의 정성적 비교 및 처리 전후 에지 화소 비율 산출을 통한 정량적 비교를 통해 수행하였고, 계산 시간을 산출하여 처리 속도를 비교하였다.
데이터처리
제안한 방법의 성능을 검증하기 위해 안개 분포의 특성에 따른 결과 영상을 제시하고 기존의 DCP 방법[12]의 결과와 비교하였다. 다양한 안개 특성에 대한 성능을 확인하고 비교하기 위해 분포된 영역의 크기 및 농도가 다른 안개 영상들을 사용하였다.
성능/효과
제안한 방법의 결과는 Figure 7의 (c)이다. DCP에서 발생한 후광 현상 문제가 개선되었고 우측 상단 물체의 디테일도 잘 보전되었음을 확인할 수 있다. 제안한 방법은 전달량을 정제하는 과정에서 원영상의 에지 정보를 이용하기 때문에 본 실험영상과 같이 안개 영역과 겹치는 부분에서 더 좋은 성능을 보인다.
. 다해상도 기법은 가우시안 영상 피라미드를 이용하였고 다해상도 처리 과정에서 에지 정보를 이용하여 영상의 에지 부근에서의 후광 현상을 줄이는 동시에 전달량 정제 과정 중 계산량을 줄일 수 있었다.
제안한 비용함수는 색 왜곡이 적다고 판단되는 영역에서는 히스토그램 처리의 비중을 높여서 장면의 명확성을 높일 수 있었고, 색 왜곡이 발생하는 영역에서는 DCP 처리의 비중을 높임으로써 색 왜곡을 방지할 수 있었다. 다해상도 기법은 조밀한 전달량 맵을 얻는 시간 단축에 효과가 있었고, 특히 추가된 에지 정보를 이용함으로써 후광 효과를 방지할 수 있음을 확인할 수 있었다. 반면 제안한 방법의 안개 제거 처리 시간은 실시간 처리 기준에 못 미친다.
특히 영상의 중심부 영역은 깊이 정보가 크고 안개값 이외에 물체의 색정보가 희박하기 때문에 전달량이 작다. 따라서 나무색이 희박하게나마 전달된 곳까지는 복원이 가능하지만 그 외의 영역은 기존의 방법과 제안한 방법 모두 성능의 한계를 드러냈다. 반면 복원된 영역의 디테일과 대비의 폭은 제안한 방법이 더 좋았다.
따라서 나무색이 희박하게나마 전달된 곳까지는 복원이 가능하지만 그 외의 영역은 기존의 방법과 제안한 방법 모두 성능의 한계를 드러냈다. 반면 복원된 영역의 디테일과 대비의 폭은 제안한 방법이 더 좋았다.
DCP에서 발생한 후광 현상 문제가 개선되었고 우측 상단 물체의 디테일도 잘 보전되었음을 확인할 수 있다. 제안한 방법은 전달량을 정제하는 과정에서 원영상의 에지 정보를 이용하기 때문에 본 실험영상과 같이 안개 영역과 겹치는 부분에서 더 좋은 성능을 보인다.
이 영상을 DCP와 제안한 방법으로 처리한 결과 영상은 각각 Figure 6의 (b)와 (c)이다. 제안한 방법을 통해 안개 제거 과정에서 경계선을 명확히 표현하고, 불켜진 건물창의 색등이 선명하게 표현될 수 있음을 확인할 수 있다.
기존 DCP의 전달량 정제 과정에서는 원영상 크기의 전달량 맵과 안개 영상에 대해 bilateral filter를 적용하기 때문에 경계 영역을 보전하면서 전달량 맵을 정제하는데 오랜 시간이 걸린다. 제안한 방법의 전달량 추정과정에서 DCP 연산뿐만 아니라 히스토그램 비용항과 색상 가중치를 계산하는 만큼의 연산량이 증가됨에도 기존의 방법보다 짧은 시간내에 결과 영상을 도출했다.
그리고 에지 정보를 추가한 다해상도 기법을 이용하여 전달량 정제를 수행하였다. 제안한 비용함수는 색 왜곡이 적다고 판단되는 영역에서는 히스토그램 처리의 비중을 높여서 장면의 명확성을 높일 수 있었고, 색 왜곡이 발생하는 영역에서는 DCP 처리의 비중을 높임으로써 색 왜곡을 방지할 수 있었다. 다해상도 기법은 조밀한 전달량 맵을 얻는 시간 단축에 효과가 있었고, 특히 추가된 에지 정보를 이용함으로써 후광 효과를 방지할 수 있음을 확인할 수 있었다.
후속연구
반면 제안한 방법의 안개 제거 처리 시간은 실시간 처리 기준에 못 미친다. 이를 위해 FPGA 등 H/W 처리 기법이나 GPGPU(general purpose GPU를 이용한 병렬 처리 기법 연구가 병행되어야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
dark channel prior의 개선해야 할 점은 무엇인가?
본 논문에서는 효과적인 단일 영상 안개 제거 알고리즘을 제안한다. 잘 알려진 안개 제거 알고리즘인 dark channel prior(DCP)는 경계선 영역에서의 후광 현상(halo artifact) 및 결과 영상의 저대비를 초래하고 전달량 정제(refinement) 과정에서 긴 계산 시간을 필요로 한다. 이러한 문제들을 해결하기 위해 제안한 방법은 전달량을 추정할 때 DCP와 히스토그램 정보로 구성된 비용함수를 이용하고, 빠른 처리를 위해 다해상도 기법을 이용한다.
안개를 형성하는 수증기 입자들은 카메라로 획득한 영상에 어떤 영향을 미치는가?
안개는 대기 중 수증기가 뭉쳐서 형성된 입자들에 의해 발생된다. 이 입자들은 빛을 더 산란시키는 특성을 갖기 때문에 장면의 대비(contrast)를 축소시키고 채도(saturation)를 감소시킨다. 따라서 이러한 영상에 대한 컴퓨터 시각 기능의 성능을 높이기 위해 안개와 같은 외부 요인들을 제거하는 과정이 필요하다.
컴퓨터 시각 기술이란 무엇인가?
최근 선박 및 플랜트 감시와 해양 생태 조사를 효율적으로 수행할 수 있는 지능형 무인 시스템에 대한 관심이 높아짐에 따라 관련 시설의 운영 및 제어를 위한 컴퓨터 시각(computer vision) 분야에 대한 연구가 진행되고 있다[1]. 컴퓨터 시각은 카메라로 획득한 시각정보를 분석하여 특정 물체 인식 및 장면을 이해하는 기술이다. 이러한 기술은 선박이나 플랜트 등에 적용되어 인간의 시각 기능을 구현하는 것이 가능하지만 해변이나 해상에서 운용되기 때문에 카메라로 획득한 영상이 안개(fog)와 같은 탁한 매질(tubid medium)에 영향을 받기 쉽다.
참고문헌 (15)
E. R. Davies, Machine Vision, Third Edition : Theory, Algorithms, Practicallities (Signal Processing and its Applications), Morgan Kaufmann, 2005.
R. T. Tan, "Visibility in bad weather from a single image," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, 2008.
J. H. Kim, J. Y. Sim, and C. S. Kim, "Single image dehazing based on contrast enhancement," Proceedings of the IEEE Acoustics, Speech and Signal Processing, pp. 1273-1276, 2011.
K. He, J. Sun, and X. Tang, "Single image haze removal using dark channel prior," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 12, pp. 2341-2353, 2011.
Y. Y. Schechner, S. G. Narasimhan, and S. K. Nayar, "Instant dehazing of images using polarization," Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 1984-1991, 2001.
S. Shwartz, E. Namer, and Y. Y. Schechner, "Blind haze separation," Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 1984-1991, 2006.
S. G. Narasimhan and S. K. Nayar, "Chromatic framework for vision in bad weather," Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 598-605, 2000.
S. G. Narasimhan and S. K. Nayar, "Contrast restoration of weather degraded image," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 6, pp. 713-724, 2003.
J. Kopf, B. Neubert, B. Chen, M. Cohen, C. Cohen-Or, O. Deussen, M. Uyttendaele, and D. Lischinski, "Deep photo: Model-based photograph enhancement and viewing," ACM Transactions on Graphics, vol. 27, no. 5, pp. 1-10, 2008.
K. Gibson, D. Vo, and T. Nguyen, "An inversigation of dehazing effects on image and video coding," IEEE Transactions on Image Processing, vol. 21, no. 2, pp. 662-673, 2012.
R. Fattal, "Single image dehazing," ACM Transactions on Graphics, vol. 27, no. 3, pp. 1-9, 2008.
K. He, J. Sun, and X. Tang, "Guided image filtering," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 35, no. 6, pp. 1397-1409. 2012.
S. Yang, Q. Zhu, J. Wang, D. Wu, and Y. Xie, "An improved single image haze removal algorithm based on dark channel prior and histogram specification," Proceedings of the 3rd International Conference on Multimedia Technology, pp. 279-292, 2013.
R. C. Gonzalez and R. E. Woods, Digital Image Processing, Third Edition, Prentice Hall, 2007.
N. Hautiere, J. Tarel, D. Aubert, and E. Dumout, "Blind contrast enhancement assessment by gradient ratioing at visible edges," Image Analysis & Stereology Journal, vol. 27, no. 2, pp. 1-7, 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.