[논문]안개관련 특징을 이용한 효과적인 머신러닝 기반 안개제거 기법

이주희; 강봉순

doi:10.7471/ikeee.2021.25.1.83

안개관련 특징을 이용한 효과적인 머신러닝 기반 안개제거 기법
Effective machine learning-based haze removal technique using haze-related features 원문보기

전기전자학회논문지 = Journal of IKEEE, v.25 no.1, 2021년, pp.83 - 87

이주희 (Dept. of Electronic Engineering, Dong-A University) , 강봉순 (Dept. of Electronic Engineering, Dong-A University)

초록
AI-Helper

자율주행 및 인공지능 CCTV는 안개와 같은 악조건 상황에서 주변의 사물과 사람인식에 대한 카메라의 가시성 및 검출 능력이 저하된다. 이러한 악조건 상황에서도 중요한 정보를 정확하게 얻기 위해서 안개 제거 알고리즘에 대한 연구가 필요하다. 과거부터 현재까지 안개 제거 기술은 컴퓨터 비전/ 데이터 기반 등 다양한 방법을 이용한 연구가 진행되고 있다. 안개 제거 기술 중에서 입력영상에 대한 깊이 정보를 통한 안개 전달량을 추정하는 방법이 중요하다. 본 논문에서는 영상의 특징 DCP, saturation∗value, sharpness가 깊이정보와 선형관계에 있다는 가정을 통해 선형모델을 제시한다. 제안한 선형모델을 통한 안개제거방법은 기존의 방법들과 정량적 수치평가에서 평균적으로 10% 향상된 결과를 보여주며 알고리즘의 성능의 우수성을 증명하였다.

Abstract ▼ AI-Helper

In harsh environments such as fog or fine dust, the cameras' detection ability for object recognition may significantly decrease. In order to accurately obtain important information even in bad weather, fog removal algorithms are necessarily required. Research has been conducted in various ways, such as computer vision/data-based fog removal technology. In those techniques, estimating the amount of fog through the input image's depth information is an important procedure. In this paper, a linear model is presented under the assumption that the image dark channel dictionary, saturation ∗ value, and sharpness characteristics are linearly related to depth information. The proposed method of haze removal through a linear model shows the superiority of algorithm performance in quantitative numerical evaluation.

주제어

표/그림 (7)

그림 Fig. 1. Haze removal process of machine learning based algorithm. 그림 1. 머신러닝 기반 알고리즘의 안개제거 과정
그림 Fig. 2. Histogram of uniform distribution. 그림 2. 등분포 히스토그램
그림 Fig. 3. Synthetic hazy image and training data generation. 그림 3. 합성안개영상 및 학습데이터 생성
그림 Fig. 4. Graph of MLE estimation. 그림 4. MLE 추정 그래프
그림 Fig. 5. Comparison of the result image of the fog removal algorithm : from left to right, input hazy image, the result image of the Tarel method[5], Zhu method[7] and proposed method. 그림 5. 안개 제거 알고리즘의 결과 영상 비교 : 왼쪽에서 오른쪽으로, 입력안개영상, Tarel 방법의 결과영상[5], Zhu 방법의 결과영상[7], 제안하는 방법의 결과영상
표 Table 1. Quantitative evaluate of O-HAZE. 표 1. O-HAZE 정량적 수치결과
표 Table 2. Quantitative evaluate of I-HAZE. 표 2. I-HAZE 정량적 수치결과

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 깊이정보 추정을 통한 머신러닝 기반의 안개제거 선형모델을 제안하였다. 선형모델 의 매개변수는 머신러닝의 supervised learning기 반의 방법인 MLE를 사용하여 학습한다.
본 논문에서는 안개제거를 위한 깊이 정보를 구 하기 위해 dcp와 sat*val, sharp가 깊이와 선형관계 에 있다는 가정을 통해 머신러닝에 기반한 선형 모델을 제안한다[9].

제안 방법

첫 번째로 합성안개영상을 얻 기 위하여 먼저 인터넷에서 안개가 없는 고해상도 의 500x400크기의 영상 500장을 수집한다. 두 번째 로 합성 깊이 맵을 생성할 때는 Ngo가 제안한 표준 균일 분포를 보장하는 enhanced equidistribution방법을 통해 안개강도는 (0, 1), 대기강도는 (0.8, 1)범 위에서 랜덤 값을 사용하여 얻는다. 두 과정을 통해 얻은 안개가 없는 고해상도 영상과 합성 깊이 맵을 사용하여 수식 1, 수식 2를 통해 합성 안개영상 500장을 얻는다[10].
그림 1은 머신러 닝 기반 알고리즘의 안개 제거 과정을 나타낸다. 먼저 합성 안개영상을 사용하여 학습데이터로 사용되는 영상의 특징들을 추출한다. 학습데이터를 사용하여 제안한 선형모델에 대해 머신러닝 기반 의 supervised learning의 다양한 방법들 중 MLE 방법을 사용하여 선형모델에 대한 매개변수를 추 정한다.
본 논문에서는 Zhu가 제안한 CAP 방법에 기반 하여 깊이 맵을 구하기 위해 학습데이터로 안개영 상에 대한 특징 3가지 dcp(dark channel prior)와 sat*val(saturation*value), sharp(Sharpness)를 추 출하여 사용하고 CAP알고리즘의 모델을 변형한 선형모델을 통해 안개제거 성능이 향상된 알고리 즘 방법을 제안한다.
두 번째로 Kime He가 제안한 DCP (dark channel prior)알고리즘의 연산복잡도에 대한 단점을 보완한 mHMF(modified hybrid median filter)를 사용하는 방법을 제안하여 연산의 복잡도 를 줄이고 처리속도를 개선하였지만, 흰색 물체를 안개로 오인식하여 안개가 제거된 영상에서 색상 왜곡이 발생한다[7]. 세 번째로 Zhu는 안개영상의 깊이는 채도와 밝기에 따라 선형적 관계에 있다는 가정에 기반한 CAP(color attenuation prior)알고리즘을 제안했다. 이 방법은 머신러닝에 기반한 알고 리즘으로 안개를 효과적으로 제거할 수 있지만, 영 상의 검정 픽셀에서 색상 왜곡이 발생한다는 단점이 있다.
기존의 CAP알고리즘에서 합성 깊이 맵을 생성할 때 사용 하였던 pseudo random number generators방법은 표준 분포의 균일성을 만족하지 못한다는 단점이 있다. 이 문제를 보완한 방법으로 Ngo는 표준 균일 분포성을 만족시키기 위한 enhanced equidistribution 방법을 제안하였고 본 논문에서는 Ngo가 제안한 방법을 이용하여 합성깊이 맵을 생성한다[10]
제안하는 선형 모델은 CAP방법의 선형모델을 변형하여 학습데이터로 dcp와 sat*val, sharp를 사용한 수식 4을 통해 영상의 깊이를 구한다. 수식 4 에서 은 bias의 매개변수,  ,  , 은 학습데이터에 대한 매개변수이다.
제안한 선형모델에 대한 성능을 검증하기 위하여 본론에서 소개한 방법으로 생성한 학습 데이터를 사용하여 MLE방법의 머신러닝 학습을 진행한다. MLE방법의 학습은 추정된 매개변수 값들의 difference 와 likelihood함수 값의 difference가 모두 10^-5이 하일 때 학습이 종료되도록 설정하고, 선형모델에 대한 모든 매개변수의 초기 값은 0으로 설정하였다.
본 논문의 구성은 다음과 같다. 처음으로 머신러 닝 기반의 CAP 알고리즘에 대해 간략히 설명하고, 깊이 맵 추정을 위한 학습데이터 생성과정과 제안한 선형모델에 대해 소개한다. 그리고 제안한 알고 리즘의 성능을 검증하기 위한 안개가 제거된 결과 영상과 수치적 평가결과를 제시한다.
학습데이터 생성은 CAP 알고리즘에서 제안한 합성안개이미지를 사용하여 영상의 특징을 추출하는 방법을 이용한다. 첫 번째로 합성안개영상을 얻 기 위하여 먼저 인터넷에서 안개가 없는 고해상도 의 500x400크기의 영상 500장을 수집한다.
먼저 합성 안개영상을 사용하여 학습데이터로 사용되는 영상의 특징들을 추출한다. 학습데이터를 사용하여 제안한 선형모델에 대해 머신러닝 기반 의 supervised learning의 다양한 방법들 중 MLE 방법을 사용하여 선형모델에 대한 매개변수를 추 정한다. 머신러닝 학습을 통해 얻은 매개변수로 깊이정보를 얻을 수 있고 이 정보를 이용하여 입력영 상의 안개 전달량을 구할 수 있다.

대상 데이터

그림 3은 합성안개영상 및 학습데이터를 생성하는 과정을 나타낸 이미지이다. Enhanced Equidistribution 방법으로 얻은 합성안개영상 과 안개가 없는 고해 상도의 이미지를 사용하여 합성안개영상 500장을 얻는다. 그리고 머신러닝 기반의 MLE방법을 통해 영상의 깊이 정보를 추정하는데 사용하기 위해 학 습데이터로 합성 안개영상에서 영상의 특징인 dcp, sat*val, sharp를 추출하여 학습데이터로 사용한다.
Enhanced Equidistribution 방법으로 얻은 합성안개영상 과 안개가 없는 고해 상도의 이미지를 사용하여 합성안개영상 500장을 얻는다. 그리고 머신러닝 기반의 MLE방법을 통해 영상의 깊이 정보를 추정하는데 사용하기 위해 학 습데이터로 합성 안개영상에서 영상의 특징인 dcp, sat*val, sharp를 추출하여 학습데이터로 사용한다.
8, 1)범 위에서 랜덤 값을 사용하여 얻는다. 두 과정을 통해 얻은 안개가 없는 고해상도 영상과 합성 깊이 맵을 사용하여 수식 1, 수식 2를 통해 합성 안개영상 500장을 얻는다[10].
제안한 선형모델의 성능평가는 영상 신호 처리를 이용한 안개제거 방법 및 머신러닝 기반의 안개제거 방법인 Tarel, Kim, Zhu의 정량적 수치와 비교한다[6-8]. 정량적 수치평가를 위한 테스트영상 으로는 안개가 있는 실외 영상 O-HAZE 45개와 안 개가 있는 실내 영상 I-HAZE 30개를 사용한다.
학습데이터 생성은 CAP 알고리즘에서 제안한 합성안개이미지를 사용하여 영상의 특징을 추출하는 방법을 이용한다. 첫 번째로 합성안개영상을 얻 기 위하여 먼저 인터넷에서 안개가 없는 고해상도 의 500x400크기의 영상 500장을 수집한다. 두 번째 로 합성 깊이 맵을 생성할 때는 Ngo가 제안한 표준 균일 분포를 보장하는 enhanced equidistribution방법을 통해 안개강도는 (0, 1), 대기강도는 (0.

데이터처리

처음으로 머신러 닝 기반의 CAP 알고리즘에 대해 간략히 설명하고, 깊이 맵 추정을 위한 학습데이터 생성과정과 제안한 선형모델에 대해 소개한다. 그리고 제안한 알고 리즘의 성능을 검증하기 위한 안개가 제거된 결과 영상과 수치적 평가결과를 제시한다. 마지막으로 본 논문의 결론을 서술한다.
머신러닝 학습을 통해 추정한 깊이정보를 사용하여 안개가 제거된 영상을 수식 1, 수식 2를 통하여 얻는다. 제안한 선형모델의 성능평가는 영상 신호 처리를 이용한 안개제거 방법 및 머신러닝 기반의 안개제거 방법인 Tarel, Kim, Zhu의 정량적 수치와 비교한다[6-8]. 정량적 수치평가를 위한 테스트영상 으로는 안개가 있는 실외 영상 O-HAZE 45개와 안 개가 있는 실내 영상 I-HAZE 30개를 사용한다.

이론/모형

입력 영상에 대한 안개 전달량을 의미하는 t를 구하기 위해서는 영상의 깊이 의 값을 알아야한다. CAP방법에서는 영상의 깊이 은 영상의 특징 과 선형관계에 있다는 가정에 기반한 선형모델을 사용하였고, 수식 (3)과 같이 표현한다. 수식 (3)에서  ,  , 은 학습 모델에 대한 매개변수며, 은 영상의 깊이, 은 밝기, 는 채도, 은 선형모델에 대한 랜덤 오차를 의미한다[7].
본 논문에서는 수식 4의 선형모델에 대한 매개변수 를 추정하는 방법으로 머신러닝의 MLE(Maximum likelihood estimates)을 이용한다. 그림 1은 머신러 닝 기반 알고리즘의 안개 제거 과정을 나타낸다.
본 논문에서는 깊이정보 추정을 통한 머신러닝 기반의 안개제거 선형모델을 제안하였다. 선형모델 의 매개변수는 머신러닝의 supervised learning기 반의 방법인 MLE를 사용하여 학습한다. 제안한 선 형모델은 기존의 영상처리기반 및 머신러닝 기반 의 안개제거 알고리즘의 정량적 수치평가를 통해 O-HAZE는 13.
표 1은 실외안개영상 O-HAZE에 대한 정량적 수 치평가 결과를 정리한 표이고, 표 2는 실내 안개영상 I-HAZE에 대한 정량적 수치평가 결과를 정리한 표 이다. 정량적 품질 평가를 위해 안개 제거 품질 평가의 기준으로 사용되는 SSIM(Structural Similarity Index), TMQI(Tone Mapped Image Quality Index), FSIMc(Structural Similarity Index)을 나타내는 지 수들을 사용하며, 이 지수들은 값이 클수록 좋다. 제안한 선형모델은 대표적인 안개제거 방법들과의 수치 비교에서 우수한 결과를 나타냈다.

성능/효과

65% 향상된 결과를 보여주었다. 또한, 안개가 제거된 결과이미지 에 대한 정성적 평가를 통해 기존 안개제거 알고리 즘의 단점인 색상왜곡 문제를 개선하고 가시성이 향 상된 것을 확인하여 성능의 우수성을 증명하였다
선형모델 의 매개변수는 머신러닝의 supervised learning기 반의 방법인 MLE를 사용하여 학습한다. 제안한 선 형모델은 기존의 영상처리기반 및 머신러닝 기반 의 안개제거 알고리즘의 정량적 수치평가를 통해 O-HAZE는 13.94%, O-HAZE는 7.65% 향상된 결과를 보여주었다. 또한, 안개가 제거된 결과이미지 에 대한 정성적 평가를 통해 기존 안개제거 알고리 즘의 단점인 색상왜곡 문제를 개선하고 가시성이 향 상된 것을 확인하여 성능의 우수성을 증명하였다
정량적 품질 평가를 위해 안개 제거 품질 평가의 기준으로 사용되는 SSIM(Structural Similarity Index), TMQI(Tone Mapped Image Quality Index), FSIMc(Structural Similarity Index)을 나타내는 지 수들을 사용하며, 이 지수들은 값이 클수록 좋다. 제안한 선형모델은 대표적인 안개제거 방법들과의 수치 비교에서 우수한 결과를 나타냈다. 그림 5는 정성적 평가를 위한 입력안개영상, Tarel과 Zhu가 제안한 방법으로 얻은 결과 영상, 제안한 방법의 결과 영상이다.
그림 5는 정성적 평가를 위한 입력안개영상, Tarel과 Zhu가 제안한 방법으로 얻은 결과 영상, 제안한 방법의 결과 영상이다. 제안한 선형모델의 방법은 색상왜 곡 없이 안개 제거가 효과적으로 제거되고 영상의 가시성과 품질이 향상된 것을 알 수 있다.

참고문헌 (10)

K. He, J. Sun, and X. Tang, "Single Image Haze Removal Using Dark Channel Prior," IEEE Trans. Pattern Anal. Mach. Intell., vol.33, no.12, pp.2341-2353, 2011. DOI: 10.1109/TPAMI.2010.168

상세보기
D. Ngo, G. D. Lee, and B. S. Kang, "Improved color attenuation prior for single-image haze removal," Appl. Sci., vol.9, no.19, pp.4011, 2019. DOI: 10.3390/app9194011

상세보기
P. Xia and X. Liu, "Image dehazing technique based on polarimetric spectral analysis," Optik, vol.127, no.18, pp.7350-7358, 2016. DOI: 10.1016/j.ijleo.2016.05.071

상세보기
Ngo, D.; Lee, S.; Kang, B. "Robust Single-Image Haze Removal Using Optimal Transmission Map and Adaptive Atmospheric Light," Remote Sens. Vol.12, pp.2233. 2020.

상세보기
Ngo, D.; Lee, S.; Nguyen, Q.-H.; Ngo, T. M.; Lee, G.-D.; Kang, B. "Single Image Haze Removal from Image Enhancement Perspective for Real-Time Vision-Based Systems," Sensors, Vol.20, pp.5170, 2020.

상세보기
J. P. Tarel and N. Hautiere, "Fast visivility restoration from a single color or gray level image," in Proc. of the 2009 IEEE International Conference on Computer Vision, pp.2201-2208, 2009. DOI: 10.1109/ICCV.2009.5459251
G. Kim, S. Lee, and B. Kang, "Single Image Haze Removal Using Hazy Particle Maps," IEICE Trans. Fundam. Electron. Commun. Comput.Sci., vol.101, no.11, pp.1999-2002, 2018. DOI: 10.1587/transfun.E101.A.1999

상세보기
Q. Zhu, J. Mai, and L. Shao, "A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior," IEEE Trans. Image Process., vol.24, no.11, pp.3522-3533, 2015. DOI: 10.1109/TIP.2015.2446191

상세보기
Y. Jiang, C. Sun, Y. Zhao and L. Yang, "Fog Density Estimation and Image Defogging Based on Surrogate Modeling for Optical Depth," in IEEE Transactions on Image Processing, vol.26, no.7, pp.3397-3409, 2017. DOI: 10.1109/TIP.2017.2700720.

상세보기
D. Ngo, G. D. Lee, and B. S. Kang, "Improved color attenuation prior for single-image haze removal," Appl. Sci., vol.9, no.19, pp.4011, 2019. DOI: 10.3390/app9194011

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증