[논문]Hazy Particle Map 기반 실시간 처리 가능한 자동화 안개 제거방법의 하드웨어 구현

심휘보; 강봉순

doi:10.7471/ikeee.2022.26.3.401

Hazy Particle Map 기반 실시간 처리 가능한 자동화 안개 제거방법의 하드웨어 구현
Hardware implementation of automated haze removal method capable of real-time processing based on Hazy Particle Map 원문보기

전기전자학회논문지 = Journal of IKEEE, v.26 no.3, 2022년, pp.401 - 407

심휘보 (Dept. of Electronics Engineering, Dong-A University) , 강봉순 (Dept. of Electronics Engineering, Dong-A University)

초록
AI-Helper

최근 자율주행 자동차를 구현하기 위해 카메라 영상을 통해 객체 및 차선을 인식하여 자율주행하는 영상처리 기술이 연구되고 있다. 안개는 카메라 촬영 영상의 가시성을 떨어뜨리기 때문에 자율주행 자동차 오작동의 원인이 된다. 이를 해결하기 위해 카메라에 실시간 처리가 가능한 안개 제거 기능을 적용하는 것이 필요하다. 따라서 본 논문에서는 성능이 우수한 Sim의 안개 제거방법을 실시간 처리가 가능한 하드웨어로 구현한다. 제안하는 하드웨어는 Verilog HDL을 사용하여 설계하였고, Xilinx사의 xc7z045-2ffg900을 Target device로 설정하여 FPGA 구현하였다. Xilinx Vivado 프로그램을 이용한 논리합성 결과 4K(4096×2160) 고해상도 환경에서 최대 동작 주파수 276.932MHz, 최대 처리 속도 31.279fps를 가짐으로써 실시간 처리 기준을 만족한다.

Abstract ▼ AI-Helper

Recently, image processing technology for autonomous driving by recognizing objects and lanes through camera images to realize autonomous vehicles is being studied. Haze reduces the visibility of images captured by the camera and causes malfunctions of autonomous vehicles. To solve this, it is necessary to apply the haze removal function that can be processed in real time to the camera. Therefore, in this paper, the fog removal method of Sim with excellent performance is implemented with hardware capable of real-time processing. The proposed hardware was designed using Verilog HDL, and FPGA was implemented by setting Xilinx's xc7z045-2ffg900 as the target device. As a result of logic synthesis using Xilinx Vivado program, it has a maximum operating frequency of 276.932MHz and a maximum processing speed of 31.279fps in a 4K (4096×2160) high-resolution environment, thus satisfying the real-time processing standard.

주제어

표/그림 (9)

표 Table 1. Processing time in seconds of haze removal algorithms. 표 1. 안개 제거 알고리즘의 처리시간(sec) 및 fps.
그림 Fig. 1. Flowchart of Fog Removal Algorithm. 그림 1. 안개 제거 알고리즘의 흐름도
그림 Fig. 3. Block diagram of the proposed hardware. 그림 3. 제안하는 하드웨어의 블록다이어그램
그림 Fig. 4. Circuit of Piece-wise linear weight. 그림 4. Piece-wise linear weight의 회로
그림 Fig. 5. Circuit of Hazy Particle Map Estimation. 그림 5. Hazy Particle Map Estimation의 회로
그림 Fig. 6. Data-Path of 2-split multiplier. 그림 6. 2-split 곱셈기의 데이터 패스.
그림 Fig. 7. Data-Path of 3-split multiplier. 그림 7. 3-split 곱셈기의 데이터 패스.
표 Table 2. Summary of Xilinx Synthetic Result. 표 2. Xilinx 합성 결과표
표 Table 3. Comparison of performance loss compared to existing algorithm due to hardware design. 표 3. 하드웨어 설계로 인한 기존 알고리즘 대비 성능 손실 비교

참고문헌 (16)

D. Ngo, G. D. Lee and B. Kang, "A 4K-Capable FPGA Implementation of Single Image Haze Removal Using Hazy Particle Maps," Applied Sciences, Vol.9, No.17, pp.3443-3457, 2019. DOI: 10.3390/app9173443

상세보기
D. Ngo, S. Lee, U. J. Kang, T. M. Ngo, G. D. Lee and B. Kang, "Adapting a Dehazing System to Haze Conditions by Piece-Wisely Linearizing a Depth Estimator," Applied Sciences, Vol.22, No.5, pp.1957-1981, 2022. DOI: 10.3390/s22051957

상세보기
D. Ngo, S. Lee, Q. H. Nguyen, T. M. Ngo, G. D. Lee and B. Kang, "Single Image Haze Removal from Image Enhancement Perspective for Real-Time Vision-Based Systems," Sensors, Vol.20, No.18, pp.5170-5190, 2020. DOI: 10.3390/s20185170

상세보기
K. He, J. Sun, and X. Tang, "Single Image Haze Removal Using Dark Channel Prior," EEE Transactions on Pattern Analysis and Machine Intelligence, Vol.33, No.12, pp.2341-2353, 2011. DOI: 10.1109/TPAMI.2010.168

상세보기
A. Levin, D. Lischinski and Y. Weiss, "A Closed-Form Solution to Natural Image Matting," in IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.30, No.2, pp.228-242, 2008. DOI: 10.1109/TPAMI.2007.1177

상세보기
G. J. Kim, S. Lee, and B. Kang, "Single Image Haze Removal Using Hazy Particle Maps," IEICE Trans. Fundam. Electron. Commun. Comput. Sci. Vol.E101-A, No.11, pp.1999-2002, 2018. DOI: 10.1587/transfun.E101.A.1999

상세보기
D. Ngo, G. D. Lee and B. Kang, "Haziness degree evaluator: A knowledge-driven approach for haze density estimation," Sensors, Vol.21, No.11, pp. 3896-3927, 2021. DOI: 10.3390/s21113896

상세보기
H. SIM and B. Kang "Hazy Particle Map-based automated fog removal method with Haziness Evaluator applied," Journal of Korea Multimedia Society, 'in press'
S. G. Narasimhan and S. K. Nayar, "Vision and the Atmosphere," International Journal of Computer Vision, Vol.8, No.3, pp.233-254, 2002. DOI: 10.1023/A:1016328200723
J. Tarel and N. Hautiere, "Fast visibility restoration from a single color or gray level image," 2009 IEEE 12th International onference on Computer Vision, pp. 2201-2208, 2009. DOI: 10.1109/ICCV.2009.5459251
H. Cho, G. J. Kim, K. Jang, S. Lee and B. Kang, "Color Image Enhancement Based on Adaptive Nonlinear Curves of Luminance Features," J. Semicond. Technol. Sci, Vol.15, No.1, pp.60-67. 2015. DOI: 10.5573/JSTS.2015.15.1.060

원문보기 상세보기
Z. Wang, A. C. Bovik, H. R. Sheikh, end E. P. Simoncelli, "Image Quality Assessment: from Error Visibility Tostructural Similarity," IEEE Transactions on Image Process. Vol.13, No.4, pp.600-612, 2014. DOI: 10.1109/TIP.2003.819861

상세보기
L. Zhang, X. Mou, and D. Zhang, "FSIM: A Feature Similarity Index for Image Quality Assessment," IEEE Transactions on Image Process. Vol.20, No.8, pp.2378-2386, 2011. DOI: 10.1109/TIP.2011.2109730

상세보기
H. Yeganeh and Z. Wang, "Objective Quality Assessment of Tone-Mapped Images," IEEE Transactions on Image Process. Vol.22, No.2, pp. 657-667, 2013. DOI: 10.1109/TIP.2012.2221725

상세보기
C. Ancuti, C. O. Ancuti, R. Timofte, and C. De Vleeschouwer, "I-HAZE: A Dehazing Benchmark with Real Hazyand Haze-Free Indoor Images," Advanced Concepts for Intelligent Vision Systems, pp.620-631, 2018. DOI: 10.48550/arXiv.1804.05091
C. Ancuti, C. O. Ancuti and C. De Vleeschouwer, "D-HAZY: A dataset to evaluate quantitatively dehazing algorithms," In Proceedings of the IEEE International Conference on Image Processing (ICIP), pp.2226-2230, 2016. DOI: 10.1109/ICIP.2016.7532754

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증