[논문]OpenCL 기반의 상위 수준 합성 기술을 이용한 고성능 안개 제거 시스템의 소프트웨어-하드웨어 통합 설계

박용민; 김민상; 김병오; 김태환

doi:10.5573/ieie.2017.54.8.45

OpenCL 기반의 상위 수준 합성 기술을 이용한 고성능 안개 제거 시스템의 소프트웨어-하드웨어 통합 설계
SW-HW Co-design of a High-performance Dehazing System Using OpenCL-based High-level Synthesis Technique 원문보기

Journal of the Institute of Electronics and Information Engineers = 전자공학회논문지, v.54 no.8 = no.477, 2017년, pp.45 - 52

박용민 (한국항공대학교) , 김민상 (한국항공대학교) , 김병오 (한국항공대학교) , 김태환 (한국항공대학교)

초록
AI-Helper

본 논문은 안개 제거 처리를 위한 전용의 하드웨어 가속기를 내장하는 고성능의 소프트웨어-하드웨어 통합 안개 제거 시스템의 설계 및 구현을 제시한다. 제시된 안개 제거 시스템에서 다크 채널 프라이어 기반의 안개 제거 처리는 전용의 하드웨어 가속기를 통해 처리되며, 영상의 입출력 및 가속기의 제어는 소프트웨어에 의해서 처리된다. 이를 위해 안개 제거 알고리즘에 내재된 병렬성을 발견하여 OpenCL 커널로 기술하고, 상위 수준 합성 기술을 이용해 하드웨어 가속기를 구현하였다. 기존의 소프트웨어 기반의 안개 제거 시스템과 제안하는 시스템의 성능을 비교한 결과, 동등한 안개 제거 품질을 보이면서도 전체 시스템 수행 시간이 최대 96.3% 단축되었다.

Abstract ▼ AI-Helper

This paper presents a high-performance software-hardware dehazing system based on a dedicated hardware accelerator for the haze removal. In the proposed system, the dedicated hardware accelerator performs the dark-channel-prior-based dehazing process, and the software performs the other control processes. For this purpose, the dehazing process is realized as an OpenCL kernel by finding the inherent parallelism in the algorithm and is synthesized into a hardware by employing a high-level-synthesis technique. The proposed system executes the dehazing process much faster than the previous software-only dehazing system: the performance improvement is up to 96.3% in terms of the execution time.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 기존 연구들과 달리, OpenCL 기반의 상위 수준 합성 기술을 이용하여 안개 제거 처리를 위한 전용의 하드웨어 가속기를 설계하고, 이를 제어하기 위한 소프트웨어와 통합하여, 고성능의 소프트웨어-하드웨어 통합 안개 제거 시스템을 제안한다. 하드웨어 가속기는 기존에 본 연구 그룹에서 제안했던 효율적인 안개 제거 알고리즘^[8]을 기반으로 설계되었으며, OpenCL을 지원하는 기성의 하드웨어 플랫폼 상에서도 동작이 가능하다.
본 논문은 안개 제거 처리를 위한 전용의 하드웨어 가속기를 설계하고, 이를 기반으로 하는 고성능의 소프 트웨어-하드웨어 통합 안개 제거 시스템을 제안하였다. 제안하는 안개 제거 시스템에서 영상의 입출력 및 하드 웨어 가속기의 제어는 소프트웨어에의해서 처리되고, DCP 기반의 안개 제거 처리는 전용의 하드웨어 가속기를 통해 처리된다.

가설 설정

2) 전달량 추정에 필요한 영상 정규화의 간소화: 전 달량 추정에 국한하여, 대기 강도 A를 단색으로 가정함으로써 ( AR = AG = AB ) 전달량 추정에서 필요한 영상 정규화의 연산 복잡도를 낮춘다.

제안 방법

1) 안개 제거 알고리즘의 데이터 의존성을 분석하여, 알고리즘을 병렬화하여 OpenCL 커널로 기술하고 이를 상위 수준 합성(high-level synthesis)^[13] 기술을 이용해 안개 제거 처리를 위한 전용의 하드웨어 가속기를 구현하였다.
2) 소프트웨어 설계 과정: 하드웨어 가속기 제어 및 영상 입출력에 관한 순차적인 로직을 표준 C를 이용해 기술하였다. 이를 HPS에 내장된 임베디드 프로세서에서 실행가능한 형태로 크로스 컴파일하고, 생성된 실행 파일을 HPS에 로드하여 OpenCL 커널 기반으로 생성된 하드웨어 가속기를 제어하는 호스트 프로그램을 제작하였다.
2) 하드웨어 가속기를 기반으로 하는 소프트웨어-하드웨어 통합 안개 제거 시스템을 구현하였고, 제안하는 안개 제거 시스템과 소프트웨어 기반의 안개 제거 시스템의 성능을 분석하였다. 성능 분석의 결과, 소프트웨어만으로 구현한 시스템과 동등한 안개 제거 품질을 보이면서도 수행 시간이 최대 96.
OpenCL 기반의 상위 수준 합성 기술을 이용하여 하드웨어 가속기를 설계하기 위해서, 안개 제거 알고리즘을 병렬화하여 OpenCL 커널로 기술한다. 알고리즘을 병렬화하기 위한 방법론으로써, OpenCL은 그림 4와 같이 두가지의 병렬 프로그래밍 모델을 제공한다.
영상 복원부는 메디안 다크 채널, 영상 정규화, 전달량 계산, 영상 복원의 파이프라인 스테이지로 구성되며, 대기 강도 추정부의 모든 동작이 완료된 후 안개 영상을 픽셀 스트림 형태로 다시 읽어와 메디안 다크 채널 연산을 수행한다. 그 후, 메디안 다크 채널값(I^med(x))과 안개 영상 값, 그리고 추정된 대기 강도를 바탕으로 픽셀 단위의 파이프라이닝 처리를 통해 영상을 복원하며, 그 결과를 공유 메모리의 프레임 버퍼에 저장한다.
1) 하드웨어 설계 과정: 안개 제거 알고리즘의 데이터 의존성을 분석하고 이를 통해 알고리즘을 병렬화하여 OpenCL 커널로 기술한다. 기술된 OpenCL 커널을 상위 수준 합성 기술을 이용해 하드웨어 로직으로 합성하여, FPGA에 매핑 가능한 전용의 하드웨어 가속기를 생성한다. 본 논문에서는 상위 수준 합성 도구로 Altera SDK for OpenCL v.
대기 강도 추정부는 다크 채널, 분산 정렬, 밝기, 탐색의 파이프라인 스테이지로 구성되며, 공유 메모리의 프레임 버퍼로부터 안개 영상을 픽셀 스트림 형태로 읽어와 다크 채널 연산을 수행한다. 그 후, 다크 채널 값 (I^dark(x))과 안개 영상 값(I(x))을 바탕으로 분산 정렬, 밝기, 탐색 과정을 통해 대기 강도 픽셀 위치(z_k)를 갱신하며, 마지막 픽셀 처리가 완료된 시점에서 안개 영상으로부터 대기 강도를 추출하고 이를 영상 복원부로 전달한다.
본 논문에서는 기존에 본 연구 그룹에서 제안했던 효율적인 안개 제거 알고리즘^[8]을 도입하여 하드웨어 가속기를 설계하였다. 도입한 안개 제거 알고리즘은 기존의 DCP 기반의 알고리즘^[7]을 연산 복잡도 측면에서 개선한 것이며, 이에 대한 상세한 내용은 [8]에 자세히 기술되어 있다.
그림 3에서 보는 바와 같이, 안개 제거 알고리즘은 대기 강도 추정, 전달량 추정, 영상 복원의 순으로 데이터 처리를 진행하기 때문에 각 과정들 간에는 데이터 의존성이 존재한다. 본 논문에서는 안개 제거 알고리즘의 이러한 데이터 의존성을 고려하여 병렬화하기 위해 전체 안개 제거 알고리즘을 대기 강도 추정부와 전달량 추정 및 영상 복원 과정을 수행하는 영상 복원부로 나누고, 각 그룹을 태스크-병렬 모델을 도입하여 픽셀 단위의 파이프라이닝 처리 구조로 설계하였다.
제안하는 소프트웨어-하드웨어 통합 안개 제거 시스템과 기존의 소프트웨어 기반의 시스템의 성능 비교를 통해 제안하는 시스템의 우수성을 입증한다. 성능 비교를 위해, 제안하는 시스템과 동일한 안개 제거 알고리즘을 소프트웨어로 기술하였고, 이를 제안하는 시스템과 동일한 플랫폼 상의 HPS에서 처리하도록 구현하였다.
을 이용하여 OpenCL 커널을 기술하였고, 이에 대한 수도-코드를 알고리즘 1에 기술하였다. 안개 제거 알고리즘의 각 과정들의 중간 결과를 저장하기 위한 메모리와 그에 따른 메모리 액세스를 최소화하기 위해 안개 제거 알고리즘의 전체 과정을 하나의 OpenCL 커널로 기술하였다. REG_SIZE는 시프트 레지스터의 크기를 뜻하며, SUB_REGION_SIZE는 분산 정렬에 사용되는 부분영역의 크기를 뜻한다.
2) 소프트웨어 설계 과정: 하드웨어 가속기 제어 및 영상 입출력에 관한 순차적인 로직을 표준 C를 이용해 기술하였다. 이를 HPS에 내장된 임베디드 프로세서에서 실행가능한 형태로 크로스 컴파일하고, 생성된 실행 파일을 HPS에 로드하여 OpenCL 커널 기반으로 생성된 하드웨어 가속기를 제어하는 호스트 프로그램을 제작하였다.
제안하는 안개 제거 시스템에서 영상의 입출력 및 하드 웨어 가속기의 제어는 소프트웨어에의해서 처리되고, DCP 기반의 안개 제거 처리는 전용의 하드웨어 가속기를 통해 처리된다. 이를 위해 알고리즘의 데이터 의존성을 분석하여 OpenCL 커널로 기술하였고, 상위 수준합성 기술을 이용하여 안개 제거 처리를 위한 전용의 하드웨어 가속기를 구현하였다. 제안하는 안개 제거 시스템과 소프트웨어 기반의 안개 제거 시스템의 성능을 비교한 결과, 동등한 안개 제거 품질을 보이면서도 시스템 수행 시간을 최대 96.
본 논문은 안개 제거 처리를 위한 전용의 하드웨어 가속기를 설계하고, 이를 기반으로 하는 고성능의 소프 트웨어-하드웨어 통합 안개 제거 시스템을 제안하였다. 제안하는 안개 제거 시스템에서 영상의 입출력 및 하드 웨어 가속기의 제어는 소프트웨어에의해서 처리되고, DCP 기반의 안개 제거 처리는 전용의 하드웨어 가속기를 통해 처리된다. 이를 위해 알고리즘의 데이터 의존성을 분석하여 OpenCL 커널로 기술하였고, 상위 수준합성 기술을 이용하여 안개 제거 처리를 위한 전용의 하드웨어 가속기를 구현하였다.
제안하는 안개 제거 시스템은 기성의 이종 (heterogeneous) 시스템-온-칩(system-on-chip; SoC)을 기반으로 하는 플랫폼에서 구현되었다(Altera Cyclone V SoC). 해당 SoC는 커스텀 하드웨어 로직 설계가 가능한 field programmable gate array (FPGA)와 임베디드 프로세서가 탑재된 hard processor system (HPS)로 구성된다.
표 2에서는 320×240, 400×300, 480×360 크기의 안개 영상에 대해 소프트웨어 기반의 시스템과 제안하는 시스템의 성능을 안개 제거 수행 시간과 전체 시스템 수행 시간의 관점에서 비교하였고, 그림 7에서는 대표적으로 사용되는 안개 영상에 대하여 안개 제거 품질을 비교하였다.

이론/모형

기술된 OpenCL 커널을 상위 수준 합성 기술을 이용해 하드웨어 로직으로 합성하여, FPGA에 매핑 가능한 전용의 하드웨어 가속기를 생성한다. 본 논문에서는 상위 수준 합성 도구로 Altera SDK for OpenCL v.15.1을 사용하였다.
상위 레벨 합성 기술을 이용하여 그림 5와 같은 하드 웨어 가속기를 합성하기 위해, OpenCL의 루프-파이프 라이닝 기법^[15]을 이용하여 OpenCL 커널을 기술하였고, 이에 대한 수도-코드를 알고리즘 1에 기술하였다. 안개 제거 알고리즘의 각 과정들의 중간 결과를 저장하기 위한 메모리와 그에 따른 메모리 액세스를 최소화하기 위해 안개 제거 알고리즘의 전체 과정을 하나의 OpenCL 커널로 기술하였다.

성능/효과

3) 전달량 보정의 제거: 전달량을 추정함에 있어서, 다크 채널 연산의 최소값 필터를 윤곽선 보존 및 완만화 특성을 가진 메디안 필터로 대체함으로써 전달량 보정을 제거한다.
구축된 데모 환경에서 320×240, 400×300, 480×360 크기의 안개 영상에 대해 측정된 제안하는 시스템의 FPGA 자원 사용률 및 동작 주파수를 표 1에 정리하였다. 구현에 사용된 adaptive logic modules (ALMs)의 사용률은 평균적으로 전체 가용 자원의 71%, 하드웨어 가속기의 최대 동작 속도는 평균적으로 87.7MHz로 추산되었다.
표 2에서는 320×240, 400×300, 480×360 크기의 안개 영상에 대해 소프트웨어 기반의 시스템과 제안하는 시스템의 성능을 안개 제거 수행 시간과 전체 시스템 수행 시간의 관점에서 비교하였고, 그림 7에서는 대표적으로 사용되는 안개 영상에 대하여 안개 제거 품질을 비교하였다. 그림 7과 표 2에서 보이는 바와 같이, 제안하는 안개 제거 시스템에서는 기존의 소프트웨어 기반의 시스템과 동등한 안개 제거 품질을 보이면서도, 최대 97.7%의 안개 제거 수행 시간 및 96.3%의 전체 시스템 수행 시간이 단축되었다.
2) 하드웨어 가속기를 기반으로 하는 소프트웨어-하드웨어 통합 안개 제거 시스템을 구현하였고, 제안하는 안개 제거 시스템과 소프트웨어 기반의 안개 제거 시스템의 성능을 분석하였다. 성능 분석의 결과, 소프트웨어만으로 구현한 시스템과 동등한 안개 제거 품질을 보이면서도 수행 시간이 최대 96.3% 단축되었다.
제안하는 소프트웨어-하드웨어 통합 안개 제거 시스템과 기존의 소프트웨어 기반의 시스템의 성능 비교를 통해 제안하는 시스템의 우수성을 입증한다. 성능 비교를 위해, 제안하는 시스템과 동일한 안개 제거 알고리즘을 소프트웨어로 기술하였고, 이를 제안하는 시스템과 동일한 플랫폼 상의 HPS에서 처리하도록 구현하였다.
이를 위해 알고리즘의 데이터 의존성을 분석하여 OpenCL 커널로 기술하였고, 상위 수준합성 기술을 이용하여 안개 제거 처리를 위한 전용의 하드웨어 가속기를 구현하였다. 제안하는 안개 제거 시스템과 소프트웨어 기반의 안개 제거 시스템의 성능을 비교한 결과, 동등한 안개 제거 품질을 보이면서도 시스템 수행 시간을 최대 96.3% 단축하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	DCP 기반의 안개 제거 알고리즘의 단점은 무엇인가?	DCP 기반의 안개 제거 알고리즘은 대기 강도 추정, 전달량 추정, 영상 복원 과정으로 구성되며 각 과정은 높은 연산 복잡도를 수반하기 때문에 소프트웨어 기반으로 구현하여 처리하기에 한계가 있다. 이에 따라, 최근에 DCP 기반의 안개 제거 알고리즘을 하드웨어 가속 기를 통해 가속화하기 위한 연구가 활발히 이루어지고 있다[16～19].
	OpenCL에서 제공하는 병렬 프로그래밍 모델은 무엇이 있는가?	알고리즘을 병렬화하기 위한 방법론으로써, OpenCL은 그림 4와 같 이 두가지의 병렬 프로그래밍 모델을 제공한다. 데이터 병렬 모델은 동일한 태스크를 수행하는 여러 하드웨어 블록들을 이용한 분산 처리를 통해 병렬화를 이루기 때문에 데이터 의존성이 존재하지 않는 알고리즘의 병렬화에 적합하다. 반면, 태스크 병렬 모델은 태스크 단위의 반복적인 파이프라인 처리를 통해 병렬화를 이루며, 데이터 의존성이 존재하는 복잡한 알고리즘의 병렬화에 적합하다.
	하드웨어 가속기를 설계하기 위한 방법론으로 셀-기반 설계의 단점은 무엇인가?	이러한 기존 연구들에서는 하드웨어 가속기를 설계하기 위한 방법론으로써 셀-기반 설계 (cell-based design) 방법론을 채택하고 있다. 셀-기반 설계는 register transfer level (RTL)부터의 세부적인 설계 사항에 대한 지식과 설계 검증 및 디버깅 단계에 서 상당한 시간을 요구하며, 합성된 RTL 디자인의 호환성이 특정 하드웨어에 국한된다는 단점이 존재한다.

참고문헌 (19)

S. G. Narasimhan and S. K. Nayar, "Chromatic framework for vision in bad weather," in Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 1, pp. 598-605, Jun. 2000.
S. K. Nayar and S. G. Narasimhan, "Vision in bad weather," in Proc. IEEE Conf. Computer Vision, vol. 2, pp.820-827, Kerkyra, Greece, Sept., 1999.
J. Kim and H. Shin, Algorithm & SoC Design for Automotive Vision Systems: For Smart Safe Driving Systems. Springer, Jan. 2014.
G. A. Jones, N. Paragios, and C. S. Regazzoni, Video-based surveillance systems: computer vision and distributed processing. Springer, Oct. 2012.
R. T. Tan, "Visibility in bad weather from a single image," in Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 1-8, Anchorage, USA, Jun. 2008.
R. Fattal, "Single image dehazing," ACM Trans. Graphics, vol. 27, no. 3, pp. 72, Aug. 2008.
K. He, J. Sun, and X. Tang, "Single image haze removal using dark channel prior," IEEE Trans. Pattern Analysis & Machine Intelligence, vol. 33, no. 12, pp. 2341-2353, Dec. 2011.

상세보기
M. Kim, Y. Park, B. O. Kim, and T. H. Kim, "Optimization of Dehazing Method for Efficient Implementation," Journal of The Institute of Electronics and Information Engineers, vol. 53, no. 10, pp. 58-65, Oct. 2016.

원문보기 상세보기
W. T. Kim, H. W. Bae, and T. H. Kim, "Fast and High- Quality Haze Removal Method Based on Transmission Correction," Journal of The Institute of Electronics and Information Engineers, vol. 51, no. 11, pp 165-173, Nov. 2014.
W. T. Kim and T. H. Kim, "High-Speed and High-Quality Haze Removal Method Using Dual Dark Channels," The summer conference of Institute of Electronics and Information Engineers, pp. 655-658, Jun. 2015.
S. Lee, S. Yun, J.-H. Nam, C. S. Won, and S.-W. Jung, "A review on dark channel prior based image dehazing algorithms," EURASIP Journ. Image & Video Processing, vol. 2016, no. 4, pp. 1-23, Jan. 2016.

상세보기
P. Garg, S. Gupta, B. Bhushan, and P. C. Vashist, "An in-depth analyses of various defogging techniques," International Journ. Signal Processing, Image Processing & Pattern Recognition, vol. 8, no. 10, pp. 279-296, Oct. 2015.
D. D. Gajski, N. D. Dutt, A. C. Wu, and S. Y. Lin, High-Level Synthesis: Introduction to Chip and System Design. Springer Science & Business Media, Sep. 2012.
K. He, J. Sun, and X. Tang, "Guided image filtering," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 35, no. 6, pp. 1397-1409, Jun. 2013.

상세보기
Altera SDK for OpenCL: Best Practices Guide, Altera, 2015. [Online]. Available: https://www.altera.com/en_US/pdfs/literature/hb/opencl-sdk/aocl-best-practices-guide.pdf.
Y. H. Shiau, H. Y. Hung, P. Y. Chen, and Y. Z. Chuang, "Hardware implementation of a fast and efficient haze removal method," IEEE Trans. Circuits and Systems for Video Technology, vol. 23, no.8, pp. 1369-1374, Aug. 2013.

상세보기
Z. Liang, H. Liu, B. Zhang, and B. Wang, "Real-time hardware accelerator for single image haze removal using dark channel prior and guided filter," IEICE Electron. Exp., vol. 11, no. 24, pp. 1-12, Dec. 2014.
H. J. Kang, Y. H. Kim, and Y. H. Lee, "FPGA implementation for enhancing image using pixel-based median channel prior," International Journal of Multimedia and Ubiquitous Engineering vol. 10, no. 9, pp. 147-154, Oct. 2015.
Z. Bin and J. Zhao., "Hardware implementation for real-time haze removal," IEEE Trans. Very Large Scale Integration (VLSI) Systems, vol. 25, no. 3, pp. 1188-1192, Mar. 2017.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증