해무 제거는 컴퓨터 비전과 영상처리 분야에서 상당히 중요하게 다루고 있는 분야이다. 해무 혹은 안개제거 기술은 자동 제어 시스템, CCTV, 영상인식 등과 같은 여러 분야에서 사용되고 있다. 이와 같이 컬러 영상의 해무 제거 기술이 다양하게 연구되고 있고 특히 Dark Channel Prior (DCP) 기술을 이용한 방법이 가장 활발하게 이용되고 있다. 본 논문에서는 DCP알고리즘을 적용하여 해무를 빠르고 효율적으로 제거하는 기술을 소개한다. 이 기술은 GPU를 기반으로 구현한다. 병렬 프로그래밍과 최적화 과정을 거쳐 약 250배 정도의 연산속도를 빠르게 개선하였다. 이를 위해 기존의 프로그램 일부분을 몇 가지 과정을 거쳐 병렬화와 최적화 과정을 수행하였다. 제안한 GPU 프로그래밍 알고리즘과 구현결과는 선박의 안전항해, 지형조사, 지능형 자동차 등과 같은 분야에 적용될 수 있을 것으로 기대된다.
해무 제거는 컴퓨터 비전과 영상처리 분야에서 상당히 중요하게 다루고 있는 분야이다. 해무 혹은 안개제거 기술은 자동 제어 시스템, CCTV, 영상인식 등과 같은 여러 분야에서 사용되고 있다. 이와 같이 컬러 영상의 해무 제거 기술이 다양하게 연구되고 있고 특히 Dark Channel Prior (DCP) 기술을 이용한 방법이 가장 활발하게 이용되고 있다. 본 논문에서는 DCP 알고리즘을 적용하여 해무를 빠르고 효율적으로 제거하는 기술을 소개한다. 이 기술은 GPU를 기반으로 구현한다. 병렬 프로그래밍과 최적화 과정을 거쳐 약 250배 정도의 연산속도를 빠르게 개선하였다. 이를 위해 기존의 프로그램 일부분을 몇 가지 과정을 거쳐 병렬화와 최적화 과정을 수행하였다. 제안한 GPU 프로그래밍 알고리즘과 구현결과는 선박의 안전항해, 지형조사, 지능형 자동차 등과 같은 분야에 적용될 수 있을 것으로 기대된다.
Seg fog removal is an important issue concerned by both computer vision and image processing. Sea fog or haze removal is widely used in lots of fields, such as automatic control system, CCTV, and image recognition. Color image dehazing techniques have been extensively studied, and expecially the dar...
Seg fog removal is an important issue concerned by both computer vision and image processing. Sea fog or haze removal is widely used in lots of fields, such as automatic control system, CCTV, and image recognition. Color image dehazing techniques have been extensively studied, and expecially the dark channel prior(DCP) technique has been widely used. This paper propose a fast and efficient image prior - dark channel prior to remove seg-fog from a single digital image based on the GPU. We implement the basic parallel program and then optimize it to obtain performance acceleration with more than 250 times. While paralleling and the optimizing the algorithm, we improve some parts of the original serial program or basic parallel program according to the characteristics of several steps. The proposed GPU programming algorithm and implementation results may be used with advantages as pre-processing in many systems, such as safe navigation for ship, topographical survey, intelligent vehicles, etc.
Seg fog removal is an important issue concerned by both computer vision and image processing. Sea fog or haze removal is widely used in lots of fields, such as automatic control system, CCTV, and image recognition. Color image dehazing techniques have been extensively studied, and expecially the dark channel prior(DCP) technique has been widely used. This paper propose a fast and efficient image prior - dark channel prior to remove seg-fog from a single digital image based on the GPU. We implement the basic parallel program and then optimize it to obtain performance acceleration with more than 250 times. While paralleling and the optimizing the algorithm, we improve some parts of the original serial program or basic parallel program according to the characteristics of several steps. The proposed GPU programming algorithm and implementation results may be used with advantages as pre-processing in many systems, such as safe navigation for ship, topographical survey, intelligent vehicles, etc.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
매우 큰 행렬을 사용하기 때문에 메모리 사용량이 많고 속도 면에서도 제한이 있다. 따라서 본 논문에서는 DCP 알고리즘을 GPGPU(General Purpose computing on Graphic Processing Units, 이하 GPU)를 기반으로 구현하여 연산 속도를 개선시키는 기술을 제안하였고, 구현결과를 해무영상에 적용하여 연안을 항해하는 선박의 안전항해 기술로의 가능성을 확인하였다.
제안 방법
선박 내 실험은 본 기관에서 보유하고 있는 5,000톤급 중형 선박에서 진행하였다. 개발된 해무제거 시스템을 실제 운항 중인 선박에 탑재하여 정상동작 및 성능에 대한 테스트를 수행하였다.
그림 10은 GPU 구현 시 OpenCV내의 카메라영상 획득 라이브러리를 이용하여 카메라로부터 실시간 영상을 입력 받고 구현한 C/C++ 프로그램을 DLL(Dynamic Linked Library)를 생성하여 National Instrument사의 LabVIEW를 통하여 GUI로 구현하였다.
따라서 해무 제거 알고리즘에서 조건문이 없는 전달량 정제의 bilateral 필터링만 GPU를 이용하여 수행하였다. 식 (5)는 bilateral 필터링의 식으로 If(x)는 x좌표의 필터링 된 밝기이고 fr(||I(xi) - I(x)||)는 Gaussian 함수로 xi 와 x좌표의 밝기에 의한 커널이고 gs (||xi - x||)는 좌표에 의한 커널이다.
본 논문에서는 선박에 설치된 카메라로부터 획득한 영상을 대상으로 DCP 기반의 해무제거 알고리즘을 이용하여 해무를 제거하였고, GPU를 이용하여 실시간 처리가 가능하도록 연산속도를 높였다.
성능실험과 함께 선교 내에 본 시스템을 설치할 적절한 위치를 선정하기 위해 현직 항해사들과 함께 실험을 진행하였다. 시스템을 설치하는 위치선정 시 항해사 혹은 조타수의 동선을 고려하여야 하는데, 이는 항해사의 시점에서 정확한 전방시계 정보가 획득되어야만 선박전체의 운항 요원에게 신속하고 정확한 명령을 내릴 수 있기 때문이다.
이 방법은 안개가 없는 영상에서는 각 화소의 RGB값 중에 한 값이 0에 가까운 화소 값이 존재한다는 관측에 기반 한다. 안개가 짙은 영역일수록 전체적인 화소가 밝아진다는 성질을 이용하여 전달량을 구하고 이를 통해 영상을 복원한다. 매우 깨끗한 결과 영상을 얻을 수 있으나 전달량을 정련하는 과정에서 Bilateral 필터를 이용하여 연산량이 과다하여 실시간 처리에 걸림돌이 되고 있다.
이 dark channel을 이용하여 전달량을 구하고 전달량을 정제하면 해무가 제거된 영상에서 후광효과가 나타나게 된다. 이 후 광효과를 줄이기 위해 bilateral 필터를 사용하여 전달량을 정제한다. 이렇게 정제가 끝나면 입력영상과 대기광, 전달량을 이용하여 연무가 제거된 영상을 얻을 수 있다.
해무제거 알고리즘을 이용한 해무제거 과정은 그림 1의 순서도와 같은 과정을 거친다. 입력된 영상에 대한 dark channel을 찾고 이를 이용하여 대기광을 추측한다. 구해진 대기광을 이용하여 영상을 정규화한 값으로 다시 dark channel을 찾는다.
대상 데이터
선박 내 실험은 본 기관에서 보유하고 있는 5,000톤급 중형 선박에서 진행하였다. 개발된 해무제거 시스템을 실제 운항 중인 선박에 탑재하여 정상동작 및 성능에 대한 테스트를 수행하였다.
성능/효과
비동기 수행을 사용하였을 때는 약 730배의 성능 향상을 보였다. 따라서 GPU를 이용하여 실시간으로 처리가 가능함을 확인할 수 있었다.
호스트의 메모리 공유 및 고정 메모리 사용 시 약 5배의 성능 향상을 보였고, GPU를 이용한 병렬 처리를 하였을 때에는 약 250배의 성능 향상을 보였다. 또한 비동기적 수행을 통한 파이프라인화 하였을 때 약 730배의 성능 향상을 보였다.
반복정제를 위한 반복수는 3번으로 제한하였다. 호스트의 메모리 공유 및 고정 메모리 사용 시 약 5배의 성능 향상을 보였고, GPU를 이용한 병렬 처리를 하였을 때에는 약 250배의 성능 향상을 보였다. 또한 비동기적 수행을 통한 파이프라인화 하였을 때 약 730배의 성능 향상을 보였다.
후속연구
본 논문에서 제안한 GPU 기반의 해무제거 기술은 향후 고속으로 이동하는 선박(고속정, 군함 등), 해양 항만 관제 시스템 등의 여러 분야까지 수용할 수 있을 것으로 보인다. 또한, 최근 스마트폰, 태블릿 PC 등과 같은 소형 모바일 장치들에 GPU가 내장되어 있어 보다 폭 넓은 응용분야에 적용될 수 있을 것으로 기대된다.
본 논문에서 제안한 GPU 기반의 해무제거 기술은 향후 고속으로 이동하는 선박(고속정, 군함 등), 해양 항만 관제 시스템 등의 여러 분야까지 수용할 수 있을 것으로 보인다. 또한, 최근 스마트폰, 태블릿 PC 등과 같은 소형 모바일 장치들에 GPU가 내장되어 있어 보다 폭 넓은 응용분야에 적용될 수 있을 것으로 기대된다.
질의응답
핵심어
질문
논문에서 추출한 답변
Dark channel이란 무엇인가?
Dark channel이란 영상에서 일정한 패치사이즈 안에서 한 화소의 RGB값 중에 가장 작은 값의 집합으로 정의한다. RGB 화소 값 중 가장 작은 값을 구한 후 이값을 그 영역의 대표값으로 지정하여 최소값 채널 (minimum channel)을 구한다.
DCP알고리즘은 무엇에 기반하는가?
그 중 DCP(Dark Channel Prior) 알고리즘이 대표적인 단일 영상을 이용하는 방법이다[4,5]. 이 방법은 안개가 없는 영상에서는 각 화소의 RGB값 중에 한 값이 0에 가까운 화소 값이 존재한다는 관측에 기반 한다. 안개가 짙은 영역일수록 전체적인 화소가 밝아진다는 성질을 이용하여 전달량을 구하고 이를 통해 영상을 복원한다.
해무 혹은 안개제거 기술은 어느 분야에서 사용되고 있는가?
해무 제거는 컴퓨터 비전과 영상처리 분야에서 상당히 중요하게 다루고 있는 분야이다. 해무 혹은 안개제거 기술은 자동 제어 시스템, CCTV, 영상인식 등과 같은 여러 분야에서 사용되고 있다. 이와 같이 컬러 영상의 해무 제거 기술이 다양하게 연구되고 있고 특히 Dark Channel Prior (DCP) 기술을 이용한 방법이 가장 활발하게 이용되고 있다.
참고문헌 (8)
National Metrics Framework. Maritime accident statistics [Internet]. Available: http://www.index.go.kr/potal/main/EachDtlPageDetail.do?id x_cd1770#quick_02.
S. Shwartz, E. Namer, and Y. Y. Schechner, "Blind haze separation," in Proceeding of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 1984-1991, 2006.
S. G. Narasimhan, S. K. Nayar, "Contrast restoration of weather degraded images," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 9, no. 6, pp. 713-724, June 2003.
J. Tarel and N. Hautiere, "Fast Visibility Restoration from a Single Color or Grey Level Image," in Proceeding of the IEEE 12th International Conference on Computer Vision, Kyoto, pp. 2201-2208, 2009.
C. Tomasi, R. Manduchi, "Bilateral filtering for gray and color images," in Proceeding of the IEEE 6th International Conference on Computer Vision, Bombay, pp. 839-846, 1998.
D. Chen, W. Chen, and W. Zheng, "CUDA-Zero: a framework for porting shared memory GPU applications to multi-GPUs," Science China Information Sciences, vol. 55, no. 3, pp. 663-676, Feb. 2012.
K. Shirahata, H. Sato, and S. Matsuoka, "Out-of-core GPU memory management for Map Reduce- based large-scale graph processing," in Proceeding of the 2014 IEEE International Conference on Cluster Computing, Madrid, pp. 221-229, 2014.
Y. Yang, P. Xiang, and H. Zhou, "A GPGPU compiler for memory optimization and parallelism management," in ACM SIGPLAN Notices, Toronto, vol. 45. no. 6, pp. 86-97, 2010.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.