본 논문에서는 그래픽 프로세서를 이용하여 고속으로 해무를 제거하는 기술을 제안한다. 이 기술은 호스트 프로세서(CPU)와 병렬처리가 가능한 여러 개의 그래픽 프로세서를 이용하여 입력영상에서 해무를 제거하는 것이다. 해무를 제거하는 과정 중에서 다크 채널 추출, 최대 밝기 채널 추출, 전달량 계산은 호스트 프로세서에서 수행하고, 양방향 필터를 적용하여 전달량을 정제하는 과정을 그래픽 프로세서를 기반으로 병렬처리하여 연산속도를 높였다. 제안한 병렬처리 기법의 검증을 위해 NVIDIA사의 GTX 1070 GPU를 3개를 사용하여 검증환경을 구성하였다. 구현결과 하나의 그래픽 프로세서로 구현하였을 때는 평균 140ms가 소요되고, OpenMP와 다중 GPGPU를 이용하여 구현하였을 때 26ms 소요되었다. 본 논문에서 제안하는 그래픽 프로세서 기반의 병렬연산 해무제거 기술은 선박의 안전항해, 항만 관제 분야에 사용될 수 있을 것이다.
본 논문에서는 그래픽 프로세서를 이용하여 고속으로 해무를 제거하는 기술을 제안한다. 이 기술은 호스트 프로세서(CPU)와 병렬처리가 가능한 여러 개의 그래픽 프로세서를 이용하여 입력영상에서 해무를 제거하는 것이다. 해무를 제거하는 과정 중에서 다크 채널 추출, 최대 밝기 채널 추출, 전달량 계산은 호스트 프로세서에서 수행하고, 양방향 필터를 적용하여 전달량을 정제하는 과정을 그래픽 프로세서를 기반으로 병렬처리하여 연산속도를 높였다. 제안한 병렬처리 기법의 검증을 위해 NVIDIA사의 GTX 1070 GPU를 3개를 사용하여 검증환경을 구성하였다. 구현결과 하나의 그래픽 프로세서로 구현하였을 때는 평균 140ms가 소요되고, OpenMP와 다중 GPGPU를 이용하여 구현하였을 때 26ms 소요되었다. 본 논문에서 제안하는 그래픽 프로세서 기반의 병렬연산 해무제거 기술은 선박의 안전항해, 항만 관제 분야에 사용될 수 있을 것이다.
In this paper, we propose a technique for high speed removal of sea-fog using a graphic processor. This technique uses a host processor(CPU) and several graphics processors(GPU) capable of parallel processing to remove sea-fog from the input image. In the process of removing sea-fog, the dark channe...
In this paper, we propose a technique for high speed removal of sea-fog using a graphic processor. This technique uses a host processor(CPU) and several graphics processors(GPU) capable of parallel processing to remove sea-fog from the input image. In the process of removing sea-fog, the dark channel extraction, the maximum brightness channel extraction, and the calculation of the transmission are performed by the host processor, and the process of refining the transmission by applying the bidirectional filter is performed in parallel through the graphic processor. To verify the proposed parallel processing method, three NVIDIA GTX 1070 GPUs were used to construct the verification environment. As a result, it takes about 140ms when implemented with one graphics processor, and 26ms when implemented using OpenMP and multiple GPGPUs. The proposed a parallel processing algorithm based on the graphics processor unit can be used for safe navigation, port control and monitoring system.
In this paper, we propose a technique for high speed removal of sea-fog using a graphic processor. This technique uses a host processor(CPU) and several graphics processors(GPU) capable of parallel processing to remove sea-fog from the input image. In the process of removing sea-fog, the dark channel extraction, the maximum brightness channel extraction, and the calculation of the transmission are performed by the host processor, and the process of refining the transmission by applying the bidirectional filter is performed in parallel through the graphic processor. To verify the proposed parallel processing method, three NVIDIA GTX 1070 GPUs were used to construct the verification environment. As a result, it takes about 140ms when implemented with one graphics processor, and 26ms when implemented using OpenMP and multiple GPGPUs. The proposed a parallel processing algorithm based on the graphics processor unit can be used for safe navigation, port control and monitoring system.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 연안을 항해하는 선박이나 항만 등의 해상안전 및 보안을 위한 시스템에 적용될 수 있는 고속 해무제거 기술을 제안하였다. 이 기술은 기존 해무제거 기술이 가지고 있던 과도한 연산시간이 소요되는 문제점을 다수의 GPU를 이용한 병렬처리 기법을 이용하여 개선한 것이다.
따라서 표 1과 같이 다른 단계들에 비하여 많은 수행시간을 필요로 한다. 본 논문에서는 이 전달량 정제 연산을 다중 그래픽 프로세서(multi-GPU)를 사용하여 병렬 프로그래밍하여 연산속도를 높이는 기술을 제안한다.
이와 같은 기술이 선박에 실제로 적용되기 위해서는 촬영된 영상으로부터 실시간으로 해무 성분을 제거하여 운항요원들에게 제공하는 기술이 필요하다. 이를 위해 본 논문에서는 해무영상으로부터 실시간으로 해무를 제거할 수 있는 GPU(graphic processor unit) 기반의 병렬처리 기술을 제안한다.
하지만, 일반적인 PC 환경에서 DCP 알고리즘을 수행할 경우, 해무를 제거하는데 약 10초 내외의 연산시간이 소요된다. 이와 같은 문제를 해결하기 위해 본 논문에서는 GPU를 이용한 병렬처리 기법을 제안한다.
제안 방법
그림 3에서는 DCP 알고리즘의 전체적인 동작순서를 보이고 있다. 그림 3과 같이 본 논문에서 제안하는 그래픽 프로세서를 이용한 병렬연산 기반 해무 제거 기법은 입력영상에서 다크 채널(dark channel)을 검색하는 단계, 다크 채널에서 최대 밝기 채널을 검색하는 단계, 입력영상을 정규화하고 정규화된 영상에서 다크 채널을 재검색하는 단계, 재검색된 다크 채널을 이용하여 전달량을 계산하는 단계, 양방향 필터를 이용하여 전달량을 정제 및 반복하는 단계 및 전달량을 이용하여 해무를 제거한 영상으로 복원하는 단계로 구성된다. 표 1에서는 그림 3에서 설명한 해무 제거 기법의 각 단계별 수행시간을 측정하여 나타내었다.
이런 상황은 매우 비효율적이다. 따라서 그림 5와 같이 비동기 실행을 통하여 GPU 연산중 다음 프레임에 pre-processing을 동시에 실행하는 기법을 제안한다. 이 기법은 첫 프레임의 GPU 동작은 계산된 결과가 없기 때문에 동기화 시키지 않고 다음 두 번째 프레임의 전처리 과정을 수행한 후 두 번째 프레임이 GPU 동작을 수행 전에 동기화하여 호스트로 데이터를 복사한다.
대상 데이터
본 논문에서 제안한 다중 GPU를 이용한 고속 해무제거 기술을 검증하기 위해 그림 8과 같은 실험영상들을 이용하여 연산 시간을 측정하였다. 실험영상은 신속한 동작속도 측정을 위해 480×270 [pixel2] 해상도의 컬러영상을 사용하였다.
데이터처리
본 논문에서 제안한 다중 GPU를 이용한 고속 해무제거 기술을 검증하기 위해 그림 8과 같은 실험영상들을 이용하여 연산 시간을 측정하였다. 실험영상은 신속한 동작속도 측정을 위해 480×270 [pixel2] 해상도의 컬러영상을 사용하였다.
이론/모형
해무가 낀 영상은 Narsimhan이 처음 제안한 알고리즘[3]에서 모델링 되었고, 아래의 수식 (1)과 같이 표현된다.
성능/효과
이 기술은 기존 해무제거 기술이 가지고 있던 과도한 연산시간이 소요되는 문제점을 다수의 GPU를 이용한 병렬처리 기법을 이용하여 개선한 것이다. 제안한 기술을 3개의 다중 GPU를 이용하여 구현한 결과 이전연구에 비해 약 2.6배 정도 연산속도가 증가한 것을 확인할 수 있었다.
후속연구
이를 위해, 선박에 카메라 등을 설치하여 선박의 항해 방향을 촬영하고, 촬영된 영상에서 해무를 제거하여 운항요원들에게 적절한 형태의 영상정보로 제공할 수 있다면 충돌 위험 등을 사전에 인식할 수 있을 것이다. 이와 같은 기술이 선박에 실제로 적용되기 위해서는 촬영된 영상으로부터 실시간으로 해무 성분을 제거하여 운항요원들에게 제공하는 기술이 필요하다.
향후 본 논문에서 제안한 기술은 해양 항만 관제 시스템, 운항 선박의 블랙박스 및 항로 모니터링 시스템 등에 적용할 수 있을 것으로 생각된다.
그림 8과 표2를 함께 살펴보면, 영상의 복잡도가 높고, 영상 내의 명암 대비가 클수록 연산 시간이 길어지는 것을 확인할 수 있다. 향후 이와 같은 특성을 이용하여 연산시간을 좀 더 단축할 수 있는 기술개발도 가능할 것으로 보인다.
질의응답
핵심어
질문
논문에서 추출한 답변
DCP 알고리즘은 무엇을 기반으로 하는가?
이러한 다양한 날씨에도 영상 처리 기술 적용을 위해 깨끗한 영상을 얻기 위한 연구가 진행되고 있다[3,4]. 특히, 잘 알려진 DCP(dark channel prior) 알고리즘[5]은 해무가 없는 영상에서는 일정 구역 내에 항상 ‘0’에 가까운 밝기를 가지는 화소 값이 존재한다는 확률을 기반으로 한다. 해무가 짙은 영역일수록 일정 구역 내에 존재하는 가장 어두운 화소가 밝아진다는 성질을 이용하여 전달량을 구하고 이를 통해 영상을 복원한다.
연안에서 발생하는 해양사고의 가장 높은 비율을 차지하는 선종은 무엇인가?
그러나 연안에서 가장 빈번하게 일어나고 있는 해양사고는 근접거리 물체에 대한 레이더의 검출 불능에 따른 충돌사고로 운항자의 실수가 충돌 원인에서 차지하는 비중이 크다. 또한, 사고가 발생한 선종의 경우 중소형 어선이 가장 많았다. 사고의 원인으로는 운항 부주의, 정비 불량 등으로 보고되고 있다.
빛의 산란이란 무엇인가?
이때, 해상이나 연안 인근의 영상은 해무, 연기, 황사 등 대기 중에 존재하는 미세한 입자들로 인해 빛의 산란 현상이 발생한다. 빛의 산란이란 빛이 공기 중의 입자들과 충돌하여 진행방향이 바뀌는 것이다. 이러한 다양한 날씨에도 영상 처리 기술 적용을 위해 깨끗한 영상을 얻기 위한 연구가 진행되고 있다[3,4].
참고문헌 (8)
National Metrics Framework [Internet]. Available: http://www.index.go.kr.
W. S. Choi, "Image based real time sea fog removal technology for safe navigation of coast sailing," M.S dissertation, Mokpo Maritime University, Mokpo, KR, 2016.
S. G. Narasimhan, and S. K. Nayar, "Contrast restoration of weather degraded images," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 9, no. 6, pp. 713-724, June 2003.
S. H. Kim and G. Y. Hong, "Performance Improvement of Aerial Images Taken by UAV Using Daubechies Stationary Wavelet," Journal of Advanced Navigation Technology, Vol. 20, no. 6, pp. 539-543, Dec. 2016.
C. Tomasi, R. Manduchi, "Bilateral filtering for gray and color images," in Proceeding of the Sixth International Conference on Computer Vision , India: IN pp. 839-846, Jan. 1998.
W. S. Choi, Y. H. Lee, Y. H. Seo, and H. J. Choi, "Digital image based real-time sea fog removal technique using GPU," Journal of the Korea Institute of Information and Communication Engineering, Vol. 20, no. 12, pp. 2355-2362, Dec. 2016.
Y. H. Lee, E. S. Kim, Y. H. Seo, G. C. Kim, and H. J. Choi, "Accelerated Dehazing Technique using GPGPU," in Proceedings of the Korean Society of Marine Environment & Safety Conference, Mokpo: KR, p. 263, 2017.
E. S. Kim, Y. H. Lee, Y. H. Seo, and H. J. Choi, "Sea-fog Dehazing technique base on GPU for CCTV monitoring and controlling system," in Proceedings of the Korea Contents Association Conference, Daejeon: KR, pp. 459-460, 2017.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.