[논문]항로표지 보호를 위한 디지털 영상기반 해무 강도 측정 알고리즘

유은지; 이효찬; 조성윤; 권기원; 임태호

doi:10.7472/jksii.2021.22.6.25

[국내논문] 항로표지 보호를 위한 디지털 영상기반 해무 강도 측정 알고리즘
Sea Fog Level Estimation based on Maritime Digital Image for Protection of Aids to Navigation 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.22 no.6, 2021년, pp.25 - 32

유은지 (Oceanic IT convergence Technology Research Center, Hoseo University) , 이효찬 (Smart Network Research Center, Korea Electronics Technology Institute) , 조성윤 (Smart Network Research Center, Korea Electronics Technology Institute) , 권기원 (Smart Network Research Center, Korea Electronics Technology Institute) , 임태호 (Oceanic IT convergence Technology Research Center, Hoseo University)

초록
AI-Helper

미래 해상 환경 변화에 맞춰 해상 항로표지가 다양한 분야에 걸쳐 활용되며 쓰임이 증대되고 있다. 해상 항로표지는 항행하는 선박의 위치, 방향 및 장애물의 위치를 알려주는 항행보조시설로, 현재는 단순히 선박의 안전 항해를 도울 뿐 아니라, 여러 센서와 카메라를 탑재하여 해양 기상환경을 파악하고 기록하는 수단으로 변모하고 있다. 하지만 주로 선박과의 충돌로 인해 소실되며 특히 해무로 인한 관측 시야 저하로 안전사고가 발생한다. 해무 유입은 항만, 해상교통 등에 위험을 초래하고 시간과 지역에 따라 발생 가능성의 차이가 커 예측이 쉽지 않다. 또한, 전 해역에 분포되어있는 항로표지의 특성상 개별 관리가 어렵다. 이를 해결하고자 본 논문에서는 항로표지에 설치된 카메라에서 촬영한 영상으로 해무 강도를 측정하는 방안을 통하여 해양 기상환경을 파악해 보완하고 날씨로 인한 항로표지 안전사고를 해결하는 것을 목적으로 한다. 설치가 어렵고 높은 비용이 드는 광학 및 온도 센서 대신 항로표지에 설치된 카메라의 일반 영상을 사용하여 해무 강도를 측정한다. 덧붙여 다양한 해역에서의 실시간 해무 파악을 위한 선행 연구로, 안개 모델(Haze Model), Dark Channel Prior(DCP)를 이용해 해무 강도 측정 기준을 제시한다. DCP를 적용한 영상에서 특정 픽셀값의 문턱값(Threshold value)을 설정하고, 이를 기준으로 전체 영상에서 해무가 존재하지 않는 픽셀의 수를 통해 해무 강도를 추정한다. 합성 해무 데이터셋과 실제 해무 동영상을 캡처해 만든 실제 해무 데이터셋으로 해무 강도 측정 여부를 검증했다.

Abstract ▼ AI-Helper

In line with future changes in the marine environment, Aids to Navigation has been used in various fields and their use is increasing. The term "Aids to Navigation" means an aid to navigation prescribed by Ordinance of the Ministry of Oceans and Fisheries which shows navigating ships the position and direction of the ships, position of obstacles, etc. through lights, shapes, colors, sound, radio waves, etc. Also now the use of Aids to Navigation is transforming into a means of identifying and recording the marine weather environment by mounting various sensors and cameras. However, Aids to Navigation are mainly lost due to collisions with ships, and in particular, safety accidents occur because of poor observation visibility due to sea fog. The inflow of sea fog poses risks to ports and sea transportation, and it is not easy to predict sea fog because of the large difference in the possibility of occurrence depending on time and region. In addition, it is difficult to manage individually due to the features of Aids to Navigation distributed throughout the sea. To solve this problem, this paper aims to identify the marine weather environment by estimating sea fog level approximately with images taken by cameras mounted on Aids to Navigation and to resolve safety accidents caused by weather. Instead of optical and temperature sensors that are difficult to install and expensive to measure sea fog level, sea fog level is measured through the use of general images of cameras mounted on Aids to Navigation. Furthermore, as a prior study for real-time sea fog level estimation in various seas, the sea fog level criteria are presented using the Haze Model and Dark Channel Prior. A specific threshold value is set in the image through Dark Channel Prior(DCP), and based on this, the number of pixels without sea fog is found in the entire image to estimate the sea fog level. Experimental results demonstrate the possibility of estimating the sea fog level using synthetic haze image dataset and real haze image dataset.

주제어

표/그림 (8)

그림 (그림 1) 안개 모델 (Figure 1) Haze Model
그림 (그림 2) 해무 강도 측정 알고리즘 순서도 (Figure 2) Process of sea fog level estimation based on DCP
그림 (그림 3) 특정 문턱값(Threshold value) 추정을 위한 안개 영상과 안개가 없는 영상의 픽셀값 비교 (Figure 3) DCP pixel value comparison between a fog image and a clean image for estimating a specific threshold value
그림 (그림 4) 합성 해무 데이터셋 FRIDA (Figure 4) Synthetic haze dataset, FRIDA
그림 (그림 5) 실제 해무 데이터셋 SFD (Figure 5) Real sea fog dataset, SFD
그림 (그림 6) FRIDA 해무 종류별 DCP 영상에서 픽셀값이 100 이하인 픽셀의 개수 (Figure 6) Number of pixels that DCP value under 100 in FRIDA
그림 (그림 7) SFD 해무 종류별 DCP 영상에서 픽셀값이 100 이하인 픽셀의 개수 (Figure 7) Number of pixels that DCP value under 100 in SFD
그림 (그림 8) 제안기법 적용 데모 영상 (Figure 8) Demo images for suggested algorithms

AI 본문요약
AI-Helper

문제 정의

따라서 본 논문에서는 항로표지에 설치된 카메라에서 촬영한 영상으로 해무 강도를 측정하는 방안을 제안한다. 영상을 기반으로 해무의 강도를 측정하기 위해 안개 모델 (Haze model)과 Dark Channel Prior(DCP)를 이용해 해무 강 도 판별 기준을 찾는다.
본 논문은 항로표지의 안전사고를 줄이기 위해 단일 카메라 영상을 이용한 해무 강도 측정 알고리즘을 제안한다. 항로표지에 설치된 카메라를 통해 해양 영상정보를 입력받고, 취득된 영상정보를 활용해 항로표지 주변의 해상 상황을 관측하여 해무 강도를 파악한다.

제안 방법

이를 위해 해무 모델 및 DCP를 이용해 해무 구별 기준을 찾고, 그 기준에 따라 해무의 세기를 구분한다. 다양한 해역에 설치된 항로표지에 적용하기 위해 한정적인 전력을 효율적으로 사용할 수 있도록 간단한 방법으로 계 산하고자 하였다.
첫 번째로 항로표지에 설치된 카메라로 해상을 촬영해 입력 영상을 만든다. 두 번째로 안개 모델과 DCP 기반 해무 강도 측정 기준에 따라 입력 영상을 분류한다. 세 번째로 측정한 데이터를 저장해 그래프로 수치화한다.
본 논문에서는 단일 안개 영상을 입력 영상으로 하여 해무 강도 측정 알고리즘을 통해 해무 강도를 추정하고자 한다. 이를 위해 해무 모델 및 DCP를 이용해 해무 구별 기준을 찾고, 그 기준에 따라 해무의 세기를 구분한다.
따라서 본 논문에서는 항로표지에 설치된 카메라에서 촬영한 영상으로 해무 강도를 측정하는 방안을 제안한다. 영상을 기반으로 해무의 강도를 측정하기 위해 안개 모델 (Haze model)과 Dark Channel Prior(DCP)를 이용해 해무 강 도 판별 기준을 찾는다. 제안 기법은 크게 3단계로 나눠진다.
본 논문에서는 단일 안개 영상을 입력 영상으로 하여 해무 강도 측정 알고리즘을 통해 해무 강도를 추정하고자 한다. 이를 위해 해무 모델 및 DCP를 이용해 해무 구별 기준을 찾고, 그 기준에 따라 해무의 세기를 구분한다. 다양한 해역에 설치된 항로표지에 적용하기 위해 한정적인 전력을 효율적으로 사용할 수 있도록 간단한 방법으로 계 산하고자 하였다.
제안 기법은 크게 3단계로 나눠진다. 첫 번째로 항로표지에 설치된 카메라로 해상을 촬영해 입력 영상을 만든다. 두 번째로 안개 모델과 DCP 기반 해무 강도 측정 기준에 따라 입력 영상을 분류한다.
본 논문은 항로표지의 안전사고를 줄이기 위해 단일 카메라 영상을 이용한 해무 강도 측정 알고리즘을 제안한다. 항로표지에 설치된 카메라를 통해 해양 영상정보를 입력받고, 취득된 영상정보를 활용해 항로표지 주변의 해상 상황을 관측하여 해무 강도를 파악한다. 온·습도 및 광학 센서를 활용하지 않고 해상에 이미 설치되어있는 카메 라의 영상으로 해무 강도 파악이 가능함을 확인했으므로, 정확도를 높이는 연구를 진행한다면 해역별 실시간 해무 강도 측정이 가능할 것으로 기대된다.

대상 데이터

FRIDA는 인공적으로 만든 깨끗한 도로 영상과 이에 여러 종류의 안개를 합성하여 만든 영상으로 구성된 데이터셋이다. 각각 No Fog, Cloudy Heterogeneous Fog, Cloudy Homogeneous Fog, Heterogeneous Fog, Homogeneous Fog를 나타내며 총 5가지이다. 즉, 하나의 깨끗한 영상에서로 다른 종류의 안개 4가지를 합성한 것으로 같은 영상 번호를 가진 5개의 영상의 장면은 동일하나 안개의 종류만 다른 영상이다.
이는 그림 4에 잘 나타나 있다. 영상의 해상도는 640x480으로 각 종류마다 18장씩 총 90장을 사용했다.
FRIDA 데이터셋과 달리 실제 해무를 촬영한 영상이므로 같은 번호의 영상이라도 장면이 완전히 동일하지 않고 약간의 차이가 존재하며, 동영상을 1fps 단위로 캡처하여 만든 데이터 셋이므로 장면의 다양성이 적다. 해상도는 1920x1080으로 각 25장씩 총 75장 사용했다.

후속연구

이를 통해 합성 해무 데이터셋과 실제 해무 데이터셋 모두 해무를 적게 포함한 영상이 그래프 위쪽에 존재하고, 해무를 많이 포함한 영상일수록 아래에 존재함을 확인했다. 따라서 제안 알고리즘을 활용하면 그림 8과 같이 단일 카메라로 촬영된 영상만으로 해무 강도 측정이 가능하며, 기존 알고리즘에 비해 간단한 연산을 수행하므로 항로표지에 적용할 수 있을 것이다.
측정 장비 비용을 절감하고, 다양한 해역에 설치가 가능해져 해역별 측정이 용이해질 것이며, 관측자가 촬영 영상을 보고 따로 판단을 내리는 과정을 없애기 때문에 실시간 감지가 가능할 것으로 예상된다. 또한 추후에 통신 모듈을 부착하여 특정 위치에서 수집한 해무 강도 및 해상 기상 상황 정보를 사용자에게 제공하는 수단으로도 활용할 수 있을 것이다.
온·습도 및 광학 센서를 활용하지 않고 해상에 이미 설치되어있는 카메 라의 영상으로 해무 강도 파악이 가능함을 확인했으므로, 정확도를 높이는 연구를 진행한다면 해역별 실시간 해무 강도 측정이 가능할 것으로 기대된다
세 번째로 측정한 데이터를 저장해 그래프로 수치화한다. 결과적으로 측정 장비 비용을 절감하고, 다양한 해역에 설치가 가능해져 해역별 측정이 용이해질 것이며, 관측자가 촬영 영상을 보고 따로 판단을 내리는 과정을 없애기 때문에 실시간 감지가 가능할 것으로 예상된다.

참고문헌 (20)

BS Moon, TG Kim "Study on Development of Social Cost Estimating Model for Aids to Navigation Accident(II)", Journal of Navigation and Port Research, Vol.43, No.3, pp.166-171, 2019. https://doi.org/10.5394/KINPR.2019.43.3.166

원문보기 상세보기
Ministry of Oceans and Fisheries, "2021 Aids to Navigation Implementation", 2020. https://www.mof.go.kr/jfile/readDownloadFile.do?fileIdMOF_ARTICLE_36927&fileSeq1
S. Kim, G. Lee, Y. Ban and H. Lee, "Effectiveness Analysis on the Prevention of Marine Accidents of Aids to Navigation", Korea Maritime Institute, 2016. https://www.kmi.re.kr/eng/board/view.do?rbsIdx95&idx177
Korea Coast Guard, "Statistics of maritime distress accidents by weather", 2020. https://www.index.go.kr/potal/main/EachDtlPageDetail.do?idx_cd1621
Buch Norbert, Sergio A. Velastin, and James Orwell, "A Review of computer vision techniques for the analysis of urban traffic", IEEE Transactions on intelligent transportation systems, Vol.12, No.3, pp.920-939, 2011. https://doi.org/10.1109/tits.2011.2119372

상세보기
J Janai, F Guney, A Behl, A Geiger, "Computer vision for autonomous vehicles: Problems, datasets and state of the art", Foundations and Trends® in Computer Graphics and Vision, Vol.12, No.1-3, pp.1-308, 2020. https://doi.org/10.1561/0600000079

상세보기
K Nishino, L Kratz, S Lombardi. "Bayesian defogging", International journal of computer vision, Vol.98, No.3, pp.263-278, 2012. https://doi.org/10.1007/s11263-011-0508-1

상세보기
YK Wang, CT Fan, "Single image defogging by multiscale depth fusion", IEEE Transactions on image processing, Vol.23, No.11, pp.4826-4837, 2014. https://doi.org/10.1109/tip.2014.2358076

상세보기
H Xu, G Zhai, X Wu, X Yang, "Generalized equalization model for image enhancement", IEEE Transactions on Multimedia, Vol.16, No.1, pp.68-82, 2014. https://doi.org/10.1109/tmm.2013.2283453

상세보기
Z Ma, J Wen, C Zhang, Q Liu, D Yan, "An effective fusion defogging approach for single sea fog image", Neurocomputing, Vol.173, No.3, pp.1257-1267, 2016. https://doi.org/10.1016/j.neucom.2015.08.084

상세보기
K He, J Sun, X Tang, X., "Single image haze removal using dark channel prior", IEEE transactions on pattern analysis and machine intelligence, Vol.33, No.12, pp.2341-2353, 2010. https://doi.org/10.1109/TPAMI.2010.168

상세보기
B Cai, X Xu, K Jia, C Qing, D Tao, "Dehazenet: An end-to-end system for single image haze removal", IEEE Transactions on Image Processing, Vol.25, No.11, pp.5187-5198, 2016. https://doi.org/10.1109/tip.2016.2598681

상세보기
Y Xu, J Wen, L Fei, Z Zhang , "Review of video and image defogging algorithms and related studies on image restoration and enhancement", Ieee Access, Vol.4, pp.165-188, 2016. https://doi.org/10.1109/access.2015.2511558

상세보기
R Fattal, "Single image dehazing", ACM transactions on graphics (TOG), Vol.27, No.3, pp.1-9, 2008. https://doi.org/10.1145/1399504.1360671
HM Hu, Q Guo, J Zheng, H Wang, "Single image defogging based on illumination decomposition for visual maritime surveillance", IEEE Transactions on Image Processing, Vol.28, No.6, pp.2882-2897, 2019. https://doi.org/10.1109/tip.2019.2891901

상세보기
TW Bae, JH Han, KJ Kim, YT Kim, "Coastal Visibility Distance Estimation Using Dark Channel Prior and Distance Map Under Sea-Fog: Korean Peninsula Case", Sensors, Vol.19, No.20, pp.4432, 2019. https://doi.org/10.3390/s19204432

상세보기
A Palvanov, YI Cho, "Visnet: Deep convolutional neural networks for forecasting atmospheric visibility", Sensors, Vol.19, No.6, pp.1343, 2019. https://doi.org/10.3390/s19061343

상세보기
J-P Tarel, N Hautiere, L Caraffa, A Cord, H Halmaoui, D Gruyer, "Vision Enhancement in Homogeneous and Heterogeneous Fog", in IEEE Intelligent Transportation Systems Magazine, Vol.4, No.2, pp.6-20, summer 2012. https://doi.org/10.1109/mits.2012.2189969

상세보기
C Sakaridis, D Dai, L Van Gool, "Semantic foggy scene understanding with synthetic data", International Journal of Computer Vision, Vol.126, No.9, pp.973-992, 2018. https://doi.org/10.1007/s11263-018-1072-8

상세보기
Valentin Valkov, "Sea Fog," Jan. 2020. https://youtu.be/7dwXGVkuTTg

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증