[논문]CCTV 영상과 합성곱 신경망을 활용한 해무 탐지 기법 연구

김나경; 박수호; 정민지; 황도현; 앵흐자리갈 운자야; 박미소; 김보람; 윤홍주

doi:10.13067/jkiecs.2020.15.6.1081

[국내논문] CCTV 영상과 합성곱 신경망을 활용한 해무 탐지 기법 연구
Study on Detection Technique for Sea Fog by using CCTV Images and Convolutional Neural Network 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.15 no.6, 2020년, pp.1081 - 1088

김나경 (부경대학교 지구환경시스템과학부) , 박수호 (부경대학교 지구환경시스템과학부) , 정민지 (부경대학교 지구환경시스템과학부) , 황도현 (부경대학교 지구환경시스템과학부) , 앵흐자리갈 운자야 (부경대학교 지구환경시스템과학부) , 박미소 (부경대학교 지구환경시스템과학부) , 김보람 (부경대학교 지구환경시스템과학부) , 윤홍주 (부경대학교 공간정보시스템공학과)

초록
AI-Helper

본 논문에서는 합성곱 신경망을 기반으로 CCTV 이미지를 통한 해무 탐지 방법을 제안한다. 학습에 필요한 자료로 시정 1km 기준으로 총 11개의 항만 또는 해수욕장(부산항, 부산신항, 평택항, 인천항, 군산항, 대산항, 목포항, 여수광양항, 울산항, 포항항, 해운대해수욕장)에서 수집된 해무와 해무가 아닌 이미지 10004장을 랜덤 추출하였다. 전체 10004장의 데이터셋 중에 80%를 추출하여 합성곱 신경망 모델 학습에 사용하였다. 사용된 모델은 16개의 합성곱층과 3개의 완전 연결층을 가지고 있으며, 마지막 완전 연결층에서 Softmax 분류를 수행하는 합성곱 신경망을 활용하였다. 나머지 20%를 이용하여 모델 정확도 평가를 수행하였고 정확도 평가 결과 약 96%의 분류 정확도를 보였다.

Abstract ▼ AI-Helper

In this paper, the method of detecting sea fog through CCTV image is proposed based on convolutional neural networks. The study data randomly extracted 1,0004 images, sea-fog and not sea-fog, from a total of 11 ports or beaches (Busan Port, Busan New Port, Pyeongtaek Port, Incheon Port, Gunsan Port, Daesan Port, Mokpo Port, Yeosu Gwangyang Port, Ulsan Port, Pohang Port, and Haeundae Beach) based on 1km of visibility. 80% of the total 1,0004 datasets were extracted and used for learning the convolutional neural network model. The model has 16 convolutional layers and 3 fully connected layers, and a convolutional neural network that performs Softmax classification in the last fully connected layer is used. Model accuracy evaluation was performed using the remaining 20%, and the accuracy evaluation result showed a classification accuracy of about 96%.

주제어

표/그림 (10)

그림 그림 1. 연구지역 Fig. 1 Research area
그림 그림 2. 연구흐름도 Fig. 2 Flow chart of research
표 표 1. CCTV 설치 위치별 시정계 종류 Table 1. Type of Visibility Sensor by CCTV installation point
그림 그림 3. 해무 탐지를 위한 합성곱 신경망의 네트워크 구조. Fig. 3 Architecture of convolutional neural network for sea fog detection.
그림 그림 4. 합성곱 모듈. (A)Type 1 (B)Type 2. Fig. 4 Convolutional Module. (A)Type 1 (B)Type2
표 표 2. 오차행렬 Table 2. Confusion Matrix
그림 그림 5. 해무라고 옳게 예측한 결과 Fig. 5 The result of correctly predicting that it is sea fog
표 표 3. 오차행렬 결과 Table 3. Confusion Matrix Result
표 표 4. 정확도 평가 결과 Table 4. Accuracy Assessment Results
그림 그림 6. 해무를 비해무라고 예측한 결과 Fig. 6 The result of predicting that there is no sea fog as the sea fog

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 합성곱 신경망을 기반으로 CCTV 이미지를 통한 해무 이진 분류를 수행하였다. 모델의정확도 평가 결과 전체 정확도는 약 96%의 분류 정확도를 보였다.
본 연구에서는 해무 발생 유무를 분류 문제로 해결하고자 하였다. 이를 위해 16개의 합성곱층 (Convolution Layer)과 3개의 완전 연결층(Fully Connected Layer)을 가지고 있으며, 마지막 완전 연결 층에서 Softmax 분류를 수행하는 합성곱 신경망을 활용하였다(그림2).

제안 방법

관측 시간은 일조시간을 고려하여, 매일 새벽 5 시부터 오후 4시까지로 설정하였으며 자료 간격은 5 분 단위이다.
이를 위해 16개의 합성곱층 (Convolution Layer)과 3개의 완전 연결층(Fully Connected Layer)을 가지고 있으며, 마지막 완전 연결 층에서 Softmax 분류를 수행하는 합성곱 신경망을 활용하였다(그림2). 또한 본 연구에서는 그림 3과 같이 모델의 파라미터를 줄이기 위해 커널(Kernel) 크기가 3×3인 합성곱층과 커널 크기가 1×1인 합성곱층을교대로 사용하는 합성곱 모듈을 사용하였다.
본 연구는 총 4가지의 정확도 평가 척도를 사용하였다.
이는 모델의 정확도로 인하여 얕은 해무를 해무로 분류하지 못하고 비해무로 분류하였기 때문이다. 본 연구에서는 시정을 기준으로 해무를 분류하였는데 시정 센서의 오류로 인하여 데이터 자체에 대한 문제가 존재하였다. 이러한 한계는 검증데이터로 사용된 시정계의 정확성이 확보된다면 정확도가 더 개선될 것으로 보여진다.
이러한 위성에 대한 한계점을 보완하여 본 연구에서는 24시간 관측이 가능한 CCTV 이미지를 기반으로 딥러닝 기법을 활용하여 연안 해무 탐지 모델 기법 연구를 수행하였다.
하였다. 이를 위해 16개의 합성곱층 (Convolution Layer)과 3개의 완전 연결층(Fully Connected Layer)을 가지고 있으며, 마지막 완전 연결 층에서 Softmax 분류를 수행하는 합성곱 신경망을 활용하였다(그림2). 또한 본 연구에서는 그림 3과 같이 모델의 파라미터를 줄이기 위해 커널(Kernel) 크기가 3×3인 합성곱층과 커널 크기가 1×1인 합성곱층을교대로 사용하는 합성곱 모듈을 사용하였다.
총 11개 항만(부산항, 부산신항, 평택항, 인천항, 군산항, 대산항, 목포항, 여수광양항, 울산항, 포항항) 또는 해변(부산 해운대해수욕장)에 시정계와 CCTV를설치하여 관측하였다(그림1).
합성곱 신경망 훈련을 위한 데이터셋은 CCTV를통해 녹화된 동영상을 프레임 단위로 분리하여, 시정계 자료를 활용하여 해무 발생과 미발생을 분류하였다. 해무 발생 유무는 기상학적 정의에 따라 시정계로산출된 시정이 1km 미만인 영상을 해무로 분류하였다 .
해무 발생 유무는 기상학적 정의에 따라 시정계로산출된 시정이 1km 미만인 영상을 해무로 분류하였다 . research

대상 데이터

2001개의 test data 중 예측에 성공한 데이터는 1928개이다. 탐지에 성공한 사례를 살펴보면 그림 5 와 같이 해무를 해무라고 옳게 예측한 경우와 그림 6 과 같이 비해무를 비해무라고 옳게 예측한 두 가지 경우가 있다.
2018년, 2019년 2년간 매 4월부터 10월까지 관측하였다. 관측 시간은 일조시간을 고려하여, 매일 새벽 5 시부터 오후 4시까지로 설정하였으며 자료 간격은 5 분 단위이다.
CCTV는 HIKVISION사의 DS-2DF8836IV-AELW 를 사용하였다. CCTV는 1/1.
전체 10004장 중 20%인 전체 2001개 Test Data 중 해무를 해무라고 맞춘 개수는 1009개, 비해무를 비해 무라고 맞춘 개수가 919개로 총 2001개의 데이터 중 1928개의 데이터 예측을 성공했다. 반대로 실제로 해무인 것을 비해무라고 예측한 데이터는 26개, 비해 무를 해무라고 예측한 경우는 총 47개로 예측하지 못한 데이터는 총 73개이다.
본 연구에서는 합성곱 신경망을 활용한 해무 탐지기법을 개발하기 위해 CCTV 영상과 시정계 관측 자료를 활용하였다.
9″ CMOS를 탑재하고 있으며, HD(High Definition) 화질로 녹화 가능하다. 시정계는 AANDERAA사의 Mira Visibility Sensor 3544S와 Vaisala사의 PWA 22를 활용하였다(표 1). Mira Visibility Sensor 3544는 최대 3km까지 시정산출이 가능하며, PWA 22는 최대 20km까지 시정산출이 가능하다.
총 10004장(해무 5002장, 비해무 5002장)의 CCTV 프레임 영상을 추출하였으며, 이 중 80%를 합성곱 신경망의 학습에 활용하였다. 나머지 20%를 활용하여 합성 곱 신경망의 정확도 평가에 활용하였다(그림2).

이론/모형

본 연구에서는 분류 정확도를 평가하기 위해 오차 행렬(Confusion Matrix, 표 2)를 이용한 전체 정확도 (accuracy), 정밀도(Precision), 재현율(Recall), F1-측정(F1-measure)을 평가 측도로 사용하였다.

성능/효과

모델의정확도 평가 결과 전체 정확도는 약 96%의 분류 정확도를 보였다.
전체 정확도는 약 96%, 모델 Precisione 약 97%, Recall 값은 약 95%, F1-measure 값은 약 96%로 예측이 대부분 고르게 높은 값을 나타내는 것을 볼 수 있다.

후속연구

본 연구에서는 시정을 기준으로 해무를 분류하였는데 시정 센서의 오류로 인하여 데이터 자체에 대한 문제가 존재하였다. 이러한 한계는 검증데이터로 사용된 시정계의 정확성이 확보된다면 정확도가 더 개선될 것으로 보여진다.
향후 연구에서는 시정계 오류를 감소시키기 위해해무 발생 인자들을 더 조사하고 해무 발생 여부 조건을 시정을 포함한 습도, 수온, 기온 등을 추가하여연구를 진행할 것이다.

참고문헌 (16)

K. Heo, S. Min, K. Ha, and J. Kim, "Discrimination between Sea Fog and Low Stratus Using Texture Structure of MODIS Satellite Images," Korean J. of Remote Sensing, vol. 24, no. 6, 2008, pp. 571-581.
M. Kim, Characteristics of sea fog distribution around the Korean Peninsula," Master's Thesis, Chonnam National University Graduate School, 1998.
H. Byun, D. Lee, and H. Lee, "Analysis on the Characteristics and Predictablility of the Marine Fog over and near the East Sea," Korean Meteorological Society, vol. 33, no. 1, 1997, pp. 41-62.
D. Wu, B. Lu, T. Zhang, and F.Yan, "A method of detecting sea fogs using CALIOP data and its application to improve MODIS-based sea fog detection," J. of Quantitative Spectroscopy &Radiative Transfer, vol. 153, 2015, pp. 88-94.

상세보기
D. Koracin, C. E. Dorman, J. M. Lewis, J. G. Hudson, E. M. Wilcox, and A. Torregrosa, "Marine fog: A review," Atmospheric Research, vol. 143, 2014, pp. 142-175.

상세보기
T. Bae, J. Han, K. Kim, and Y.Kim, "Coastal Visibility Distance Estimation Using Dark Channel Prior and Distance Map Under Sea-Fog: Korean Peninsula Case," Sensors, vol. 19, no. 20, 2019, pp.4432-4447.

상세보기
M. Ahn, E. Sohn, and B. Hwang, "A new algorithm for sea fog/stratus detection using GMS-5 IR data," Advances in Atmospheric Sciences, vol. 20, no. 6 , 2003, pp. 899-913.

상세보기
J. Yoo, M. Yun, M. Jeong, and M. Ahn, "Fog Detection over the Korean Peninsula Derived from Satellite Observations of Polar-orbit (MODIS) and Geostationary (GOES-9)," J. of the Korean Earth Science Society, vol. 27, no. 4, 2006, pp. 450-463.
J. Eyre, J. Brownscombe, and R. Allam, "Detection of fog at night using Advanced Very High Resolution Radiometer (AVHRR) imagery," Meteorological Mag, vol. 113, no. 1346, 1984, pp. 266-271.
G. Ellrod, "Advances in the detection and analysis of fog at night using GOES multispectral infrared imagery," Weather and Forecasting, vol. 10, no. 3, 1995, pp. 606-619.

상세보기
Y. Yuan, Z. Qiu, D. Sun, S. Wang, and X. Yue, "Daytime sea fog retrieval based on GOCI data: a case study over the Yellow Sea," Optical Society of America, vol. 24, no. 2, 2016, pp. 787-801.
K. Lee, B. Kwon, and H. Yoon, "Sea Fog Detection Algorithm Using Visible and Near Infrared Bands," J. of The Korea Institute of Electronic Communication Sciences, vol. 13, no. 3, 2018, pp. 669-676.

원문보기 상세보기
D. Kim, M. Park, Y. Park, and W.Kim, "Geostationary Ocean Color Imager (GOCI) Marine Fog Detection in Combination with Himawari-8 Based on the Decision Tree," remote sensing, vol. 12, no. 1, 2020, pp. 149-165.
S.B ak, H. Kim, B. Kim, D. Hwang, E. Unuzaya and H. Yoon, "Study on Detection Technique for Cochlodinium polykrikoides Red tide using Logistic Regression Model and Decision Tree Model," J. of the KIECS, vol. 13, no. 4, 2018, pp. 777-786.
Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel, "Backpropagation applied to handwritten zip code recognition," Neural computation, vol. 1, no. 4, 1989, pp. 541-551.

상세보기
I. Goodfellow, Y. Bengio, and A. courvil, Deep Learning. Massachusetts: MIT Press book, 2016.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증