[논문]비전 센서 및 딥러닝 기반 선박 접안을 위한 어라운드뷰 모니터링 시스템

김한근; 김동훈; 박별터; 이승목

doi:10.14372/iemek.2020.15.2.71

비전 센서 및 딥러닝 기반 선박 접안을 위한 어라운드뷰 모니터링 시스템
Vision Sensor and Deep Learning-based Around View Monitoring System for Ship Berthing 원문보기

대한임베디드공학회논문지 = IEMEK Journal of embedded systems and applications, v.15 no.2, 2020년, pp.71 - 78

김한근 (Seadronix Corp.) , 김동훈 (Seadronix Corp.) , 박별터 (Seadronix Corp.) , 이승목 (Keimyung University)

Abstract ▼ AI-Helper

This paper proposes vision sensors and deep learning-based around view monitoring system for ship berthing. Ship berthing to the port requires precise relative position and relative speed information between the mooring facility and the ship. For ships of Handysize or higher, the vesselships must be docked with the help of pilots and tugboats. In the case of ships handling dangerous cargo, tug boats push the ship and dock it in the port, using the distance and velocity information receiving from the berthing aid system (BAS). However, the existing BAS is very expensive and there is a limit on the size of the vessel that can be measured. Also, there is a limitation that it is difficult to measure distance and speed when there are obstacles near the port. This paper proposes a relative distance and speed estimation system that can be used as a ship berthing assist system. The proposed system is verified by comparing the performance with the existing laser-based distance and speed measurement system through the field tests at the actual port.

주제어

표/그림 (10)

그림 그림 1. 지능형 선박 어라운드뷰 시스템 개요 Fig. 1 Overview of Around View Intelligent System for Ship
표 표 1. AVISS 센서 모듈 주요 사양 Table 1. Key Specifications of AVISS Sensor Module
그림 그림 2. AVISS 센서모듈 하드웨어 구성요소 Fig. 2 Hardware Components of AVISS Sensor Module
그림 그림 3. AVISS 센서 데이터 처리 흐름도 Fig. 3 Flowchart of AVISS Sensor Data Processing
그림 그림 4. 영상강화 알고리즘 설명 Fig. 4 Description of Image Enhancement Algorithm
그림 그림 5. 딥러닝 기반 영상강화 Fig. 5 Deep Learning Based Image Enhancement
그림 그림 6 AVISS 센서 모듈을 통한 영상 정합 Fig. 6 Image Registration via AVISS Sensor Module
그림 그림. 7 AVISS에 의해 실시간 제공되는 선박 정보 Fig. 7 Ship Information Provided by AVISS in Real-time
그림 그림 8. AVISS 결과와 Laser 센서 값과의 비교를 통한 성능 검증 Fig. 8 Performance Evaluation by Comparing AVISS with Laser Sensor
표 표 2. AVISS 오차 평가 Table 2. AVISS Error Evaluation

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 항만에서의 선박 접안을 위한 어라운드뷰 모니터링 시스템을 제안하였다. 카메라, DGPS, IMU로 이루어진 AVISS 센서 모듈 하드웨어를 개발하고, 센서 모듈로부터 정보를 취득하여 선박과 항만까지의 거리와 속도를 딥러닝 알고리즘과 칼만필터를 이용하여 추정하는 알고리즘을 제안하였다.
지능형 선박 어라운드뷰 시스템의 목적은 그림1과 같이 항만에 다수의 센서모듈을 설치하여 각 센서 모듈이 수집하는 정보를 사용자에게 실시간으로 알려주는 것이다. 각 모듈로부터 들어온 영상을 비롯한 센서정보를 융합하여 접안 또는 이안하는 선박의 선수와 선미가 접근하는 거리와 속도, 장애물까지의 거리와 속도를 실시간으로 연산한다.

가설 설정

3) 선택된 선박 양단 두점의 위치추정을 위해 칼만필터를 적용한다. 선박의 움직임이 해수면 평면을 움직이므로 2차원 평면의 점 운동으로 가정하여 모델을 설계하였다. 각 객체마다 추정되는 양단 두점의 위치와 속도를 관측값으로 사용한다.

제안 방법

2) 추출된 선박 하단부 외형 특징점들을 입력으로 회귀 분석을 통해 선박 밑선을 추출하고 밑선의 양단의 두 점을 추정하여 선박 양단 두점으로 선택한다.
그림 8은 접안하는 선박에 대하여 AVISS가 실시간으로 선박의 선수와 선미에 대하여 항만으로부터의 거리와 속도를 실시간으로 계산한 결과를 보여준다. AVISS의 성능을 평가하기 위해 레이저 거리 센서와 비교하였다. 거리와 속도에 대한 오차율은 레이저 거리 센서값을 참값으로 두고 아래식에 의하여 계산되었다.
Top-View 로 변환된 영상 정보로부터 선박의 선수와 선미를 추출하고, 이들로부터 항만까지의 상대거리 및 상대속도를 칼만필터를 기반으로 추정한다. 이를 위한 과정은 다음과 같다.
지능형 선박 어라운드뷰 시스템의 목적은 그림1과 같이 항만에 다수의 센서모듈을 설치하여 각 센서 모듈이 수집하는 정보를 사용자에게 실시간으로 알려주는 것이다. 각 모듈로부터 들어온 영상을 비롯한 센서정보를 융합하여 접안 또는 이안하는 선박의 선수와 선미가 접근하는 거리와 속도, 장애물까지의 거리와 속도를 실시간으로 연산한다.
본 논문의 목적은 다음과 같다. 고가의 기존 선박 접안 보조시스템과 같은 성능을 유지하면서 경제성 있는 대체 가능한 지능형 선박 어라운드 뷰시스템 (Around View Intelligent System for Ship, AVISS)을 제안한다 [3]. 제안된 시스템은 기존 시스템과 같이 선박 접안 시 항만과 선박 사이의 거리와 속도 정보를 정확하게 제공할뿐만 아니라 주변 선박을 포함하여 바다에 부유하고 있는 각종 장애물들을 검출하고, 장애물과의 거리 및 속도를 계산한다.
He [10]가 제안한 영상 강화 알고리즘을 임베디드 시스템에 맞게 최적화 및 수정하여 적용하였다. 그림 4와 같이 임베디드 시스템의 총 연산한도를 고려하여 입력 영상의 quantization 기능이 추가 되었고 파란색 계열의 색상이 많은 해양 상황을 고려하여 RGB 채널 각각에 경험적인 가중치를 적용하여 출력되도록 하였다. 그림 5는 실제 항만에서 취득된 영상에 대하여 영상강화 알고리즘을 적용한 예시를 보여준다.
또한 기존 시스템은 선박의 크기에 제한이 있는 반면, 제안된 시스템은 선박의 크기에 제한이 없다는 장점이 있다. 기존 시스템 대비 저가형 센서들을 이용하여 하드웨어를 구성하고, 하드웨어가 가진 한계점을 최근 발전하고 있는 딥러닝 기술을 적용하여 극복하였다 [4-9].
본 과정에서는 먼저 각 카메라 센서 모듈에서 취득된 영상 정보를 역투영 변환 (Inverse Projective Mapping, IPM) 과정을 통해 Top-View로 변환시킨다. 역투영 변환을 하기 위해서는 영상이 취득된 당시의 카메라 위치 및 자세 정보가 필요하다.
영상 정보를 이용하여 객체를 인식하기 전에, 해무나 역광 등의 노이즈를 제거하기 위해 K. He [10]가 제안한 영상 강화 알고리즘을 임베디드 시스템에 맞게 최적화 및 수정하여 적용하였다. 그림 4와 같이 임베디드 시스템의 총 연산한도를 고려하여 입력 영상의 quantization 기능이 추가 되었고 파란색 계열의 색상이 많은 해양 상황을 고려하여 RGB 채널 각각에 경험적인 가중치를 적용하여 출력되도록 하였다.
임베디드 연산 모듈에 입력된 영상은 Seadronix에 의해 제안된 딥러닝 모델인 Skip-ENet [4]에 의해 객체 정보를 추정한다. 원본 영상과 자세 정보를 바탕으로 객체 정보 영상에 대해 수평면과 수직면으로 변환 및 정합하여 추정된 객체에 대한 거리 및 속도 정보를 계산한다.
고가의 기존 선박 접안 보조시스템과 같은 성능을 유지하면서 경제성 있는 대체 가능한 지능형 선박 어라운드 뷰시스템 (Around View Intelligent System for Ship, AVISS)을 제안한다 [3]. 제안된 시스템은 기존 시스템과 같이 선박 접안 시 항만과 선박 사이의 거리와 속도 정보를 정확하게 제공할뿐만 아니라 주변 선박을 포함하여 바다에 부유하고 있는 각종 장애물들을 검출하고, 장애물과의 거리 및 속도를 계산한다. 또한 기존 시스템은 선박의 크기에 제한이 있는 반면, 제안된 시스템은 선박의 크기에 제한이 없다는 장점이 있다.
본 논문은 항만에서의 선박 접안을 위한 어라운드뷰 모니터링 시스템을 제안하였다. 카메라, DGPS, IMU로 이루어진 AVISS 센서 모듈 하드웨어를 개발하고, 센서 모듈로부터 정보를 취득하여 선박과 항만까지의 거리와 속도를 딥러닝 알고리즘과 칼만필터를 이용하여 추정하는 알고리즘을 제안하였다. 제안된 AVISS의 성능을 평가하기 위해 울산항에서 실제 선박을 대상으로 필드 테스트를 수행하고 그 결과를 기존 레이저 센서와 비교하였다.

대상 데이터

제안된 선박 어라운드뷰 모니터링 시스템의 성능을 평가하기 위해 실제 접안 및 이안하는 선박을 대상으로 필드 테스트를 수행하였다. 실험은 2019년 7월 22일과 7월 27일 양일에 걸쳐서 울산항에서 진행되었으며 이안 및 접안하는 선박에 대하여 총 4회에 걸쳐 AVISS를 통해 데이터를 취득하였다. 측정 가능 영역이 항만으로부터 300m (가로)× 100m (세로)의 영역을 커버할 수 있도록 총 2개의 AVISS 센서 모듈이 설치되었다.
제안된 선박 어라운드뷰 모니터링 시스템의 성능을 평가하기 위해 실제 접안 및 이안하는 선박을 대상으로 필드 테스트를 수행하였다. 실험은 2019년 7월 22일과 7월 27일 양일에 걸쳐서 울산항에서 진행되었으며 이안 및 접안하는 선박에 대하여 총 4회에 걸쳐 AVISS를 통해 데이터를 취득하였다.
측정 가능 영역이 항만으로부터 300m (가로)× 100m (세로)의 영역을 커버할 수 있도록 총 2개의 AVISS 센서 모듈이 설치되었다.

데이터처리

카메라, DGPS, IMU로 이루어진 AVISS 센서 모듈 하드웨어를 개발하고, 센서 모듈로부터 정보를 취득하여 선박과 항만까지의 거리와 속도를 딥러닝 알고리즘과 칼만필터를 이용하여 추정하는 알고리즘을 제안하였다. 제안된 AVISS의 성능을 평가하기 위해 울산항에서 실제 선박을 대상으로 필드 테스트를 수행하고 그 결과를 기존 레이저 센서와 비교하였다. 총 4회의 필드 테스트 결과 기존 레이저 센서 대비 최대 평균 오차율이 거리는 1.

이론/모형

특히 여러 기법 중에 정밀한 거리 측정을 위해 객체 추출 (세그멘테이션)기법을 이용해야 한다. 본 논문에서는 영상정보로부터 객체를 실시간으로 인식하기 위해 딥러닝기술을 사용하였으며 Skip-ENet [4] 모델을 사용하였다. 기존 세그멘테이션에 활용될 수 있는 딥러닝 모델인 MobileNet [5], ENet [6], DeeplabV3+ [7]와 비교하여 해양 환경에서 강인하게 선박 및 장애물을 구별하는 높은 인식률을 보인다.
임베디드 연산 모듈에 입력된 영상은 Seadronix에 의해 제안된 딥러닝 모델인 Skip-ENet [4]에 의해 객체 정보를 추정한다. 원본 영상과 자세 정보를 바탕으로 객체 정보 영상에 대해 수평면과 수직면으로 변환 및 정합하여 추정된 객체에 대한 거리 및 속도 정보를 계산한다.

성능/효과

이는 AVISS 의 성능이 현재 상용화된 고가의 레이저 센서에 준하는 성능을 보여줌으로써 AVISS가 기존 레이저 시스템을 대체할 수 있다는 충분한 가능성을 보여주고 있다. AVISS에서 구동되는 알고리즘의 평균 연산 시간은 2채널 영상 입력, NVIDIA Jetson TX2 기준으로 2Hz 이상의 계산 속도를 보여 실시간으로 동작 될 수 있음을 보였다.
제안된 시스템은 기존 시스템과 같이 선박 접안 시 항만과 선박 사이의 거리와 속도 정보를 정확하게 제공할뿐만 아니라 주변 선박을 포함하여 바다에 부유하고 있는 각종 장애물들을 검출하고, 장애물과의 거리 및 속도를 계산한다. 또한 기존 시스템은 선박의 크기에 제한이 있는 반면, 제안된 시스템은 선박의 크기에 제한이 없다는 장점이 있다. 기존 시스템 대비 저가형 센서들을 이용하여 하드웨어를 구성하고, 하드웨어가 가진 한계점을 최근 발전하고 있는 딥러닝 기술을 적용하여 극복하였다 [4-9].
10% 로 나타났다. 이는 AVISS 의 성능이 현재 상용화된 고가의 레이저 센서에 준하는 성능을 보여줌으로써 AVISS가 기존 레이저 시스템을 대체할 수 있다는 충분한 가능성을 보여주고 있다. AVISS에서 구동되는 알고리즘의 평균 연산 시간은 2채널 영상 입력, NVIDIA Jetson TX2 기준으로 2Hz 이상의 계산 속도를 보여 실시간으로 동작 될 수 있음을 보였다.
제안된 AVISS의 성능을 평가하기 위해 울산항에서 실제 선박을 대상으로 필드 테스트를 수행하고 그 결과를 기존 레이저 센서와 비교하였다. 총 4회의 필드 테스트 결과 기존 레이저 센서 대비 최대 평균 오차율이 거리는 1.54%, 속도는 4.31%로 나타났으며, 상대적으로 저렴한 AVISS 가 기존고가 시스템인 Laser 센서를 대체 가능하다는 것을보여주었다.
표 2의 결과를 살펴보면, 총 4회 수행한 실험 중 최대 평균 거리오차 비율은 1.54%, 최소 평균 거리오차 비율은 0.10%이며, 평균 속도오차 비율은 최대 4.31%, 최소 0.10% 로 나타났다. 이는 AVISS 의 성능이 현재 상용화된 고가의 레이저 센서에 준하는 성능을 보여줌으로써 AVISS가 기존 레이저 시스템을 대체할 수 있다는 충분한 가능성을 보여주고 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	지능형 선박 어라운드뷰 시스템의 목적은 무엇인가?	지능형 선박 어라운드뷰 시스템의 목적은 그림1과 같이 항만에 다수의 센서모듈을 설치하여 각 센서 모듈이 수집하는 정보를 사용자에게 실시간으로 알려주는 것이다. 각 모듈로부터 들어온 영상을 비롯한 센서정보를 융합하여 접안 또는 이안하는 선박의 선수와 선미가 접근하는 거리와 속도, 장애물까지의 거리와 속도를 실시간으로 연산한다.
	센서 모듈은 어떤 기능을 갖추고 있는가?	Seadronix [3]에 의하여 개발된 지능형 선박 어라운드뷰 시스템의 주요사양은 표 1과 같다. 센서 모듈은 혹독한 해양 환경에서 방수, 방진, 방폭기능을 갖추고 있으며, Seadronix 사의 개발 전략에 따라 물리적 센서 모듈을 변경하지 않고도 딥러닝 기반 소프트웨어를 지속적으로 업데이트하여 성능을 향상시킬 수 있다.
	카메라 모듈은 어디에 설치되는가?	Positioning System), 자세 측정용 IMU, 연산용 임베디드 컴퓨터, 무선 통신 장치 등으로 구성되며, 염수에 의한 부식 방치를 위해 방수형 케이스에 내장된다. 이 모듈은 부두 내의 조명탑, 크레인, 선박등 수면에서 15m 이상의 고도에 설치되며, 모듈의 자세는 설치 시 또는 설치 후에 수동 또는 자동으로 조절 가능하다.

참고문헌 (10)

Korea Coast Guard, Statistical Yearbook of Maritime Distress in 2018 (in Korean).
Korean Statistical Information Service, Status of Marine Accidents by Ship Use (in Korean).
AVISS Sensor Module, Seadronix, Available on : http://www.seadronix.com/products.
H. Kim, J. Koo, D. Kim, B. Park, Y. Jo, H. Myung, D. Lee, "Vision-based Real-time Obstacle Segmentation Algorithm for Autonomous Surface Vehicle," Journal of IEEE Access, Vol. 7, pp. 179420-179428, 2019.

상세보기
A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, H. Adam, "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications," pp. 1-9, 2017.
A. Pazke, A. Chaurasia, S. Kim, E. Culurciello, "ENet: A Deep Neural Network Architecture for Real-time Semantic Segmentation", pp. 1-10, 2017.
L.-C. Chen, Y. Zhu, G. Papandreou, F. Schoff, H. Adam, "Encoder-decoder with Atrous Separable Convolution for Semantic Image Segmentation," Proceedings of European Conference on Computer Cision, pp. 833-851, 2018.
H.-K. Kim, K.-Y. Yoo, J. H. Park, H.-Y. Jung, "Deep Learning Based Gray Image Generation from 3D LiDAR Reflection Intensity," IEMEK J. Embed. Sys. Appl., Vol. 14, No. 1, pp. 1-9, 2019 (in Korean).

원문보기 상세보기
Y. Kim, H. Choi, J. Cho, "High-performance of Deep Learning Colorization with Wavelet Fusion," IEMEK J. Embed. Sys. Appl., Vol. 13, No. 6, pp. 313-319, 2018 (in Korean).

원문보기 상세보기
K. He, J. Sun, X. Tang, "Single Image Haze Removal Using Dark Channel Prior," Journal of IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 33, No. 12, pp. 2341-2353, 2011.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증