[논문]비전센서 및 딥러닝을 이용한 항만구조물 방충설비 세분화 시스템 개발

민지영; 유병준; 김종혁; 전해민

doi:10.11112/jksmi.2022.26.2.28

비전센서 및 딥러닝을 이용한 항만구조물 방충설비 세분화 시스템 개발
Development of Fender Segmentation System for Port Structures using Vision Sensor and Deep Learning 원문보기

한국구조물진단유지관리공학회 논문집 = Journal of the Korea Institute for Structural Maintenance and Inspection, v.26 no.2, 2022년, pp.28 - 36

민지영 (한국건설기술연구원 구조연구본부) , 유병준 ((주)스트라드비전) , 김종혁 (한밭대학교 건설환경공학과) , 전해민 (한밭대학교 건설환경공학과)

초록
AI-Helper

매립지 위에 건설되는 항만시설물은 바람(태풍), 파랑, 선박과의 충돌 등 극한 외부 하중에 노출되기 때문에 구조물의 안전성 및 사용성을 주기적으로 평가하는 것이 중요하다. 본 논문에서는 항만 계류시설에 설치된 방충설비의 유지관리를 위하여 비전 및 딥러닝 기반의 방충설비 세분화(segmentation) 시스템을 개발하였다. 방충설비 세분화를 위하여 인코더-디코더 형식과 인간 시각체계의 편심 기능에서 영감을 얻은 수용 영역 블록(Receptive field block) 기반의 합성곱 모듈을 DenseNet 형식으로 개선하는 딥러닝 네트워크를 제안하였다. 네트워크 훈련을 위해 BP형, V형, 원통형, 타이어형 등 다양한 형태의 방충설비 영상을 수집하였으며, 탄성 변형, 좌우 반전, 색상 변환 및 기하학적 변환을 통해 영상을 증강시킨 다음 제안한 딥러닝 네트워크를 학습하였다. 기존의 세분화 모델인 VGG16-Unet과 비교하여 제안한 모델의 세분화 성능을 검증하였으며, 그 결과 본 시스템이 IoU 84%, 조화평균 90% 이상으로 정밀하게 실시간으로 세분화할 수 있음을 확인하였다. 제안한 방충설비 세분화 시스템의 현장적용 가능성을 검증하기 위하여 국내 항만 시설물에서 촬영된 영상을 기반으로 학습을 수행하였으며, 그 결과 기존 세분화 모델과 비교하였을 때 우수한 성능을 보이며 정밀하게 방충설비를 감지하는 것을 확인하였다.

Abstract ▼ AI-Helper

As port structures are exposed to various extreme external loads such as wind (typhoons), sea waves, or collision with ships; it is important to evaluate the structural safety periodically. To monitor the port structure, especially the rubber fender, a fender segmentation system using a vision sensor and deep learning method has been proposed in this study. For fender segmentation, a new deep learning network that improves the encoder-decoder framework with the receptive field block convolution module inspired by the eccentric function of the human visual system into the DenseNet format has been proposed. In order to train the network, various fender images such as BP, V, cell, cylindrical, and tire-types have been collected, and the images are augmented by applying four augmentation methods such as elastic distortion, horizontal flip, color jitter, and affine transforms. The proposed algorithm has been trained and verified with the collected various types of fender images, and the performance results showed that the system precisely segmented in real time with high IoU rate (84%) and F1 score (90%) in comparison with the conventional segmentation model, VGG16 with U-net. The trained network has been applied to the real images taken at one port in Republic of Korea, and found that the fenders are segmented with high accuracy even with a small dataset.

주제어

표/그림 (12)

그림 Fig. 1 Fender installation
그림 Fig. 2 Deep learning network for fender detection
그림 Fig. 3 Convolution modules (DRFP and DRFPt) for fender detection
그림 Fig. 4 The collected images of various types of fenders
그림 Fig. 5 Labelling of different types (BP, tire, and cylindrical) of fender images
그림 Fig. 6 Image augmentation using (a) elastic distortion, (b) horizontal flip, (c) color jitter, and (d) affine transform
그림 Fig. 7 Comparison of segmentation results with the proposed model and VGG16-Unet
그림 Fig. 9 Comparison of segmentation results with the proposed model and VGG16-Unet
그림 Fig. 8 Image dataset captured at high and low tide
그림 Fig. 10 Synthesis of fender images with barnacles and engraving lines
그림 Fig. 11 Segmentation results after application of synthetic images
표 Table 1 Fender segmentation results

참고문헌 (20)

Ministry of Land, Infrastructure and Transport (2018), Detailed guidelines for safety and maintenance of facilities (performance evaluation), in Korean.
Ministry of Oceans and Fisheries (2018), Harbor and fishing port fender maintenance manual, in Korean.
Ministry of Oceans and Fisheries (2015), Detailed guidelines for safety inspection of port facilities, in Korean.
Ministry of Oceans and Fisheries (2020), Port facility maintenance and mid- to long-term road map establishment project, in Korean
Sakakibara, S. and Kubo M., Ship berthing and mooring monitoring system by pneumatic-type fenders, Ocean engineering, Elsevier, 34(8-9), 2007, 1174-1181.
Yamada, S., Sakakibara, S., Miyamoto, M., Nakatani K. (2012), Final acceptance test on advanced ship maneuvering and mooring support system at ship-to-ship transfer operations by fender monitoring system of pneumatic fenders, The twenty-second International offshore and polar engineering conference, Rhodes, 901-908.
Girshick, R., Donahue, J., Darrell, T. and Malik, J. (2014), Rich feature hierarchies for accurate object detection and semantic segmentation, Proceedings of the IEEE conference on computer vision and pattern recognition, Columbus, 580-587.
Girshick, R. (2015), Fast r-cnn, Proceedings of the IEEE international conference on computer vision, Santiago, 1440-1448.
Ren, S., He, K., Girshick, R. and Sun, J. (2015), Faster r-cnn: Towards real-time object detection with region proposal networks, Advances in neural information processing systems, Montreal, 91-99.
Redmon, J., Divvala, S., Girshick, R. and Farhadi, A. (2016), You only look once: Unified, real-time object detection, Proceedings of the IEEE conference on computer vision and pattern recognition, Las Vegas, 779-788.
Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y. and Berg, A.C. (2016), SSD: Single shot multibox detector, European conference on computer vision, Amsterdam, 21-37.
He, K., Gkioxari, G., Dollar, P. and Girshick, R. (2017), Mask r-cnn, Proceedings of the IEEE international conference on computer vision, Venice, 2961-2969.
Long, J., Shelhamer, E. and Darrell, T. (2015), Fully convolutional networks for semantic segmentation, Proceedings of the IEEE conference on computer vision and pattern recognition, Boston, 3431-3440.
Ronneberger, O., Fischer, P. and Brox, T. (2015), U-Net: Convolutional Networks for Biomedical Image Segmentation, Proceedings of the International conference on medical image computing and computer-assisted intervention, Munich, 234-241.
Dung, C. V. and Anh L. D., Autonomous concrete crack detection using deep fully convolutional neural network, Automation in Construction, 99, 2019, 52-58.

상세보기
Islam, M.M.M. and Kim, J.-M., Vision-based autonomous crack detection of concrete structures using a fully convolutional encoder-decoder network. Sensors, 2019, 19, 4251.

상세보기
Dong, C., Li, L., Yan, J., Zhang, Z., Pan, H., and Catbas, F.N., Pixel-level fatigue crack segmentation in large-scale images of steel structures using an encoder-decoder network. Sensors, 2021, 21, 4135.

상세보기
Liu, S. and Huang, D. (2018), Receptive field block net for accurate and fast object detection, Proceedings of the European Conference on Computer Vision (ECCV), Munich, 385-400.
Wang, H., Su, D., Liu, C., Jin, L., Sun, X. and Peng, X (2019), Deformable non-local network for video super-resolution, IEEE Access, 7, 177734-177744.

상세보기
Simonyan, K. and Zisserman, A (2015), Very deep convolutional networks for large-scale image recognition, Proceedings of the 3rd International conference on leaning representations, vol. abs/1409.1556v6. [Online].Available: https://arxiv.org/abs/1409.1556

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증