[논문]HRNet-OCR과 Swin-L 모델을 이용한 조식동물 서식지 수중영상의 의미론적 분할

김형우; 장선웅; 박수호; 공신우; 곽지우; 김진수; 이양원

doi:10.7780/kjrs.2022.38.5.3.9

[국내논문] HRNet-OCR과 Swin-L 모델을 이용한 조식동물 서식지 수중영상의 의미론적 분할
Semantic Segmentation of the Habitats of Ecklonia Cava and Sargassum in Undersea Images Using HRNet-OCR and Swin-L Models 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.38 no.5 pt.3, 2022년, pp.913 - 924

김형우 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 장선웅 ((주)아이렘기술개발) , 박수호 ((주)아이렘기술개발 기업부설연구소) , 공신우 ((주)부경해양기술) , 곽지우 ((주)올빅뎃) , 김진수 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공) , 이양원 (부경대학교 지구환경시스템과학부 공간정보시스템공학전공)

초록
AI-Helper

이 연구에서는 국내 연안어장을 대상으로 조식동물 및 서식지에 대한 수중영상 기반의 인공지능 학습자료를 구축하고, state-of-the-art (SOTA) 모델인 High Resolution Network-Object Contextual Representation(HRNet-OCR)과 Shifted Windows-L (Swin-L)을 이용하여, 조식동물 서식지 수중영상의 의미론적 분할을 수행함으로써 화소 또는 화소군 간의 공간적 맥락(상관성)을 반영하는 보다 실제적인 탐지 결과를 제시하였다. 조식동물 서식지인 감태, 모자반의 수중영상 레이블 중 1,390장을 셔플링(shuffling)하여 시험평가를 수행한 결과, 한국수산자원공단의 DeepLabV3+ 사례에 비해 약 29% 향상된 정확도를 도출하였다. 모든 클래스에 대해 Swin-L이 HRNet-OCR보다 판별율이 더 좋게 나타났으며, 특히 데이터가 적은 감태의 경우, Swin-L이 해당 클래스에 대한 특징을 더 풍부하게 반영할 수 있는 것으로 나타났다. 영상분할 결과 대상물과 배경이 정교하게 분리되는 것을 확인되었는데, 이는 Transformer 계열 백본을 활용하면서 특징 추출능력이 더욱 향상된 것으로 보인다. 향후 10,000장의 레이블 데이터베이스가 완성되면 추가적인 정확도 향상이 가능할 것으로 기대된다.

Abstract ▼ AI-Helper

In this paper, we presented a database construction of undersea images for the Habitats of Ecklonia cava and Sargassum and conducted an experiment for semantic segmentation using state-of-the-art (SOTA) models such as High Resolution Network-Object Contextual Representation (HRNet-OCR) and Shifted Windows-L (Swin-L). The result showed that our segmentation models were superior to the existing experiments in terms of the 29% increased mean intersection over union (mIOU). Swin-L model produced better performance for every class. In particular, the information of the Ecklonia cava class that had small data were also appropriately extracted by Swin-L model. Target objects and the backgrounds were well distinguished owing to the Transformer backbone better than the legacy models. A bigger database under construction will ensure more accuracy improvement and can be utilized as deep learning database for undersea images.

주제어

표/그림 (22)

그림 Fig. 1. Monitoring of marine ecosystem using unmanned underwater vehicle (UUV) (Lambertini et al., 2022).
그림 Fig. 2. Undersea images of devil starfish provided by Google.
그림 Fig. 3. Detection of sea cucumber using Single Shot Detector (SSD) model (Qiu et al., 2019).
그림 Fig. 4. Process of jellyfish detection using You Look Only Once version 3 (YOLOv3) (Gao et al., 2021).
그림 Fig. 5. Acquisition of undersea images by divers and remotely operate underwater vehicle (ROV).
그림 Fig. 6. Example of the undersea images and label data for Ecklonia cava.
그림 Fig. 7. Example of the undersea images and label data for Sargassum.
그림 Fig. 8. Structure of High Resolution Network (HRNet) (Sun et al., 2019).
그림 Fig. 9. Structure of Object Contextual Representation (OCR) (Sun et al., 2019).
그림 Fig. 10. Structure of Shifted Windows (Swin) Transformer (Liu et al., 2019).
그림 Fig. 11. Performance comparison for ADE20K segmentation.
그림 Fig. 12. Confusion matrix and the test measures for multi-class image segmentation (Krüger, 2016).
표 Table 1. A series of Swin Transformer models
그림 Fig. 13. Concept of IOU (intersection over union).
그림 Fig. 14. Precision-Recall curve for unclassified class.
그림 Fig. 15. Precision-Recall curve for Sargassum class.
그림 Fig. 16. Precision-Recall curve for Eckionia cava class.
표 Table 2. Contingency table for HRNet-OCR model (Unit: pixel)
표 Table 3. Contingency table for Swin-L model (Unit: pixel)
표 Table 4. Test statistics for HRNet-OCR and Swin-L models
그림 Fig. 17. Images of label (upper), prediction (middle), and the difference (lower) for the Ecklonia cava detection: true positive (TP) in blue, true negative (TN) in cyan, false positive (FP) in orange, and false negative (FN) in red.
그림 Fig. 18. Images of label (upper), prediction (middle), and the difference (lower) for the Sargassum detection: TP (true positive) in blue, TN (true negative) in cyan, FP (false positive) in orange, and FN (false negative) in red.

AI 본문요약
AI-Helper

문제 정의

이 연구에서는 국내 연안어장을 대상으로 조식동물 및 서식지에 대한 수중영상 기반의 인공지능 학습자료를 구축하고, SOTA 모델인 HRNet-OCR과 Swin-L을 이용하여 조식동물 서식지 수중영상의 의미론적 분할을 수행함으로써 화소 또는 화소군 간의 공간적 맥락(상관성)을 반영하는 보다 실제적인 탐지 결과를 제시하였다. 조식동물 서식지인 감태, 모자반의 수중영상 레이블 중 1,390장을 셔플링하여 시험평가를 수행한 결과, 한국수산자원공단의 DeepLabV3+ 사례에 비해 약 29% 향상된 정확도를 도출하였다.

제안 방법

1,390장의 영상에서 훈련, 검증, 시험 데이터를 구분하기 위하여, 이들 영상을 셔플링(shuffling)하여 훈련 80%, 검증 10%, 시험 10%로 나누었다. 모델 훈련에는 ADE20K 데이터셋으로 선행학습된(pre-trained) 모델을 활용하였으며, 레이블 영상과 예측 영상 간의 역전파 과정에서 특정 뉴런의 가중치 집중을 방지하는 L2 정규화 (regularization)를 적용하였다.
반복적으로 훈련된 모델은 개별로 분류된 검증 데이터를 활용해 mIOU 값을 계산하고 이를 기준으로 최종 모델을 결정하였다. 이후, 시험 데이터를 활용해 혼동행렬(confusion matrix)을 작성하고, true positive (TP), true negative (TN), false positive (FP), false negative (FN)를 계산한 후 이를 이용하여 Accuracy, Precision, Recall, F1-score, mIOU 등의 정확도 측도를 산출하였다. 또한, HRNet-OCR과 Swin-L 모델의 비교를 위해 Precision-Recall Curve를 활용하였다.

대상 데이터

조식동물 서식지인 해조류(감태, 모자반)의 수중영상은 잠수부가 직접 촬영하거나 또는 Remotely Operate Underwater Vehicle (ROV)를 이용하여 촬영할 수 있는데(Fig. 5), 이 연구에서는 잠수부가 직접 촬영한 영상을 이용하였다. 이 영상들은 일정한 크기(3480×2160 픽셀)로 절취한 뒤, 육안 식별과 수작업을 통해 감태, 모자반의 폴리곤으로 편집하였고, 딥러닝 모델에 투입하기 위하여 래스터화시켜 최종 레이블 영상으로 제작되었다.
이 영상들은 일정한 크기(3480×2160 픽셀)로 절취한 뒤, 육안 식별과 수작업을 통해 감태, 모자반의 폴리곤으로 편집하였고, 딥러닝 모델에 투입하기 위하여 래스터화시켜 최종 레이블 영상으로 제작되었다
이 영상들은 일정한 크기(3480×2160 픽셀)로 절취한 뒤, 육안 식별과 수작업을 통해 감태, 모자반의 폴리곤으로 편집하였고, 딥러닝 모델에 투입하기 위하여 래스터화시켜 최종 레이블 영상으로 제작되었다. 조식동물 서식지 레이블은 10,000장 구축될 예정이며, 이연구에서는 현재 구축된 1,390장의 영상을 사용하였다. Fig.

데이터처리

재현율(Recall)은 레이블 영상 각 클래스의 화소 중에서 정답 화소의 비율로, 모델이 특정 클래스에 속하는 예측 픽셀의 분포를 더 넓게 판별할 수 있는 능력을 의미한다. 정밀도와 재현율은 모델이 제시한 시험 평가용 예측 영상을 활용해 최종 평가를 위한 수치로 계산되었으며, 두 수치 간의 조화를 판별하기 위해 모델이 제시한 확률 분포 값에 임계치(threshold)를 적용한 정밀도-재현율 곡선(PrecisionRecall Curve)를 산출하였다. F1-score는 Precision과 Recall의 조화평균(harmonic mean)으로 계산한다.

이론/모형

이후, 시험 데이터를 활용해 혼동행렬(confusion matrix)을 작성하고, true positive (TP), true negative (TN), false positive (FP), false negative (FN)를 계산한 후 이를 이용하여 Accuracy, Precision, Recall, F1-score, mIOU 등의 정확도 측도를 산출하였다. 또한, HRNet-OCR과 Swin-L 모델의 비교를 위해 Precision-Recall Curve를 활용하였다.
1,390장의 영상에서 훈련, 검증, 시험 데이터를 구분하기 위하여, 이들 영상을 셔플링(shuffling)하여 훈련 80%, 검증 10%, 시험 10%로 나누었다. 모델 훈련에는 ADE20K 데이터셋으로 선행학습된(pre-trained) 모델을 활용하였으며, 레이블 영상과 예측 영상 간의 역전파 과정에서 특정 뉴런의 가중치 집중을 방지하는 L2 정규화 (regularization)를 적용하였다. 반복적으로 훈련된 모델은 개별로 분류된 검증 데이터를 활용해 mIOU 값을 계산하고 이를 기준으로 최종 모델을 결정하였다.

성능/효과

모든 클래스에 대해 Swin-L이 HRNet-OCR보다 판별율이 더 좋게 나타났으며, 특히 데이터가 적은 감태의 경우 향후 더 많은 데이터를 이용하여 충부한 실험을 할 필요가 있기는 하나, Swin-L이 감태 클래스에 대한 특징을 더 풍부하게 반영할 수 있는 것으로 나타났다. 영상분할 결과, 대상물과 배경이 정교하게 분리되는 것을 확인되었는데, 이는 Transformer 계열 백본을 활용하면서 특징 추출능력이 더욱 향상된 것으로 보인다. 향후 10,000장의 레이블 데이터베이스가 완성되면 추가적인 정확도 향상이 가능할 것으로 기대되며, 이 때 하이퍼파라미터 최적화를 위한 별도의 노력이 필요할 것이다.
이 연구에서는 국내 연안어장을 대상으로 조식동물 및 서식지에 대한 수중영상 기반의 인공지능 학습자료를 구축하고, SOTA 모델인 HRNet-OCR과 Swin-L을 이용하여 조식동물 서식지 수중영상의 의미론적 분할을 수행함으로써 화소 또는 화소군 간의 공간적 맥락(상관성)을 반영하는 보다 실제적인 탐지 결과를 제시하였다. 조식동물 서식지인 감태, 모자반의 수중영상 레이블 중 1,390장을 셔플링하여 시험평가를 수행한 결과, 한국수산자원공단의 DeepLabV3+ 사례에 비해 약 29% 향상된 정확도를 도출하였다. 모든 클래스에 대해 Swin-L이 HRNet-OCR보다 판별율이 더 좋게 나타났으며, 특히 데이터가 적은 감태의 경우 향후 더 많은 데이터를 이용하여 충부한 실험을 할 필요가 있기는 하나, Swin-L이 감태 클래스에 대한 특징을 더 풍부하게 반영할 수 있는 것으로 나타났다.
한국수산자원공단은 수중드론을 활용하여 2018년부터 2021년까지 해조류와 함께 성게, 불가사리 등 조식동물에 대한 영상 DB를 구축하였으며, 딥러닝 기반 의미론적 분할 모델인 DeepLabv3+를 활용하여 해조류 영상분할을 실시한 결과, 0.56의 mean intersection over union (mIOU) 정확도를 도출하였다. 한국지능정보사회진흥원은 2022년 인공지능용 학습데이터 구축사업을 통하여 조식동물(성게, 군소, 고둥 및 소라류)과 해적생물(불가사리)의 수중영상 레이블 90,000장, 그리고 해조류(감태, 모자반)의 수중영상 레이블 10,000장을 구축하고 있다.

후속연구

조식동물 서식지인 감태, 모자반의 수중영상 레이블 중 1,390장을 셔플링하여 시험평가를 수행한 결과, 한국수산자원공단의 DeepLabV3+ 사례에 비해 약 29% 향상된 정확도를 도출하였다. 모든 클래스에 대해 Swin-L이 HRNet-OCR보다 판별율이 더 좋게 나타났으며, 특히 데이터가 적은 감태의 경우 향후 더 많은 데이터를 이용하여 충부한 실험을 할 필요가 있기는 하나, Swin-L이 감태 클래스에 대한 특징을 더 풍부하게 반영할 수 있는 것으로 나타났다. 영상분할 결과, 대상물과 배경이 정교하게 분리되는 것을 확인되었는데, 이는 Transformer 계열 백본을 활용하면서 특징 추출능력이 더욱 향상된 것으로 보인다.
향후 10,000장의 레이블 데이터베이스가 완성되면 추가적인 정확도 향상이 가능할 것으로 기대되며, 이 때 하이퍼파라미터 최적화를 위한 별도의 노력이 필요할 것이다. 이러한 딥러닝 모델링은 향후 조식동물 서식지의 효과적이 파악에 기여하여 연안어장 생태계 조사에 활용될 수 있을 것이다.
지표면의 지형지물을 촬영한 드론영상이나 지상사진과는 달리, 수중영상은 해수의 탁도에 따라 영상의 선명도가 확보되지 못하는 경우가 많기 때문에 드론영상이나 지상사진보다 정확도가 낮게 나올 수밖에 없다. 이런 점에서 볼 때, 현재의 실험 결과는 SOTA 모델의 성능에 힘입어 상당히 고무적이라고 할 수 있으며, 향후 10,000장의 레이블이 모두 구축되면 일정 정도의 추가적인 정확도 향상을 기대할 수 있을 것으로 기대된다.
영상분할 결과, 대상물과 배경이 정교하게 분리되는 것을 확인되었는데, 이는 Transformer 계열 백본을 활용하면서 특징 추출능력이 더욱 향상된 것으로 보인다. 향후 10,000장의 레이블 데이터베이스가 완성되면 추가적인 정확도 향상이 가능할 것으로 기대되며, 이 때 하이퍼파라미터 최적화를 위한 별도의 노력이 필요할 것이다. 이러한 딥러닝 모델링은 향후 조식동물 서식지의 효과적이 파악에 기여하여 연안어장 생태계 조사에 활용될 수 있을 것이다.

참고문헌 (11)

Ataner, E., B. Ozdes, G. Ozturk, T.Y.C. Celik, A. Durdu, and H. Terzioglu, 2020. Deep learning methods in unmanned underwater vehicles, Avrupa Bilim ve Teknoloji Dergisi, 345-350. https://doi.org/10.31590/ejosat.804599
Dosovitskiy, A., L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, 2020, An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, arXiv preprint arXiv:2010.11929. https://arxiv.org/abs/2010.11929
FIRA (Korea Fisheries Resources Agency), 2022. Korea Fisheries Resources Agency - Press Release, https://www.fira.or.kr/fira/fira_010201_2.jsp, Accessed on Oct. 3, 2022.
Gao, M., Y. Bai, Z. Li, S. Li, B. Zhang, and Q. Chang, 2021. Real-time jellyfish classification and detection based on improved YOLOv3 algorithm, Sensors, 21(23): 8160. https://doi.org/10.3390/s21238160

상세보기
Lambertini, A., M. Menghini, J. Cimini, A. Odetti, G. Bruzzone, M. Bibuli, E. Mandanici, L. Vittuari, P. Castaldi, M. Caccia, and L. De Marchi, 2022. Underwater drone architecture for marine digital twin: Lessons learned from SUSHI DROP project, Sensors, 22(3): 744. https://doi.org/10.3390/s22030744

상세보기
LeCun, Y., B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbardm, and L. D. Jackel, 1989. Backpropagation applied to handwritten zip code recognition, Neural Computation, 1(4): 541-551. https://doi.org/10.1162/neco.1989.1.4.541

상세보기
Liu, Z., Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, 2021. Swin Transformer: Hierarchical vision transformer using shifted windows, arXiv preprint arXiv:2103.14030. https://arxiv.org/abs/2103.14030
MOF (Ministry of Oceans and Fisheries), 2018. Ministry of Oceans and Fisheries - Fishery Information Portal System, https://www.fips.go.kr/, Accessed on Oct. 3, 2022.
NIFS (National Institute of Fishery Science), 2011. National Institute of Fishery Science - Research Achievements, https://www.nifs.go.kr/rsh/, Accessed on Oct. 3, 2022.
Qiu, Z., Y. Yao, and M. Zhong, 2019. Underwater sea cucumbers detection based on pruned SSD, Proc. of 2019 IEEE 3rd Advanced Information Management, Communicates, Electronic and Automation Control Conference (IMCEC), Chongqing, China, Oct. 11-13, pp. 738-742. https://doi.org/10.1109/IMCEC 46724.2019.8983935
Sun, K., Y. Zhao, B. Jiang, T. Cheng, B. Xiao, D. Liu, Y. Mu, X. Wang, W. Liu, and J. Wang, 2019. High-resolution representations for labeling pixels and regions, arXiv preprint arXiv:1904.04514. https://arxiv.org/abs/1904.04514

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증