[논문]무인항공기 영상 및 딥러닝 기반 객체인식 알고리즘을 활용한 해안표착 폐기물 탐지 기법 연구

박수호; 김나경; 정민지; 황도현; 엥흐자리갈 운자야; 김보람; 박미소; 윤홍주; 서원찬

doi:10.13067/jkiecs.2020.15.6.1209

무인항공기 영상 및 딥러닝 기반 객체인식 알고리즘을 활용한 해안표착 폐기물 탐지 기법 연구
Study on Detection Technique for Coastal Debris by using Unmanned Aerial Vehicle Remote Sensing and Object Detection Algorithm based on Deep Learning 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.15 no.6, 2020년, pp.1209 - 1216

박수호 (부경대학교 지구환경시스템과학부) , 김나경 (부경대학교 지구환경시스템과학부) , 정민지 (부경대학교 지구환경시스템과학부) , 황도현 (부경대학교 지구환경시스템과학부) , 엥흐자리갈 운자야 (부경대학교 지구환경시스템과학부) , 김보람 (부경대학교 지구환경시스템과학부) , 박미소 (부경대학교 지구환경시스템과학부) , 윤홍주 (부경대학교 지구환경시스템과학부) , 서원찬 (부경대학교 신소재시스템공학과)

초록
AI-Helper

본 연구에서는 무인항공기 원격탐사 기법과 딥러닝 기반 객체인식 알고리즘을 활용한 해안표착폐기물 탐지기법을 제안한다. 항공영상 내에 존재하는 해안표착폐기물을 탐지하기 위해 심층신경망 기반 객체 인식 알고리즘을 제안하였다. PET, 스티로폼, 기타 플라스틱의 3가지 클래스의 이미지 데이터셋으로 심층신경망 모델을 훈련시켰으며, 각 클래스별 탐지 정확도를 Darknet-53과 비교하였다. 이를 통해 해안표착 폐기물을 무인항공기를 통해 성상별 모니터링할 수 있었으며, 향후 본 연구에서 제안하는 방법이 적용될 경우 해변 전체에 대한 성상별 전수조사가 가능하며, 이를 통해 해양환경 감시 분야의 효율성 증대에 기여할 수 있을 것으로 판단된다.

Abstract ▼ AI-Helper

In this study, we propose a method for detecting coastal surface wastes using an UAV(Unmanned Aerial Vehicle) remote sensing method and an object detection algorithm based on deep learning. An object detection algorithm based on deep neural networks was proposed to detect coastal debris in aerial images. A deep neural network model was trained with image datasets of three classes: PET, Styrofoam, and plastics. And the detection accuracy of each class was compared with Darknet-53. Through this, it was possible to monitor the wastes landing on the shore by type through unmanned aerial vehicles. In the future, if the method proposed in this study is applied, a complete enumeration of the whole beach will be possible. It is believed that it can contribute to increase the efficiency of the marine environment monitoring field.

주제어

표/그림 (4)

그림 그림 1. 해안표착폐기물 탐지를 위한 딥러닝 기반 객체인식 알고리즘의 구조. Fig. 1. Architechure for coastal debris detection based on deep learning
그림 그림 2 딥러닝 기반 객체인식 알고리즘을 활용한 해안표착폐기물 탐지 과정. Fig. 2 Process for coastal debris detection by using object detection algorithm based on deep learning
그림 그림 3. 제안하는 CNN을 활용한 객체 인식 알고리즘의 해안표착폐기물 탐지 결과. Fig. 3. Detection result of coastal debris by object detection algorithm with proposed CNN.
표 표 1. Darknet-53과 제안하는 CNN 모델의 해안표착폐기물 탐지 정확도 비교 Table 1. Comparison detection accuracy of marine debris between darknet-53 and proposed CNN

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 이러한 문제를 해결하결하기 위해 무인항공기 영상과 심층신경망 기반 객체 탐지 기술을 활용한 해안표착폐기물 탐지 방법을 제안하고자 한다.

제안 방법

(1) 무인항공기를 활용하여 대상 해변에 대한 블록 촬영을 실시한다. 이 때, 중복률은 거의 허용하지 않 는다.
1-Stage 객체 인식 알고리즘인 YOLOv3[10]를 기반으로 해안표착물 탐지 알고리즘을 개발하였다.
따라서 항공사진측량 작업규정에 따라 입체시 사진 제작을 목표로 촬영진행 방향으로 60%이상, 인접코스 와의 중복도를 30% 이상으로 설정해야한다. 그러나 본 연구에서는 해안 표착폐기물 모니터링 시 단사진 (Single Shot)을 활용해야 하므로 종중복도 및 횡중복 도를 최소한으로 설정하여, 폐기물의 중복 탐지를 방 지하였다. 따라서 사진영상의 지상면적을 고려하여 최 소한의 중복도로 블록촬영하는 방식을 사용하였다.
그러나 본 연구에서는 해안 표착폐기물 모니터링 시 단사진 (Single Shot)을 활용해야 하므로 종중복도 및 횡중복 도를 최소한으로 설정하여, 폐기물의 중복 탐지를 방 지하였다. 따라서 사진영상의 지상면적을 고려하여 최 소한의 중복도로 블록촬영하는 방식을 사용하였다. 이 때, 사진영상의 지상면적은 다음과 같은 방법으로 구 할 수 있다(식 3과 4).
본 연구에서는 무인항공기 영상과 심층신경망 기반 객체 인식 알고리즘을 활용하여 PET, 스티로폼, 플라 스틱에 대한 해안표착폐기물 탐지를 수행하였다.
본 연구에서는 무인항공기를 활용하여 해안의 피복 사진을 촬영하였으며, 심층신경망을 활용한 객체 인식 알고리즘을 활용하여 무인항공기 내 폐기물을 탐지하였다.
본 연구에서는 자체 개발한 Backbone 네트워크의 탐지 정확도를 YOLOv3에 일반적으로 사용하는 Darknet-53과 비교하였다. Backbone 네트워크의 탐지 정확도는 IoU(Intersection over Union) 0.
본 연구에서는 탐지 대상물인 스티로폼 (Styrofoam), PET, 플라스틱(Plastic)의 평균 크기를 고려하여 지상표본거리를 약 0.3 ∼ 0.4cm로 결정하였다. 따라서 지상표본거리 식으로부터 적정 비행고도를 산출하면 다음과 같다.
91(H)이다. 이를 토대로 비행방향으로 약 16.7m 간 격으로 단사진을 촬영하였으며, 촬영기선 간 거리는 12.5m로 설정하였다.
촬영 지역이 선정된 후 지도 및 사전에 촬영된 위 성영상 등을 활용하여 촬영범위(공간적 범위) 및 이 륙, 착륙 위치 후보를 선정한다. 이후 촬영 대상물의 크기를 고려하여 적절한 지상표본거리(GSD : Ground Sample Distance)를 결정하고, 적정 지상표본거리 확 보를 위한 촬영장비 및 촬영고도를 계산한다. 이 때, 지상표본거리는 카메라 화소(Pixel)의 크기와 비행고 도 및 카메라의 초점거리(Focal Length)와의 관계식으 로 정의된다.
Backbone 네트워크는 자체적으로 개발한 합성곱 신경망을 사용하였다. 자체 개발한 합성곱 신경망은 총 80개의 층으로 구성되어 있으며, 각 층은 풀링층과 완전연결층을 제거하고, 합성곱층으로만 구성하였다 (그림 1).
촬영 지역이 선정된 후 지도 및 사전에 촬영된 위 성영상 등을 활용하여 촬영범위(공간적 범위) 및 이 륙, 착륙 위치 후보를 선정한다. 이후 촬영 대상물의 크기를 고려하여 적절한 지상표본거리(GSD : Ground Sample Distance)를 결정하고, 적정 지상표본거리 확 보를 위한 촬영장비 및 촬영고도를 계산한다.
심층신경망 기반 객체 인식 알고리즘을 학습시키기 위해 항공사진으로부터 탐지 대상물이 존재하는 Crop 영상 7,234장을 추출하였다. 추출된 Crop 영상은 LabelImg1)를 활용하여 어노테이션(Annotation)하였으며, 경계상자의 크기와 위치 및 클래스 정보를 xml 형식으로 저장하였다.
해안 피복사진 촬영을 위해 DJI사의 Mavic 2 Pro 를 활용하였다. Mavic 2 Pro는 카메라 내장형 회전익 기체로 1인치 20MP 센서를 탑재하고 있다.
그림 1. 해안표착폐기물 탐지를 위한 딥러닝 기반 객체인식 알고리즘의 구조.

대상 데이터

심층신경망 기반 객체 인식 알고리즘을 학습시키기 위해 항공사진으로부터 탐지 대상물이 존재하는 Crop 영상 7,234장을 추출하였다. 추출된 Crop 영상은 LabelImg1)를 활용하여 어노테이션(Annotation)하였으며, 경계상자의 크기와 위치 및 클래스 정보를 xml 형식으로 저장하였다.
탐지 대상은 우리나라의 해안표착폐기물의 대표적 인 성상인 PET, 스티로폼, 기타 플라스틱의 3가지 클 래스로 선정하였다.

데이터처리

본 연구에서는 자체 개발한 Backbone 네트워크의 탐지 정확도를 YOLOv3에 일반적으로 사용하는 Darknet-53과 비교하였다. Backbone 네트워크의 탐지 정확도는 IoU(Intersection over Union) 0.5를 기준으로 평가하였다.

이론/모형

Backbone 네트워크는 자체적으로 개발한 합성곱 신경망을 사용하였다. 자체 개발한 합성곱 신경망은 총 80개의 층으로 구성되어 있으며, 각 층은 풀링층과 완전연결층을 제거하고, 합성곱층으로만 구성하였다 (그림 1).

성능/효과

82의 탐지 정확도를 보였다. Darknet-53의 경우 PET 클래스에서 가장 높은 정확도를 보였으며, 제안 하는 CNN 모델의 경우 스티로폼 클래스에서 가장 높은 정확도를 보였다.
PET와 스티로폼 클래스에서 90% 이상의 탐지 정 확도를 얻었다. 특히 스티로폼의 경우 분광특성이 불 분명하며, 형태가 다양하여 전통적인 원격탐사 기법으 로는 탐지하기 어려운 클래스였으나, 제안하는 방법으 로는 탐지가 가능하였다.
또한 선행연구의 알고리즘들은 배경이 되는 모래해 변과 폐기물을 이진분류(Binary Classification)의 형태 로만 탐지하는데 비해 본 연구에서 제안하는 방법을 활용할 경우 성상별 탐지가 가능함을 확인하였다.
식생과 다른 객 체, 그림자로 인해 배경이 복잡한 환경에서 촬영된 영 상을 활용하여 탐지한 결과 탐지 대상물을 잘 식별할 수 있었다. 또한 식생(갈대, 해조류 등)에 의해 객체의 일부가 가려진 경우에도 탐지 대상물을 식별 할 수 있음을 확인하였다(그림 3).
그러나 YOLO의 경우 Anchor Box라는 개념을 도입하여 탐지 대상 격자에 둘 이상의 객체가 존재하여도 탐지 할 수 있다. 또한 입력이미지를 여러 개의 격자(Grid) 로 분할하여 구역별 연산을 수행하는 방식을 도입하 므로 기존 객체 인식을 위한 신경망들에 비해 연산량 을 대폭 축소시킬 수 있었으며, 이를 통해 탐지 속도 를 높일 수 있었다.
상기 정확도에 도달하기 위해 합성곱 신경망 모델을 학습시킨 시간은 Darknet-53의 경우 약 2주가 걸 렸으며, 제안하는 합성곱 신경망의 경우 4일이 소요되었다.
선행연구들이 제안하는 알고리즘의 경우 해안표착 폐기물과 해변을 이진분류 형식으로 식별하였으나, 본 연구에서 제안하는 방법을 활용하면, 해변 뿐 아니라 탐지 된 객체가 어떤 클래스에 속하는지 식별이 가능 하였다. 이는 향후 성상별 시계열 데이터 확보를 위한 기반이 될 수 있다.
그림 3은 본 연구에서 제안하는 방법을 활용하여 해안표착폐기물을 탐지한 결과이다. 식생과 다른 객 체, 그림자로 인해 배경이 복잡한 환경에서 촬영된 영 상을 활용하여 탐지한 결과 탐지 대상물을 잘 식별할 수 있었다. 또한 식생(갈대, 해조류 등)에 의해 객체의 일부가 가려진 경우에도 탐지 대상물을 식별 할 수 있음을 확인하였다(그림 3).
탐지대상물이 식생에 의해 일부가 가려지거나 탐지 대상물이 아닌 다른 객체가 근접할 경우에도 식별이 가능한 것을 확인하였다.
PET와 스티로폼 클래스에서 90% 이상의 탐지 정 확도를 얻었다. 특히 스티로폼의 경우 분광특성이 불 분명하며, 형태가 다양하여 전통적인 원격탐사 기법으 로는 탐지하기 어려운 클래스였으나, 제안하는 방법으 로는 탐지가 가능하였다.
평가 결과 IoU 0.5를 기준으로 각각 평균 0.84, 0.82의 탐지 정확도를 보였다. Darknet-53의 경우 PET 클래스에서 가장 높은 정확도를 보였으며, 제안 하는 CNN 모델의 경우 스티로폼 클래스에서 가장 높은 정확도를 보였다.
평균적인 정확도는 Darknet-53이 더 높게 평가되 었으나, 학습시간과 학습 반복횟수 당 정확도 개선 정도를 고려했을 때, 제안하는 방식이 좀 더 효율적이라 판단된다.
플라스틱 클래스의 경우 두 알고리즘 모두 약 60% 의 탐지 정확도를 보여 다른 클래스에 비해 상대적으로 낮은 탐지능력을 보였다. 이는 플라스틱이라는 객 체의 특성상 그 형태 및 색상, 파손유형이 스티로폼 및 PET에 비해 다양하여 발생한 것으로 판단된다.

후속연구

이는 향후 성상별 시계열 데이터 확보를 위한 기반이 될 수 있다. 또한 해안표착폐기물 우심 해변 간 표착특성을 유형화 할 수 있는 중요 변수로 활용 될 수 있다.
또한 합성곱 신경망 학습에 활용된 이미지 중 약 8% 만이 플라스틱 클래스에 속하여 클래스 내 다양성에 비해 학습 데이터셋 내 포함된 사례가 적어 특징 추 출 능력이 빈약했을 가능성이 있다. 향후에는 플라스 틱 클래스를 좀 더 작은 단위로 분할하고, 나머지 두 클래스 수준의 추가 이미지 데이터를 확보한다면 정 확도 향상이 있을 것으로 판단된다.

참고문헌 (10)

I. Chung, S. Park, M. Kim, "Generation Quantity and the Physicochemical Properties of Marine Litter Occurred in island area," J. of Korean Society of Environmental Technology, vol. 13, no. 4, 2010, pp. 293-300.
S. Jang, S. Lee, S. Oh, D. Kim, H. Yoon, "The Application of Unmanned Aerial Photography for Effective Monitoring of Marine Debris," J. of the Korean Society of Marine Environment and Safety, vol. 17, no. 4, 2011, pp. 307-314.

원문보기 상세보기
S. Park and H. Kang, "The Quantity and Characteristics of Marine Debris Collected from the Coastline in Jeonnam," J. of Korea Society of Waste Management, vol. 22, no. 2, 2005, pp. 203-212.
S. Kako, A. Isobe, S. Magome, "Sequential Monitoring of beach litter using webcams," Marine Pollution Bulletin, vol. 60, no. 5, 2010, pp. 775-779.

상세보기
E. Nakashima, A. Isobe, S. Magome, S. Kako, N. Deki, "Using aerial photography and in situ measurements to estimate the quantity of macro-litter on beaches," Marine Pollution Bulletin, vol. 62, no. 4, 2011, pp. 762-769.

상세보기
Z. Bao, J. Sha, X. Li, T. Hanchiso, E. shifaw, "Monitoring of beach litter by automatic interpretation of unmanned aerial vehicle images using the segmentation threshold method," Marine Pollution Bulletin, vol. 137, 2018, pp. 388-398.

상세보기
L., Goddijn-Murphy, S., Peters, E., Van Sebille, N. A., James, and S., Gibb, "Concept for a hyperspectral remote sensing algorithm for floating marine macro plastics. Marine pollution bulletin, vol. 126, 2018, pp. 255-262.

상세보기
S. I., Kako, A., Isobe, S., Magome, "Low altitude remote-sensing method to monitor marine and beach litter of various colors using a balloon equipped with a digital camera," Marine Pollution Bulletin, vol. 64, no. 6, 2012, pp. 1156-1162.

상세보기
K., Moy, B., Neilson, A., Chung, A., Meadows, M., Castrence, S., Ambagis, K., Davidson, "Mapping coastal marine debris using aerial imagery and spatial analysis," Marine pollution bulletin, vol. 132, 2018, pp. 52-59.

상세보기
J. Redmon and A. Farhadi, "Yolov3: An incremental improvement," arXiv preprint, arXiv:1804.02767, 2018.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증