[논문]실시간 순환 신경망 기반의 멀티빔 소나 이미지를 이용한 수중 물체의 추적에 관한 연구

이언호; 이영준; 최진우; 이세진

doi:10.7746/jkros.2020.15.1.008

실시간 순환 신경망 기반의 멀티빔 소나 이미지를 이용한 수중 물체의 추적에 관한 연구
Study on Underwater Object Tracking Based on Real-Time Recurrent Regression Networks Using Multi-beam Sonar Images 원문보기

로봇학회논문지 = The journal of Korea Robotics Society, v.15 no.1, 2020년, pp.8 - 15

이언호 (Mechanical Engineering, Kongju National University) , 이영준 (Korea Research Institute of Ships and Ocean Engineering) , 최진우 (Korea Research Institute of Ships and Ocean Engineering) , 이세진 (Division of Mechanical & Automotive Engineering, Kongju National University)

Abstract ▼ AI-Helper

This research is a case study of underwater object tracking based on real-time recurrent regression networks (Re3). Re3 has the concept of generic object tracking. Because of these characteristics, it is very effective to apply this model to unclear underwater sonar images. The model also an pursues object tracking method, thus it solves the problem of calculating load that may be limited when object detection models are used, unlike the tracking models. The model is also highly intuitive, so it has excellent continuity of tracking even if the object being tracked temporarily becomes partially occluded or faded. There are 4 types of the dataset using multi-beam sonar images: including (a) dummy object floated at the testbed; (b) dummy object settled at the bottom of the sea; (c) tire object settled at the bottom of the testbed; (d) multi-objects settled at the bottom of the testbed. For this study, the experiments were conducted to obtain underwater sonar images from the sea and underwater testbed, and the validity of using noisy underwater sonar images was tested to be able to track objects robustly.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

․ 다양한 물체가 있는 환경 속에서 관심 물체만을 추적 할 수 있는지 확인한다.
본 연구는 선행 연구에서 사용되는 물체 분류 과정을 제거하고 물체 추적을 수행하게 된다. 또한, 광학 영상에서 사용되는 딥러닝 모델이 수중 소나 영상에서도 작동하는지 타당성을 확인한다.
본 논문에서는 4가지의 실험을 통해 수중 소나 영상에 대한 물체 추적 연구를 진행하였다. ‘4.
본 논문에서는 실시간 순환 신경망 (Re³)을 기반으로 하여 수중 소나 이미지 내에 출현하는 휴먼 바디를 강인하게 추적해내고자 시도하였다. 특히 실내 테스트 베드에서와 실제 해안에서 실험하여 획득한 수중 소나 이미지 동영상을 이용해 마네킹 또는 다이버 등의 휴먼 바디를 추적하였다.
CNN은 이미지를 분류하는 딥러닝 모델로 2012년 개최된 ‘ImageNet Large Scale Visual Recognition Challenge’ 이미지 분류 분야에서 우승한 모델이다^[11]. 이 대회는 물체 분류를 위해 1,000개가 넘는 종류로 분류된 100만개의 이미지를 제공하여, 연구자들의 방법론으로 분류되는 정확도를 겨루는 대회이다. 수중 소나 이미지 속의 관심 물체 탐지 연구는 Faster R-CNN기반으로 연구를 수행하였다^[12,13].
이미지는 센서를 부착한 무인수상정이 테스트 베드를 자유롭게 이동하면서 획득하였다. 이 실험은 다양한 침전체가 있는 경우에서 물체 추적에 어떤 영향을 미칠것인가에 대한 고찰을 갖기 위함이다. [Fig.
수표면에 있는 센서가 침전체가 있는 방향으로 배를 타고 가듯이 바닥면과 평행하게 이동하면서 이미지를 획득하였다. 이 실험은 이종간 소나 센서를 동시에 이용할시, 소나 이미지에 어떤 영향을 미칠 것인가에 대한 고찰을 갖기 위함이다. [Fig.

제안 방법

특히 실내 테스트 베드에서와 실제 해안에서 실험하여 획득한 수중 소나 이미지 동영상을 이용해 마네킹 또는 다이버 등의 휴먼 바디를 추적하였다. 그리고 작동 주파수가 다른 이종 간 수중 소나 센서 데이터에 따른 결과를 비교함으로써 영상의 해상도에 따른 물체 추적 성능을 비교 분석하였다. 마지막으로 다중 물체가 있을 시 관심 물체만 추적이 가능한지 확인하였다.
물체 감지(object detecting)와 물체 추적(object tracking)은 다른 영역에 있는 연구로써 정확하게 두 모델의 물체 추적 성능을 비교하기 어렵다. 두 모델의 성능을 비교하기 위해 두모델에서 공통적으로 사용하는 바운딩박스를 이용하여 PR곡선으로 표현하였다. [Fig.
이 실험은 마네킹을 수중에서 침전시킨 후 실험자가 보트를 타고 마네킹 주의를 맴돌면서 소나 이미지를 획득하였다. 두 번째 실험은 보트를 타고 안전하게 실험을 할 수 있는 거리까지 최대한 멀리 나가 실험을 진행하였다. 이 때 바다의 깊이가 약 6 m이였다.
그리고 작동 주파수가 다른 이종 간 수중 소나 센서 데이터에 따른 결과를 비교함으로써 영상의 해상도에 따른 물체 추적 성능을 비교 분석하였다. 마지막으로 다중 물체가 있을 시 관심 물체만 추적이 가능한지 확인하였다. 이 실험들은 물체가 물속 가운데에 떠있는 경우와 바닥면에 가라앉은 경우, 수중 소나 이미지의 화질이 다른 경우, 다중 물체가 있는 경우로 수중 소나 이미지에서 생길수 있는 여러 상황을 나열한 것이다.
Re³기반의 물체 추적은 한번만 관심 물체를 설정해주면, 지속적으로 물체분류를 하지 않고도 추적이 가능하다. 본 연구는 선행 연구에서 사용되는 물체 분류 과정을 제거하고 물체 추적을 수행하게 된다. 또한, 광학 영상에서 사용되는 딥러닝 모델이 수중 소나 영상에서도 작동하는지 타당성을 확인한다.
그 이유는 육안으로 관심 물체와 백그라운드의 구분이 어려웠기 때문이다. 수중 소나 이미지에서 음영 영역은 바닥면에 물체가 인접하게 위치한다면, 물체와 한 세트처럼 나타나는 특징이 있기 때문에 이를 착안하여 물체를 찾는 정보로 활용하였다. 추적 결과는[Fig.
9]에서와 같이 침전체 영상을 얻기 위해 침전 체를 바닥면에 위치시켰다. 수표면에 있는 센서가 침전체가 있는 방향으로 배를 타고 가듯이 바닥면과 평행하게 이동하면서 이미지를 획득하였다. 이 실험은 이종간 소나 센서를 동시에 이용할시, 소나 이미지에 어떤 영향을 미칠 것인가에 대한 고찰을 갖기 위함이다.
실제 해안에서 익수자 형태의 소나 이미지를 얻기 위해[Fig. 6]와 같은 실험 장비로 대천해수욕장에서 2회에 걸친 실험을 수행하였다. 이 해안 실험이 앞에서 설명한 실내 테스트 베드 실험과 다른 점은 마네킹을 수중 바닥면에 최대한 밀착시킨 것과 마네킹에 옷을 입혔다는 것이다.
9]에서 보는바와 같이 작동 주파수의 영역 다른 이종의 소나 센서를 동시에 사용을 해도, 서로간의 이미지에 큰영향을 주지 않음을 확인할 수 있다. 이 사례 연구에서는 그림자 부분을 포함하여 물체 추적을 하였다. 그 이유는 육안으로 관심 물체와 백그라운드의 구분이 어려웠기 때문이다.
첫번째 실험 데이터를 TDI_01이라 명명하였다. 이 실험에서는 마네킹을 수중에서 침전시킨 후 실험자가 직접 소나 센서를 들고 입수하여 이미지를 획득하였다. 그렇기 때문에 안전상의 문제로 3 m이상 깊은 바다 속으로 들어가기 어려웠다.
두 번째 실험 데이터는 TDI_02라고 하였다. 이 실험은 마네킹을 수중에서 침전시킨 후 실험자가 보트를 타고 마네킹 주의를 맴돌면서 소나 이미지를 획득하였다. 두 번째 실험은 보트를 타고 안전하게 실험을 할 수 있는 거리까지 최대한 멀리 나가 실험을 진행하였다.
)을 기반으로 하여 수중 소나 이미지 내에 출현하는 휴먼 바디를 강인하게 추적해내고자 시도하였다. 특히 실내 테스트 베드에서와 실제 해안에서 실험하여 획득한 수중 소나 이미지 동영상을 이용해 마네킹 또는 다이버 등의 휴먼 바디를 추적하였다. 그리고 작동 주파수가 다른 이종 간 수중 소나 센서 데이터에 따른 결과를 비교함으로써 영상의 해상도에 따른 물체 추적 성능을 비교 분석하였다.

대상 데이터

수중 소나 센서는 TELEDYNE BlueView 사의 M900-90 멀티빔 이미징 소나를 사용하였다. 이 소나 센서의 작동 주파수는 900 kHZ, 빔폭은 90°×20°, 탐지 가능거리는 최대 100 m이다.
실험에 사용된 수중 소나 센서는 M900-90 멀티빔 이미징소나이고 침전체로 사용된 객체는 마네킹, 타이어, 사각 박스등을 이용하였다. 실험은 선박해양플랜트연구소(KRSIO)의 수중 테스트 베드에서 수행하였다.
8MHZ, 빔폭은 29°×14°, 탐지 가능거리는 최대 300 m이다. 실험은 선박해양플랜트연구소(KRSIO)에 위치한 수중 테스트 베드에서 수행하였다. 수중 테스트 베드의 최대 수심은 약 2.
실험에 사용된 수중 소나 센서는 M900-90 멀티빔 이미징소나이고 침전체로 사용된 객체는 마네킹, 타이어, 사각 박스등을 이용하였다. 실험은 선박해양플랜트연구소(KRSIO)의 수중 테스트 베드에서 수행하였다. [Fig.
본 실험에서는 회전 각도 간격을 5°로 하여 실험하였다. 실험은 한국로봇융합연구원(KIRO) 지하에 위치한 수중 테스트 베드에서 수행하였다. 수중 테스트 베드의 최대 수심은 약 10 m 가량이며, [Fig.
테스트 베드 실험에 사용된 수중 소나 센서는 M900-90 멀티빔 이미징 소나와 Sound Metrics사 DIDSON 300 멀티빔 이미징 소나를 사용하였다. 이 소나 센서의 작동 주파수는 1.

데이터처리

․ 소나 센서 빔폭내 마네킹의 위치 변화에 따른 순환 신경망의 추적 결과를 비교 분석한다.
각 영상의 마네킹 추적 결과는 [Fig. 4]에서 예측된 노란색바운딩박스와 실제값에 해당하는 빨간색 바운딩박스의 IoU값으로 평가하였다. [Fig.

이론/모형

이 대회는 물체 분류를 위해 1,000개가 넘는 종류로 분류된 100만개의 이미지를 제공하여, 연구자들의 방법론으로 분류되는 정확도를 겨루는 대회이다. 수중 소나 이미지 속의 관심 물체 탐지 연구는 Faster R-CNN기반으로 연구를 수행하였다^[12,13]. FasterR-CNN는 이미지속에 관심있는 물체를 바운딩 박스로 표시하여 위치 정보와 물체 분류를 동시에 해주는 딥러닝 모델이다^[14].
선행 연구에서는 수중 소나 이미지를 이용하여 물체 탐지 및 분류를 하는 연구를 하였다. 수중 소나 이미지를 분류하는 연구는 Convolutional Neural Networks (CNN)기반으로연구를 수행하였다^[10]. CNN은 이미지를 분류하는 딥러닝 모델로 2012년 개최된 ‘ImageNet Large Scale Visual Recognition Challenge’ 이미지 분류 분야에서 우승한 모델이다^[11].

성능/효과

그래서 마네킹은 센서로부터 최대 6 m까지 거리를 용이하게 확보할 수 있었다. TDI_02에서는 TDI_01과는 달리 마네킹의 영상 강도가 백그라운드보다 오히려 약하게 나타나는 현상을 확인할 수 있었다.
마네킹에 천 소재의 옷이 소나 이미지에 큰영향을 주지 못하였다. 각 영상의 마네킹 탐지 결과는 [Fig. 8]에서 보는바와 같이 TDI_01 이미지의 평균 IoU가 0.49로써 TDI_02 이미지의 평균 IoU보다0.07가량낮게 측정되었다. 이를 통해 백그라운드에 의한 소나 산란 현상보다 마네킹과 센서의 거리에 따른 마네킹 주변의 영상 강도가 물체 추적 성능에 영향을 주는 것을 알 수 있었다.
그래서 [12]의 논문 결과 값과 직접적으로 물체 추적 성능을 비교 할 수는 없었다. 다만 Image Data 1-Re³,Image Data 2-Re³, TDI_01-Re³, TDI_02-Re³의 물체 추적 성능을 보면 Fater R-CNN기반의 물체 추적 성능보다 높아, 간접적으로 Re³ 기반의 물체 추적 성능이 상대적으로 Faster R-CNN 기반의 물체 추적보다 좋음을 알 수 있다.
이는 소나 센서가 회전하는 동안 마네킹의 위치가 소나빔의 빔폭영역에서 다소 벗어나 있기 때문에 마네킹에 대한 이미지 강도가 현저히 떨어지게 된다. 따라서 이 결과를 통해 소나빔의 유효 빔폭경계 구역에서는 관심 물체에 대한 이미지 강도 흔적이 존재한다 하더라도 물체에 대한 추적 성능이 현저히 떨어질 수 있고 상황에 따라서는 그 위치를 놓칠 수 있는 가능성을 확인하였다. IoU 계산을 위한 식은 아래와 같다.
9]의 BlueView_Tire 이미지를 보았을 때, 백그라운드와 물체의 경계를 정확히 판단하기 난해한 부분이 있는 곳에서는 상대적으로 낮은 IoU값이 측정되었다. 반대로 [Fig. 7]의 TDI_02와[Fig. 9]의 Didson_Tire 이미지처럼 백그라운드와 물체의 경계가 명확히 구분되는 영상에서는 높은 IoU값이 측정되었고, 전체적으로 모두IoU값이 0.3을 넘었다. ‘4.
반면, TDI_01 이미지에서는 부드럽게 연결되는 경향을 갖게 된다. 이 결과를 통해 백그라운드에 의한 소나 산란 현상이 존재한다 하더라도 시각적으로 바닥면과 물체를 구별할 수 있으면 추적 할 수 있는 가능성이 있고 명확하게 구분될수록 탐지 성능이 올라감을 확인하였다.
25이다. 이는 시간적 유기성이 고려된 데이터에서 매 순간의 영상의 분류가 필요 없다면, Faster R-CNN기반으로 물체의 위치 정보를 얻어 물체 추적하는 방법보다 Re3 기반으로 물체를 추적하는 방법이 효율적임을 간접적으로 보여준다.
이는 효과적으로 물체의 구분이 강하게 된Didson_Tire 이미지가 보다 높은 추적 성능이 나오게 했다. 이를 통해 관심 물체의 구분이 명확할수록 효과적으로 탐지 성능이 올라감을 확인 할 수 있었다.
07가량낮게 측정되었다. 이를 통해 백그라운드에 의한 소나 산란 현상보다 마네킹과 센서의 거리에 따른 마네킹 주변의 영상 강도가 물체 추적 성능에 영향을 주는 것을 알 수 있었다. TDI_02 이미지를 보면 물체와 백그라운드의 이미지 강도가 확연히 구분되었다.
수중 소나 이미지에서 음영 영역은 바닥면에 물체가 인접하게 위치한다면, 물체와 한 세트처럼 나타나는 특징이 있기 때문에 이를 착안하여 물체를 찾는 정보로 활용하였다. 추적 결과는[Fig. 10]에서 보는바와 같이 Didson_Tire 이미지의 평균 IoU가 0.64로써 BlueView_Tire 이미지의 평균 IoU보다 0.14가량 높게 측정되었다. 이는 효과적으로 물체의 구분이 강하게 된Didson_Tire 이미지가 보다 높은 추적 성능이 나오게 했다.

후속연구

또한 이러한 결과는 수중 소나 이미지에 대한 파인튜닝이 진행되지 않은 상태이기 때문에 파인튜닝을 통한 물체 일반화 특징이 향상되면, 추적 성능 향상의 가능성을 보여준다.
그래서 추적하는 물체가 도중에 색상이나 모양이 변화하도 물체 추적이 가능하다. 이러한 특징이 광학 카메라 영상보다 비교적 불명확한 수중 소나 영상에 적용하기 용이할 것으로 기대하였다.
추후연구에서는 수중 소나 영상에 대한 정보를 Re³에 파인튜닝하여 수중 소나 영상에 대한 강인한 물체 추적 연구를 진행 할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	소나의 한계는 무엇인가?	또한 통신의 제약이 있는 수중환경에서는 심해 조사, 수중 감시, 해저 탐사 등의 자율 수중 로봇 내비게이션을 위해 소나 영상에 나타나는 지표가 중요한 정보가 될 수 있기 때문에 지표 추적이 절대적으로 필요하다. 하지만 소나는 센서의 물리적 작동 메커니즘에 의해 그 해상도가 다소 떨어지는 한계성을 가진다. 그럼에도 불구하고 수중 소나 센서는 수중 모니터링을 위해서는 필수불가결한 장비라 할 수 있다.
	수중 목표물 모니터링 작업의 물체 탐지와 추적을 설명하라.	수중 목표물 모니터링 작업은 크게 물체 탐지와 추적으로 나누어 볼 수 있다. 물체가 영상의 관심 영역 내에 처음 출현했을 때 그 물체를 정확하게 검출해내는 작업이 탐지라 한다면,추적의 관점에서는 이렇게 탐지된 물체를 시간의 흐름에 따라 끊임없이 강인하게 추적해낼 수 있어야 한다. 물론 매 순간의 영상마다 시간적 유기성을 배제한 체 물체를 검출해내어 그 위치 정보만을 기반으로 추적을 할 수 있겠으나 소요되는 비용이 상대적으로 클 수밖에 없다.
	Online-trained 추적기에 대해 설명하라.	이러한 알고리즘은 크게 Online-trained, Offline-trained, Hybrid 추적기인 3종류로 나누어진다. Online-trained 추적기는 가장 널리 사용되는 유형의 추적기이다. 온라인에서 작동되며, 관심 객체를지속적으로 학습시켜야한다. 그 결과 모델의 복잡성이 올라가게 된다. 이러한 대표적인 추적기로 VOT 2014에서 우승한Discriminative Scale Space Tracker (DSST)이 있다[6].

참고문헌 (15)

A. Seth, Your brain hallucinates your conscious reality, TED2017, [Online], https://www.ted.com/talks/anil_seth_your_brain_hallucinates_your_conscious_reality/transcript?languageko, Accessed: April 26, 2017.
M. Kristan et al., "The visual object tracking VOT2014 challenge results," Eur. Conf. Comput. Vision Workshops, pp. 191-217, 2014.
M. Kristan et al., "The visual object tracking VOT2015 challenge results," 2015 IEEE International Conference on Computer Vision Workshop (ICCVW), Santiago, Chile, pp. 1-23, 2015.
M. Kristan et al., "The visual object tracking VOT2016 challenge results," Eur. Conf. Comput. Vision Workshops, pp. 777-823, 2016.
M. Kristan et al., "The visual object tracking VOT2017 challenge results," 2017 IEEE International Conference on Computer Vision Workshops (ICCVW), pp. 1949-1972, 2017.
M. Danelljan, G. Hager, F. S. Khan, and M. Felsberg, "Discriminative scale space tracking," IEEE Trans. Pattern Anal. Mach. Intell., vol. 39, no. 8, pp. 1561-1575, August, 2017.

상세보기
K.Kang et al., "T-CNN: Tubelets with convolutional neural networks for object detection from videos," IEEE Trans. Circuits Syst. Video Technol., vol. 28, no. 10, pp. 2896-2907, 2018.

상세보기
H. Nam and B. Han, "Learning multi-domain convolutional neural networks for visual tracking," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4293-4302, 2016.
D. Gordon, A. Farhadi, and D. Fox., "Re3 : Real-Time Recurrent Regression Networks for Visual Tracking of Generic Objects," IEEE Robotics and Automation Letters, vol. 3, no. 2, pp. 788-795, April, 2018.

상세보기
S. Lee, "Deep Learning of Submerged Body Images from 2D Sonar Sensor based on Convolutional Neural Network," 2017 IEEE Underwater Technology (UT), pp. 1-3, 2017.
A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," Communications of the ACM, pp. 84-90, June, 2017.
S. Lee, B. Park, and A. Kim, "Deep Learning from Shallow Dives: Sonar Image Generation and Training for Underwater Object Detection," arXiv:1810.07990 [cs.RO], October, 2018.
E.-H. Lee, Y. Lee, J. Choi, and S. Lee, "Study of Marker Detection Performance on Deep Learning via Distortion and Rotation Augmentation of Training Data on Underwater Sonar Image," Journal of Korea Robotics Society, vol. 14, no. 1, pp. 14-21, March, 2019.

원문보기 상세보기
S. R en, K. He, R . Gir shick, a nd J. Sun, " Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 6, pp. 1137-1149, June, 2017.

상세보기
K. Greff, R. K. Srivastava, J. Koutnik, B. R. Steunebrink, and J. Schmidhuber, "LSTM: A search space odyssey," IEEE Trans. Neural Netw. Learn. Syst., vol. 28, no. 10, pp. 2222-2232, October, 2017.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증