소나 영상 기반의 수중 물체 인식과 추종을 위한 구조 : Part 1. 소나 영상의 특성을 고려한 인공 표식물 설계 및 인식 A Framework of Recognition and Tracking for Underwater Objects based on Sonar Images : Part 1. Design and Recognition of Artificial Landmark considering Characteristics of Sonar Images원문보기
본 논문은 탁도의 영향으로 사용이 제한적인 수중 광학 카메라의 대안으로 수중 영상 소나(imaging sonar)를 사용하여 수중 물체를 인식하여 추종하는 구조를 제안한다. Part 1에서, 영상 소나의 현실적인 성능을 고려한 2차원 인공 표식의 설계 방법과 인식 방법을 제안한다. 특히 영상 소나와 초음파의 특성을 분석하여 피인식성을 극대화 할 수 있는 재료를 선택하였으며, 물체의 모델링이 쉬운 무지향성이며 단순한 외형을 채택하고, 표식으로 사용이 가능한 영역 기반 특징 요소를 포함한 내부 형태를 제안하였다. 또한 제안한 인공 표식을 실시간으로 인식할 수 있는 방법을 제안하였다. 이 방법은 외곽선 추출, 허프-원-검출기에 의한 유사도 및 위치 추정, 형상 행렬의 비교에 의한 표식의 분류하는 알고리즘을 포함하고 있다. 제안한 인공 표식과 인식 알고리즘의 유용함을 DIDSON (영상 소나)를 사용한 수조 실험으로 검증하였다.
본 논문은 탁도의 영향으로 사용이 제한적인 수중 광학 카메라의 대안으로 수중 영상 소나(imaging sonar)를 사용하여 수중 물체를 인식하여 추종하는 구조를 제안한다. Part 1에서, 영상 소나의 현실적인 성능을 고려한 2차원 인공 표식의 설계 방법과 인식 방법을 제안한다. 특히 영상 소나와 초음파의 특성을 분석하여 피인식성을 극대화 할 수 있는 재료를 선택하였으며, 물체의 모델링이 쉬운 무지향성이며 단순한 외형을 채택하고, 표식으로 사용이 가능한 영역 기반 특징 요소를 포함한 내부 형태를 제안하였다. 또한 제안한 인공 표식을 실시간으로 인식할 수 있는 방법을 제안하였다. 이 방법은 외곽선 추출, 허프-원-검출기에 의한 유사도 및 위치 추정, 형상 행렬의 비교에 의한 표식의 분류하는 알고리즘을 포함하고 있다. 제안한 인공 표식과 인식 알고리즘의 유용함을 DIDSON (영상 소나)를 사용한 수조 실험으로 검증하였다.
This paper proposed a framework of recognition and tracking for underwater objects using sonar images as an alternative of underwater optical camera which has the limitation of usage due to turbidity. In Part 1, a design and recognition method for 2D artificial landmark was proposed considering the ...
This paper proposed a framework of recognition and tracking for underwater objects using sonar images as an alternative of underwater optical camera which has the limitation of usage due to turbidity. In Part 1, a design and recognition method for 2D artificial landmark was proposed considering the practical performance of current imaging sonars. In particular, its materials are selected in order to maximize detectability based on characteristics of imaging sonar and ultrasonic waves. It has a simple and omni-directional shape which allows an easy modeling of object, and it includes region based features as identifications. Also, we proposed a real-time recognition algorithm including edge detector, Hough circle transforms, and shape matrix based recognition algorithm. The proposed methods are verified by basin tests using DIDSON.
This paper proposed a framework of recognition and tracking for underwater objects using sonar images as an alternative of underwater optical camera which has the limitation of usage due to turbidity. In Part 1, a design and recognition method for 2D artificial landmark was proposed considering the practical performance of current imaging sonars. In particular, its materials are selected in order to maximize detectability based on characteristics of imaging sonar and ultrasonic waves. It has a simple and omni-directional shape which allows an easy modeling of object, and it includes region based features as identifications. Also, we proposed a real-time recognition algorithm including edge detector, Hough circle transforms, and shape matrix based recognition algorithm. The proposed methods are verified by basin tests using DIDSON.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 수중 영상 소나를 이용한 효과적인 수중 물체 인식과 추종을 위한 방법으로 영상 소나의 성능에 적합한 2차원 인공 표식의 설계 방법과 인식 방법을 제안한다. 특히 일반적인 영상 소나의 특징과 이에 사용되는 초음파의 특성을 분석하고 이에 최적화된 재질과 형태로 인공 표식을 제안하였다.
본 논문에서는 영상 소나가 초음파를 이용하는 것에 착안하여 소나 영상에 적합한 인공 표식의 재료와 형태를 제안한다. 특히, 수중에 투입될 것을 감안하여 수동형 표식물, 수중 환경과 대비한 인식성, 소형이며 경량일 것을 추가 조건으로 설정하였다.
본 논문에서는 위 조건을 기반으로 그림 6과 같은 인공 표식을 제안한다. 이 표식은 부식 방지된 철판에 겔-스톤으로 제작되었으며, 원의 실제 크기는 22cm이다.
본 실험에서는 아래보기 각도에 의해 변화된 물체 모델과 실제 영상에 나타난 인공 표식물을 비교하여 어느 정도 유사한지 검증한다. 그림 9는 계산에 의해 구해진 모델의 형상을 실제 소나 영상 위에 함께 나타내었다.
본 논문의 본론 1에서 인공 표식물의 설계를 위한 조건을 제시하고, 2에서 이 조건으로부터 설계된 인공 표식의 예를 보인다. 본론 3에서는 이 인공 표식물을 인식하기 위한 방법을 제안한다. 제안한 인공 표식물과 인식 방법의 유효성을 실험을 통해 검증하여 그 결과를 III.
본 논문에서는 수중 영상 소나를 이용한 효과적인 수중 물체 인식과 추종을 위한 방법으로 영상 소나의 성능에 적합한 2차원 인공 표식의 설계 방법과 인식 방법을 제안한다. 특히 일반적인 영상 소나의 특징과 이에 사용되는 초음파의 특성을 분석하고 이에 최적화된 재질과 형태로 인공 표식을 제안하였다. 또한 인식 방법을 설계 단계에서 고려하여 외부의 형태는 원으로, 내부는 영역으로 정보를 표현하도록 하였다.
제안 방법
구체적인 방법으로 취득한 소나 영상에서 케니 선 검출기를 사용하여 윤곽선을 추출하고 인공 표식의 물체 모델과 추출된 윤곽선 사이의 유사도를 판별한다. 본 논문에서는 다양한 유사도 판별법 중에서 허프-원-검출기(hough circle transform)를 사용하였다[15].
영상 소나는 광학 카메라와는 달리 빛을 사용하지 않기 때문에 빛과 관련된 어떠한 특징도 유효하지 않다. 대신 영상 소나는 초음파를 전송하여 물체에 반사되어 돌아오는 초음파의 시간과 세기를 측정하는 원리를 사용한다. 따라서 이 시간으로부터 물체까지의 거리를 얻고, 세기로부터 물체의 외형적인 특징을 얻어 흑백의 영상으로 구성하게 된다.
본 논문에서는 소나 영상의 다양한 특징과 인식을 위한 사전 연구 결과를 기반으로, 외부는 원형이며 내부에는 영역의 분할 방법을 이용한 형태의 인공 표식물을 제안한다. 외형이 원이기 때문에 무지향성의 특징을 가지며 외형이 각이 없기 때문에 잡음에 강하다.
식별 코드 인식을 위한 검증 실험을 수행하였다. 인식기법이 적용되기 전 영상 개선을 위해 중간값(median) 및 양방향(bilateral) 필터 과정이 수행되고, 적응형 임계치(adaptive thresholding) 기법을 사용하여 영상을 이진화 한다.
또한 인식 방법을 설계 단계에서 고려하여 외부의 형태는 원으로, 내부는 영역으로 정보를 표현하도록 하였다. 아울러 외곽선 추출, 허프-원-검출기에 의한 유사도와 위치 판별 방법, 그리고 형상 행렬의 비교에 의한 표식의 인식 방법을 연속적으로 적용하여 실시간으로 표식의 인식이 가능한 알고리즘을 제안하였다. 전체 과정은 성능이 우수한 영상 소나 중에 DIDSON을 사용하여 수조 실험으로 검증하였다.
표면이 거친 재질은 주로 암석이나 콘크리트 재료에서 찾을 수 있고, 반면 표면이 매끄러운 재질은 금속판 또는 플라스틱 계열의 재료에서 찾을 수 있다. 여러 가지 재료를 투입한 실험에서 위 초음파의 특징을 확인하였으며, 앞에서 언급한 조건을 가장 잘 만족하는 방법으로 부식 방지 처리가 된 금속 철판에 건축자재의 일종인 겔-스톤으로 인공 표식을 형상화하는 방법을 결정하였다. 부식 방지된 철판은 초음파의 투과가 적고 반사율이 높으며 알루미늄에 비해 가격이 저렴하면서 적당히 무계가 있어 수중 장착이 용이한 장점이 있다.
이는 인식의 결과를 자율 수중 로봇의 항법에 사용될 것을 목적으로 하기 때문에 특정 정보를 포함한 인공 표식물의 인식이 충분히 의미를 가진다고 할 수 있다. 이를 위해 소나 영상의 특징 분석을 통해 이에 적합한 인공 표식물의 설계 방법을 제안하고, 3차원 공간에 놓이는 인공 표식의 인식 방법을 제안한다. 인식 성능을 높이기 위해 인공 표식의 설계와 인식 방법이 동시에 고려되었으며, 모든 진행과정은 실험을 통한 검증 절차를 거쳤다.
인공 표식물 내부에 있는 식별 코드의 인식을 위해서 사전에 알고 있는 기준 형상 행렬(reference shape matrix)과 영상으로부터 검출된 형상 행렬(extracted shape matrix)을 비교하여 영역의 형태를 인식하는 방법을 사용하였다[16].
아울러 외곽선 추출, 허프-원-검출기에 의한 유사도와 위치 판별 방법, 그리고 형상 행렬의 비교에 의한 표식의 인식 방법을 연속적으로 적용하여 실시간으로 표식의 인식이 가능한 알고리즘을 제안하였다. 전체 과정은 성능이 우수한 영상 소나 중에 DIDSON을 사용하여 수조 실험으로 검증하였다.
제안된 설계 조건을 바탕으로 구현된 인공 표식물의 성능을 검증하기 위해 한국해양과학기술원 선박해양플랜트연구소 내 해양장비 실험용 수조에서 검증 실험을 수행하였다.
본 논문에서는 영상 소나가 초음파를 이용하는 것에 착안하여 소나 영상에 적합한 인공 표식의 재료와 형태를 제안한다. 특히, 수중에 투입될 것을 감안하여 수동형 표식물, 수중 환경과 대비한 인식성, 소형이며 경량일 것을 추가 조건으로 설정하였다.
대상 데이터
영상 소나의 예로서 그림 1-(a)는 세계적으로 가장 성능이 우수한 소나 중에 하나이며 본 연구에서 사용한 미국 Sound metrics 社의 Dual-frequency identification sonar (DIDSON)이다[8]. 영상 소나는 초음파가 물체에 반사되고 돌아오는 신호의 시간과 세기로 각 화소를 표현하기 때문에 광학 영상과 비슷한 형태를 띠고 있으나, 그림 1-(b)에서 보는 바와 같이 화질이 매우 낮고 잡음이 많아 물체의 자세한 형상 표현이 어렵고, 색을 표현할 수 없기 때문에 물체의 구별이 쉽지 않다.
본 논문에서는 소나 영상에서 취득한 영상의 현실적인 품질 수준을 감안하여 2차원의 인공 표식물을 대상으로 하였다. 이는 인식의 결과를 자율 수중 로봇의 항법에 사용될 것을 목적으로 하기 때문에 특정 정보를 포함한 인공 표식물의 인식이 충분히 의미를 가진다고 할 수 있다.
데이터처리
본론 3에서는 이 인공 표식물을 인식하기 위한 방법을 제안한다. 제안한 인공 표식물과 인식 방법의 유효성을 실험을 통해 검증하여 그 결과를 III. 실험에 나타내었고, 마지막으로 결론을 내렸다.
이론/모형
구체적인 방법으로 취득한 소나 영상에서 케니 선 검출기를 사용하여 윤곽선을 추출하고 인공 표식의 물체 모델과 추출된 윤곽선 사이의 유사도를 판별한다. 본 논문에서는 다양한 유사도 판별법 중에서 허프-원-검출기(hough circle transform)를 사용하였다[15]. 원형 인공 표식물의 물체 모델(object model)은 영상 소나(sonar)의 아래보기 각도(tilt, 수면 기준)와 소나 영상에서 보는 실제 범위(range, 영상 Y축)를 통해 나오는 스케일(scale) 값이 고려되어 얻어진다.
인식기법이 적용되기 전 영상 개선을 위해 중간값(median) 및 양방향(bilateral) 필터 과정이 수행되고, 적응형 임계치(adaptive thresholding) 기법을 사용하여 영상을 이진화 한다. 이진화된 영상에 앞 절에서 언급된 형상 행렬 인식 기법을 적용하여 인식을 수행하였다.
성능/효과
2m/s 정도로 이동되고 매 영상을 기준으로 영상처리 수행시간은 평균적으로 150ms가 소요되었다. 각 영상에 나타난 것과 같이 인공 표식물을 정확하게 식별하고 위치로 정확하게 가리키고 있음을 알 수 있다.
위 방법은 영역의 형태뿐 아니라 구현된 인공 표식물의 인식 과정에서 표식물의 회전 값까지 연산할 수 있으며, 이를 통해 인공 표식물을 바라보는 방향(Z축 기준)을 알 수 있다. 결과적으로 인공 표식물과 영상 소나와의 3차원 위치추정으로 확장이 가능하다.
후속연구
본 논문에서 제안한 원을 검출 방법과 영역의 형태를 인식하는 방법에 추가하여 보다 잡음에 강인한 방법을 병렬로 적용하는 것을 고려할 수 있다. 또한 수조 환경이 아닌 실제 해양 환경에서는 매우 복잡한 형태의 배경과 잡음이 존재하는 이유로 보다 강인한 방법의 적용이 필요하다고 생각할 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
영상 소나의 원리는 무엇인가?
영상 소나는 광학 카메라와는 달리 빛을 사용하지 않기 때문에 빛과 관련된 어떠한 특징도 유효하지 않다. 대신 영상 소나는 초음파를 전송하여 물체에 반사되어 돌아오는 초음파의 시간과 세기를 측정하는 원리를 사용한다. 따라서 이 시간으로부터 물체까지의 거리를 얻고, 세기로부터 물체의 외형적인 특징을 얻어 흑백의 영상으로 구성하게 된다.
수중에서 광학영상을 취득 시 가장 큰 장애물은 무엇인가?
수중에서 광학영상을 취득하는 것은 빛이 통과하는 매체가 다른 까닭으로 공기 중과 많은 차이점을 보이나 특히, 높은 탁도와 부족한 조명이 가장 두드러진 어려움으로 인식되고 있다. 특히 수심이 낮은 천해의 경우, 불균질한 햇빛의 영향과 수면 반사에 의한 심한 빛의 왜곡 그리고 높은 탁도의 영향으로 현실적으로 수중 광학 카메라의 사용이 매우 제한될 수밖에 없다.
본 연구에서 제안하는 인공 표식의 시인성을 극대화하는 방법은 무엇인가?
표면이 거친 재질은 주로 암석이나 콘크리트 재료에서 찾을 수 있고, 반면 표면이 매끄러운 재질은 금속판 또는 플라스틱 계열의 재료에서 찾을 수 있다. 여러 가지 재료를 투입한 실험에서 위 초음파의 특징을 확인하였으며, 앞에서 언급한 조건을 가장 잘 만족하는 방법으로 부식 방지 처리가 된 금속 철판에 건축자재의 일종인 겔-스톤으로 인공 표식을 형상화하는 방법을 결정하였다. 부식 방지된 철판은 초음파의 투과가 적고 반사율이 높으며 알루미늄에 비해 가격이 저렴하면서 적당히 무계가 있어 수중 장착이 용이한 장점이 있다.
참고문헌 (17)
P. Corke, C. Detweiler, M. Dunbabin, M. Hamilton, D. Rus, and I. Vasilescu, "Experiments with underwater robot localization and tracking," in Proc. IEEE International Conference on Robotics and Automation, pp.4556-4561, 2007.
KM. Han, Y. Lee and HT. Choi, "3 phased state recognition method for close distances docking of underwater robots", in Proc. The 7th Korea Robotics Society Annual Conference, gangneong, South korea, Jun 2012.
A. Negre, C. Pradalier, and M. Dunbabin. "Robust vision-based underwater target identification and homing using self similar landmarks," Journal of Field Robotics, vol. 25, pp.360-377, 2008.
N. Y. Ko, T. G. Kim, and Y. S. Moon, "Particle Filter Approach for Localization of an Underwater Robot Using Time Difference of Arrival," in Proc. IEEE/MTS Oceans, 2012.
R. S. McEwen, B. W. Hobson, L. McBride, and J. G. Bellingham, "Docking Control System for a 54-cm-Diameter (21-in) AUV," IEEE Journal of Oceanic Engineering, vol 33, no. 4, Oct 2008.
J. Y. Park, B. H. Jun, P. M. Lee, F. Y. Lee, and J. H. Oh, "Experiment on Underwater Docking of an Autonomous Underwater Vehicle 'ISiMI' using Optical Terminal Guidance," in Proc. IEEE Oceans Europe, June 2007.
X. Cufi, G. Rafael, and P. Ridao. "An approach to vision-based station keeping for an unmanned underwater vehicle," in Proc. IEEE/RSJ International Conference on Intelligent Robots and Systems, vol. 1. pp.799-804, 2002.
E. O. Belcher, W. H. Hanot and J. Burch, "Dual-Frequency identification Sonar(DIDSON)," in Proc. International Symposium on Underwater Technology, pp.187-192, Tokyo, Japan, April 2002.
S. L. Maxwell, and N. E. Gove, "The Feasibility of estimating migrating salmon passage rates in turbid rivers using a dual frequency identification sonar (DIDSON)," Alaska Department of Fish and Game Regional Information Report, March 2004.
S. C. Yu, A. Akira, S. Weatherwax, B. Collins, and J. K. Yuh, "Development of high-resolution acoustic camera based real-time object recognition system by using autonomous underwater vehicle," in Proc. MTS/IEEE Oceans, Boston, USA, Sep 2006.
S. C. Yu, "Development of real-time acoustic image recognition system using by autonomous marine vehicle," Journal of ocean engineering, vol. 25, no. 1, pp.90-105, Jan 2008.
L. N. Brisson, P. P. Beaujean, and S. Negahdaripour, "Multiple-aspect Fixed Range Template Matching for the detection and classification of underwater unexploded ordnance in DIDSON sonar images," in Proc. IEEE Oceans, Sept. 2010.
J. Y. Kim and K. J. Ahn, "Basic physics and artifact of ultrasound," Journal of clinical otolaryngol, vol. 18, no. 2, pp.135-143, 2007.
Y. Lee and HT. Choi, "A comparative study on feature extraction methods for environment recognition using underwater acoustic image," in Proc. The 8th Korea Robotics Society Annual Conference, pp.549-552, South korea, May 2013.
H. Rhody, "Lecture 10: Hough Circle Transform," Chester F. Carlson Center for Imaging Science, Rochester Institute of Technology, 2005.
A. Goshtasby, "Description and Discrimination of Planar Shape Using Shape matrices," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. PAMI-7, no.6, pp.778-743, Nov. 1985.
Y. Lee, KM. Han and HT. Choi "Design and implementation of artificial landmark for under-water acoustic camera," in Proc. Information and control symposium, pp.215-216, Seoul, South korea, Sep 2012.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.