[논문]비행로봇의 항공 영상 온라인 학습을 통한 지상로봇 검출 및 추적

김승훈; 정일균

doi:10.7746/jkros.2015.10.2.104

비행로봇의 항공 영상 온라인 학습을 통한 지상로봇 검출 및 추적
UGR Detection and Tracking in Aerial Images from UFR for Remote Control 원문보기

로봇학회논문지 = The journal of Korea Robotics Society, v.10 no.2, 2015년, pp.104 - 111

김승훈 (Intelligent Robotics Research Center, Korea Electronics Technology Institute) , 정일균 (Intelligent Robotics Research Center, Korea Electronics Technology Institute)

Abstract ▼ AI-Helper

In this paper, we proposed visual information to provide a highly maneuverable system for a tele-operator. The visual information image is bird's eye view from UFR(Unmanned Flying Robot) shows around UGR(Unmanned Ground Robot). We need UGV detection and tracking method for UFR following UGR always. The proposed system uses TLD(Tracking Learning Detection) method to rapidly and robustly estimate the motion of the new detected UGR between consecutive frames. The TLD system trains an on-line UGR detector for the tracked UGR. The proposed system uses the extended Kalman filter in order to enhance the performance of the tracker. As a result, we provided the tele-operator with the visual information for convenient control.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 비행 로봇에서 촬영한 비전 정보를 바탕으로 온라인 학습을 이용한 지상 로봇의 위치를 추적 및 검출하는 방법에 대해 설명하였다. 지상 로봇을 비행 로봇이 스스로 추적하고, 지상 로봇 주위의 실제 영상을 제공하여 원격 조작자가 조종을 원활하게 할 수 있었다.
본 논문에서는 비행로봇에서 촬영한 비전 정보를 가지고 TLD를 이용하여 지상로봇의 위치를 추적하고, 추적 결과를 이용하여 비행로봇이 지상로봇을 스스로 추종할 수 있는 제어 정보와 지상로봇 주위 항공사진을 제공하는 방법을 제시하였다.
학습기의 목적은 입력 비디오의 연속 영상에서 검출기의 성능을 온라인으로 개선하는 것이다. 기존에 레이블된 데이터와 레이블되지 않은 입력 데이터를 가지고 학습을 시키는 Semi-Supervised Learning방법이 있다.

가설 설정

P-expert는 연속 비디오 영상에서의 시간적 구조를 활용하여 물체가 경로를 따라 이동한다고 가정한다. 이전 프레임에서 객체의 위치를 기억하고, 프레임 간 추적기를 이용하여 위치를 추정한다.

제안 방법

비정상적인 특징점들이 제외된 KLT 추적 점들의 집합 값에서 중앙값으로 하는 지상로봇의 변위를 계산한다. 최종적인 경계상자의 추적을 위해서 칼만필터를 이용하였다.
일반 무인 지상로봇을 단독으로 제어하는 기존의 방식은 지상 로봇 자체에 부착된 카메라와 부가 센서들에서 제공되는 편협적인 정보에 의존하기 때문에 임무지역과 멀리 떨어진 원거리에서 제어하기에는 많은 어려움이 따른다. 이를 극복하기 위해 본 연구에서는 지상로봇을 추종(Following)하는 비행로봇을 이용하여 항공 영상정보를 조작자에게 제공한다. 항공 이미지를 제공하기 위해 조작자의 직접적인 제어 없이도 지상로봇의 주변 지형 정보를 제공하고, 필요에 따라서는 임무수행을 위해 다양한 각도에서 근접해 촬영된 영상정보를 조작자에게 제공한다.
식(6)과 식(7)을 이용하여 상태를 갱신한다. 지상로봇을 추적하는 각각의 프레임마다 칼만필터의 예측과 갱신과정을 반복하면서 지상 로봇을 추적한다.
이를 극복하기 위해 본 연구에서는 지상로봇을 추종(Following)하는 비행로봇을 이용하여 항공 영상정보를 조작자에게 제공한다. 항공 이미지를 제공하기 위해 조작자의 직접적인 제어 없이도 지상로봇의 주변 지형 정보를 제공하고, 필요에 따라서는 임무수행을 위해 다양한 각도에서 근접해 촬영된 영상정보를 조작자에게 제공한다. 이를 위하여 비행로봇은 지상로봇을 자동으로 추적하는 기능이 탑재되어야 한다.

대상 데이터

비행로봇은 10m에서 100m까지의 고도에서 항공영상을 촬영하였으며 표 1, 그림 13과 같은 결과를 얻을 수 있었다.
성능 검증을 위해 다양한 환경에서의 항공사진을 촬영하여 사용하였다. 실험은 Intel Core i7-4500U CPU @ 1.
항공 입력 영상은 30fps로 취득한 800×600 크기의 영상으로 구성된다.

데이터처리

비정상적인 특징점들이 제외된 KLT 추적 점들의 집합 값에서 중앙값으로 하는 지상로봇의 변위를 계산한다. 최종적인 경계상자의 추적을 위해서 칼만필터를 이용하였다. 칼만필터를 이용한 경계상자 추적 예측단계는 식(3), (4)와 같다.

이론/모형

검출은 초기에 지상로봇의 긍정패치(Positive Patch) 영역을 입력하는 과정이다. 지상로봇을 실시간으로 검출하기 위해서 Harr-Like 특징을 이용한다. Harr-like 특징은 적분영상을 이용한 구조가 매우 단순한 약한 분류기이며 이를 Adaboost를 이용하여 Cascade 구조의 강한 분류기로 학습한다.
지상로봇이 포함된 경계상자의 움직임을 추적하기 위해서 KLT(Kanade Lucas Tomasi) 추적기를 이용하였다. 경계상자 안에서 특징점의 움직임을 추정한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	항공 이미지를 제공하기 위해 탑재되어야 하는 것은 무엇인가?	항공 이미지를 제공하기 위해 조작자의 직접적인 제어 없이도 지상로봇의 주변 지형 정보를 제공하고, 필요에 따라서는 임무수행을 위해 다양한 각도에서 근접해 촬영된 영상정보를 조작자에게 제공한다. 이를 위하여 비행로봇은 지상로봇을 자동으로 추적하는 기능이 탑재되어야 한다. 비행로봇이 자동으로 무인 지상 로봇을 추종하기 위해 비행로봇에 설치된 비전센서로부터 입력된 이미지 상에 지상로봇의 위치를 찾고 추적하는 기술이 필수적이다.
	일반 무인 지상로봇을 단독으로 제어하는 기존의 방식의 어려움은 무엇인가?	일반 무인 지상로봇을 단독으로 제어하는 기존의 방식은 지상 로봇 자체에 부착된 카메라와 부가 센서들에서 제공되는 편협적인 정보에 의존하기 때문에 임무지역과 멀리 떨어진 원거리에서 제어하기에는 많은 어려움이 따른다. 이를 극복하기 위해 본 연구에서는 지상로봇을 추종(Following)하는 비행로봇을 이용하여 항공 영상정보를 조작자에게 제공한다.
	검출은 어떤 과정인가?	검출은 초기에 지상로봇의 긍정패치(Positive Patch) 영역을 입력하는 과정이다. 지상로봇을 실시간으로 검출하기 위해서 Harr-Like 특징을 이용한다.

참고문헌 (17)

J. P. Lewis, "Fast Template Matching," Vision Interface, p. 120-123, 1995.
P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features," in Proc. CVPR conf., vol. I, pp. 511-518, 2001
Z. Kalal, K. Mikolajczyk, and J. Matas, "Tracking- Learning-Detection," IEEE trans. Pattern Analysis and Machine Intelligence, vol. 34, no. 7, Jul. 2012.
Z. Kalal, J. Matas, and K. Mikolajczyk, "P-N learning: Bootstrapping binary classifiers by structural constraints," in Proc. CVPR conf., pp. 49-56, Jun. 2010.
http://www.msss.com/all_projects/msl-mahli.php
http://www.fujitsu.com/downloads/MICRO/fma/pdf/360_OmniView_AppNote.pdf
http://www.nrec.ri.cmu.edu/projects/sacr/
http://www.uas-europe.se/index.php/products/skyview-ground-control-station-software
J. Shi and C. Tomasi, "Good features to track," in Proc. CVPR conf., pp. 593-600, Jun. 1994.
Z. Kalal, K. Mikolajczyk, and J. Matas, "Forward- Backward Error:Automatic Detection of Tracking Failuers," International Conference on Pattern Recognition, pp. 23-26, 2010.
V. Lepetit and P. Fua, "Keypoint recognition using randomized trees.," IEEE transactions on pattern analysis and machine intelligence, vol. 28,pp. 1465-79, Sept. 2006.

상세보기
M. Ozuysal, P. Fua, and V. Lepetit, "Fast Keypoint Recognition in Ten Lines of Code," Conference on Computer Vision and Pattern Recognition, 2007.
M. Calonder, V. Lepetit, and P. Fua, "BRIEF : Binary Robust Independent Elementary Features," European Conference on Computer Vision, 2010.
L. Breiman, "Random forests," Machine Learning, vol. 45, no. 1, pp. 5-32, 2001.
M. Brown and D. Lowe, "Recognising Panoramas," Proc. Ninth Int'l Conf. Computer Vision, pp. 1218-1227, 2003. International Joint Technology Development Project
Bo Gil Seo, Yungeun Choe, Hyun Chul Roh, Myung Jin Chung, "Graph-based Segmentation for Scene Understanding of an Autonomous Vehicle in Urban Environments", Journal of Korea Robotics Society (2014) 9(1):001-010

원문보기 상세보기
Sungsik Huh, Sungwook Cho, David Hyunchul Shim, "3-D Indoor Navigation and Autonomous Flight of a Micro Aerial Vehicle using a Low-cost LIDAR", Journal of Korea Robotics Society (2014) 9(3):154-159

원문보기 상세보기

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증