[논문]자동 비행 소형 무인 회전익항공기의 영상정보를 이용한 지상 이동물체 추적 연구

강태화; 백광열; 목성훈; 이원석; 이동진; 임승한; 방효충

doi:10.5139/jksas.2010.38.5.490

자동 비행 소형 무인 회전익항공기의 영상정보를 이용한 지상 이동물체 추적 연구
Tracking of ground objects using image information for autonomous rotary unmanned aerial vehicles 원문보기

한국항공우주학회지 = Journal of the Korean Society for Aeronautical & Space Sciences, v.38 no.5, 2010년, pp.490 - 498

강태화 (KAIST 항공우주공학과 대학원) , 백광열 (KAIST 항공우주공학과 대학원) , 목성훈 (KAIST 항공우주공학과 대학원) , 이원석 (KAIST 항공우주공학과 대학원) , 이동진 (KAIST 항공우주공학과 대학원) , 임승한 (KAIST 항공우주공학과 대학원) , 방효충 (KAIST 항공우주공학과)

초록
AI-Helper

본 논문에서는 소형 무인항공기에 영상 획득용 카메라를 장착하여 지상의 이동물체를 자동으로 추적하고 지상으로 영상정보를 지속적으로 전송하는 기술 및 관련 이론에 대한 연구를 다루고 있다. 본 연구에 사용된 회전익 무인항공기에는 소형 고성능의 영상획득 장치와 지상표적에 대한 식별 지향 자동추적 알고리즘이 탑재되었고 더욱 안정된 영상추적을 위해 영상 안정화 기법을 추가적으로 적용하였다. 최종적으로 모든 연구내용에 대해 비행시험을 수행하여 그 성능을 검증하였다.

Abstract ▼ AI-Helper

This paper presents an autonomous target tracking approach and technique for transmitting ground control station image periodically for an unmanned aerial vehicle using onboard gimbaled(pan-tilt) camera system. The miniature rotary UAV which was used in this study has a small, high-performance camera, improved target acquisition technique, and autonomous target tracking algorithm. Also in order to stabilize real-time image sequences, image stabilization algorithm was adopted. Finally the target tracking performance was verified through a real flight test.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 연구의 효율적인 수행을 위해 기존에 개발된 회전익 무인항공기의 기체성능 개선, 시스템 안정화, 그리고 영상획득 장치의 소형화를 우선적으로 구현하였다.
본 논문은 영상기반의 무인항공기를 이용하여 지상의 정지 및 이동물체를 자동으로 추적하고 그 영상정보를 지상으로 연속적으로 전송·처리하는 기술 및 관련 이론에 대한 연구를 다루고 있다.
본 연구에서는 팬(Pan/좌우회전)·틸트(Tilt/상하 회전)의 2축 자유도가 확보된 김발 시스템을 적용 하였고 표적을 지향하기 위한 기준은 영상 내의 중심으로 설정하였다.

제안 방법

목표 색상성분 분석에서는 RGB, HSV 등 여러 컬러 공간이 사용될 수 있는데 본 연구에서는 HSV 컬러 공간의 색상(Hue) 채널을 이용하였다. 영상 내 목표 검출을 위해 우선 일반적인 방법인히스토그램 역투영(Histogram Back-Projection)을 이용하여 확률분포 영상을 얻는다[10].
본 연구에서는 복잡한 지상 환경 및 추적물체의 다양한 움직임을 고려하여 무인항공기 플랫폼으로 소형 회전익 항공기를 채택하였고 위의 제한사항을 극복하기 위해 진동 및 충격흡수를 위한 댐퍼장치를 사용하였고 무인항공기의 보강설계를 수행하였다. 또한 안정된 물체 추적을 위해 컬러(Color)기반 추적 알고리즘과 김발카메라를 이용한 실시간 표적지향 알고리즘을 사용하였다.
본 연구에서는 영상 안정화를 위해 광학식 흔들림 보정기능을 가진 카메라를 사용하였고 이를 더욱 개선하기 위해 획득된 영상을 이용한 디지털 영상 보정 기법을 추가적으로 적용하였다. 디지털 영상 보정 기법은 전(Before)영상 프레임과 후(After) 영상 프레임의 변화에 대한 상관관계를 구하고 이를 통해 하나의 영상으로 정합하는 과정으로 진행된다.
영상 내 물체를 인식하는 기법으로 기존 표적의 정보를 활용한 영상매칭(Image-matching), 표적의 점이나 모서리 등의 특징점 추출, 컬러인식 기법 등이 있다. 본 연구에서는 주위 배경과 구분이잘 되는 목표물이 있다는 가정 하에 높은 인식률과 안정적인 알고리즘 구조를 가진 컬러(색상)인식 기반의 표적획득 방법을 적용하였다.
앞 절에서의 실시간 목표물 식별·추적 기법, 영상 안정화 기법을 적용하여 실제 지상표적에 대한 비행시험을 수행하였다.

대상 데이터

본 논문은 크게 무인항공기 및 영상시스템 소개, 실시간 영상처리 및 추적, 비행시험의 내용으로 구성되어 있다. 실시간 영상처리 부분에서는 영상 획득·지향·추적·안정화 기법에 대한 이론요약 및 실험결과를 제시하였고, 이에 대한 세부적인 내용 및 추가적인 영상자료는 참고자료[7][8]에 상세히 기술되어 있다.
본 연구에 사용된 기체는 비행제어 컴퓨터, GPS, IMU, 광학 영상시스템, 자동비행 알고리즘 등이 적용된 소형 회전익 무인항공기이다. 그리고 26cc의 가솔린 엔진을 장착하여 적재중량 성능 및 비행 안정도를 향상시켰다.
영상시스템은 카메라, 영상 송·수신기, 김발장치, 서보, 댐퍼(Damper)로 구성되어 있다.
카메라는 소니사의 광학줌 CCD 모듈인 FCB EX-980S 모델을 사용하였고, 영상 송·수신기는 밀리콤사의 제품을 사용하였다.

이론/모형

본 연구에서는 복잡한 지상 환경 및 추적물체의 다양한 움직임을 고려하여 무인항공기 플랫폼으로 소형 회전익 항공기를 채택하였고 위의 제한사항을 극복하기 위해 진동 및 충격흡수를 위한 댐퍼장치를 사용하였고 무인항공기의 보강설계를 수행하였다. 또한 안정된 물체 추적을 위해 컬러(Color)기반 추적 알고리즘과 김발카메라를 이용한 실시간 표적지향 알고리즘을 사용하였다. 컬러기반 추적 알고리즘의 경우 기존 연구에서는 색상정보만을 이용한 알고리즘 특성상 지상 및 근거리 상황에서 주로 적용되어 왔다[5][6].
본 연구에서는 목표물 추적 방법으로 목표물의 상태변화에 강인한 CAMShift (Continuously Adaptive Mean Shift) 알고리즘을 적용하였다. CAMShift 알고리즘의 기본인 MeanShift 알고리즘은 명암분포의 평균값에 의해 만들어진 고정된 크기의 탐색창을 이용하는 기법으로써 지난 프레임의 물체 위치를 탐색창의 초기 위치로 정하고 확률이 높은 쪽(픽셀 값이 높은 쪽)으로 이동하여 물체를 추적하는 방법을 사용한다[11].
목표 색상성분 분석에서는 RGB, HSV 등 여러 컬러 공간이 사용될 수 있는데 본 연구에서는 HSV 컬러 공간의 색상(Hue) 채널을 이용하였다. 영상 내 목표 검출을 위해 우선 일반적인 방법인히스토그램 역투영(Histogram Back-Projection)을 이용하여 확률분포 영상을 얻는다[10]. 히스토그램은 영상의 원하는 정보를 픽셀별로 빈(Bin)으로 양자화하여 영상처리에 필요한 시간을 단축시키고, 비슷한 정보의 픽셀들을 클러스터로 모은다.
이를 해결하기 위해 본 연구에서는 위의 알고리즘에 가중치 부여·잡음 제거·영상 안정화 기법을 적용하였다.
전·후 영상간의 관계를 바탕으로 특징점 추출및 추적의 과정이 진행된다. 특징점 추출을 위해 영상 내 모서리 특징점 추출 알고리즘(상대적 확률분포 비교)[17]을 적용하였으며, 전영상 프레임과 후영상 프레임의 특징점 추적을 위해 Lucas-Kanade 알고리즘[18]을 적용하였다. 특징점 추출의 결과는 Fig.

성능/효과

(3) MeanShift 알고리듬을 반복한다.
11은 특징점 추출, 영상 Warping 후 영상 정합을 수행한 결과를 보여준다. 결과에서 보듯이 영상 Warping 및 정합 과정을 통해 전영상과 비슷한 후영상을 획득함으로써 지속적으로 안정된 영상 획득이 가능함을 확인할 수 있다.
여기서 ‘C' 표시는 영상평면의 중앙을 나타내고 사각형 블록은 포착된 표적을 나타낸다. 결과에서 보듯이 지상국 운용자가 지정한 영상 내의 표적에 대해 영상처리 알고리즘을 적용하여 표적을 인식하고, 이를 통해 생성된 표적블록을 김발 제어를 이용하여 영상의 중앙에 위치시킴으로써 안정된 표적지향이 이루어짐을 확인할 수 있다. 또한 회전익 무인항공기의 자체진동 및 외부 기상의 영향에도 불구하고 비교적 선명한 영상을 획득하였는데 이는 진동흡수 댐퍼를 장착하고 영상 안정화 기법을 적용하였기 때문이다.
본 연구에 사용된 기체는 비행제어 컴퓨터, GPS, IMU, 광학 영상시스템, 자동비행 알고리즘 등이 적용된 소형 회전익 무인항공기이다. 그리고 26cc의 가솔린 엔진을 장착하여 적재중량 성능 및 비행 안정도를 향상시켰다.
표적 이동의 불규칙성, 무인항공기 자체의 진동, 기상변화 등은 표적의 지속적인 획득과 지향을 어렵게 만드는 큰 요인들이었지만 구조물 사이의 댐퍼장착, 김발시스템에 의한 실시간 팬·틸트 제어, 그리고 영상 안정화 기법을 적용함으로써 이를 해결할 수 있었다. 또한 HSV의 색상(Hue) 정보에 대한 히스토그램 역투영 알고리즘과 CAMShift 알고리즘이 적용된 컬러기반 표적 추적 영상처리를 통해 정확한 표적인식 및 지속적인 추적성능의 향상을 가져올 수 있었다.
3은 실제 자동비행 결과 데이터를 보여주고 있다. 이를 통해 자동비행 시스템이 제어명령에 따라 잘 추종한다는 것을 확인할 수 있다. 기타 자동비행에 관련된 설명 및 실험데이터는 참고문헌[9]에 상세히 제시되어 있다.
FCC는 자동화 시스템의 기본이면서 본 연구팀의 자체기술이 가장 많이 집약되어 있는 핵심장치이다. 특히 각종 장치를 연결할 수 있는 다양한 디지털 (Digital) 포트(Port)와 아날로그(Analog) 포트를 장착하여 시스템의 호환성을 향상시켰으며 고성능의 CPU와 모뎀의 장착, 그리고 MCI OS2라는 빠르고 정확한 실시간 OS를 적용함으로써 안정적인 실시간 자동비행이 가능하게 되었다.
표적 이동의 불규칙성, 무인항공기 자체의 진동, 기상변화 등은 표적의 지속적인 획득과 지향을 어렵게 만드는 큰 요인들이었지만 구조물 사이의 댐퍼장착, 김발시스템에 의한 실시간 팬·틸트 제어, 그리고 영상 안정화 기법을 적용함으로써 이를 해결할 수 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	카메라와 결합된 김발장치는 무인항공기에 어떠한 이점을 주는가?	카메라와 결합된 김발장치는 좌우회전 및 상하회전의 움직임이 가능하도록 자체설계·제작 되었으며 서보제어 시스템 (Servo Control System)을 통해 이를 제어한다. 이러한 김발장치는 무인항공기의 기수 방향에 큰영향 없이 카메라 지향방향의 범위(시야)를 충분히 확보해주기 때문에 지속적이고 안정적인 목표물 추적을 가능하게 한다. 댐퍼는 무인항공기의 자체 진동 및 김발 구조로 인해 발생되는 진동을 감소시키기 위해 무인항공기와 김발장치 연결부분에 설치된다.
	자동비행시스템은 어떻게 구성되어 있는가?	자동비행시스템은 FCC(Flight Control Computer), IMU(Inertial Measurement Unit), GPS(Global Positioning System), 서보(Servo) 제어장치, 영상 장치, 통신장비, 그리고 GCS(Ground-station Control System)로 구성되어 있고 Fig. 2와 같은 구조로 설계되어 있다.
	회전익 무인항공기의 장점은 무엇인가?	영상기반의 지상물체 추적과 관련하여 기존에는 다양한 형태의 무인항공기를 이용한 연구가 다수 진행되어왔고 이 중 대부분이 간단한 기체설계와 안정된 비행이 가능한 고정익 무인항공기를 이용한 연구였다[1][2]. 회전익 무인항공기의 경우 고정익 무인항공기에 비해 복잡한 환경에서의 다양한 기동 및 추적이 더욱 용이하지만 복잡한 기체설계와 자체진동 등의 제한사항으로 인해 초소형 쿼드로터기를 사용한 연구[3]나 정지 혹은 저속의 특정 형태의 물체를 추적하는 연구[4] 등과 같은 제한된 연구가 일부 진행되어 왔다.

참고문헌 (15)

Ick H. Wang et al., "On Vision-basedTarget Tracking and Range Estimation forSmall UAVs", AIAA Guidance, Navigation, andControl Conference and Exhibit, SanFrancisco,August, 2005.
Hespanha, J.M. Yakimenko, O.A. Kaminer, I.I. Pascoal, A.M., "Linear Parametrically Varying Systems with Brief Instabilities : An Application to Vision/Inertial Navigation”, IEEE Transactions on Aerospace and Electronic Systems Technology, Vol. 40, No. 3, July 2004

상세보기
Beau J. Tippetts, “Real-Time Implementation of Vision Algorithms for Control,Stabilization, and Target Tracking, for a Hovering Micro-UAV”, Master Thesis, 2008.
Mr Christopher Jones, Dr ThomasRichardson, “Vision Based Target TrackingUsing Rotary Wing Vehicles”, 3rd SEAS DTCTechnical Conference, 2008.
John Klein, Christele Lecomte and Pierre Miche, “Fast Color-Texture Discrimination: Application to Car Tracking”, International IEEE Conference on Intelligent Transportation Systems, Seattle, Washington, USA, September, 2007.
Bernd Heiseley, “Motion-Based ObjectDetection and Tracking in Color ImageSequences”, Asian Conference on ComputerVision, Dublin, Ireland, June, 2000.
Kwang-Yul Baek, Hyochoong Bang,"Vision-based Target Tracking Architecture foran Unmanned Aerial Vehicle", Master Thesis,2008.
Sung-Hoon Mok, Kwang-Yul Baek,Tae-Hwa Kang, Hyochoong Bang, “Color-basedTarget Tracking of UAV using Gimbal PointingControl”, KSAS, November, 2008.
Il-hyoung Lee, Dong-jin Lee, HyochoongBang, "A Small Scale Rotor UAV AutonomousFlight Control System Design and Verification“,AIAA Infotech, Rohnert Park, California, USA,May, 2007.
John Klein, Christele Lecomte and Pierre Miche, “Fast Color-Texture Discrimination: Application to Car Tracking”, International IEEE Conference on Intelligent Transportation Systems, Seattle, Washington, USA, September, 2007.
Dorin Comaniciu, Visvanathan Ramesh, P. Meer, "Real-Time Tracking of Non-Rigid Objects using Mean Shift", IEEE 2000.
John G. Allen, Richard Y. D. Xu, Jesse S.Jin, "Object Tracking Using CAMShift Algorithmand Multiple Quantized Feature Spaces",Pan-Sydney Area Workshop on Visual InformationProcessing, pp. 3-7, 2003.
Berthold K. P. Horn, Robot Vision, MITPress, 1986.
Gary R. Bradski, "Computer Vision FaceTracking for use in Perceptual user Interface",Intel Technology Journal, 2nd Quarter,1998.
Dorin Comaniciu, Visvanathan, and PeterMeer, "Kernel-based Object Tracking", IEEE

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증