[논문]무인항공기의 근거리 비행체 탐지 및 추적을 위한 영상처리 알고리듬

조성욱; 허성식; 심현철; 최형식

doi:10.5139/jksas.2011.39.12.1115

무인항공기의 근거리 비행체 탐지 및 추적을 위한 영상처리 알고리듬
An Image Processing Algorithm for Detection and Tracking of Aerial Vehicles in Short-Range 원문보기

한국항공우주학회지 = Journal of the Korean Society for Aeronautical & Space Sciences, v.39 no.12, 2011년, pp.1115 - 1123

조성욱 (KAIST 항공우주공학과 대학원) , 허성식 (KAIST 항공우주공학과 대학원) , 심현철 (KAIST 항공우주공학과) , 최형식 (한국항공우주연구원 비행제어팀)

초록
AI-Helper

본 논문에서는 무인항공기의 근거리 비행체 탐지 및 추적을 위한 영상처리 알고리듬을 제안한다. 제안된 알고리듬은 연속되는 영상에서 계산되는 호모그래피를 사용하여 움직이는 객체를 검출하고 확률적 다수-가설 추적기법으로 검출된 객체가 접근하는 비행체인지의 여부를 판단한다. 이는 항공기의 저고도 비행 시 영상에 보여지는 지표면과 같이 복잡한 배경 위에서 이동하는 비행체를 검출할 수 있고, 비행체의 동역학적 특성을 고려할 수 있기 때문에 색상기반의 비행체 탐지기법보다 향상된 성능을 보여준다. 또한 외부영향에 대한 임계치의 민감도를 현저히 감소시키므로 소형 무인항공기의 저고도 비행실험수행 시 효과적이다. 제안된 영상처리 알고리듬을 실제 비행실험 영상에 적용하여 성능을 검증하였다.

Abstract ▼ AI-Helper

This paper proposes an image processing algorithms for detection and tracking of aerial vehicles in short-range. Proposed algorithm detects moving objects by using image homography calculated from consecutive video frames and determines whether the detected objects are approaching aerial vehicles by the Probabilistic Multi-Hypothesis Tracking method(PMHT). This algorithm can perform better than simple color-based detection methods since it can detect moving objects under complex background such as the ground seen during low altitude flight and consider the characteristics of vehicle dynamics. Furthermore, it is effective for the flight test due to the reduction of thresholding sensitivity against external factors. The performance of proposed algorithm is verified by applying to the onboard video obtained by flight test.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 영상에서 지형이 보이는 복잡한 배경 하에서도 비행 중 움직이는 객체를 검출할 수 있는 알고리듬을 제안한다. 이는 단순한 영상 전처리 알고리듬으로 찾을 수 없는 복잡한 배경에서도 움직이는 객체를 탐지할 수 있으며 접근하는 비행체로 판단하는데 걸리는 연산시간을 효과적으로 줄일 수 있는 장점을 가진다.
본 논문에서는 이미지 시퀀스에서 객체의 넓이변화가 증가되는 방향으로 지속되고 이전 프레임에서 검출된 객체와 현재 프레임에서 검출된 객체 사이의 거리가 유클리디안 거리 기반의 최근방 이웃 조건을 지속적으로 유지했을 때 가장 높은 확률을 가질 수 있도록 설정하였다. 즉, 연속된 영상에서 위의 조건을 동시에 만족하는 객체에 가장 이상적인 100%의 확률값을 갖도록 하였고 2.
1절에서 설계한 호모그래피 추정을 이용한 움직이는 객체 검출 알고리듬을 통해 움직이는 객체를 검출하면 그 다음에는 객체가 근접하는 비행체인지 판단할 필요가 있다. 본 논문에서는 확률기반의 다수 가설 추적 기법(Probabilistic Multi-Hypothesis Tracking)을 이용하는 트랙 초기화 알고리듬을 설계하여 근접하는 비행체 여부를 판단한다. 이 방법은 영상 내에서 검출된 움직이는 객체의 비행체 여부를 상대적으로 짧은 시간 내에 판단할 수 있는 장점이 있다.
이러한 연구 필요성을 기반으로 하여, 본 논문에서는 무인항공기가 근거리에서 다가오는 비행체를 기체에 장착된 카메라 영상으로 실시간에 탐지하고 추적하기 위한 영상처리 알고리듬을 제안한다. 제안된 알고리듬은 먼저 연속되는 영상에서 계산되는 호모그래피(Image homography)를 사용하여 움직이는 객체를 검출하며 확률적 다수-가설 추적기법으로 검출된 객체를 관리하고 추적하여 최종적으로 접근하는 비행체인지의 여부를 판단한다.

가설 설정

1. Labeled contour는 시간 t_k-1와 시간 t_k에서 연속으로 검출되어야 한다.
2. 가장 거리가 가까운 Labeled contour가 이전 시간에 발생된 Labeled contour이다.
3. Labeled contour의 면적이 일정크기 이상 증가해야 접근하는 Labeled contour이다.

제안 방법

이러한 알고리듬을 다중 표적 정보관리 (Multi-Target Information Management; MTIM) 알고리듬이라고 한다. 본 논문에서는 3단계로 나누어 MTIM 알고리듬을 구현하였다.
본 논문에서는 무인항공기의 근거리 비행체 탐지 및 추적을 위한 영상처리 알고리듬을 설계하여 실제 비행실험을 통해 획득한 영상에 적용하였다. 제시한 알고리듬은 연속되는 영상에서 계산되는 호모그래피로 영상을 변환하고 차영상을 계산하여 움직이는 객체를 검출하므로 날씨, 광량 등과 같은 외부영향에 민감한 영상처리 과정의 수행 시 설정하는 임계치의 민감도를 감소시켜 준다.
기술한 특징점 관리절차는 호모그래피 추정에 적합한 특징점을 제공할 뿐만 아니라 특징점이 영상내에서 고르게 분포하도록 하여 호모그래피 추정오차를 감소시킨다. 본 논문에서는 비행 중 영상전송속도 및 처리시간을 고려하여 최대 25개의 특징점을 검출하고 영역 내에 고르게 분포하도록 하였다.
본 논문에서는 설계한 영상처리 알고리듬을 총 4번의 충돌모사구간에서 획득한 영상에 적용하였고 근접 비행체 판단기준은 경험적으로 75%로 설정하였다. 처리결과는 Fig.
다중 표적 정보관리 알고리듬을 통해 비행체로 추정되는 객체들을 관리한 후에는 적절한 알고리듬을 사용해 정량적인 값으로 비행체일 확률을 표현하고 일정한 기준을 초과하는 객체를 표적으로 탐지하여 이후의 행동을 결정해야 한다. 본 논문에서는 이러한 확률의 정량적인 계산을 위해 객체의 특징정보를 이용하여 식(6)과 같은 가설(Hypothesis)을 세우고 이를 식(7)에 대입하여 로그-우도(log-likelihood)를 계산하였다.
영상처리 알고리듬의 검증은 소형 무인항공기의 충돌모사 자동비행실험 중 촬영한 영상에 적용하여 이루어졌다. 비행실험은 2대의 무인항공기에 원형선회비행 유도제어 알고리듬을 적용하고 각각 시계방향과 시계 반대방향으로 선회하게 하여 충돌상황을 모사하였다. 이 때, 시계방향으로 선회하는 무인항공기에 장착된 카메라를 통해 영상을 획득하였다.
영상처리 알고리듬의 검증은 소형 무인항공기의 충돌모사 자동비행실험 중 촬영한 영상에 적용하여 이루어졌다. 비행실험은 2대의 무인항공기에 원형선회비행 유도제어 알고리듬을 적용하고 각각 시계방향과 시계 반대방향으로 선회하게 하여 충돌상황을 모사하였다.
무인항공기가 비행 중이고 상대비행체도 비행하여 접근해 온다면 다른 시각에 촬영된 같은 시점의 두 영상간의 차이를 이용해 상대비행체를 탐지할 수 있다. 이를 위해 먼저 영상 내의 특징점을 검출하고 추적하여 연속되는 두 영상간의 호모그래피를 계산한다.
이미지 시퀀스 상에서 동일한 객체로 관리되는 객체는 가설을 갱신함으로써 객체와 관련된 정보를 저장한 트랙이 초기화되거나 유지된다. 이와 같은 관리 알고리듬과 함께 본 논문에서는 영상 내에 존재하는 객체들뿐만 아니라 비행체로 탐지된 표적의 추적을 위해 칼만 필터(Kalman Filter)를 이용하여 다중 표적의 추적을 구현하였다.
제안된 알고리듬은 먼저 연속되는 영상에서 계산되는 호모그래피(Image homography)를 사용하여 움직이는 객체를 검출하며 확률적 다수-가설 추적기법으로 검출된 객체를 관리하고 추적하여 최종적으로 접근하는 비행체인지의 여부를 판단한다. 이후의 단락에서는 제안된 알고리듬의 구성과 기능에 대해 설명하였고 실제 비행실험을 통해 획득한 영상에 적용한 결과를 제시하였다.
이러한 연구 필요성을 기반으로 하여, 본 논문에서는 무인항공기가 근거리에서 다가오는 비행체를 기체에 장착된 카메라 영상으로 실시간에 탐지하고 추적하기 위한 영상처리 알고리듬을 제안한다. 제안된 알고리듬은 먼저 연속되는 영상에서 계산되는 호모그래피(Image homography)를 사용하여 움직이는 객체를 검출하며 확률적 다수-가설 추적기법으로 검출된 객체를 관리하고 추적하여 최종적으로 접근하는 비행체인지의 여부를 판단한다. 이후의 단락에서는 제안된 알고리듬의 구성과 기능에 대해 설명하였고 실제 비행실험을 통해 획득한 영상에 적용한 결과를 제시하였다.
본 논문에서는 이미지 시퀀스에서 객체의 넓이변화가 증가되는 방향으로 지속되고 이전 프레임에서 검출된 객체와 현재 프레임에서 검출된 객체 사이의 거리가 유클리디안 거리 기반의 최근방 이웃 조건을 지속적으로 유지했을 때 가장 높은 확률을 가질 수 있도록 설정하였다. 즉, 연속된 영상에서 위의 조건을 동시에 만족하는 객체에 가장 이상적인 100%의 확률값을 갖도록 하였고 2.2.1절에서 제시한 가정 사항에 따라 초기에 움직이는 객체 검출 시 약 50%의 확률값을 갖도록 설정하였다. 이러한 다수 가설 생성 및 관리 알고리듬은 다중 표적 정보관리 알고리듬과 함께 단안의 영상 내에서 움직이는 객체를 보다 효과적으로 관리하는 역할을 수행한다.
즉, 유클리디안 거리 기반의 최근방이웃(Nearest Neighbor)을 계산함과 동시에 넓이 변화가 증가하는 방향으로 진행하는 객체를 찾아내어 이미지 시퀀스 상의 검출된 객체들이 동일한 객체로 인식될 수 있도록 한다. 만약 임의의 프레임에서 검출된 객체가 앞서 제시한 가정 사항을 만족하지 못하면, 해당 객체의 정보가 저장된 트랙을 초기화한다.

대상 데이터

비행실험은 2대의 무인항공기에 원형선회비행 유도제어 알고리듬을 적용하고 각각 시계방향과 시계 반대방향으로 선회하게 하여 충돌상황을 모사하였다. 이 때, 시계방향으로 선회하는 무인항공기에 장착된 카메라를 통해 영상을 획득하였다.[9,10,11]

이론/모형

검출된 특징점들은 카메라가 탑재된 무인항공기가 비행하여 시점이 변함에 따라 영상 내에서 이동하거나 카메라의 FOV(Field of View)를 벗어나게 되는데 이러한 특징점들을 추적하고 매칭하기 위해 Lucas-Kanade Optical Tracker[6]를 사용한다. 이 방법은 원 영상에서의 특징점 추적뿐만 아니라 영상의 해상도를 2의 멱수(Exponent)로 순차적으로 축소시키는 Image Pyramid method를 적용한 영상에서도 특징점을 추적하기 때문에 이미지 블러링(Image blurring)에도 강인한 특징점 추적이 가능하다.
식(4)는 이론적으로 대응점 4쌍만 존재하면 정확한 해를 구할 수 있지만 정확도 향상, 이상값(Outlier) 제거, 노이즈 저감을 위해 최소 8쌍 이상, 최대 25쌍의 대응점을 이용하기 때문에 과결정문제(Over-determined)가 된다. 따라서 정확한 해를 구하기 위해서는 호모그래피 행렬 h = 0인 경우를 제외하고 #인 조건에서 Direct Linear Transformation(DLT) 알고리듬을 이용하여 해를 구한다. DLT 알고리듬은 특이치 분해방법(Singular Value Decomposition)을 이용하여 제한조건 하에서의 최적화 문제를 해결한다.
또한 호모그래피 추정 시 이상값을 제거하여 추정오차를 최소화하고 정확한 추정값을 구하기 위하여 Least Median of Squares method(LMeS)를 적용하였다.
두 번째는 예외처리 및 분류 단계로서 객체(또는 labeled contour로도 표현됨)의 구별방법에 대한 3 가지 가정을 세운 후 이를 만족하지 못하는 객체들은 예외로 처리하여 정보가 저장된 트랙을 초기화하고 가정을 만족하는 객체들은 트랙을 유지하여 비행체로 탐지될 확률을 유지시킨다. 본 논문에서는 다중 표적 정보관리 알고리듬을 위해 확률적 다수-가설 추적기법(Probabilistic Multi-Hypothesis Tracking method)[8]을 이용한 트랙 초기화 알고리듬을 개발하고 적용하였으며 사용된 가정 사항은 다음과 같다.
알고리듬의 첫 단계는 입력된 영상의 첫 번째 프레임에서 임의의 특징점을 찾는 것이다. 본 논문에서는 특징점 계산 및 검출방법으로 ShiTomasi-Kanade Tracker[5]를 이용하여 영상 내의 픽셀강도(Gray Intensity) 변화량을 바탕으로 고유값(Eigenvalue)을 계산한다. 이 방법에서는 먼저 컬러영상을 그레이 스케일 영상으로 변환하고 3 × 3 크기의 마스크를 정의하여 식(1)과 같이 그레이 스케일 영상 내에서 x, y 방향의 명암도 구배를 정의한다.

성능/효과

일반적으로 야외에서의 영상처리 실험시에 설정하는 임계치는 날씨, 광량 등과 같은 외부영향에 매우 민감하여 실험당일의 날씨에 따른 임계치를 찾고 조절하는 문제가 더 어려울 수 있다. 그러나 본 논문에서 설계한 알고리듬과 같이 연속영상에서 호모그래피를 추정하여 차영상을 구하면 설정할 임계치의 민감도가 현저히 줄어들게 되므로 보다 적은 노력으로 저고도에서의 비행실험 시 영상에 나타나는 복잡한 배경의 영향을 줄일 수 있다.
본 논문에서 제시한 전체 영상처리 알고리듬은 Intel(R) Core(TM)2 Duo 2.0GHz, RAM 2GB의 성능을 가진 컴퓨터에서 처리하였고 평균적으로 약 136ms의 처리시간이 소요되었다. 초속 약 20m/s로 비행하는 무인항공기의 충돌모사 비행실험 시 비행체 조우시간이 약 3초임을 감안하면 본 알고리듬은 온보드 영상처리 혹은 지상전송 후 영상처리 방식으로 실시간 구현하기에도 충분하다.
본 논문에서는 무인항공기의 근거리 비행체 탐지 및 추적을 위한 영상처리 알고리듬을 설계하여 실제 비행실험을 통해 획득한 영상에 적용하였다. 제시한 알고리듬은 연속되는 영상에서 계산되는 호모그래피로 영상을 변환하고 차영상을 계산하여 움직이는 객체를 검출하므로 날씨, 광량 등과 같은 외부영향에 민감한 영상처리 과정의 수행 시 설정하는 임계치의 민감도를 감소시켜 준다. 또한 확률적 다수-가설 추적기법으로 검출된 객체가 접근하는 비행체인지의 여부를 판단하기 때문에 지표면이 보이는 복잡한 배경에서도 근접하는 비행체의 탐지가 가능하다.
0GHz, RAM 2GB의 성능을 가진 컴퓨터에서 처리하였고 평균적으로 약 136ms의 처리시간이 소요되었다. 초속 약 20m/s로 비행하는 무인항공기의 충돌모사 비행실험 시 비행체 조우시간이 약 3초임을 감안하면 본 알고리듬은 온보드 영상처리 혹은 지상전송 후 영상처리 방식으로 실시간 구현하기에도 충분하다.

후속연구

제시된 근거리 비행체 탐지 및 추적을 위한 영상처리 알고리듬은 추후 무인항공기의 영상기반 충돌회피 혹은 편대비행 등 저고도에서 지속적인 비행체 탐지가 필요한 임무에 맞게 개선되어 매우 효과적으로 적용될 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	소형 무인항공기의 충돌회피 구현 시 가장 큰 문제는?	소형 무인항공기의 충돌회피 구현 시 가장 큰 문제점은 지형이다. 저고도 환경에서는 지형이 보이기 때문에 하늘에 비해 상대적으로 복잡한 배경을 갖게 된다.
	무인항공기에서 타 비행체를 인식하기 위한 방법 중 소형 기체에 적용하기 좋은 방법은?	비행중인 무인항공기가 자신과의 통신이나 사전 경고 없이 접근해오는 타 비행체를 인식하기 위한 방법은 다양하다. 그 중 인간의 시각과 동일한 영상으로부터의 인식방법은 레이더 등의 여타 능동적 센서들과 달리 피탐지위험, 전력소모, 탑재 중량이 적으므로 무인항공기, 특히 소형의 기체에 적용하기가 좋은 장점을 가진다.
	인간의 시각과 동일한 영상으로부터의 인식방법을 소형 기체에 적용하기 좋은 이유는?	비행중인 무인항공기가 자신과의 통신이나 사전 경고 없이 접근해오는 타 비행체를 인식하기 위한 방법은 다양하다. 그 중 인간의 시각과 동일한 영상으로부터의 인식방법은 레이더 등의 여타 능동적 센서들과 달리 피탐지위험, 전력소모, 탑재 중량이 적으므로 무인항공기, 특히 소형의 기체에 적용하기가 좋은 장점을 가진다.

참고문헌 (12)

A. D. Zeitlin, 2007, "Technology Milstones - Detect, Sense & Avoid for Unmanned Aircraft Systems", AIAA Infotech@Aerospace Conference and Exhibit, AIAA-2007-2765
Kie-Jeong Seong, Eung-Tai Kim, and Seong-Pil Kim, 2008, "Development Trend of the Autonomous Flight Control Technology," Current Industrial and Technological Trends in Aerospace, Vol. 6. 2, pp.143-153.
Eric N. Johnson, Anthony J. Calise, Yoko Watanabe, Jincheol Ha, and James C. Neidhoefer, 2007, "Real-Time Vision-Based Relative Aircraft Navigation", Journal of Aerospace Computing, Information, and Communication, Vol.4, pp.707-738.

상세보기
John Lai, Luis Mejias, and Jason J. Ford, 2011, "Airborne Vision-Based Collision Detection System," Journal of Field Robotics, Vol. 28, Issue 2, pp.137-157.

상세보기
Jianbo Shi, Carlo Tomasi, 1994, "Good Features to Track", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.593-600.
Jean-Yves Bouguet, 2000, "Pyramidal Implemen -tation of the Lucas Kanade Feature Tracker", Intel Corporation, Microprocessor Research Labs, http://www.intel.com/research/mrl/ research/opencv/
Richard Hartley, Andrew Zisserman, 2003, "Multiple View Geometry in comouter vision 2nd edition", Cambridge University Press
Roy L. Streit, and Tod E. Luginbuhl, 1995, "Probabilistic Multi-Hypothesis Tracking," NUWC-NPT Technical Report 10.428, 15
S.Huh, and D.H.Shim, 2010, "A Vision-Based Landing System for Small Unmanned Aerial Vehicles using an Airbag," Control Engineering Practice, Vol. 18, Issue 7, pp. 812-823.

상세보기
Dong-il You, and Hyun-Chul Shim, 2011, "Leader-Follower based Formation Guidance Law and Autonomous Formation Flight Test of Multiple MAVs," Domestic Journal of KSAS, Vol. 2. pp. 121-127

원문보기 상세보기
S.Huh, Dong-il You, Sang-woo Moon, Sun-Hye Yoon, Yeon-Duk Jeong, 2009, "Developement of an autopilot system and a Grond Monitoring Station for Multiple UAVs", KSAS fall conference, pp. 775-778
Sungwook. Cho, S.Huh, Dong-il You, Hyun-Chul Shim and Hyung-Sik Choi, 2011, "An Image Processing Algorithm for Detection and Tracking of Aerial Vehicles in Short Range", pp. 592-598, KSAS spring conference, FC4-2

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증