[논문]딥러닝을 이용한 쿼드콥터의 호버링 제어

최승욱

doi:10.21289/ksic.2020.23.2.263

딥러닝을 이용한 쿼드콥터의 호버링 제어
Quadcopter Hovering Control Using Deep Learning 원문보기

한국산업융합학회 논문집 = Journal of the Korean Society of Industry Convergence, v.23 no.2/1, 2020년, pp.263 - 270

최승욱 ((재)부산테크노파크)

Abstract ▼ AI-Helper

In this paper, In this paper, we describe the UAV system using image processing for autonomous quadcopters, where they can apply logistics, rescue work etc. we propose high-speed hovering height and posture control method based on state feedback control with CNN from camera because we can get image ...

주제어

표/그림 (11)

그림 Fig. 1 NVIDIA AI. quadcopter
그림 Fig. 2 Structure of system and environment
그림 Fig. 3 Feature point extraction algorithms
그림 Fig. 4 Process of feature image processing
그림 Fig. 5 Camera system
그림 Fig. 6 Coordinate position of camera and quadcopter
그림 Fig. 7 Captured image and feature points
그림 Fig. 8 Captured images in the environment
표 표 1. Basic Specification
그림 Fig. 9 Estimated position
표 표 2. Repeatability Performance

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 안정적인 호버링을 위하여 소형쿼드콥터 기체에서 구현한 하드웨어 및 소프트웨어의 개요 및 지상 제어장치를 중심으로 특징점 인식에 따른 호버링에 대한 실험결과와 성능평가를 제시하였다. 또한 딥러닝을 통한 이미지 특징점 추출을 위해 YOLO v2 네트워크에서 나온 결과를 활용하였다.
본 연구에서는 입력영상 기반의 위치추정 기법에 관련 기초 연구를 수행하고자 한다. 카메라 센서를 UAV(Unmanned Aerial Vehicle)에 탑재하여 객체의 영상을 획득하고, 이 영상을 기반으로하는 쿼드콥터의 위치제어를 구현한 실험결과를 제시하고자 한다.
채도는 색의 채도와 부피를 나타내는 파라미터이다. 채도를 이용한 배경과 차분배경에서 비슷한 색상을 가진 영역을 특징점으로 오인하는 것을 완화하기 위해 실시한다. 취득 이미지와 배경 이미지의 특징점 탐색영역에서 각 화소의 채도의 차이를 구한다.

가설 설정

하지만 이러한 딥러닝 기반 탐지 알고리즘은 여러 단계의 레이어를 거쳐서 나온 특징 맵을 기반으로 경계 박스를 예측하기 때문에 위치 예측이 부정확할 수 있고, 단일 프레임에서만 탐지를 수행하므로 잡음에 의한 탐지 실패 확률이 높아질 수 있다. 본 연구에서는 객체와 카메라의 움직임을 선형이라고 가정하여 쿼드콥터의 움직임을 궤적 정보로 사용한다. 탐지되지 않아도 연속 프레임 간의 객체 움직임 정보를 반영하여 쿼드콥터의 호버링 제어를 높일 방법을 제안한다.

제안 방법

본 연구에서는 안정적인 호버링을 위하여 소형쿼드콥터 기체에서 구현한 하드웨어 및 소프트웨어의 개요 및 지상 제어장치를 중심으로 특징점 인식에 따른 호버링에 대한 실험결과와 성능평가를 제시하였다. 또한 딥러닝을 통한 이미지 특징점 추출을 위해 YOLO v2 네트워크에서 나온 결과를 활용하였다.
본 실험에서 외부 카메라의 모니터링에 의해매 시간별로 쿼드콥터의 3차원 위치 (x, y, z)와 자세 θ(yaw축)을 구하게 된다.
본 연구에서는 HSV(Hue, Saturation, Value) 표색계의 색상 값을 이용하여 특징점을 검출한다. 색상 값은 조명 변화에 강건한 매개 변수이며, 색의 색조를 나타내고 있다.
제어용 PC와 화상 처리 PC는 UDP(User Datagram Protocol) 통신을 통해 상호정보를 교환할 수 있다. 수동 조작 컨트롤러는 쿼드콥터 자세 상태를 보정하기 위해 사용하도록 하였다.
실내에서 비행 실험을 실시하고 있으며 쿼드콥터의 페이로드를 고려하여 내부에 설치된 카메라 모듈을 이용한 비주얼 서보에 따른 자율 비행제어를 이용하는 것은 동일하나 딥러닝을 사용하여 좀 더 안정적인 특징점 추출 방법을 시도하였다.
앞에서 제시한 2개의 환경과 자율비행모드에 들어간 순간에 얻은 이미지 3장에서의 특징점 대응관계를 이용하여 계산한 결과는 표 2와 같다. 여기서 두 환경의 대응 관계에 성공했을 때를 (se_n=1)으로, 자율비행모드에 들어간 순간에 획득한 이미지에 대한 성공했을 때를 (se₀=1)로 하였다. 실험 결과에 따른 쿼드콥터의 위치는 그림 9와 같다.
취득 이미지와 배경 이미지를 HSV 표색계의채도 정보에서 배경 차영상을 실시한다. 채도는 색의 채도와 부피를 나타내는 파라미터이다.
본 연구에서는 입력영상 기반의 위치추정 기법에 관련 기초 연구를 수행하고자 한다. 카메라 센서를 UAV(Unmanned Aerial Vehicle)에 탑재하여 객체의 영상을 획득하고, 이 영상을 기반으로하는 쿼드콥터의 위치제어를 구현한 실험결과를 제시하고자 한다.
쿼드콥터를 이용하여 자율 모드에서의 특징점을 주시한 상태에서의 호버링 성능을 평가를 실시하였다. 우선, 3차원 공간상에서 실내 0.
본 연구에서는 객체와 카메라의 움직임을 선형이라고 가정하여 쿼드콥터의 움직임을 궤적 정보로 사용한다. 탐지되지 않아도 연속 프레임 간의 객체 움직임 정보를 반영하여 쿼드콥터의 호버링 제어를 높일 방법을 제안한다.
특징점 탐색 영역 내의 특징점의 중심 위치를 계산하고 다음 프레임에서 특징점 탐색 영역의 중심 위치로 함으로써 특징점을 검출 계속한다. 만약 탐지단계에서 실패한다면 이전에 성공했던 탐지 결과 값을 기반으로 예측을 통해 나온 궤적 정보를 받아와 이전의 탐지 결과와 더해져 최종 추적 결과를 출력한다.
다음은 자율 비행모드의 호버링 상태에 들어가기 전에 일정한 고도를 유지하기까지 수동모드로 조종하여 기체를 30초 자율비행모드로 유지했다. 해당 영역에서 지속적인 호버링이 유지되면 성공으로 간주하였고, 그렇지 않은 경우는 실패로 처리하여 각각 10회씩의 실험을 반복하였다.

대상 데이터

본 연구에서 실험을 위한 쿼드콥터는 소형 카메라, 영상전송을 위한 무선 송신기, 수동 조작컨트롤러, PC, DA/AD변환기, 신호 변환 회로로 그림 2와 같이 구성하였다. 또한 비행제어를 위한 1대의 헬기와 기체에 탑재한 소형카메라 1대와 외부에서 비행관측을 통한 모니터링 및 보정을 실현하기 위하여 외부용 카메라 2대를 각각 사용한다.
본 연구에서 실험을 위한 쿼드콥터는 소형 카메라, 영상전송을 위한 무선 송신기, 수동 조작컨트롤러, PC, DA/AD변환기, 신호 변환 회로로 그림 2와 같이 구성하였다. 또한 비행제어를 위한 1대의 헬기와 기체에 탑재한 소형카메라 1대와 외부에서 비행관측을 통한 모니터링 및 보정을 실현하기 위하여 외부용 카메라 2대를 각각 사용한다.

이론/모형

본 논문에서는 쿼드콥터의 호버링 정확도를 높이기 위해 객체 탐지에 주로 활용되는 CNN 기반탐지 네트워크인 YOLO v2를 사용하였다. 시스템의 전체 구성도는 그림 3과 같다.
본 연구는 앞서 연구된 소형 쿼드콥터를 이용한 자율 호버링 연구를 기반으로 하고 있다[14]. 실내에서 비행 실험을 실시하고 있으며 쿼드콥터의 페이로드를 고려하여 내부에 설치된 카메라 모듈을 이용한 비주얼 서보에 따른 자율 비행제어를 이용하는 것은 동일하나 딥러닝을 사용하여 좀 더 안정적인 특징점 추출 방법을 시도하였다.
이진화에 의해서 발생되는 노이즈를 제거에 있어서, 본 실험에서 특징점으로 인식되고 있는 픽셀을 붉은색으로 하고 일부 붉은색 노이즈가 포함되고 있다. 이것을 제거하기 위해 클로징 노이즈 제거 방법을 사용하였다. 클로징은 우선 붉은 화소를 팽창시켜 백색 노이즈를 축소한 다음 붉은 화소를 원래 크기로 수축하는 방법이다.
외부 환경에 갑작스러운 움직임이 없이 쿼드콥터가 비행할 수 있도록 딥러닝 기술을 사용하여 훈련 데이터의 양을 줄이고 있다. 이를 위하여 CNN(Convolutional Neural Network) 기법을 사용하였으며, 출력은 카메라 위치에 투영된 좌표가 해당된다.

성능/효과

실제로 쿼드콥터를 호버링했을 때의 이미지 센서에서 이미지를 그림 8과 같다. 각각의 환경에서 특징점검출 수를 평균하면 왼쪽은 76개, 오른쪽은 24개의 특징 마크가 검출되었다.
이러한 성능 측정 실험을 통해 CNN을 통한 특징점을 기반으로 호버링 제어 알고리즘이 유효함을 알 수 있었다. 향후 이진화를 하지 않고 입력영상 기반의 특징점 추출 및 자율비행에 관한 연구가 계속될 예정이다.
표 2에서 제시한 실험결과로부터 특징점이 많은 환경에서는 90%로 안정된 수평 피드백 제어가 이루어지고 있는 반면, 특징점이 적은 환경에서는 성공률이 40%인 것을 알 수 있다. 이러한 원인은 특징점이 적은 환경에서 자율비행모드로 들어간 순간에 얻은 이미지의 대응관계 성공률이 낮아 추정 오차를 보정하는 효과가 거의 없기 때문이다.

후속연구

이러한 성능 측정 실험을 통해 CNN을 통한 특징점을 기반으로 호버링 제어 알고리즘이 유효함을 알 수 있었다. 향후 이진화를 하지 않고 입력영상 기반의 특징점 추출 및 자율비행에 관한 연구가 계속될 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	쿼드콥터는 어떤 문제점을 고 있는가?	쿼드콥터는 육상이동 로봇에서처럼 이동바퀴를 기반으로 하는 정보로부터 자기위치추정을 할 수 없는 문제점을 갖고 있다. 따라서 쿼드콥터의 환경 모니터링과 자세 제어를 위해 GPS 및 카메라센서 등을 이용한 피드백을 이용하고 있으며 이는 중요한 의미를 가지고 있다.
	정확한 쿼드콥터의 위치를 파악하기 위해서 필요한 기술은 무엇인가?	쿼드콥터를 사람이 직접 조정하여 위치를 제어한다는 것은 쉽지 않으며 평균 1∼2미터 흔들리게 된다. 정확한 쿼드콥터의 위치를 파악하기 위해서는 별도의 측위 기술이 필요하다. 특히 시야가 가려진 상황의 비행이나 바람이 부는 환경에서 위치를 제어하는 것은 더욱 쉽지 않다.
	쿼드콥터의 위치 제어에 GPS를 이용하는 이유는 무엇인가?	쿼드콥터를 사람이 직접 조정하여 위치를 제어한다는 것은 쉽지 않으며 평균 1∼2미터 흔들리게 된다. 정확한 쿼드콥터의 위치를 파악하기 위해서는 별도의 측위 기술이 필요하다. 특히 시야가 가려진 상황의 비행이나 바람이 부는 환경에서 위치를 제어하는 것은 더욱 쉽지 않다. 이런 이유로 쿼드콥터의 위치 제어는 GPS를 이용한다.

참고문헌 (14)

E. H. Sun, T. H. Luat, D. Y. KIm, and Y. T. KIm, "A Study on the Image-based Automatic Flight Control of Mini Drone," Korea Institute of Intelligent Systems, vol. 25, no. 6, pp. 536-541, (2015).

원문보기 상세보기
D. Mellinger and V. Kumar, "Minimum snap trajectory generation and control for quadrotors," in IEEE International Conference on Robotics and Automation, pp. 2520-2525, (2011).
M. Hehn and R. D 'Andrea, "A Flying inverted pendulum," in Proceedings of the IEEE International Conference on Robotics and Automation, (2011).
P. Bouard, A. Aswani, and C. Tomlin, "Learning based model predictive control on a quadrotor: Onboard implementation and experimental results," IEEE International Conference in Robotics and Automation (ICRA), pp. 279-284, (2012).
J. O. Park, J. H. Sul, S. C. Kim, and Y. D. Lim, "Flight Attitude Control of using a Fuzzy Controller, "Korea Institute of Intelligent Systems, vol. 13, no. 1, pp. 91-96, (2003).

원문보기 상세보기
D. R. Kim, D. M. Kim, and J. Y. Suk, "Vision Processing for Precision Autonomous Landing Approach of an Unmanned Helicopter," Journal of Institute of Control, Robotics and Systems, vol.15, no.1, pp. 54-60, (2009).

원문보기 상세보기
H. J. Han, T. S. Jin, "Dynamic Modeling based Flight Cont rol of Hexa-Rot or Helicopt er S ystem," Korea Institute of Intelligent Systems, vol. 25, no. 4, pp. 398-404, (2015).

원문보기 상세보기
M. G. Yoo, and S. K. Hong, "Target Tracking Control of a Quadrotor UAV using Vision Sensor," Journal of the Korean Society for Aeronautical and Space Sciences, vol.40, no.2, pp. 118-128, (2012)

원문보기 상세보기
D. Y. Yun, and S. H. Kim, "A Design of Fire Monitoring System Based On Unmaned Helicopter and Sensor Network, "Korea Institute of Intelligent Systems, vol. 17, no. 2, pp. 173-178, (2007).

원문보기 상세보기
S. Y. Kang, and T. S. Jin, "Performance Enhancement of the Attitude Estimation using Small Quadrotor by Vision-based Marker Tracking," Korea Institute of Intelligent Systems, vol. 25, no. 10, pp. 445-450, (2015).
T. S. Jin, "Fuzzy Inference Based Collision Free Navigation of a Mobile Robot using Sensor Fusion," Journal of the Korean Society of Industry Convergence, v.ol.21 no.2, pp.95- 101, (2018)
S. C. Jang, C.M. Seo, M.S. Kwen, J.P. Eom, H.C. Jung, "Design and Basic Performance Test of 4 Inch QC/DC Bellows for LNG Bunkering," Journal of the Korean Society of Industry Convergence, vol.22 no.2, pp.81-86, (2019)

원문보기 상세보기
B. Y. Yun, W. S. Y, "A Study on the Improvement of Orthophoto Accuracy According to the Flight Photographing Technique and GCP Location Distance in Orthophoto Generation Using UAV," Journal of the Korean Society of Industry Convergence, vol.21 no.6, pp.345-354, (2018)

원문보기 상세보기
T. S. Jin, "Onboard Active Vision Based Hovering Control for Quadcopter in Indoor Environments," Journal of the Korean Society of Industry Convergence, vol.20 no.1, pp.19- 26, (2017)

원문보기 상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증