[논문]딥러닝을 이용한 자율 이륙 드론 알고리즘 제안

이종구; 장민석; 이연식

doi:10.6109/jkiice.2021.25.2.187

[국내논문] 딥러닝을 이용한 자율 이륙 드론 알고리즘 제안
Proposal of autonomous take-off drone algorithm using deep learning 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.25 no.2, 2021년, pp.187 - 192

이종구 (School of Computer Inf. & Comm., Kunsan National University) , 장민석 (School of Computer Inf. & Comm., Kunsan National University) , 이연식 (School of Computer Inf. & Comm., Kunsan National University)

초록
AI-Helper

본 연구는 객체 검출기를 이용하여 숲 혹은 그에 준하는 복잡한 환경에서의 이륙에 대한 시스템을 제안한다. 시뮬레이터에서 대각선상의 모터간 550mm의 길이를 갖는 쿼드콥터에 라즈베리파이를 장착하여 엣지 컴퓨팅 기반으로 실험을 진행한다. 학습에 사용될 이미지는 군산대학교 내부의 세 지점을 선정하여 640⁎480 사이즈의 이미지를 150장 내외 정도 획득하였으며, 이들을 흑백으로 변환한 다음, 127의 경계값을 두어 이진화 전처리를 하였다. 이후 SSD_Inception 모델을 학습 하였다. 시뮬레이션상에서 검증용 영상을 입력으로 학습한 모델을 통해 드론을 이륙시키는 실험 결과, 라벨을 이용하여 이륙했을 때와 유사한 궤적을 그려내었다.

Abstract ▼ AI-Helper

This study proposes a system for take-off in a forest or similar complex environment using an object detector. In the simulator, a raspberry pi is mounted on a quadcopter with a length of 550mm between motors on a diagonal line, and the experiment is conducted based on edge computing. As for the images to be used for learning, about 150 images of 640⁎480 size were obtained by selecting three points inside Kunsan University, and then converting them to black and white, and pre-processing the binarization by placing a boundary value of 127. After that, we trained the SSD_Inception model. In the simulation, as a result of the experiment of taking off the drone through the model trained with the verification image as an input, a trajectory similar to the takeoff was drawn using the label.

주제어

표/그림 (8)

그림 fig. 1 Data collection for Deep learning
그림 fig. 2 Detection results using deep learning model
그림 fig. 3 MAVLink Protocol Frame
표 table. 1 Experiment environment
그림 fig. 4 Operation concept map
그림 fig. 5 Calculation of drone moving points
그림 fig. 6 Case1 of Flight path comparison.
그림 fig. 7 Case2 of Flight path comparison.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 이러한 비행 중 높은 고도로 이륙 해야 하는 때를 대비한 시스템은 연구되어 있지 않다. 따라서 본 논문에서는 이미지 기반물체 감지 모델을 이용하여 드론의 자율적인 이륙시스템을 제안하고, 검증용 영상의 라벨링을 이용한 경우와 학습시킨 모델을 이용하여 이륙한 경우를 비교한다.
본 연구에서는 복잡한 환경에서의 드론을 딥러닝을 이용하여 이륙하는 시스템을 제안하였다. 복잡한 환경에서의 이륙은 GPS 신호 수신에 장애가 있음을 배제하기 위해 옵티컬 플로우 센서를 이용하여 호버링 모드를시전하였다.
앞서 언급한 상황에서 지속해서 탐색이 가능한 드론을 개발하였으며, 이는 특수한 재난 현장이나 터널 안 철로나 방해 요인 검사, 해저의 탐사 등에 응용을 할 수 있다. 이 논문의 저자는 산속에서 조난자를 색출하고 구명하기 위한 아이디어에서 출발하였으며, 작고 가격이 비교적 저렴한 드론을 개발하는 것이 목표라고 하였다. 그림 1은 학습 데이터 수집을 위한 카메라 형태이다.

제안 방법

다음으로 이 데이터들을 이용하여 모델의 학습을 진행하였다. 학습한 CNN 모델은 대표적인 모델 중 하나인 Inception 모델이며, Detector는 SSD를 사용하였다 [5, 6].
복잡한 환경에서의 이륙은 GPS 신호 수신에 장애가 있음을 배제하기 위해 옵티컬 플로우 센서를 이용하여 호버링 모드를시전하였다. 또한 사전에 훈련된 모델을 이용하여 드론이 환경에서 이륙할 수 있도록 이미지와 라벨을 학습시켰다. 이 모델을 기반으로 드론의 자율적인 이륙을 시도하였고, 학습한 모델의 결과와 검증용 라벨과의 IoU는평균 64%를 기록하였다.
먼저 GPU 서버는 픽스호크에 부착되어있는 라즈베리파이와 통신을 시도하여 카메라의 이상 유무와 드론의 이륙 가능 여부를 확인한다. 장착되는 카메라는 이륙 가능한 공간을 탐색하기 위하여 렌즈를 하늘 방향으로 하여 드론의 상단에 장착하였다.
이륙하는 시스템을 제안하였다. 복잡한 환경에서의 이륙은 GPS 신호 수신에 장애가 있음을 배제하기 위해 옵티컬 플로우 센서를 이용하여 호버링 모드를시전하였다. 또한 사전에 훈련된 모델을 이용하여 드론이 환경에서 이륙할 수 있도록 이미지와 라벨을 학습시켰다.
사용하게 될 드론의 모델의 이름은 Iris 이며, 배터리를 포함한 무게는 총 1282 그램이다. 이 드론 모델에 Ardupilot 오픈소스 프로젝트의 ArduCopter 펌웨어를 이식시키고 가제보 시뮬레이터에서 실험을 진행한다[8]. 이 가제보 시뮬레이터를 통해 드론이 작동하는 모습을 3D 형태로 확인할 수 있다.
학습한 CNN 모델은 대표적인 모델 중 하나인 Inception 모델이며, Detector는 SSD를 사용하였다 [5, 6]. 이번 실험에 사용할 모델의 학습은 마이크로소프트사의 COCO 데이터셋을 이미 학습한 모델을 이용하여 전이 학습을 진행하였다. 라벨링을 한 데이터들에 대하여 배치 사이즈는 13을 주었고, 학습 스텝은 50만 회를 설정하였다.
리사이즈된 이미지들을 다시 127의 경곗값을 두어 이진화 전처리를 하였다. 이어서 이미지 데이터에 대한 라벨링 작업을 진행하였다. 라벨링 박스는 앵커박스처럼 크기를 가변적으로 하여금 한 이미지에 다양한 형태의 박스를 여러 개 만들었다.
기체의 원활한 이동을 위해 위 알고리즘은 이동 명령을 내린 후 1초가량 유예를 둔다. 이전 단계에 검출된 박스의 중앙점과 현재의 검출된 박스 10개의 중앙점의 평균치를 비교하여 입력 이미지의 중앙점과의 차이를 비교하여 30% 이상 변화가 없을 때 사전에 상수로 정의한 만큼 고도를 상승시키도록 하였다. 만약 이전과 현재의 검출 위치가 큰 변동이 없고, 입력 이미지의 중앙점을 배회한다면 사전에 정의한 상수보다 더 높은 수치로 고도를 높이도록 하였다.
먼저 GPU 서버는 픽스호크에 부착되어있는 라즈베리파이와 통신을 시도하여 카메라의 이상 유무와 드론의 이륙 가능 여부를 확인한다. 장착되는 카메라는 이륙 가능한 공간을 탐색하기 위하여 렌즈를 하늘 방향으로 하여 드론의 상단에 장착하였다. 추가로 드론의 정면과 촬영되는 사진의 최하단의 방향을 일치하도록 고려되었다.
학습하는데 총 두 개의 데이터셋을 이용하였다. 첫 번째는 이미지와 스티어링 핸들의 각도가 매치되어있는 Udacity 데이터셋을 이용하였고, 나머지 하나는 자전거 핸들 바에 액션캠을 장착하여 장애물까지의 거리에 따라 이미지를 충돌 확률과 연관시키는 데이터셋을 자체 제작하였다. 이 데이터들을 이용하여 학습을 진행하였고 총 6개의 시나리오와 경로를 준비해 테스트한 결과 성공적인 비행을 거두었다고 한다.
그림 2는 추론 결과에 대한 사진이다. 학습 시 사용한 데이터와 동일한 조건을 적용하여 이진화 처리된 이미지를 사용하였으며, 총 두 개의 bounding box를 검출한다.

대상 데이터

마지막으로 학습된 모델의 성능을 확인하기 위해 앞서 선정한 구역 중 데이터 수집을 위한 구역을 제외한 나머지 구역에서 촬영한 영상 데이터를 이용하였다. 확인을 위한 영상은 1920*1080 의 크기를 가지고 있다.
본 연구에서 사용될 학습 이미지는 군산대학교 내부의 세 곳의 지점 중 두 지점을 선정하여 수집하였다. 나머지 장소는 테스트 장소로써 학습된 모델의 성능을 평가하는 장소로 지정하였다.
하드웨어와 펌웨어가 오픈소스로 개방되어 있으므로 사용자의 입맛에 맞게 설정과 실험을 할 수 있는 장점이 있다. 사용하게 될 드론의 모델의 이름은 Iris 이며, 배터리를 포함한 무게는 총 1282 그램이다. 이 드론 모델에 Ardupilot 오픈소스 프로젝트의 ArduCopter 펌웨어를 이식시키고 가제보 시뮬레이터에서 실험을 진행한다[8].
나머지 장소는 테스트 장소로써 학습된 모델의 성능을 평가하는 장소로 지정하였다. 수집된 사진은 총 150장 내외이며 640*480 픽셀로 이미지의 크기를 재조정하였다. 리사이즈된 이미지들을 다시 127의 경곗값을 두어 이진화 전처리를 하였다.
스위스의 취리히 대학은 드론이 사람 눈높이에서 도시를 횡단하는데 딥러닝을 이용한 접근법을 제시한다[4]. 학습하는데 총 두 개의 데이터셋을 이용하였다. 첫 번째는 이미지와 스티어링 핸들의 각도가 매치되어있는 Udacity 데이터셋을 이용하였고, 나머지 하나는 자전거 핸들 바에 액션캠을 장착하여 장애물까지의 거리에 따라 이미지를 충돌 확률과 연관시키는 데이터셋을 자체 제작하였다.
확인을 위한 영상은 1920*1080 의 크기를 가지고 있다. 그림 2는 추론 결과에 대한 사진이다.

데이터처리

알고리즘은 다음과 같다. 입력된 영상에서 이륙 가능한 공간을 검출하고 검출된 두 개의 박스 중 가장 큰 크기의 박스의 중앙점 15개를 누계하여 평균값을 계산하였다. 이 평균값과 입력 영상의 중앙점과의 가로, 세로에 대한 차이 값을 계산한다.

이론/모형

이번 실험에서 자율적인 이륙을 위한 시스템을 제안하기 위해 대각선상의 모터 간 550mm의 길이를 갖는 쿼드콥터와 FC는 픽스호크 모델을 사용한다[7]. 픽스 호크는 다수의 개발팀이 합작하여 고안된 산업 표준 자동조종장치이다.
학습한 CNN 모델은 대표적인 모델 중 하나인 Inception 모델이며, Detector는 SSD를 사용하였다 [5, 6]. 이번 실험에 사용할 모델의 학습은 마이크로소프트사의 COCO 데이터셋을 이미 학습한 모델을 이용하여 전이 학습을 진행하였다.

성능/효과

Z축으로의한 칸은 1m를 나타내며, 각각 가로, 세로의 그리드는 약 2cm에 해당한다. 또한, 패스가 어지럽게 교차하는 부분을 기점으로 나아가는 방향이 약간 비틀어짐을 확인하였다. 이는 이륙공간이 다수 검출되었을 때 경로를 결정하는 과정으로 추정되며, 축척을 고려하였을 경우 허용오차 범위 이내이다.
또한 사전에 훈련된 모델을 이용하여 드론이 환경에서 이륙할 수 있도록 이미지와 라벨을 학습시켰다. 이 모델을 기반으로 드론의 자율적인 이륙을 시도하였고, 학습한 모델의 결과와 검증용 라벨과의 IoU는평균 64%를 기록하였다. Z축으로의한 칸은 1m를 나타내며, 각각 가로, 세로의 그리드는 약 2cm에 해당한다.
이는 이륙공간이 다수 검출되었을 때 경로를 결정하는 과정으로 추정되며, 축척을 고려하였을 경우 허용오차 범위 이내이다. 이 실험을 통하여 실제 환경에서의 성공적인 자율이륙 드론을 가늠할 수 있었다.

후속연구

NVIDIA에서는 GPS가 없는 자율 비행 드론을 연구한 사례가 있다[3]. 앞서 언급한 상황에서 지속해서 탐색이 가능한 드론을 개발하였으며, 이는 특수한 재난 현장이나 터널 안 철로나 방해 요인 검사, 해저의 탐사 등에 응용을 할 수 있다. 이 논문의 저자는 산속에서 조난자를 색출하고 구명하기 위한 아이디어에서 출발하였으며, 작고 가격이 비교적 저렴한 드론을 개발하는 것이 목표라고 하였다.

참고문헌 (9)

H. Shakhatreh, A. H. Sawalmeh, A. AI-Fuqaha, Z. Dou, E. Almaita, I. Khalil, N. S. Othman, A. Khreishah, and M. Guizani, "Unmanned aerial vehicles (UAVs): A survey on civil applications and key research challenges," IEEE Access, vol. 7, pp. 48572-48634, 2019.

상세보기
J. Xie, F. R. Yu, T. Huang, R. Xie, J. Liu, C. Wang, and Y. Liu, "A survey of machine learning techniques applied to software defined networking (SDN): Research issues and challenges," IEEE Communications Surveys & Tutorials, vol. 21, no. 1, pp. 393-430, 2018.
N. Smolyanskiy, A. Kamenev, J. Smith, and S. Birchfield, "Toward low-flying autonomous MAV trail navigation using deep neural networks for environmental awareness," in Proc. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS), Vancouver, BC, Canada, pp. 4241-4247, Sep. 2017.
A. Loquercio, A. I. Maqueda, C. R. Del-Blanco, and D. Scaramuzza, "Dronet: Learning to fly by driving," IEEE Robotics and Automation Letters, vol. 3, no. 2, pp. 1088-1095, Apr. 2018.

상세보기
C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna, "Rethinking the inception architecture for computer vision," in Proc. of the IEEE Conf. on computer vision and pattern recognition, Las Vegas, U.S.A, pp. 2818-2826, Jun. 2016.
W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg, "Ssd: Single shot multibox detector," in European Conf. on computer vision, Springer, Cham, pp. 21-37, Sep. 2016.
L. Meier, P. Tanskanen, F. Fraundorfer, and M. Pollefeys, "Pixhawk: A system for autonomous flight using onboard computer vision," in IEEE Int. Conf. on Robotics and Automation, Shanghai, China, pp. 2992-2997, May. 2011.
W. Qian, Z. Xia, J. Xiong, Y. Gan, Y. Guo, S. Weng, H. Deng, Y. Hu, and J. Zhang, "Manipulation task simulation using ROS and Gazebo," in IEEE Int. Conf. on Robotics and Biomimetics (ROBIO), Bali, Indonesia, pp. 2594-2598, Apr. 2014.
A. Koubaa, A. Allouch, M. Alajlan, Y. Javed, A. Belghith, and M. Khalgui, "Micro air vehicle link (mavlink) in a nutshell: A survey," IEEE Access, vol. 7, pp. 87658-87680, 2019.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증