[논문]실내 비행용 소형 충돌회피 멀티콥터 시스템 개발

문정호

doi:10.20910/jase.2021.15.1.102

실내 비행용 소형 충돌회피 멀티콥터 시스템 개발
Development of small multi-copter system for indoor collision avoidance flight 원문보기

항공우주시스템공학회지 = Journal of aerospace system engineering, v.15 no.1, 2021년, pp.102 - 110

문정호 (청주대학교 무인항공기학과)

초록
AI-Helper

최근 멀티콥터는 비행 안정성 향상을 위해 다양한 충돌회피 센서를 탑재하고 있다. LiDAR를 이용해 3차원 위치를 인식하거나 다수 카메라와 실시간 SLAM 기술을 이용해 장애물과의 상대 위치를 계산하기도 한다. 또한 소형 프로세스와 카메라로 구성된 3D 깊이 센서를 사용하기도 한다. 본 연구에서는 충돌회피 소프트웨어 기술 개발을 위한 플랫폼으로써 상용 부품을 활용해 실내 비행이 가능한 소형 충돌회피 멀티콥터 시스템을 개발하였다. 멀티콥터 시스템은 LiDAR, RealSense, GPU 보드를 탑재하였고, 비행시험을 통해 YOLO 알고리즘 기반의 사물 인식 및 충돌회피 기능을 검증하였다. 이 논문에서는 시스템 설계/제작 및 탑재 장비 선정과정, 비행시험 결과에 관해 기술하였다.

Abstract ▼ AI-Helper

Recently, multi-copters equipped with various collision avoidance sensors have been introduced to improve flight stability. LiDAR is used to recognize a three-dimensional position. Multiple cameras and real-time SLAM technology are also used to calculate the relative position to obstacles. A three-dimensional depth sensor with a small process and camera is also used. In this study, a small collision-avoidance multi-copter system capable of in-door flight was developed as a platform for the development of collision avoidance software technology. The multi-copter system was equipped with LiDAR, 3D depth sensor, and small image processing board. Object recognition and collision avoidance functions based on the YOLO algorithm were verified through flight tests. This paper deals with recent trends in drone collision avoidance technology, system design/manufacturing process, and flight test results.

주제어

표/그림 (20)

표 Table 1 Specifications of Skydio drones
표 Table 2 Multi-copters used for other obstacle detection&avoidance researches[2~6]
그림 Fig. 1 TBS Discovery® FPV Drone
그림 Fig. 2 System block diagram of the drone
표 Table 3 Specifications of drone platform
그림 Fig. 3 Research drone installed with collision-avoidance system
표 Table 4 Comparison of flight control computers
그림 Fig. 4 System block diagram of 3D depth sensor
표 Table 5 Comparison of power boards
표 Table 6 Comparison of mission computers
표 Table 7 Comparison of 2D LiDAR sensor
표 Table 8 Comparison of 3D Depth cameras
표 Table 9 System parts list and weight
그림 Fig. 5 Flight testing of the multi-copter
그림 Fig. 6 Pitch control response
그림 Fig. 7 Roll control response
그림 Fig. 8 Yaw rate control response
그림 Fig. 9 Software module configuration diagram
그림 Fig. 10 Gazebo simulation environment
그림 Fig. 11 Collision avoidance system test result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

멀티콥터 시스템의 충돌회피 연구 활용 가능성을 검증하기 위해 영상 기반 충돌회피 소프트웨어를 개발하였다. 소프트웨어 모듈 구성은 Fig.
본 연구에서는 최근 드론의 영상처리용으로 널리 사용되는 nVidia사의 GPU가 내장된 컴퓨터를 검토하였다.
본 연구에서는 향후 지속적인 충돌회피 기술 개발을 위해 3차원 깊이 센서와 LiDAR를 동시에 탑재하고, 실내 비행이 가능한 소형 멀티콥터 시스템을 설계/제작하였으며, YOLO를 활용한 충돌회피 알고리즘을 탑재해 비행시험으로 활용성을 확인하고자 한다.
이 논문에서는 국내/외 충돌회피 연구용 멀티콥터 현황에 대해 분석하고, 장애물 회피 알고리즘 시험을 위한 소형 멀티콥터를 설계/제작/시험한 내용을 기술하였다. 비행체는 TBS Discovery 프레임을 기반으로 Pixhawk 비행 제어 시스템을 탑재하고, 충돌회피 센서로써 LiDAR 센서와 3D 깊이 센서를 탑재하였다.

제안 방법

LiDAR는 레이저로 주변 360도 장애물 거리를 측정해야 하므로, MC 상부에 별도의 장착대를 제작하여 설치하였다. GPS와 배터리는 비행체 무게중심 유지를 위해 후방으로 위치하도록 설계하였다. 배터리는 지속적인 운용 편의성을 고려해 상용 드론(Mavic II)에 사용되는 스마트 배터리를 장착하였다.
10은 Gazebo SITL(Simultion In The Loop) 환경을 구축한 것으로 좌측은 드론의 비행상황을 가시화하는 장면이며, 우측은 드론에서 바라본 카메라 뷰이다. SITL 환경에서도 YOLO로 사람을 인식하고, 회피 명령이 정상적으로 출력되는 것을 확인한 후 비행시험으로 이를 검증하였다.
자율 비행 드론을 개발하였다. ZED 스테레오 카메라로 촬영한 영상을 이용하여 SVO(Semi-direct Visual Odometry) 알고리즘으로 드론의 속도를 추정한 다음 그 결과를 UKF(Unscented Kalman Filter) 에입력하여 IMU 데이터와 결합해 최종 항법 해를 계산한다. 모든 계산은 비행체에 탑재된 Jetson TX2에서 이뤄진다.
3D LiDAR는 전 방향 3차원 장애물 인식이 가능하지만, 현재까지 개발된 3D LiDAR 중 가장 가벼운 제품(Velodyne사의 Puck LITE) 중량이 약 600g으로 본 연구에서 개발 중인 기체에는 장착할 수 없는 수준이다. 따라서 Table 7 과같이 2D LiDAR의 주요 제품을 비교한 결과, 성능과 중량 등을 고려해 Slamtec사의 S1 LiDAR를 기본 장비로 선정하였다.
개발한 멀티콥터 시스템은 탑재 컴퓨터에서 실시간(10Hz 주기) 으로 사물인식 알고리즘을 구동하고, 비행 제어 컴퓨터와 연동해 충돌회피가 가능함을 확인하였다. 또한 Gazebo SITL에서 비행시험과 유사한 환경을 구현하여 FCC와 MC 연동 및 소프트웨어 기능을 검증한 후 비행시험으로 이를 확인하였다.
하지만 현재 기체는 프레임 자체가 회로기판으로 되어있어 일부 전원공급 케이블 역할을 하므로, 중량이 가장 적은 PM02를 선정하였다. 또한 MC로 충분한 5V 전원을 공급하기 위해 7A 출력이 가능한 BEC(Battery Eliminator Circuit)를 추가 장착하였다.
D435i와 D455는 유사한 성능을 가지고 있으나 화각(FOV, Field Of View)과 RGB 센서의 화소 차이가 있다. 모든 방향의 장애물 인식을 위해서는 6개의 센서를 탑재해야 하지만 알고리즘 테스트 목적을 달성하면서 중량을 최소화하기 위해 D435i 1개의 센서만 드론에 장착하였다.
비행 데이터는 오픈소스 비행 소프트웨어의 표준이 되는 ULog 형식으로 비행 제어 컴퓨터의 MicroSD 카드에 저장하고, Flight Review[11]를 활용하여 비행성능과 제어성능을 분석하였다.
비행시험을 통해 소형 충돌회피 멀티콥터 시스템의 특성 확인 및 자동 비행 성능을 검증하였다(Fig. 5).
비행체는 TBS Discovery 프레임을 기반으로 Pixhawk 비행 제어 시스템을 탑재하고, 충돌회피 센서로써 LiDAR 센서와 3D 깊이 센서를 탑재하였다. 설계/제작한 드론은 Gazebo 시뮬레이션 환경과 비행시험을 통해 안정적인 비행이 가능하고, YOLO 영상 인식알고리즘을 활용한 충돌회피 시험으로 그 활용성을 확인하였다. 이 논문이 충돌회피를 포함한 자율 비행 기술 연구자들의 실험 플랫폼 구축의 기초자료로 활용되길 바란다.
시스템의 안정성을 사전에 확인하기 위해 Gazebo 시뮬레이션 환경과 연동하여 충돌회피 시험을 수행하였다. Fig.
MIT의 Carrio[4]는 동적 장애물의 위치를 추정하고, 충돌회피를 수행하기 위해 소형 쿼드콥터를 사용하였다. 이 연구에서는 최대 8m 거리에서 상대 속도 2.3m/s로 날아오는 드론을 감지하기 위해 스테레오 영상 처리를 16Hz로 실시하였다. 시험에 사용된 기체는 ZED 3D카메라와 Jetson TX2, Qualcomm Snapdragon 비행 제어 컴퓨터를 탑재하였다.
이 연구에서는 충돌회피 시험을 목적으로 하므로 리얼센스 중 관성 측정 센서를 포함한 제품만 비교하였다(Table 8).
카네기멜런 대학(CMU)의 Dubey[3]는 전선을 자동으로 감지하고 충돌 회피 경로를 생성하는 기술을 연구하였다. 이를 위해 합성곱 신경망(CNN, Convolutional Neural Network) 알고리즘을 탑재하고자 Jetson TX2와 FPGA, 스테레오 카메라를 장착한 드론을 개발하였다. MIT의 Carrio[4]는 동적 장애물의 위치를 추정하고, 충돌회피를 수행하기 위해 소형 쿼드콥터를 사용하였다.
배터리는 지속적인 운용 편의성을 고려해 상용 드론(Mavic II)에 사용되는 스마트 배터리를 장착하였다. 장비 배치 결과, 기존 TBS 드론보다 이륙중량이 크고, 무게중심이 위쪽으로 위치해 추가적인 제어이득 튜닝 과정을 필요로하였다.
3과 같다. 중량 절감을 위해 기본 착륙장치를 제거하고, 날개 끝지지대 하부에 약 3mm 높이로 스티로폼 재질의 충격흡수제를 추가하였다. FCC는 기체의 자세 변화에도 정확한 항법 측정을 위해 동체 하부 판의 무게중심 근처에 위치시키고, 충돌회피를 위한 LiDAR, 카메라, MC 등은 모두 동체 전방 상부 판에 장착하였다.
최근 SDK 지원이 많고, 다양한 사양을 갖춘 인텔 리얼센스를 검토하였다. 리얼센스는 능동 적외선 스테레오 비전(Active Infrared Stereo Vision)기술을 적용한 3D 깊이 센서로 세부 구성품은 Fig.

대상 데이터

반면, 실내 비행을 위해서는 기체의 크기가 작고 가벼워야 한다. 다양한 쿼드콥터 비행체를 검토한 결과, 본 연구에서는 TBS Discovery 모델을 기본프레임으로 선정하였다. 이 기체는 DJI사의 F450 교육용 쿼드콥터의 부품을 그대로 사용하면서 FPV(First Person View) 비행용으로 제작되어 장비탑재 공간이 넓은 편이다.
주전원을 높게 설정하면 동일 출력에서 낮은 전류를 사용함으로써 모든 부품의 중량을 감소시킬 수 있다. 따라서 본 연구에서는 TBS 기체에 적용 가능한 최대 전압인 14.8V (4 Cell)를 사용하였다. 반면, FCC, MC, 탑재 센서, 카메라 등은 주로 5V 전압을 사용하므로 전원관리 보드를 별도로 장착해야 한다.
TX2는 성능이 우수하지만, 개발자용 보드의 크기가 크고 드론에 장착하기 위해서는 별도의 캐리어(Carrier) 보드를 추가해야 하는 단점이 있다. 본 연구에서는 탑재가 쉽고 가벼우면서도 필요한 경우, Xavier NX로 편리하게 교체가 가능한 Jetson Nano를 드론에 탑재하였다.
ETH의 Falanga[5]는 날아오는 공을 회피하기 위한 드론을 개발하였으며, 탐지 센서로는 Insightness사의 SEEM1 센서를 사용하고, 처리컴퓨터로는 인텔의 UP²를 탑재하였다. 비행 제어 컴퓨터로는 중량이 10g이며 Betaflight 펌웨어를 사용하는 Lumenier F4 AIO를 사용하였다.
비행체는 TBS Discovery 프레임을 기반으로 Pixhawk 비행 제어 시스템을 탑재하고, 충돌회피 센서로써 LiDAR 센서와 3D 깊이 센서를 탑재하였다. 설계/제작한 드론은 Gazebo 시뮬레이션 환경과 비행시험을 통해 안정적인 비행이 가능하고, YOLO 영상 인식알고리즘을 활용한 충돌회피 시험으로 그 활용성을 확인하였다.
3m/s로 날아오는 드론을 감지하기 위해 스테레오 영상 처리를 16Hz로 실시하였다. 시험에 사용된 기체는 ZED 3D카메라와 Jetson TX2, Qualcomm Snapdragon 비행 제어 컴퓨터를 탑재하였다. ETH의 Falanga[5]는 날아오는 공을 회피하기 위한 드론을 개발하였으며, 탐지 센서로는 Insightness사의 SEEM1 센서를 사용하고, 처리컴퓨터로는 인텔의 UP²를 탑재하였다.
최근 스웨덴 Everdrone[8]은 자동심장충격기(AED, Automated External Defibrillator)와 의료용품을 신속히 운반하기 위한 드론을 개발하였다. 여기에는 장애물 감지를 위해 RealSense D435를 총 7개 장착하였다. 동체 주변으로 60도 간격마다 6개를 장착하고, 하부에 1개를 장착하였다.
개발하였다. 이를 위해 단일 카메라와 Jetson TX2 를 비행체에 탑재하였다. 소프트웨어는 Trail DNN, Object DNN, Obstacle Detector로 구성하고 MAVROS를 이용하여 비행제어컴퓨터와 통신한다.
Table 5는 전원관리 보드 사양을 비교한 것으로, PM07의 경우 I/O보드를 결합한 형태로 케이블 간소화, 중량 절감이 가능한 장점이 있다. 하지만 현재 기체는 프레임 자체가 회로기판으로 되어있어 일부 전원공급 케이블 역할을 하므로, 중량이 가장 적은 PM02를 선정하였다. 또한 MC로 충분한 5V 전원을 공급하기 위해 7A 출력이 가능한 BEC(Battery Eliminator Circuit)를 추가 장착하였다.

이론/모형

비행 제어시스템은 오픈 아키텍쳐 기반의 통합 비행 제어 컴퓨터인 Pixhawk를 사용하였다. Pixhawk는 자이로, 가속도 센서, 지자계 센서, 다양한 입출력 신호처리 기능을 포함한 통합 비행제어컴퓨터이다.
소프트웨어 모듈 구성은 Fig. 9와 같이 MAVROS를 MC에 탑재하고, 사물 인식 알고리즘으로는 YOLO v3를 이용하였다. YOLO(You Only Look Once)는 가장 대표적인 객체 탐지 알고리즘으로 실시간 성능이 뛰어나 드론과 로봇에 널리 활용되고 있다.

성능/효과

이 연구에서는 YOLO 알고리즘 성능보다는 전체 시스템의 안정성과 활용성을 중점적으로 다뤘다. 개발한 멀티콥터 시스템은 탑재 컴퓨터에서 실시간(10Hz 주기) 으로 사물인식 알고리즘을 구동하고, 비행 제어 컴퓨터와 연동해 충돌회피가 가능함을 확인하였다. 또한 Gazebo SITL에서 비행시험과 유사한 환경을 구현하여 FCC와 MC 연동 및 소프트웨어 기능을 검증한 후 비행시험으로 이를 확인하였다.
소형 멀티콥터에 LiDAR와 3D 깊이 센서, 임무 컴퓨터를 탑재하여 FPV비행체보다 중량이 증가하였고, 수직 무게중심이 높으며, 탑재 장비가 분산 배치되어 관성모멘트가 증가하였다. 이로 인해 초기 비행 때에는 불안정한 응답 특성을 보였으나 추가적인 제어기 이득튜닝 과정을 거쳐 응답 특성을 개선하였다.
그 외에도 나무를 사람으로 인식하는 경우도 자주 발생했다. 이 연구에서는 YOLO 알고리즘 성능보다는 전체 시스템의 안정성과 활용성을 중점적으로 다뤘다. 개발한 멀티콥터 시스템은 탑재 컴퓨터에서 실시간(10Hz 주기) 으로 사물인식 알고리즘을 구동하고, 비행 제어 컴퓨터와 연동해 충돌회피가 가능함을 확인하였다.

후속연구

설계/제작한 드론은 Gazebo 시뮬레이션 환경과 비행시험을 통해 안정적인 비행이 가능하고, YOLO 영상 인식알고리즘을 활용한 충돌회피 시험으로 그 활용성을 확인하였다. 이 논문이 충돌회피를 포함한 자율 비행 기술 연구자들의 실험 플랫폼 구축의 기초자료로 활용되길 바란다.

참고문헌 (12)

Wang, Linlin, et al. "Applications and prospects of agricultural unmanned aerial vehicle obstacle avoidance technology in China." Sensors 19.3 (2019): 642.

상세보기
Skydio. About. https://skydio.com/about
Dubey, Geetesh, Ratnesh Madaan, and Sebastian Scherer. "DROAN-Disparity-Space Representation for Obstacle Avoidance: Enabling Wire Mapping & Avoidance." 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018.
Carrio, A., Tordesillas, J., Vemprala, S., Saripalli, S., Campoy, P., & How, J. P. "Onboard Detection and Localization of Drones Using Depth Maps". IEEE Access, 8, (2020):30480-30490.

상세보기
Falanga, Davide, Kevin Kleber, and Davide Scaramuzza. "Dynamic obstacle avoidance for quadrotors with event cameras." Science Robotics 5.40 (2020).
Jung, Sunggoo, et al. "A direct visual servoingbased framework for the 2016 IROS Autonomous Drone Racing Challenge." Journal of Field Robotics 35.1 (2018): 146-166.

상세보기
Smolyanskiy, Nikolai, et al. "Toward low-flying autonomous MAV trail navigation using deep neural networks for environmental awareness." 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2017.
Saving lives with Everdrone and Intel RealSense TM Technology, https://www.intelrealsense.com/everdrone
Meier, Lorenz, Dominik Honegger, and Marc Pollefeys. "PX4: A node-based multithreaded open source robotics framework for deeply embedded platforms." 2015 IEEE international conference on robotics and automation (ICRA). IEEE, 2015.
Garberoglio, Leonardo, et al. "Choriboard III: a small and powerful flight controller for autonomous vehicles." 2018 Argentine Conference on Automatic Control (AADECA). IEEE, 2018.
PX4 autopilot, Flight Review, https://review.px4.io
Shafiee, Mohammad Javad, et al. "Fast YOLO: A fast you only look once system for real-time embedded object detection in video." arXiv preprint arXiv:1709.05943 (2017).

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증