[논문]구글 맵 API를 이용한 딥러닝 기반의 드론 자동 착륙 기법 설계

이지은; 문형진

doi:10.22678/jic.2020.18.1.079

[국내논문] 구글 맵 API를 이용한 딥러닝 기반의 드론 자동 착륙 기법 설계
Design of Deep Learning-Based Automatic Drone Landing Technique Using Google Maps API 원문보기

산업융합연구 = Journal of industrial convergence, v.18 no.1, 2020년, pp.79 - 85

이지은 (한세대학교 대학원 IT융합전자공학과) , 문형진 (성결대학교 정보통신공학과)

초록
AI-Helper

최근 원격조종과 자율조종이 가능한 무인항공기(RPAS:Remotely Piloted Aircraft System)가 택배 드론, 소방드론, 구급 드론, 농업용 드론, 예술 드론, 드론 택시 등 각 산업 분야와 공공기관에서의 관심과 활용이 높아지고 있다. 자율조종이 가능한 무인드론의 안정성 문제는 앞으로 드론 산업의 발달과 함께 진화하면서 해결해야 할 가장 큰 과제이기도 하다. 드론은 자율비행제어 시스템이 지정한 경로로 비행하고 목적지에 정확하게 자동 착륙을 수행할 수 있어야 한다. 본 연구는 드론의 센서와 GPS의 위치 정보의 오류를 보완하는 방법으로서 착륙지점 영상을 통해 드론의 도착 여부를 확인하고 정확한 위치에서의 착륙을 제어하는 기법을 제안한다. 서버에서 도착지 영상을 구글맵 API로부터 수신받아 딥러닝으로 학습하고, 드론에 NAVIO2와 라즈베리파이, 카메라를 장착하여 착륙지점의 이미지를 촬영한 다음 이미지를 서버에 전송한다. Deep Learning으로 학습된 결과와 비교하여 임계치에 맞게 드론의 위치를 조정한 후 착륙지점에 자동으로 착륙할 수 있다.

Abstract ▼ AI-Helper

Recently, the RPAS(Remote Piloted Aircraft System), by remote control and autonomous navigation, has been increasing in interest and utilization in various industries and public organizations along with delivery drones, fire drones, ambulances, agricultural drones, and others. The problems of the stability of unmanned drones, which can be self-controlled, are also the biggest challenge to be solved along the development of the drone industry. drones should be able to fly in the specified path the autonomous flight control system sets, and perform automatically an accurate landing at the destination. This study proposes a technique to check arrival by landing point images and control landing at the correct point, compensating for errors in location data of the drone sensors and GPS. Receiving from the Google Map API and learning from the destination video, taking images of the landing point with a drone equipped with a NAVIO2 and Raspberry Pi, camera, sending them to the server, adjusting the location of the drone in line with threshold, Drones can automatically land at the landing point.

주제어

표/그림 (6)

그림 Fig. 1. Components of a drone
그림 Fig. 2. Mission Planner [9]
그림 Fig. 3. Automatic Landing Protocol
그림 Fig. 4. Image matching source using SIFT and KNN[10]
그림 Fig. 5. Drone Automatic Landing flowchart
그림 Fig. 6. Google Map Image and Camera Image

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 드론의 센서와 GPS의 위치 정보의 오류를 보완할 방법으로 착륙지점 영상을 기준으로 도착 여부를 확인하고 정확한 지점에 착륙을 제어하는 기법을 제안하였다. 서버에서 도착지 영상을 구글맵 API로부터 수신받은 이미지와 드론에 NAVIO2와 라즈베리파이, 카메라를 장착하여 착륙지점의 영상을 촬영하고 서버에 전송하여 수신받은 두 이미지의 크기가 다르거나 회전되어 있을 때 이미지의 특징에 대한 정보를 추출하고, 이 특징점을 비교하기 위해서 이미지의 특징을 추출하는 SIFT 알고리즘과 이미지를 매칭 하는 KNN 알고리즘을 이용해 이미지 매칭(딥러닝)을 하고 정확한 착륙지점에 드론이 학습된 결과와 비교하여 임계치에 맞게 드론의 위치를 마지막으로 다시 한번 조정하도록 하여 착륙지점에 자동으로 착륙할 수 있도록 한다[12].

제안 방법

NAVIO2의 특징으로는 GNSS 수신기, 방향 및 모션 감지를 위한 가속도계, 자이로스코프 및 자력계인 듀얼 IMU, RC I / O 보조 프로세서, 고해상도 기압계, 센서와 라디오를 위한 노출된 ADC, I2C 및 UART 인터페이스 확장 포트, 트리플 리던던트 전원이 있다. NAVIO2 위에 매우 작은 스마트 안테나가 일체화된 모듈을 제공하며 -163dBm 추적 및 -160dBm의 내비게이션 감도, 48개 이상의 위성 확인 채널을 가지고 있는 GPS 수신기와 수 킬로미터에 이르는 소형 전방향 안테나를 사용하고 더 넓은 범위에서 사용할 수 있는 양방향 증폭기인 라디오 데이터 전송 모듈 3DR Telemetry를 장착한다. 서버는 드론이 움직이는 경로와 GPS 정보를 수신하여 그것을 기반으로 방향을 잡 고, 드론의 카메라로 찍은 영상을 서버로 전송하여 구글맵 API로부터 온 영상과 비교하여 정확한 위치인지를 확인한다.
드론의 이착륙과 관련하여 RC(remote control), 착륙지의 H 마커(marker) 및 GPS(global positioning system)를 이용한 방법 등이 연구됐다. RC를 통한 수동 이착륙 방법은 조종자가 드론의 상태(고도, 속도, 방향 등)를 확인하면서 RC를 통하여 드론을 조종하며 이착륙을 진행한다. 조종자가 드론의 상태를 확인하는 방법으로는 드론을 조종자의 육안으로 확인하는 방법, 드론에 설치된 카메라를 통하여 드론의 상태를 확인하는 방법, 드론에서 GCS(ground control system)로 전송하는 정보를 통하여 확인하는 방법 등이 있다.
4에서는 SIFT 알고리즘은 이미지 하나를 입력하고 이미지에서 특징이 될만한 위치를 찾는데, 이를 특징점(모서리, 꼭짓점 등 변화가 크게 나타나는 부분)이라 한다. 각 특징점에서 특징을 뽑아내서 128 차원의 벡터로 Descriptor를 추출한 다음 이미지 전체에 대해 특징점을 찾고, Descriptor를 추출한다. 다음 단계로 특징을 가진 두 이미지를 비교하기 위해선 Matching이라는 순서가 기다린다.
Google Map은 구글에서 제공하는 지도 서비스로 구글 지도는 위성 사진, 스트리트 뷰, 360° 거리 파노 라마뷰, 실시간 교통 상황 (구글 트래픽), 그리고 도보, 자동차, 자전거(베타), 대중교통의 경로를 제공한다. 구글에서 제공하는 라이브러리를 활용하여 구글맵 영상을 전송받아 영상처리(딥러닝)를 한다.
이 논문에서 드론 자율비행에서 정확한 착륙을 제어 하기 위해 정확도를 높이기 위한 드론의 착륙제어 방식으로 구글맵 API를 통해 얻은 이미지와 드론 카메라로 촬영한 이미지를 딥러닝을 이용하여 비교한다. 두 이미지를 매칭한 영상처리 기법을 이용하여 두 이미지의 임계치가 90% 이상 매칭된 위치를 찾을 수 있도록 연구되었다. 오차범위를 최소화한 목표지점에 드론이 정확한 착륙을 할 수 있도록 설계하였다.
드론 착륙 기술 중 하나인 GPS의 문제점을 보완하기 위해 드론에 부착된 라즈베리파이에 카메라를 연결하고 라즈베리파이에 OpenCV를 설치하여 카메라로부터 받은 영상 이미지와 구글맵 API를 통해 얻은 지도의 이미지를 딥러닝 지도학습을 통해 두 이미지 유사도를 측정한다. 두 이미지의 크기가 다르거나 회전되어 있을 때 이미지의 특징에 대한 정보를 추출하고, 이 특징을 비교해야 하는데 이미지의 특징을 추출 하는 알고리즘 중에서 SIFT 알고리즘과 KNN 알고리즘을 이용해 이미지에서 특징점을 추출하고, 두 이미지를 비교한다.
Step 2. 드론 장착된 카메라로 착륙목표 지형을 영상을 찍어 서버로 전송한다.
드론 착륙 기술 중 하나인 GPS의 문제점을 보완하기 위해 드론에 부착된 라즈베리파이에 카메라를 연결하고 라즈베리파이에 OpenCV를 설치하여 카메라로부터 받은 영상 이미지와 구글맵 API를 통해 얻은 지도의 이미지를 딥러닝 지도학습을 통해 두 이미지 유사도를 측정한다. 두 이미지의 크기가 다르거나 회전되어 있을 때 이미지의 특징에 대한 정보를 추출하고, 이 특징을 비교해야 하는데 이미지의 특징을 추출 하는 알고리즘 중에서 SIFT 알고리즘과 KNN 알고리즘을 이용해 이미지에서 특징점을 추출하고, 두 이미지를 비교한다.
마커를 인식하기 위해서 이진화 기법, 레이블링(Labeling) 기법을 사용하고 레이블마다 마커의 모양이 정사각형인지 마커의 외곽선을 이용하여 마커인지 아닌지 판단하는 검증 과정을 진행한다. 또 마커의 꼭짓점을 활용하여 카메라와 마커 간의 상대적 거리를 계산하고 기울어 진 각도를 추정한 후 자동 착륙을 시도한다. 하지만 마커가 없는 지역에서는 자동 착륙이 불가능하다는 문제점을 가지고 있다[2].
착륙지의 H 마커를 추적하여 자동 착륙을 진행하는 기술은 드론에 저장해둔 마커와 드론에 탑재된 카메라의 영상을 비교하여 영상 내에 마커가 존 재하는지 확인하고, 마커를 발견할 시 영상 내의 마커 의 위치, 크기, 방향 등을 바탕으로 현재 드론의 위치, 방향, 높이를 계산하며 착륙을 진행한다. 마커를 인식하기 위해서 이진화 기법, 레이블링(Labeling) 기법을 사용하고 레이블마다 마커의 모양이 정사각형인지 마커의 외곽선을 이용하여 마커인지 아닌지 판단하는 검증 과정을 진행한다. 또 마커의 꼭짓점을 활용하여 카메라와 마커 간의 상대적 거리를 계산하고 기울어 진 각도를 추정한 후 자동 착륙을 시도한다.
5]의 자동 착륙 알고리즘에 따라 드론의 정확한 위치를 찾아서 이동한 후 착륙을 한다. 본 제안기법을 통해 정확한 위치를 구글맵에서 얻은 이미지를 통해 파악하고, 그 위치에 착륙할 수 있게 되었다. 드론의 착륙 위치와 구글맵의 중심점(GPS 정보)간의 약간의 오차는 발생할 수 있다.
NAVIO2 위에 매우 작은 스마트 안테나가 일체화된 모듈을 제공하며 -163dBm 추적 및 -160dBm의 내비게이션 감도, 48개 이상의 위성 확인 채널을 가지고 있는 GPS 수신기와 수 킬로미터에 이르는 소형 전방향 안테나를 사용하고 더 넓은 범위에서 사용할 수 있는 양방향 증폭기인 라디오 데이터 전송 모듈 3DR Telemetry를 장착한다. 서버는 드론이 움직이는 경로와 GPS 정보를 수신하여 그것을 기반으로 방향을 잡 고, 드론의 카메라로 찍은 영상을 서버로 전송하여 구글맵 API로부터 온 영상과 비교하여 정확한 위치인지를 확인한다. UAV의 맨 아래에는 고정된 위치에서 사용 가능한 카메라로 5백만 화소, 시야각 75.
본 연구는 드론의 센서와 GPS의 위치 정보의 오류를 보완할 방법으로 착륙지점 영상을 기준으로 도착 여부를 확인하고 정확한 지점에 착륙을 제어하는 기법을 제안하였다. 서버에서 도착지 영상을 구글맵 API로부터 수신받은 이미지와 드론에 NAVIO2와 라즈베리파이, 카메라를 장착하여 착륙지점의 영상을 촬영하고 서버에 전송하여 수신받은 두 이미지의 크기가 다르거나 회전되어 있을 때 이미지의 특징에 대한 정보를 추출하고, 이 특징점을 비교하기 위해서 이미지의 특징을 추출하는 SIFT 알고리즘과 이미지를 매칭 하는 KNN 알고리즘을 이용해 이미지 매칭(딥러닝)을 하고 정확한 착륙지점에 드론이 학습된 결과와 비교하여 임계치에 맞게 드론의 위치를 마지막으로 다시 한번 조정하도록 하여 착륙지점에 자동으로 착륙할 수 있도록 한다[12]. 향후 연구로는 제안된 기법을 적용하여 정확도를 높이고, 구글맵 영상 이미지에서 매칭 하는 개선된 알고리즘 개발에 관한 연구가 필요하다.
두 이미지를 매칭한 영상처리 기법을 이용하여 두 이미지의 임계치가 90% 이상 매칭된 위치를 찾을 수 있도록 연구되었다. 오차범위를 최소화한 목표지점에 드론이 정확한 착륙을 할 수 있도록 설계하였다.
무인항공기인 드론의 사용이 다양한 분야에서 확대되고 있으므로, 드론 자율비행의 정확도를 높이기 위한 연구할 필요가 있다. 이 논문에서 드론 자율비행에서 정확한 착륙을 제어 하기 위해 정확도를 높이기 위한 드론의 착륙제어 방식으로 구글맵 API를 통해 얻은 이미지와 드론 카메라로 촬영한 이미지를 딥러닝을 이용하여 비교한다. 두 이미지를 매칭한 영상처리 기법을 이용하여 두 이미지의 임계치가 90% 이상 매칭된 위치를 찾을 수 있도록 연구되었다.
최근 인물사진을 통해 사용자인증을 하는 데 딥러닝 기술을 활용한다[8]. 주어진 인물사진으로부터 사람의 얼굴을 찾고, 얼굴에서 특징점을 도출하여 학습한다. 학습된 상태에서 새로운 인물사진을 입력하면 입력된 사진으로부터 사람의 얼굴에서 특징점을 찾아 학습된 이전의 사진의 인물과 동일임을 확인하는 기술들이 보편화 되고 있다.
지상관제 S/W인 Mission Planner를 이용하여 드론을 원하는 위치로 이동(컨트롤)한 다음 드론이 착륙 목표지점에 도착한 후에는 GPS 정보를 착륙지점과 비교하여 같으면 카메라로 착륙을 위한 사진을 찍고 서버로 이미지 전송한다. 착륙목표 지점의 구글맵 API로부터 내려받은 이미지를 딥러닝으로 매칭하여 드론의 방향과 위치 등 조정이 가능하다.
조종자가 드론의 상태를 확인하는 방법으로는 드론을 조종자의 육안으로 확인하는 방법, 드론에 설치된 카메라를 통하여 드론의 상태를 확인하는 방법, 드론에서 GCS(ground control system)로 전송하는 정보를 통하여 확인하는 방법 등이 있다. 착륙지의 H 마커를 추적하여 자동 착륙을 진행하는 기술은 드론에 저장해둔 마커와 드론에 탑재된 카메라의 영상을 비교하여 영상 내에 마커가 존 재하는지 확인하고, 마커를 발견할 시 영상 내의 마커 의 위치, 크기, 방향 등을 바탕으로 현재 드론의 위치, 방향, 높이를 계산하며 착륙을 진행한다. 마커를 인식하기 위해서 이진화 기법, 레이블링(Labeling) 기법을 사용하고 레이블마다 마커의 모양이 정사각형인지 마커의 외곽선을 이용하여 마커인지 아닌지 판단하는 검증 과정을 진행한다.

데이터처리

다음 단계로 특징을 가진 두 이미지를 비교하기 위해선 Matching이라는 순서가 기다린다. 대표적인 Matching 알고리즘인 BFMatcher(Brute-Force Matcher)를 기준으로 두 이미지를 비교한다.

성능/효과

첫째, 인공위성 시간 오차, 인공위성 위치 오차, 전리층과 대류층의 굴절 및 잡음 (Noise), 다중경로 등 구조적 요인으로 생기는 오차가 있다. 둘째, 위성의 위치 상황에 따른 기하학적 오차가 있으며 마지막으로 가장 큰 오차의 원인인 SA(Selective Availability)가 있다[1]. 이 요소들이 낳는 오차들은 시간과 장소에 따라서 매우 크게 변한다.
Polvara et al은 다른 단계에서 내비게이션에 대한 고급 제어 정책으로 사용 할 수 있는 Deep Q-Networks(DQNs)의 계층을 기반으로 한 접근 방식을 제안했다. 최적의 정책으로, 대규모의 시뮬레이션 된 환경에서 자율적으로 착륙하는 것 을 보여주었다. 또한, 다양한 장애와 불확실성이 존재 하는 상황에서 관제사가 항공기를 안전한 착륙으로 유도할 수 있도록 보장하기 위해 적응형 신경 네트워크에 기초한 다수의 접근 방식들이 채택되었다[4]

후속연구

서버에서 도착지 영상을 구글맵 API로부터 수신받은 이미지와 드론에 NAVIO2와 라즈베리파이, 카메라를 장착하여 착륙지점의 영상을 촬영하고 서버에 전송하여 수신받은 두 이미지의 크기가 다르거나 회전되어 있을 때 이미지의 특징에 대한 정보를 추출하고, 이 특징점을 비교하기 위해서 이미지의 특징을 추출하는 SIFT 알고리즘과 이미지를 매칭 하는 KNN 알고리즘을 이용해 이미지 매칭(딥러닝)을 하고 정확한 착륙지점에 드론이 학습된 결과와 비교하여 임계치에 맞게 드론의 위치를 마지막으로 다시 한번 조정하도록 하여 착륙지점에 자동으로 착륙할 수 있도록 한다[12]. 향후 연구로는 제안된 기법을 적용하여 정확도를 높이고, 구글맵 영상 이미지에서 매칭 하는 개선된 알고리즘 개발에 관한 연구가 필요하다.

참고문헌 (12)

Y. K. Ju, H. J Mun & K. H Han. (2019). Image Processing Based Drone Landing Technique Considering GPS error and wind Direction, IJ ITEE, 8(2), 245-254
J. M. Jeong, J. S. Kim, K.W Lee, N.W Hwang, T.S. Yoon & J. B. Park. (2015). Development and Validation of Image Sensor Based Landing Site Recognition Algorithm for Autonomous Landing of the Unmanned Aerial Vehicle. Journal of The Korean Society for Aeronautical & Space Sciences, 1547-1550
H. N. Kim & Y. J. Jung. (2016). Automatic take-off and landing method and device of drones, KR. Patent No. 10-1749578 "https://patents.google.com/patent/KR101749578B1/ko"
Y. Feng, C. Zhang, S. Baek, S. Rawashdeh & A. Mohammadi (2018). Autonomous landing of a UAV on a moving platform using model predictive control. Drones, 2(4), 34. DOI: 10.3390/drones2040034

상세보기
N. Jayanthi & S. Indu. (2016). Comparison of image matching techniques. International Journal of Latest Trends in Engineering and Technology, 7(3), 396-401 DOI: 10.21172/1.73.552
OpenCV Library Package-"IntRoLab [internet]. Available
KNN Euclidean Distance, "https://ratsgo.github.io/machine%20learning/2017/04/17/KNN/"
H. J. Mun & G. H. Kim. (2019). A Survey on Deep Learning based Face Recognition for User Authentication, Journal of Industrial Convergence, 17(3), 23-29. DOI: 10.22678/jic.2019.17.3.023

원문보기 상세보기
MissionPlanner, https://ardupilot.org/planner/docs/mission-planner-overview.html
Comparison of Features Using SIFT Technicians. "https://github.com/yildbs/SearchImageWithPython/blob/master/Example-OpenCV/brute_force_matching_knn.py"
D.G Lowe. (2004). Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2), 91-110. DOI:10.1023/b:visi.0000029664.99615.94

상세보기
J.P. Lee, J.W. Lee, & K.H. Lee. (2016). A Scheme of Security Drone Convergence Service using Cam-Shift Algorithm. Journal of the Korea Convergence Society, 7(5), 29-34. DOI: 10.15207/JKCS.2016.7.5.029

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증