[논문]LTE/WiFi 기반 소형 무인기용 영상 전송 시스템 개발

배중원; 이상정

doi:10.20910/jase.2019.13.2.10

LTE/WiFi 기반 소형 무인기용 영상 전송 시스템 개발
Development of Video Transfer System using LTE/WiFi for Small UAV 원문보기

항공우주시스템공학회지 = Journal of aerospace system engineering, v.13 no.2, 2019년, pp.10 - 18

배중원 (한국항공우주연구원 무인기체계부) , 이상정 (충남대학교 전자공학과)

초록
AI-Helper

본 논문에서는 25kg 급 이하의 소형 무인기에서 활용 가능한 LTE/WiFi 기반의 영상 전송 시스템 개발 결과를 소개한다. 개발된 영상 전송 시스템은 탑재통신장치와 지상통신장치로 구성되었으며 소형무인기가 촬영한 HD급 해상도 이상의 영상(720p/30fps, 1080p/30fps)을 전송하기 위해 LTE와 WiFi 데이터통신 방식을 활용하였다. 탑재통신장치는 H.264 영상처리보드를 내장하여 실시간 스트리밍 영상 전송이 효율적으로 가능하도록 설계되었다. 지상시험평가를 통해 근거리부터 비가시선 영역에까지 실시간 영상전송이 가능함을 확인하였다.

Abstract ▼ AI-Helper

In this paper, we present the results of a developed LTE/Wi-Fi-based video transmission system which can be applied in small unmanned aerial vehicles of 25kg or less. The developed video transmission system comprised of airborne datalink terminal, ground datalink terminal, and used LTE and Wi-Fi wireless data communication technologies to transmit videos of resolution higher than HD (720p/30fps, 1080p/30fps) taken by small UAV. The airborne device is designed to efficiently transmit real-time streaming video through the incorporation of H.264 video processing board. Ground tests and evaluation indicated the possibility of the developed system to transmit real-time videos from close distance in regards to non-line-of-sight area.

주제어

표/그림 (21)

그림 Fig. 1 LTE/WiFi Video Transfer System Architecture of Testbed UAV Platform
표 Table 1 Features of Airborne Datalink Terminal
그림 Fig. 2 Components of Airborne Datalink Terminal
그림 Fig. 3 Airborne Datalink Terminal (ADT)
그림 Fig. 4 Ground Datalink Terminal (GDT)
그림 Fig. 5 Software Architecture
그림 Fig. 6 RTP packet format
그림 Fig. 7 Network configuration for LTE communication connection
그림 Fig. 8 Port Forwarding and Mapping Scheme using one M2M server in LTE network
그림 Fig. 9 Packet transfer between ADT to M2M server
그림 Fig. 10 Ground Test Configuration
그림 Fig. 11 Network Performance Measurement by iPerf Program
그림 Fig. 12 Testbed UAV Setup for Functional Test of Command & Control (C2) Data Transfer
그림 Fig. 13 Parameters downloaded from Flight Controller using C2 Datalink
그림 Fig. 14 Upload of Waypoints for Mission Planning
표 Table 2 Serial Communication Setting for Flight Controller Interface
표 Table 3 Command Transfer and Operation Results in C2 Link Functional Test
그림 Fig. 15 Ground Test Setup for HD Video Transfer Function using LTE/WiFi Communication
그림 Fig. 16 Display of Streaming Video on VLC Player using LTE Datalink
그림 Fig. 17 Installation and Ground Test on Testbed UAV Platform
그림 Fig. 18 Removal of WiFi antenna and cable for Automatic Link Switching Function Test

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 HD급 이상(720p @30fps, 1080p @30fps)의 해상도를 지원하는 LTE/WiFi 영상 전송 시스템을 개발한 결과를 소개한다. 별도의 주파수 신청이나 무선국 신고 없이 활용가능한 장점을 고려하여 WiFi와 LTE 무선통신 기술을 선택하였다.
본 논문에서는 HD급의 해상도를 지원하는 스트리밍 영상의 전송을 위한 LTE/WiFi 영상 전송 시스템 개발 결과를 소개하였다. 개발된 시스템은 HDMI 인터페이스를 지원하고 H.

제안 방법

25㎏ 이하의 소형 무인기에서 활용하고자 스트리밍 영상 전송을 지원하는 테스트베드 무인기 시스템을 Fig.1과 같이 구성하였다. Micro HDMI 인터페이스를 제공하는 GoPro사의 Hero 4 모델을 영상카메라로 채택하였다.
GoPro Hero 4 영상카메라를 전용 짐벌에 장착하고 짐벌을 RC 조종장치에 연결하여 짐벌 자세 제어(팬 & 틸트)가 되도록 구성하였다.
Figure 17와 같이 테스트베드 무인기에 시스템을 실제로 장착하여 동일한 영상 전송 지상 시험을 수행 하였다. LTE 전송 시험에서는 무인기를 타 건물로 이동하여 비가시선 통신 조건에서 영상 전송 기능 시험을 실시하여 정상 작동을 재확인하였다. 향후 실제 비행시험을 통해서도 실시간 영상 전송 시험을 수행할 계획이다.
LTE 통신망을 이용할 때 현실적으로 구현 가능한 최대 데이터 전송량 성능을 확인하기 위해서, 네트워크 전송 성능을 확인할 수 있는 iPerf 프로그램을 활용하여 처리량(throughput)을 확인하는 시험을 진행하였다. Figure 10과 같은 지상시험 형상에서 고프로 카메라 대신 iPerf 프로그램을 설치한 송신시험용 PC를 연결하고 측정용 패킷(UDP, 1024 byte)을 50 Mbps 속도로 강제적으로 송신한다.
서버와 지상통신장치 간에도 1:1 맵핑 관계를 유지하도록 하는 포트 구성을 통해 영상 데이터를 지상 사용자에게 전송한다. M2M 서버와 지상통신장치에 연결된 영상 전송 채널의 안정적인 유지를 위해서 지상통신장치는 주기적으 로(1분에 1회) keep-alive 패킷을 송신하여 LTE 망의 NAT 테이블 변동을 방지하였다.
WiFi 통신링크가 연결된 상태에서 Fig. 12와 같이 WiFi 안테나와 케이블을 분리하여 WiFi 링크 단절 조건을 강제적으로 만들어 LTE 통신링크로의 자동전환 기능을 시험하였다. WiFi 안테나를 제거하더라도 아주 근거리에서는 WiFi 통신 연결이 유지되는 경우가 있기 때문에 안테나를 분리하고도 두 장치간의 거리를 3m 이상 충분히 띄워야 통신 연결이 중단되는 조건을 구현할 수 있었다.
개발된 LTE/WiFi 영상 전송 장치와 짐벌 및 영상카 메라 시스템을 Fig. 15와 같이 구성하여 HD 스트리밍 영상 전송 지상 기능시험을 실시하였다.
본 논문에서는 HD급의 해상도를 지원하는 스트리밍 영상의 전송을 위한 LTE/WiFi 영상 전송 시스템 개발 결과를 소개하였다. 개발된 시스템은 HDMI 인터페이스를 지원하고 H.264 스트리밍 영상 변환 처리와 LTE 및 WiFi 모뎀 제어를 하나의 탑재통신장치에서 동시에 지원하도록 구현함으로써 무인기 탑재시스템의 단순화와 기능 효율화를 도모하도록 제작되었다. 지상에서의 기능시험을 통해서는 HD급(720p @30fps, 1080p @30fps) 영상의 실시간 영상 전송이 LTE와WiFi 통신 방식으로 충분히 가능함으로 확인하였다.
LTE 통신 링크는 비가시선 영역에서도 통신이 가능하지만 사용량에 따라 요금이 부과되는 단점이 있으며, WiFi 통신 링크는 무료로 활용할 수 있으나 통신 거리 제약이 문제이다. 개발된 통신장치는 WiFi 신호의 환경 변화를 감지하여 LTE 통신링크에서 WiFi 통신링크로 자동 전환하는 기능을 구현하였다. 즉, 일정 시간 동안 WiFi 신호의 단절이나 품질 열화가 감지되면 LTE 통신링크로 전환하고 다시 WiFi 신호 품질이 복구되면 WiFi 통신링크로 자동 전환된다.
개발된 통신장치는 영상 전송 용도뿐 아니라 비행조종명령(TC; tele-command)과 비행체 상태 정보(TM;telemetry)를 전송하는 C2(command & control) 데이터 통신 링크로도 활용될 수 있도록 제작되었다.
Figure 13과 같이 무인기 상태 정보와 파라미터값이 정상적으로 수신되었음을 GCS 화면상에서 확인하였다. 또한 QGroundControl 프로그램에서 Table 3과 같은 대표적인 조종명령을 비행조종장치로 전송하고 비행체에서 해당되는 기능이 정상 작동되는지의 여부를 확인하였다. 상기와 같은 기능 시험을 통해 C2 통신링크로도 활용할 수 있음을 검증하였다.
264 포맷으로 인코딩하는 기능을 내장하고 있다. 또한 WiFi 통신 연결 후 일정 시간 동안 WiFi 신호의 단절이나 품질 열화시 LTE 통신 링크로 자동 전환하고 WiFi 신호 복귀시 WiFi 통신방식으로 다시 전환하는 링크 자동전환 기능을 구현하였다.
M2M 서버 관리 모듈은 서버에서 동작하는 소프트 웨어로 탑재통신장치에서 수신되는 영상을 지상통신장치로 전달하기 위한 통신 세션 관리 및 데이터 관리를 수행하는 기능을 제공한다. 또한 무인기 조종제어(C2;command and control) 통신링크 기능도 가능하도록 지상통신장치에서 수신한 조종명령을 탑재통신장치로 전송하는 기능을 포함하였다.
개발된 통신장치는 영상 전송 용도뿐 아니라 비행조종명령(TC; tele-command)과 비행체 상태 정보(TM;telemetry)를 전송하는 C2(command & control) 데이터 통신 링크로도 활용될 수 있도록 제작되었다. 무인기의 비행조종장치(FC; flight controller)와 연결하여 C2 통신 링크 동작을 확인하기 위한 기능 시험을 수행하였다.
무인기 지상통제장치(GCS; ground control system) 프로그램으로 Pixhawk 하드웨어와 PX4 Pro Flight Stacks를 지원하는 오픈소스 GCS 프로그램인 QGroundControl을 활용하였다. 지상통신장치와 QGroundControl이 설치된 PC는 이더넷 케이블로 연결하고 UDP로 통신 방식을 설정하였다. 비행조종장치와 GCS에서 전송되는 데이터는 탑재통신장치와 지상통신장치에서 200 바이트 단위로 패킷화하여 전송한다.
이런 경우는 WiFi 상태 정보 패킷의 손실률(loss rate)을 계산하여 확인할 수 있다. 해당 손실률은 통신장치 구동 중에 WiFi 상태 정보 패킷의 수신과 동시에 최근 5초를 기준으로 한 백분율로 계산하며, 손실률이 일정 비율(예: 30%) 이상일 경우는 WiFi 연결을 사용하지 않도록 한다.

대상 데이터

CPU 보드에는 TI사의 DM385 DaVinci 디지털 멀티미디어 프로세서를 사용하였다. DM385 프로세서는 HD급 영상을 처리하는 IP 네트워크 카메라, 미디어 플레이어, 모바일 이미징 등의 분야에 사용되는 고성능, 저비용, 저전력의 프로그램 가능한 플랫폼이다.
1과 같이 구성하였다. Micro HDMI 인터페이스를 제공하는 GoPro사의 Hero 4 모델을 영상카메라로 채택하였다. LTE/WiFi 영상 전송 시스템은 탑재통신장치(ADT; airborne datalink terminal)와 지상통신장치 (GDT; ground datalink terminal)로 구분된다.
본 논문에서는 HD급 이상(720p @30fps, 1080p @30fps)의 해상도를 지원하는 LTE/WiFi 영상 전송 시스템을 개발한 결과를 소개한다. 별도의 주파수 신청이나 무선국 신고 없이 활용가능한 장점을 고려하여 WiFi와 LTE 무선통신 기술을 선택하였다. 개발된 LTE/WiFi 지원 영상 전송 장치는 사용자가 WiFi 또는 LTE 통신 방식을 선택할 수 있는 기능을 기본적으로 제공한다.
비행조종장치로는 Pixhawk 2.1 하드웨어를 사용하 였으며, 탑재통신장치의 직렬 통신 포트와 Pixhawk 비행조종장치의 텔레메트리 포트는 Fig. 12와 같이 직렬 통신 케이블로 연결하고 통신 포트를 Table 2와 같이 설정하였다.
지상통신장치와 시험용컴퓨터는 이더넷 케이블로 연결되었다. 시험용 컴퓨터에서는 오픈소스 동영상 플레이어인 VLC Player를 구동하여 수신한 RTP 패킷을 영상으로 시현 한다. Figure 16은 LTE 통신 링크를 통해 전송받은 영상을 시험용 컴퓨터의 VLC Player에서 시현하는 지상 시험 장면을 캡처한 사진이다.

데이터처리

WiFi 상태 정보 패킷의 용도는 단순히 WiFi 회선의 상태를 확인하는 용도이며, 지상통신장치와 탑재통신장치 모두가 송신하고 수신하도록 한다. 이렇게 얻은 RSSI 정보는 각 통신 장치에서 3초 동안의 통신 상태를 판단하기 위해 3초(6회) 동안 수집한 이동 평균값을 이용하여 RSSI 임계값과 비교한다. 이동 평균 계산에 사용하는 윈도우 크기(3초)는 변경할 수 있다.

이론/모형

무인기 지상통제장치(GCS; ground control system) 프로그램으로 Pixhawk 하드웨어와 PX4 Pro Flight Stacks를 지원하는 오픈소스 GCS 프로그램인 QGroundControl을 활용하였다. 지상통신장치와 QGroundControl이 설치된 PC는 이더넷 케이블로 연결하고 UDP로 통신 방식을 설정하였다.

성능/효과

WiFi 통신 방식과 LTE 통신 방식 시험에서 모두 스트리밍 영상 데이터가 지상시험용 PC에 정상적으로 전달되어 영상이 실시간으로 시현됨을 확인하였다. 그러나 영상 변환과 전송 과정에서 1초 정도의 시간 지연이 발생됨을 확인할 수 있었는데, 이는 소프트웨어 동영상 플레이어인 VLC Player 상에서 영상 복호화 프로세스에 소요되는 시간과 통신링크의 전송 지연이 복합적으로 작용한 결과로 판단된다.
WiFi 통신 방식과 LTE 통신 방식 시험에서 모두 스트리밍 영상 데이터가 지상시험용 PC에 정상적으로 전달되어 영상이 실시간으로 시현됨을 확인하였다. 그러나 영상 변환과 전송 과정에서 1초 정도의 시간 지연이 발생됨을 확인할 수 있었는데, 이는 소프트웨어 동영상 플레이어인 VLC Player 상에서 영상 복호화 프로세스에 소요되는 시간과 통신링크의 전송 지연이 복합적으로 작용한 결과로 판단된다.
또한 QGroundControl 프로그램에서 Table 3과 같은 대표적인 조종명령을 비행조종장치로 전송하고 비행체에서 해당되는 기능이 정상 작동되는지의 여부를 확인하였다. 상기와 같은 기능 시험을 통해 C2 통신링크로도 활용할 수 있음을 검증하였다.
설정한 시간(5초) 이내에 LTE 링크 연결이 자동적으로 작동되고 스트리밍 영상이 현시됨을 확인하여 통신링크 자동 전환 기능이 정상적으로 작동함을 확인하였다. 통신 링크 자동전환 설정 시간은 영상 전송 목적을 감안하여 임계값을 결정했으며, 통신 링크의 사용 목적에 따라 추가 조정이 가능하다.
LTE 망에서 NAT는 여러 방법으로 사설 IP 주소와 공인 IP 주소를 맵핑한다. 제한된 IP 자원을 이용해서 여러 호스트를 맵핑시키기 위해서는 포트 번호를 함께 활용하는 방법이 효과적이다. 사설 IP가 변경되더라도 무인기와 데이터별로 포트 번호는 항시 고정으로 설정하여 운용하면 상시적인 맵핑이 가능하다.
264 스트리밍 영상 변환 처리와 LTE 및 WiFi 모뎀 제어를 하나의 탑재통신장치에서 동시에 지원하도록 구현함으로써 무인기 탑재시스템의 단순화와 기능 효율화를 도모하도록 제작되었다. 지상에서의 기능시험을 통해서는 HD급(720p @30fps, 1080p @30fps) 영상의 실시간 영상 전송이 LTE와WiFi 통신 방식으로 충분히 가능함으로 확인하였다. 향후 근거리에서는 WiFi 통신링크를 위주로 활용하고 비가시선 영역에서는 LTE 통신링크를 활용하는 비행 시험과 운용 시험을 수행하여 개발된 시스템의 기능과 안정성을 추가로 검증할 계획이다.
Figure 10과 같은 지상시험 형상에서 고프로 카메라 대신 iPerf 프로그램을 설치한 송신시험용 PC를 연결하고 측정용 패킷(UDP, 1024 byte)을 50 Mbps 속도로 강제적으로 송신한다. 지상통신장치와 연결된 시험용 컴퓨터에 설치된 iPerf 프로그램에서 확인한 결과 Fig. 11과 같이 약 20 Mbps로 수신됨을 확인하였다.

후속연구

지상에서의 기능시험을 통해서는 HD급(720p @30fps, 1080p @30fps) 영상의 실시간 영상 전송이 LTE와WiFi 통신 방식으로 충분히 가능함으로 확인하였다. 향후 근거리에서는 WiFi 통신링크를 위주로 활용하고 비가시선 영역에서는 LTE 통신링크를 활용하는 비행 시험과 운용 시험을 수행하여 개발된 시스템의 기능과 안정성을 추가로 검증할 계획이다.
LTE 전송 시험에서는 무인기를 타 건물로 이동하여 비가시선 통신 조건에서 영상 전송 기능 시험을 실시하여 정상 작동을 재확인하였다. 향후 실제 비행시험을 통해서도 실시간 영상 전송 시험을 수행할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	통신링크의 변화에 의한 패킷 손실을 최소화하는 방법은 무엇인가?	이와 같은 방식으로 관리할 경우 통신링크의 변화에 의한 패킷 손실을 최소화할 수 있다. 즉, WiFi 회선 품질이 설정치 이상의 품질에 도달한 경우에만 사용하도록 하고, WiFi 연결이 이미 이루어진 후에 LTE에서 WiFi로 전환을 수행하기 때문에 링크 초기화로 인한 대기 시간을 최소화 할 수 있다.
	Lightbridge는 무엇인가?	중국의 세계적인 드론 업체인 DJI사는 2.4 ㎓와 5.8 ㎓의 주파수 대역을 이용하여 HD급 영상과 조종 명령을 함께 전송하는 자체 기술을 개발하여 최대 5 ㎞ 달하는 장거리 전송이 가능한 Lightbridge로 명명한 무선통신 기술을 개발하여 자사 고급 제품군에 적용하고 있다[3].
	소형 무인기에 사용 가능한 상업용 표준 데이터 링크 기술에 무엇이 있는가?	소형 무인기에 사용 가능한 상업용 표준 데이터 링크 기술에는 Bluetooth, Zigbee, WiFi, LTE 등이 있다[1]. Bluetooth와 Zigbee 기술은 데이터 전송 용량과 전송 거리의 한계로 조종용 데이타링크 기술로 활용은 가능하나 영상 전송용으로는 부족하다.

참고문헌 (4)

S. Hayat, E. Yanmaz and R. Muzaffar, "Survey on Unmanned Aerial Vehicle Networks for Civil Application: A Communications Veiwpoint," IEEE Communications Surveys and Tutorials, 2016.
S. H. Son, J. H. Kang and K. J. Park, "Overview and Issues of Drone Wireless Communication" Information & Communication Magazine, vol. 33, no. 2, pp. 93-99, February 2016.
http://www.dji.com/kr/lightbridge-2/info
J. W. Bae and S. J. Lee, "Design of Streaming Video Transfer System for Small Unmanned Aerial Vehicle," Proc. of the 2017 SASE Spring Conference, pp. 269-271, April 2017.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증