[논문]Design of Real-time Video Acquisition for Control of Unmanned Aerial Vehicle

Jeong, Min-Hwa

doi:10.11003/jpnt.2020.9.2.131

[국내논문] Design of Real-time Video Acquisition for Control of Unmanned Aerial Vehicle 원문보기

Journal of Positioning, Navigation, and Timing, v.9 no.2, 2020년, pp.131 - 138

Jeong, Min-Hwa (Agency for Defense Development)

Abstract ▼ AI-Helper

In this paper, we analyze the delay phenomenon that can occur when controlling an unmanned aerial vehicle using a camera and describe a solution to solve the phenomenon. The group of pictures (GOP) value is changed in order to reduce the delay according to the frame data size that can occur in the moving image data transmission. The appropriate GOP values were determined through experimental data accumulation and validated through camera self-test, system integration laboratory (SIL) verification test and system integration test.

Keyword

표/그림 (14)

그림 Fig. 1. Group of pictures (ACTi 2009).
그림 Fig. 2. UAV system architecture.
그림 Fig. 3. Camera streaming on ground control station.
그림 Fig. 4. The message format of GVCP: (a) WRITEREG CMD Message, (b) READREG CMD message, (c) WRITEREG ACK message, (d) READREG ACK message (AIA 2013).
그림 Fig. 5. Data block structure (AIA 2013).
그림 Fig. 6. I-Frame delay.
그림 Fig. 7. I-frame size depending on GOP value.
그림 Fig. 8. Frame loss comparison with GOP values (Samsung Techwin 2012).
그림 Fig. 9. Test set up for I-frame transfer time measurements.
그림 Fig. 10. Frame transfer time in GOP 2.
그림 Fig. 11. Frame transfer time in GOP 10.
그림 Fig. 12. Frame transfer time in GOP 30.
표 Table 1. Average I-frame transfer time depending on GOP.
표 Table 2. I-frame data size and transfer time according to flight phase (GOP=2).

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

무인기 체계의 카메라는 전송률, FOV, 해상도 및 프레임 레이트 등이 체계 요구사항으로 값이 정해져 있기 때문에 크롭핑, 스케일링, 프레임 데시메이션 방법을 적용할 수 없다. 따라서 본 논문에서는 GOP 값 조절을 통해 I-프레임으로 인한 지연을 줄일 수 있는 방안을 연구하였다.
이와 같이 영상 내용에 따라 GOP 값을 결정하는 방식이 이상적이나, 이는 카메라 내 인코더에서 영상 속성 변화에 따른 가변 GOP 값을 설정하는 알고리즘을 제공해야 가용하다. 본 체계에서는 체계 요구사항 및 환경 규격을 충족하는 고정된 GOP 값을 사용하는 카메라를 적용하였고, 따라서 본 연구에서는 정해진 체계 요구사항 및 모든 체계 운용 상황 내에서 I-프레임으로 인한 지연이 발생하지 않는 고정된 GOP 값을 결정하기 위한 분석을 수행하였다. 본 논문에서는 버퍼 없는 환경에서 I-프레임의 데이터 크기에 의해 발생할 수 있는 지연을 줄이기 위한 GOP 값 설정 및 검증에 대한 내용을 포함한다.
본 체계에서는 체계 요구사항 및 환경 규격을 충족하는 고정된 GOP 값을 사용하는 카메라를 적용하였고, 따라서 본 연구에서는 정해진 체계 요구사항 및 모든 체계 운용 상황 내에서 I-프레임으로 인한 지연이 발생하지 않는 고정된 GOP 값을 결정하기 위한 분석을 수행하였다. 본 논문에서는 버퍼 없는 환경에서 I-프레임의 데이터 크기에 의해 발생할 수 있는 지연을 줄이기 위한 GOP 값 설정 및 검증에 대한 내용을 포함한다.
본 논문에서는 카메라 탑재 무인기의 구성과 카메라의 제어 및 동영상에 관련된 프로토콜에 대해서 소개하고, 동영상 데이터전송에서 발생할 수 있는 프레임 데이터 크기에 따른 지연 현상에 대한 분석 및 해결을 기술하였다. 또한 검증을 위한 자체 체계SIL 확인 시험 및 체계 통합 시험에 대해서도 기술하였다.
본 논문에서는 카메라 탑재 무인기의 구성과 카메라의 제어 및 동영상에 관련된 프로토콜에 대해서 소개하고, 동영상 데이터전송에서 발생할 수 있는 프레임 데이터 크기에 따른 지연 현상에 대한 분석 및 해결을 기술하였다. 또한 검증을 위한 자체 체계SIL 확인 시험 및 체계 통합 시험에 대해서도 기술하였다. SIL 확인 시험을 통해 GOP 값 조절로 인해 동영상 지연으로 인한 끊김 현상이 해결된 것으로 확인하였고, 이를 활주 및 비행시험을 통해 동영상 지연 현상이 해결된 것을 확인하였다.

가설 설정

위 문제에 대한 해결은 1) 어플리케이션의 버퍼 값을 100 ms이상으로 설계 2) 동영상 데이터 속성값을 조절을 통해 가능하다. 하지만 어플리케이션에 버퍼를 둘 경우 전체 지연 시간에 버퍼로 인한 지연이 추가되어 영상의 실시간성이 낮아진다.

제안 방법

2010)에서 수행하였다. 해당 연구에서는 연속된 프레임의 내용 변화를 탐지하여 내용 변화가 적을 때는 P-프레임을, 변화가 클 때는 I-프레임을 배치함으로서 전체 데이터의 크기를 줄이는 방식을 제안한다. 프레임 변화가 적을 때는 큰 GOP 값을 적용하고, 변화가 클 때는 작은 GOP 값을 적용함으로서 고정된 GOP 값 대신 영상 내용 변화 정도에 따른 가변적인 GOP 값을 적용하는 알고리즘을 제시하였다.
해당 연구에서는 연속된 프레임의 내용 변화를 탐지하여 내용 변화가 적을 때는 P-프레임을, 변화가 클 때는 I-프레임을 배치함으로서 전체 데이터의 크기를 줄이는 방식을 제안한다. 프레임 변화가 적을 때는 큰 GOP 값을 적용하고, 변화가 클 때는 작은 GOP 값을 적용함으로서 고정된 GOP 값 대신 영상 내용 변화 정도에 따른 가변적인 GOP 값을 적용하는 알고리즘을 제시하였다. 이와 같이 영상 내용에 따라 GOP 값을 결정하는 방식이 이상적이나, 이는 카메라 내 인코더에서 영상 속성 변화에 따른 가변 GOP 값을 설정하는 알고리즘을 제공해야 가용하다.
본 체계의 H.264 비디오 코덱 기반의 카메라는 Full High Definition의 해상도의 영상을 30 Frame Per Second (FPS)로 이더넷을 통해 전송한다. 본 체계의 카메라는 System Integration Laboratory (SIL) 시험 중 초당 하나의 프레임이 지연되어 영상 끊김 현상이 발생하였다.
본 체계의 카메라는 System Integration Laboratory (SIL) 시험 중 초당 하나의 프레임이 지연되어 영상 끊김 현상이 발생하였다. H.264에서는 영상의 정보를 온전히 가지고 있는 I-프레임의 데이터가 크기 때문에 I-프레임 부분에서지연이 발생하며, 이를 해결하기 위해 I-프레임 데이터 크기로 인한 지연 현상의 원인을 분석하고 해결 방안을 수립하였다.
어플리케이션 프로그램은 카메라로부터 송신된 프레임에 대한 정보를 수신하는 즉시 재생한다. 따라서 버퍼를 적용하는 대신 I-프레임이 1/30 이내에 수신되도록 동영상 데이터 속성값을 조절하는 방식을 선택하였다.
하지만 대부분의 동영상 데이터의 속성값들은 체계의 요구사항이나 카메라 종속으로 인해 고정되어 변경 불가하다. 본 체계에서는 해당 문제를 해결하기 위해서 위의 사항에 해당하지 않는 GOP 값을 변경하였다.
이는 카메라의 비트 레이트 모드 방식과 관련이 있다. 본 체계의 카메라는 Constrained Variable Bit Rate (CVBR) 비트 레이트 모드를 사용하여 프레임의 데이터 크기를 제어한다. CVBR 방식은 기본적으로 프레임의 데이터 크기가 클 때는 화질을 감소시켜 데이터 크기를 고정된 비트 레이트에 일치시키는 Constant Bit Rate (CBR) 방식과 비슷하지만 카메라가 복잡한 배경을 촬영하거나 혹은 영상의 급격한 움직임으로 인한 변화가 있는 경우, 영상 품질 유지를 위해 데이터 크기가 순간적으로 가변적일 수 있다는 차이가 있다.
본 체계에서는 I-프레임의 지연시간을 줄이기 위해 GOP 크기를 조절을 하였다. GOP 크기 결정 시, I-프레임 데이터 용량에 영향을 주는 요인을 고려하여 GOP 크기 값을 변경하면서 I-프레임의 수신 시간이 1/30초에 가까운 값으로 선정하였다.
본 체계에서는 I-프레임의 지연시간을 줄이기 위해 GOP 크기를 조절을 하였다. GOP 크기 결정 시, I-프레임 데이터 용량에 영향을 주는 요인을 고려하여 GOP 크기 값을 변경하면서 I-프레임의 수신 시간이 1/30초에 가까운 값으로 선정하였다. I-프레임 데이터 크기 영향을 주는 요인은 전송률, 영상 내용에 급격한 변화가 있을 경우이며 이로 인한 지연이 발생할 수 있는 상황을 고려하여 SIL 환경에서 시험을 수행하였다.
GOP 크기 결정 시, I-프레임 데이터 용량에 영향을 주는 요인을 고려하여 GOP 크기 값을 변경하면서 I-프레임의 수신 시간이 1/30초에 가까운 값으로 선정하였다. I-프레임 데이터 크기 영향을 주는 요인은 전송률, 영상 내용에 급격한 변화가 있을 경우이며 이로 인한 지연이 발생할 수 있는 상황을 고려하여 SIL 환경에서 시험을 수행하였다.
SIL 환경에서 본 체계 카메라의 최대 전송률인 8 Mbps로 설정하고 카메라 앞 피사체의 움직임이 있을 때 제조사의 점검 프로그램을 통해 GOP 값을 변경하면서 동영상의 지연 여부 및 I-프레임 수신 시간 측정하였다. 동영상 지연 여부는 제조사의 동영상 재생 프로그램을 활용하여 육안으로 끊김 현상 발생 유무를 통해 확인하고, Fig.
SIL 환경에서 본 체계 카메라의 최대 전송률인 8 Mbps로 설정하고 카메라 앞 피사체의 움직임이 있을 때 제조사의 점검 프로그램을 통해 GOP 값을 변경하면서 동영상의 지연 여부 및 I-프레임 수신 시간 측정하였다. 동영상 지연 여부는 제조사의 동영상 재생 프로그램을 활용하여 육안으로 끊김 현상 발생 유무를 통해 확인하고, Fig. 9의 환경에서 PC의 Wireshark 네트워크 분석 프로그램을 이용하여 I-프레임의 평균 수신 시간을 측정하였다. FPS 값(30) 이하의 GOP 값(1~30)에 대해 시험하였으며 GOP 값에 따른 I-프레임 지연 시간 측정결과는 Table 1과 같다.
SIL 확인 시험 이후에는 실제 비행체, 데이터링크 및 지상통제체계가 연동되어 있는 체계 통합 환경에서 GOP 값을 2로 설정하고 카메라 영상의 지연 여부를 확인하였다. 본 체계의 지상 통제체계는 체계 통합 시험 간 카메라의 GVSP 패킷 데이터를 5분 단위로 저장한다.
본 체계의 지상 통제체계는 체계 통합 시험 간 카메라의 GVSP 패킷 데이터를 5분 단위로 저장한다. 활주 및 비행시험 간 비행체의 움직임으로 인한 영상의 급격한 변화가 발생할 때 저장된 GVSP 패킷을 통해 I-프레임의 전송 시간을 분석하였다. 지상통제체계에 저장되는GVSP 패킷은 각 패킷이 전송된 시각은 기록되지 않아 저장된 I-프레임 데이터의 크기와 카메라의 이더넷 전송 속도 (16 Mbps)를통해 I-프레임의 전송 시간을 이론적으로 분석하였다.
활주 및 비행시험 간 비행체의 움직임으로 인한 영상의 급격한 변화가 발생할 때 저장된 GVSP 패킷을 통해 I-프레임의 전송 시간을 분석하였다. 지상통제체계에 저장되는GVSP 패킷은 각 패킷이 전송된 시각은 기록되지 않아 저장된 I-프레임 데이터의 크기와 카메라의 이더넷 전송 속도 (16 Mbps)를통해 I-프레임의 전송 시간을 이론적으로 분석하였다.

대상 데이터

물론 P-프레임은 I-프레임에 비해 적은 데이터를 포함하므로 데이터 블럭의 크기는 작고 패킷의 수도 적다. 데이터블럭은 Fig. 5와 같이 3가지 종류의 리더(Leader) 패킷, 페이로드(Payload) 패킷 및 트레일러(Trailer) 패킷으로 구성된다. 리더 패킷은 데이터 블럭의 시작을 나타내며, 트레일러 패킷은 데이터 블럭의 끝을 나타낸다.
264 프레임의 끝부분임을 인지한다. 수집된 페이로드 데이터는 H.264 디코더를 사용하여 디코딩되고 재생된다.
시험결과를 통해 지연으로 인한 영상 끊김이 발생하지 않으면서 I-프레임의 수신 시간이 1/30 초에 가까운 GOP 값을 2로 선정하였다. GOP 크기 값을 최솟값인 1로 설정하면 I-프레임의 평균전송 시간은 최소가 되지만 화질 저하가 심하다.

이론/모형

본 카메라는 Gigabit Ethernet (GigE) Vision 표준을 사용한다. GigE Vision은 이더넷 네트워크에서의 고속 동영상 및 카메라 제어 관련 데이터 전송을 위한 프레임워크를 제공한다.

성능/효과

버퍼가 없는 어플리케이션 프로그램에서 지연 없이 동영상을 재생하기 위해서는 각 프레임이 1/30초 안에 수신되어야 하나, 위와 같이 카메라에서 I-프레임 데이터 크기로 인해 전송 지연이 발생할 경우 I-프레임을 수신하는데 1/30초 이상의 시간을 소요되어 동영상이 부자연스럽게 끊기면서 재생된다. SIL 통합 시험 환경에서 네트워크 분석 프로그램인 Wireshark를 사용하여 지연 현상이 발생할 때의 데이터를 분석한 결과, Fig. 6과 같이 지상통제체계의 어플리케이션 프로그램에서 H.264의 I-프레임을 수신하는데 100 ms 이상 소요되었으며, I-프레임 데이터의 평균 크기가 1.02 Mbit임이 확인되었다. 해당 문제를 해결하지 않고는 조종사가 수동으로 비행체를 조종하여 수행하는 저속 활주/고속 활주 시험, 이륙 및 착륙이 불가능하게 된다.
Table 2는 활주 및 비행시험 간 구간별 I-프레임 데이터 크기 및 전송 시간을 비교한 것이다. 구간 전체에서 평균 I-프레임 데이터의 크기가 0.53 Mbit 이내이며 평균 I-프레임 전송 시간이 1/30초에 가까운 값임을 확인할 수 있다. 또한 비행 중일 때보다 지상에서의 I-프레임의 데이터 크기 및 전송 시간이 크며, 이는 비행 중에는 카메라의 외부 환경이 구름 및 대기층과 같이 구성 및 색상이 단조롭고 비행체 이동에 따른 영상 배경의 변화가 크지 않기 때문이다.
또한, 구간별 최대 I-프레임 데이터 크기와 전송 시간을 보면 0.53 Mbit 및 1/30초를 크게 상회하는 것을 확인할 수 있는데 이러한 경우에도 지상통제체계의 운용 화면을 통해 시험 간 카메라 영상 지연으로 인한 끊김 현상이 발생하지 않는 것을 확인하였다. 이는 I-프레임 전송 시간이 1/30초를 초과하더라도 다음 P-프레임 전송 시간이 매우 빠르기 때문이다.
이는 I-프레임 전송 시간이 1/30초를 초과하더라도 다음 P-프레임 전송 시간이 매우 빠르기 때문이다. 데이터 분석결과 지상 활주 중 I-프레임 전송 시간이 최댓값인 0.054174초일 때, 그다음 P-프레임의 전송 시간은 0.011297초로 연속된 2 개의 프레임이 2/30초 이내에 들어오기 때문에 30 FPS가 유지되어 육안상으로 지연을 느끼지 못하는 것으로 판단하였다. 하지만 연속된 I-프레임과 P-프레임의 전송 시간의 합이 2/30초를 초과하는 경우, 프레임 레이트가 30 FPS에서 순간적으로 감소되는 효과가 발생하여 영상이 순간적으로 이전 대비 부자연스럽게 재생되기 때문에 운용자는 이를 영상 끊김으로 인식할 수 있다.
하지만 연속된 I-프레임과 P-프레임의 전송 시간의 합이 2/30초를 초과하는 경우, 프레임 레이트가 30 FPS에서 순간적으로 감소되는 효과가 발생하여 영상이 순간적으로 이전 대비 부자연스럽게 재생되기 때문에 운용자는 이를 영상 끊김으로 인식할 수 있다. 따라서 평균 I-프레임 전송 시간이 1/30초를 크게 초과하는 경우에는 지연으로 인한 문제가 발생하지만 위와 같이 평균 I-프레임 전송 시간은 1/30초 이내이나 순간적으로 I-프레임의 전송 시간이 1/30 초과하더라도 다음 P-프레임의 전송 시간이 짧아 인접한 두 프레임의 전송 시간의 합이 2/30 초 내외인 경우 지연으로 인한 영향성은 적은 것을 확인하였다.
또한 검증을 위한 자체 체계SIL 확인 시험 및 체계 통합 시험에 대해서도 기술하였다. SIL 확인 시험을 통해 GOP 값 조절로 인해 동영상 지연으로 인한 끊김 현상이 해결된 것으로 확인하였고, 이를 활주 및 비행시험을 통해 동영상 지연 현상이 해결된 것을 확인하였다. 본 논문의 내용은 실시간성이 요구되는 무인항공기 및 무인자동차의 개발 시에 참고할 수 있을 것으로 기대된다.

후속연구

SIL 확인 시험을 통해 GOP 값 조절로 인해 동영상 지연으로 인한 끊김 현상이 해결된 것으로 확인하였고, 이를 활주 및 비행시험을 통해 동영상 지연 현상이 해결된 것을 확인하였다. 본 논문의 내용은 실시간성이 요구되는 무인항공기 및 무인자동차의 개발 시에 참고할 수 있을 것으로 기대된다.

참고문헌 (7)

ACTi, Reduce Bandwidth Consumption by GOP Settings [Internet], cited 2009 Oct 13, available from: https://www2.acti.com/support_old/Package/%7B8FA0B84FA284-4AA2-BE94-538E4692ACD.PDF
Ahn, H. J., Park J. H., & Yoo S. W. 2014, A study of the status of UAS Certification System and Airworthiness Standards, Journal of the Korean Society for Aeronautical and Space Sciences, 42, 893-901. https://doi.org/10.5139/JKSAS.2014.42.10.893

원문보기 상세보기
Automated Imaging Association (AIA), GigE Vision Video Streaming and Device Control Over Ethernet Standard Version 2.0 [Internet], cited 2013 April 16, available from: https://www.visiononline.org/userAssets/aiaUploads/File/GigE_Vision_Specification_2-0-03.pdf
MISB, Bandwidth-Quality-Latency Tradeoffs for Compressed Motion Imagery [Internet], cited 2018 November 1, available from: https://gwg.nga.mil/misb/docs/rp/RP0904.4.pdf
Samsung Techwin, Consideration Point that may affect Video Streaming [Internet], cited 2012 May, available from: https://www.hanwha-security.eu/wp-content/uploads/2015/12/Network-Camera-Video-Settings.pdf
Telecommunication standardization sector of International Telecommunication Union (ITU-T), Advanced video coding for generic audiovisual services [Internet], cited 2019 June 13, available from: https://www.itu.int/ITU-T/recommendations/rec.aspx?rec13903&langen
Zatt, B., Porto, M., Scharcanski, J., & Bampi, S. 2010, GOP structure adaptive to the video content for efficient H.264/AVC encoding, Proceeding of 2010 IEEE 17th International Conference on Image Processing (ICIP), Hong Kong, China, 3053-3056 Sep 2010. https://doi.org/10.1109/ICIP.2010.5651700

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증