2채널 영상 스트리밍 기술을 적용한 차량용 전. 후방 무선 영상 모니터링 시스템 Applying a Two-channel Video Streaming Technology Front and Rear Vehicle Wireless Video Monitoring System원문보기
본 논문은 승용 및 화물 차량의 주차 시, 사각지대에 의해 발생할 수 있는 위험요소를 차량의 전방, 후방에 장착된 카메라를 이용하여, 위험 요소 발견 시 신속히 상황을 대처할 수 있도록 운전자를 도와주는 차량용 전. 후방 영상 모니터링 시스템의 개발을 제안하였다. 임베디드 시스템(embedded system) 환경에서 두 개의 고해상도 영상 데이터를 TCP/IP 기반 네트워크로 전송하는 방법으로 하나의 SoC(System on Chip)와 두 개의 고해상도 CMOS(Complementary metal-oxide-semiconductor) 영상 센서를 사용 하였다. 영상 데이터를 TCP/IP 네트워크 기반으로 전송하기 위해서 두 개의 카메라에서 입력 받은 영상을 H.264 포맷으로 압축한 뒤에 실시간 전송 규약(Real-time Transport Protocol)을 이용해서 영상 데이터를 무선(Wi-Fi)으로 전송하였다. 무선 환경에서 발생할 수 있는 전송손실, 전송지연, 전송제한 등을 감안하여 H.264로 압축된 두 개의 영상 데이터의 비트레이트를 조절하여, 무선(Wi-Fi) 환경에서 최적의 전송 조건을 갖추기 위한 시스템을 구현하여 실험하였다.
본 논문은 승용 및 화물 차량의 주차 시, 사각지대에 의해 발생할 수 있는 위험요소를 차량의 전방, 후방에 장착된 카메라를 이용하여, 위험 요소 발견 시 신속히 상황을 대처할 수 있도록 운전자를 도와주는 차량용 전. 후방 영상 모니터링 시스템의 개발을 제안하였다. 임베디드 시스템(embedded system) 환경에서 두 개의 고해상도 영상 데이터를 TCP/IP 기반 네트워크로 전송하는 방법으로 하나의 SoC(System on Chip)와 두 개의 고해상도 CMOS(Complementary metal-oxide-semiconductor) 영상 센서를 사용 하였다. 영상 데이터를 TCP/IP 네트워크 기반으로 전송하기 위해서 두 개의 카메라에서 입력 받은 영상을 H.264 포맷으로 압축한 뒤에 실시간 전송 규약(Real-time Transport Protocol)을 이용해서 영상 데이터를 무선(Wi-Fi)으로 전송하였다. 무선 환경에서 발생할 수 있는 전송손실, 전송지연, 전송제한 등을 감안하여 H.264로 압축된 두 개의 영상 데이터의 비트레이트를 조절하여, 무선(Wi-Fi) 환경에서 최적의 전송 조건을 갖추기 위한 시스템을 구현하여 실험하였다.
In this paper, it was proposed to develop front and rear image monitoring system for vehicle that help a driver to cope with urgent situation about a dangerous element. When parking a vehicle, the risk factors to be formed by the dead zone can be resolved by using anterior and posterior cameras of t...
In this paper, it was proposed to develop front and rear image monitoring system for vehicle that help a driver to cope with urgent situation about a dangerous element. When parking a vehicle, the risk factors to be formed by the dead zone can be resolved by using anterior and posterior cameras of the vehicle. In embedded system environment, a SoC(System on Chip) and two high-resolution CMOS (Complementary metal-oxide-semiconductor) image sensors were used to transfer two high-resolution image data through he TCP/ IP-based network. To transfer image data through he TCP/ IP-based network, the images received by two cameras were compressed by using H.264 and they were transmitted with wireless method(Wi-Fi) by using real-time transport protocol (Real-time Transport Protocol). Transmission loss, transmission delay and transmission limit were solved in wireless (Wi-Fi) environment and the bit-rate of two image data compressed by H.264 was adjusted. And the system for the optimal transmission in wireless (Wi-Fi) environment was materialized and experimented.
In this paper, it was proposed to develop front and rear image monitoring system for vehicle that help a driver to cope with urgent situation about a dangerous element. When parking a vehicle, the risk factors to be formed by the dead zone can be resolved by using anterior and posterior cameras of the vehicle. In embedded system environment, a SoC(System on Chip) and two high-resolution CMOS (Complementary metal-oxide-semiconductor) image sensors were used to transfer two high-resolution image data through he TCP/ IP-based network. To transfer image data through he TCP/ IP-based network, the images received by two cameras were compressed by using H.264 and they were transmitted with wireless method(Wi-Fi) by using real-time transport protocol (Real-time Transport Protocol). Transmission loss, transmission delay and transmission limit were solved in wireless (Wi-Fi) environment and the bit-rate of two image data compressed by H.264 was adjusted. And the system for the optimal transmission in wireless (Wi-Fi) environment was materialized and experimented.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 구현한 시스템의 목표는 H.264로 압축된 Full-HD 영상 1채널과 HD급 영상 1채널을 전송하는 것이다. 이때 필요한 권장 대역폭으로 표 4와 같이 Full-HD급 4Mbps와 HD급 2Mbps로 총 6Mbps와 예측하지 못하는 오버헤드를 예상하여, 약 10Mbits/s 목표로 전송 실험을 하였다.
가설 설정
5MB/s의 성능을 갖기에 네트워크 환경에서의 영상압축은 선택이 아닌 필수요소로 자리 잡고 있다. 따라서 H.264의 약 50:1 비율로 압축이 된다고 가정하고, Full-HD 영상 30 FPS를 표시하기 위한 데이터의 크기는 약 3.558Mbyte로 표 1에 유선 10Mbps 규격을 제외하고 모든 규격으로 전송하기 적합하다[2～3].
제안 방법
이때 필요한 권장 대역폭으로 표 4와 같이 Full-HD급 4Mbps와 HD급 2Mbps로 총 6Mbps와 예측하지 못하는 오버헤드를 예상하여, 약 10Mbits/s 목표로 전송 실험을 하였다. 네트워크 트래픽 모니터링 프로그램을 사용하여, 2개의 영상을 권장 비트레이트로 전송시에 발생하는 네트워크 트래픽을 확인하였다.[2] 그림 8과 같이 약 10초간 평균 전송량은 8.
그림 5는 프레임 구조(Frame Structure)를 나타낸다. 두 개의 영상 센서에서 입력되는 데이터를 분류하기 위해 프레임 구조를 정의하였다. 카메라, 비디오 입력 채널에 대한 고유 식별 ID, 주소에 대한 포인터, 프레임 정보, 해당 영상 정보와 영상 프레임 데이터를 메모리에 저장하고, Frame Structure 고유 식별 ID로 카메라 채널을 구분하였다.
본 논문에서 구현된 시스템은 두 대의 카메라영상을 하나의 SoC 프로세서에서 압축하고, RTSP 스트리밍을 사용하여, 무선(Wi-Fi)으로 사용자 단말까지 전송 하는 것이다. 구현된 시스템의 메인 프로세서는 멀티미디어 SoC를 사용하였다.
본 논문에서 구현된 시스템의 네트워크 전송 실험을 위해 SoftAP가 구동되는 시스템에 랩톱 PC를 접속하고 TCP/UDP 대역폭 측정 프로그램을 이용하여 총 3회에 걸쳐 네트워크 무선 링크간의 UDP 최대 대역폭을 실험하였다. 랩톱 PC와 시스템의 안테나 거리는 약 1m 거리를 두고 측정하였으며, Wi-Fi 무선 링크의 속도는 IEEE 802.
264로 압축된 Full-HD 영상 1채널과 HD급 영상 1채널을 전송하는 것이다. 이때 필요한 권장 대역폭으로 표 4와 같이 Full-HD급 4Mbps와 HD급 2Mbps로 총 6Mbps와 예측하지 못하는 오버헤드를 예상하여, 약 10Mbits/s 목표로 전송 실험을 하였다. 네트워크 트래픽 모니터링 프로그램을 사용하여, 2개의 영상을 권장 비트레이트로 전송시에 발생하는 네트워크 트래픽을 확인하였다.
두 개의 영상 센서에서 입력되는 데이터를 분류하기 위해 프레임 구조를 정의하였다. 카메라, 비디오 입력 채널에 대한 고유 식별 ID, 주소에 대한 포인터, 프레임 정보, 해당 영상 정보와 영상 프레임 데이터를 메모리에 저장하고, Frame Structure 고유 식별 ID로 카메라 채널을 구분하였다. 그림 6은 영상 데이터 전송 흐름을 나타낸다.
대상 데이터
264는 가장 최신 영상 압축 표준이다. 본 시스템에서는 H.264 압축 코덱을 사용하여 압축하였다.
이론/모형
본 논문에서 구현된 시스템은 두 대의 카메라영상을 하나의 SoC 프로세서에서 압축하고, RTSP 스트리밍을 사용하여, 무선(Wi-Fi)으로 사용자 단말까지 전송 하는 것이다. 구현된 시스템의 메인 프로세서는 멀티미디어 SoC를 사용하였다. 전체 시스템은 그림 4와 같이 Full_HD CMOS 센서를 위한 ISP를 내장하고 있으며, 두 개의 비디오 포트와 USB, GPIO, USART 등의 다양한 주변장치를 갖추고 있다.
성능/효과
500 정도의 값을 얻었다. IEEE 802.11ac 무선랜 전송 규격이 나온 현시점에서 많이 사용하는 IEEE 802.11n 규격으로 무선 네트워크에서 두 개의 고화질의 영상을 압축 및 전송이 가능하다는 것을 실험데이터를 통해 확인하였다. 향후 과제로 IEEE 802.
93Mbyte의 용량이 된다. 네트워크의 부하, 기타 요소를 제외하고 최대 전송 속도만을 가지고 이론적인 네트워크 환경에서 30 FPS를 표시하기 위해 최소 약 177.9MB/s의 전송속도가 보장이 되어야 한다는 것을 확인할 수 있다.
영상 압축 기술은 디지털 비디오 파일을 효율적으로 네트워크상에서 전송하고 컴퓨터 디스크에 저장할 수 있도록 중복되는 영상 데이터를 줄이고 삭제하는 것이다. 따라서 효율적인 압축 기법으로 시각적 품질 저하 현상이 거의 또는 전혀 없이 파일 크기 및 네트워크 전송량을 줄일 수 있다. 표준에 근거한 압축 방식은 데이터를 줄여 활용하는 방식이 다르기에 종합적으로 비트레이트, 품질, 지연 시간에서 차이가 나며, 압축 알고리즘은 이미지 압축과 영상 압축의 두 가지 형태로 분류된다.
1:1 방식으로 연결된 네트워크의 무선 링크 UDP 대역폭 측정 결과를 표 3에 나타냈다. 또한 그림 7과 같이 평균 대역폭은 약 38714 Kbits/sec로 초당 4.75MByte 로 안정되게 전송됨을 확인하였다.
사무실의 AP, 컴퓨터, 랩톱, 스마트폰 등 Wi-Fi 무선 네트워크 2.4Ghz 주파수 대역을 사용하는 공간에서 무선 네트워크에 발생할 수 있는 환경변수를 무시하고 실험하여 네트워크 트래픽, 대역폭의 정확한 측정이 어려웠으나 환경 요인을 개선하여 평균대역폭 38714 Kbits/s, 지터값 0.500 정도의 값을 얻었다. IEEE 802.
후속연구
11n 규격으로 무선 네트워크에서 두 개의 고화질의 영상을 압축 및 전송이 가능하다는 것을 실험데이터를 통해 확인하였다. 향후 과제로 IEEE 802.11ac 무선랜 규격과 차세대 영상 압축 포맷인 H.265 를 사용하여 UHD(Ultra High Definition)급 영상 또는 두 개 이상의 Full-HD급 전송 시스템 구현이 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
RTP는 무엇인가?
RTP는 카메라 영상이나 음성이 포함된 멀티미디어 데이터를 네트워크를 이용하여, 실시간 전송을 위한 네트워크 전송 프로토콜이다. RTP는 다음과 같은 특징이 있다.
RTCP는 무엇인가?
RTCP는 전송계층의 프로토콜이며, RTP 멀티미디어 데이터의 전송 상태 감시 및 세션 관련 정보 전송을 위한 프로토콜이다. 서버와 클라이언트간의 상태 점검을 위한 것이므로 양방향 통신으로 이루어지며, 주기적으로 서버와 클라이언트가 리포트 패킷을 주고받는다.
RTSP는 어떤 기능을 수행하는가?
RTSP는 응용계층의 프로토콜이며 멀티미디어 스트림 데이터를 제어하기 위한 방법을 제공한다. 클라이언트에서의 재생, 일시정지, 빨리 감기. 되감기, 재생 위치 변경과 같은 명령을 전송하며, TCP와 UDP를 포함하는 다양한 전송계층 프로토콜에서 동작할 수 있으며, 제어 메시지 전송을 위해 신뢰성 있는 연결형 TCP를 사용하여 RTP/RTCP 채널 설정 후에 패킷이 전달 되도록 한다. 세션의 설정과 해제는 RTSP에 의해 제어되고, 영상 데이터는 RTP를 통해 전송된다.
참고문헌 (8)
KIM Jong Chul, "Friendly digital imaging technology", pp 238-252
http://www.axis.co.kr/, H.264 Video compression standard
ParkHyun, Kim Young Hwan, Seok Jong Bong, "Embedded Linux-based lightweight streaming server implementation", 2009 Korea Information Science Society Symposium Proceedings Volume 3 Issue 1, pp 131-135, 2009/6
P. Raghavan, Amol Lad, Sriram Neelakandan, "Embedded Linux System Design And Development", pp 62-74, pp 178-185
An Hyo Bok, "IT EXPERT, ARM to learn embedded systems", pp 759-830
Yu Young Chang, "Linux device driver", pp 759-830
Yang Seung Chung, Lee Seung Hon, Kim Chong Dok, "IEEE 802.11 Efficient radio resource measurement systems research in network", 2012 Transactions of the Korea Information and Communications Society Vol. 16 No. 11, pp 2437-2445, 2012/1
Choi Yun Sik , Kim Sung Je, Kim Byong Ho, Choi Young Ho, "Status and Prospect of next-generation video compression technology - H.265" 2007 Electronics Research Volume 34, Issue 8, pp 899-909, 2007/8
※ AI-Helper는 부적절한 답변을 할 수 있습니다.