[국내논문]멀티미디어 콘텐츠를 저장 없이 스트리밍 전송 및 재생 가능한 스트리밍 기기 및 스마트 앱 개발 Streaming Device and App Development to Transmit and Play without store for Multimedia Contents원문보기
최근 다양한 멀티미디어를 기반으로 한 다종류 TV콘텐츠를 서비스에 있어, 저장 없이 전송하는 시스템의 개발이 필요하다. 본 연구에서는 방송/인터넷/VOD/카메라 기반의 동영상/애니메이션 등 멀티미디어 콘텐츠를 저장 없이 스트리밍 전송하여 다중의 일반재생기기 및 스마트폰을 이용하여 재생할 수 있는 스트리밍 기기 및 스마트기기용 앱 개발 방안을 제안한다. 이를위해 메인 CPU 비교분석, 방송용 튜너 및 스트리밍 소스와의 인터페이스 비교분석 그리고 메모리를 기준으로 기존 상용제품들을 분석한다. 이를 기반으로 재생 및 동시 스트리밍 성능을 30fps@FHD H.264디코딩 및 동시 스트리밍할 수 있으며, 3종 이상의 멀티미디어 소스를 지원할 수 있는 하드웨어를 설계 구현하였다. 또한 트랜스코딩 능력은 30fps@FHD를 만족할 수 있는 소프트웨어 모듈을 개발하였다. 제안한 시스템은 멀티미디어 콘텐츠 과금 서비스에 효과적으로 활용될 수 있다.
최근 다양한 멀티미디어를 기반으로 한 다종류 TV 콘텐츠를 서비스에 있어, 저장 없이 전송하는 시스템의 개발이 필요하다. 본 연구에서는 방송/인터넷/VOD/카메라 기반의 동영상/애니메이션 등 멀티미디어 콘텐츠를 저장 없이 스트리밍 전송하여 다중의 일반재생기기 및 스마트폰을 이용하여 재생할 수 있는 스트리밍 기기 및 스마트기기용 앱 개발 방안을 제안한다. 이를위해 메인 CPU 비교분석, 방송용 튜너 및 스트리밍 소스와의 인터페이스 비교분석 그리고 메모리를 기준으로 기존 상용제품들을 분석한다. 이를 기반으로 재생 및 동시 스트리밍 성능을 30fps@FHD H.264 디코딩 및 동시 스트리밍할 수 있으며, 3종 이상의 멀티미디어 소스를 지원할 수 있는 하드웨어를 설계 구현하였다. 또한 트랜스코딩 능력은 30fps@FHD를 만족할 수 있는 소프트웨어 모듈을 개발하였다. 제안한 시스템은 멀티미디어 콘텐츠 과금 서비스에 효과적으로 활용될 수 있다.
Recently, many kinds of TV contents based on multimedia need transmission systems without the saved. In this study, we develop the streaming device and smart app to transmit and play without store for multimedia contents such a broadcasting, internet, VOD, video, and animation. To do this, we compar...
Recently, many kinds of TV contents based on multimedia need transmission systems without the saved. In this study, we develop the streaming device and smart app to transmit and play without store for multimedia contents such a broadcasting, internet, VOD, video, and animation. To do this, we compare and analysis main CPU products, broadcasting tuners and interfaces for streaming sources, and memory products. We then design and implement the streaming device which supports 30fps@FHD H.264 decoding and streaming, and multimedia sources with more than three. We develop the software for these requirements. Thissystemis useful to support billing service for multimedia contents.
Recently, many kinds of TV contents based on multimedia need transmission systems without the saved. In this study, we develop the streaming device and smart app to transmit and play without store for multimedia contents such a broadcasting, internet, VOD, video, and animation. To do this, we compare and analysis main CPU products, broadcasting tuners and interfaces for streaming sources, and memory products. We then design and implement the streaming device which supports 30fps@FHD H.264 decoding and streaming, and multimedia sources with more than three. We develop the software for these requirements. Thissystemis useful to support billing service for multimedia contents.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이는 효과적인 시스템 구성 및 과금 요구를 효과적으로 반영하기 위한 방안으로 필요하다[4,5]. 본 연구에서는, 방송/인터넷/VOD/카메라 기반의 동영상/애니메이션 등 멀티미디어 콘텐츠를 저장 없이 스트리밍 전송하여 다중의 일반 재생기기 및 스마트폰을 이용하여 재생할 수 있는 스트리밍 기기 및 스마트기기용 앱 개발 방안을 제시한다.
한편, 5개 까지 동시 스트리밍 가능한 디바이스를 고려하고 있으며 3종이상의 스트리밍 대상 디바이스를 고려하고 있다. 이런 기본 변수에 대한 트랜스코딩 능력은 30fps@FHD를 목표로 하였다. 이를 구현하기 위해 본 연구에서는 관련 특허들을 분석하였으며, 시스템 구현을 위해 관련 하드웨어들을 비교 분석하였다.
본 연구에서 개발하려는 목표 시스템과 관련된 특허가 이미 출원 또는 등록되었는지를 조사하였다. 관련된 특허로는 10개[6-15]를 조사하였고, 각각의 특성을 분석하였다.
본 연구에서는 스트리밍 기기 개발을 위한 하드웨어 분석을 위해, 메인 CPU 비교분석, 방송용 튜너 및 스트리밍 소스와의 인터페이스 비교분석 그리고 메모리를 기준으로 기존 상용제품들을 분석하였다.
상대적으로 회로의 PCB 면적이 작게 필요한 경우를 감안하여 eMMC와 LPDDR3가 하나의 패키지로 구성된 eMCP를 검토하였다. 1개의 eMMC와 2개의 DDR3 대신 1개의 칩을 적용하므로써 PCB의 면적을 줄일 수 있는 방안을 갖기 위해서이다. 8GB의 eMMC와 1GB의 DDR이 하나의 패키지로 구성된 KMQ 72000SM의 패키지에서 1개의 eMMC 또는 1개의 DDR3 패키지 크기보다는 크지만, 주변회로를 감안할 때 약 1/2 이상의 면적을 줄일 수 있다.
본 연구의 목표는 방송/인터넷/VOD/카메라의 멀티미디어 콘텐츠를 수납/가공/전송하는 기기이다. 그중에서 인터넷과 VOD는 같은 범주라고 할 수 있으며 별도의 디바이스가 필요없이 이더넷/WiFi 등으로 관련 서버에 접속할 수 있으면 된다.
본 연구에서 목표로하는, 멀티미디어 콘텐츠를 저장없이 스트리밍 전송하여 재생할 수 있는 스마트기기용 앱 및 스트리밍 기기 개발을 위해, 앞서 구현한 스트리밍 하드웨어를 기반으로 관련된 7개의 소프트웨어 모듈을 개발하였다. 임베디드 소프트웨어개발의 첫 번째로는 개발된 스트리밍장치의 하드웨어 디바이스 드라이버이다.
제안 방법
264 디코딩 및 동시 스트리밍할 수 있으며, 멀티미디어 소스의 종류는 3종이상 지원할 수 있는 하드워어를 설계 구현하였다. 또한 트랜스코딩 능력은 30fps@FHD를 만족할 수 있는 소프트웨어 모듈을 개발하였다. 즉, ‘재생 및 스트리밍 능력 (Decoder) /트랜스코딩 모듈’, ‘인터페이스 모듈’, ‘스트리밍 서버 모듈’, ‘미디어 플레이어 모듈’, ‘UPnPAV/RA 모듈’, ‘Device 매니저 모듈’, 그리고 ‘스마트기기용 스트리밍 앱’을 개발하였다.
이런 기본 변수에 대한 트랜스코딩 능력은 30fps@FHD를 목표로 하였다. 이를 구현하기 위해 본 연구에서는 관련 특허들을 분석하였으며, 시스템 구현을 위해 관련 하드웨어들을 비교 분석하였다. 이를 기반으로 가장 효과적인 스트리밍 기기 개발을 위한 하드웨어 설계방안을 제안하였고 구현하였다.
이를 구현하기 위해 본 연구에서는 관련 특허들을 분석하였으며, 시스템 구현을 위해 관련 하드웨어들을 비교 분석하였다. 이를 기반으로 가장 효과적인 스트리밍 기기 개발을 위한 하드웨어 설계방안을 제안하였고 구현하였다. 마지막으로 디바이스 드라이버 등 관련 소프트웨어 모듈을 개발하였다.
이를 기반으로 가장 효과적인 스트리밍 기기 개발을 위한 하드웨어 설계방안을 제안하였고 구현하였다. 마지막으로 디바이스 드라이버 등 관련 소프트웨어 모듈을 개발하였다.
관련된 특허로는 10개[6-15]를 조사하였고, 각각의 특성을 분석하였다. 지면상의 관계로 가장 최근 결과를 포함하고 있는 특허들에 대해 분석하였다. 기존 특허 전체와 본 연구의 내용과 직접적으로 연관되는 경우는 찾지 못하였는데, 이유는 본 연구의 제안시스템이 저장없는 서비스 시스템 개발에 있기 때문이다.
먼저 오티에스에 의해 등록된 ‘HD영상 가변스트리밍 전송시스템 및 전송방법’[6]은 기존 CCTV 시스템의 영상 끊김 현상, 저 화질 영상, 취약한 보안 기능을 해결하기 위한 것이다. 시스템은 영상생성장치 (CCTV 등), 가변형영상단말기, 스트리밍서버로 구성되어 있으며, 가변형영상단말기는 외부에서 수신되는 영상신호를 해상도별 엔코딩 후 통신대역폭의 실시간 상황에 따라 지속적으로 영상신호를 전송하거나, HD고화질영상신호를 저장한 후 파일 전송 프로토콜(FTP)을 이용하여 별도로 스트리밍서버로 전송 한다. 스트리밍서버는 실시간 통신대역폭을 모니터링하며 가변형영상단말기에 수신되는 영상의 해상도 조절정보 전송, HD 고화질영상신호 저장하는 기능 보유하고 있다.
다음으로 에릭슨에 의해 PCT 출원 등록된 ‘에이치 티티피 스트리밍에서 적응화를 위한 방법 및 장치’[10]는 통신시스템에서 HTTP 서버와 HTTP 클라이언트 간에 미디어 콘텐츠의 적응성 HTTP 스트리밍 제어하기 위한 방법을 제안한 것이다. 미디어 콘텐츠는 다수의 주기들로 배열되며, 주기들은 미디어 콘텐츠의 재현들을 포함하도록 구성되며, 재현들은 미디어 세그먼트들에 대한 시간적 정렬 정보를 제공하며, 시간적 정렬 정보는 미디어 콘텐츠의 재현들의 세그먼트들 간의 시간적 관계를 표시하는 방법이며, 미디어 콘텐츠의 재현들의 미디어 세그먼트들에 내에서 키 프레임들의 위치들에 관한 표시하는 방법을 제안하였다. 또한 시간적 정렬 정보와 키 프레임 위치 정보들 중 적어도 하나를 기반으로 하여 미디어 콘텐츠의 상기 HTTP 스트리밍의 적응화를 제어하는 방법을 제안하였다.
미디어 콘텐츠는 다수의 주기들로 배열되며, 주기들은 미디어 콘텐츠의 재현들을 포함하도록 구성되며, 재현들은 미디어 세그먼트들에 대한 시간적 정렬 정보를 제공하며, 시간적 정렬 정보는 미디어 콘텐츠의 재현들의 세그먼트들 간의 시간적 관계를 표시하는 방법이며, 미디어 콘텐츠의 재현들의 미디어 세그먼트들에 내에서 키 프레임들의 위치들에 관한 표시하는 방법을 제안하였다. 또한 시간적 정렬 정보와 키 프레임 위치 정보들 중 적어도 하나를 기반으로 하여 미디어 콘텐츠의 상기 HTTP 스트리밍의 적응화를 제어하는 방법을 제안하였다. 제안된 방법은 클라이언트 측에서 적응화 실행과 서버/캐시에서 동일-크기 파일/세그먼트들 간에 상이한 트레이드-오프가 이루어질 수 있다.
또한 시간적 정렬 정보와 키 프레임 위치 정보들 중 적어도 하나를 기반으로 하여 미디어 콘텐츠의 상기 HTTP 스트리밍의 적응화를 제어하는 방법을 제안하였다. 제안된 방법은 클라이언트 측에서 적응화 실행과 서버/캐시에서 동일-크기 파일/세그먼트들 간에 상이한 트레이드-오프가 이루어질 수 있다.
멀티미디어 스트리밍 서비스제공 시스템에서 TS는 어느 시점에 데이터가 존재했다는 사실을 증명하기 위하여 RTP(: Real-time Transport Protocol) 패킷의 특정 위치에 표시하는 시각으로, 송수신 장치가 공통적으로 참고하는 시각에 대해 시간의 기점을 표시하는 시간 변위 매개 변수이다. 이 문제점을 해결하기 위해 라이브 스트리밍 서비스 제공시에 RTP 패킷의 TS값을 서버에서 컨트롤하여 단말기의 영향 없이 양질의 멀티미디어 스트리밍 서비스를 제공하는 방법을 제안하였다. 즉, 단말기로부터 요청된 스트리밍 서비스가 라이브 스트리밍 서비스인 경우, RES(: Real-time Encoding Server)로 RTP 패킷을 요청 및 수신하여 TS값을 변환하고, TS값이 변환된 RTP패킷을 단말기에 전송하는 스트리밍 서버 및 스트리밍 서버로부터 RTP 패킷 요청 시 해당 멀티미디어 콘텐츠를 실시간으로 인코딩한 RTP패킷을 스트리밍 서버로 전송하는 RES로 구성하여 라이브 스트리밍 서비스 제공 시에 RTP 패킷의 TS값을 서버에서 컨트롤함으로서 단말기의 영향 없이 양질의 멀티미디어 스트리밍 서비스를 제공할 수 있다.
멀티미디어 콘텐츠를 효과적으로 스트리밍하고 이를 재생할 수 있는 스트리밍 기기 및 스마트기기용 앱 개발을 위해, 먼저 개발환경으로서의 하드웨어는 기존의 스마트폰/위성수신단말기/OTT박스 등에 적용되는 칩셋을 검토, 선정하여 메인보드를 선택하였다. 방송튜너의 경우는 유럽표준의 위성방송 (DVB-S2)을 지원하는 튜너와 한국/미국의 지상파(ATSC)를 지원하는 튜너를 복수로 검토하였고, Ethernet은 10/100/1000MB를 지원하는 칩셋을 기준으로 선택하였다.
멀티미디어 콘텐츠를 효과적으로 스트리밍하고 이를 재생할 수 있는 스트리밍 기기 및 스마트기기용 앱 개발을 위해, 먼저 개발환경으로서의 하드웨어는 기존의 스마트폰/위성수신단말기/OTT박스 등에 적용되는 칩셋을 검토, 선정하여 메인보드를 선택하였다. 방송튜너의 경우는 유럽표준의 위성방송 (DVB-S2)을 지원하는 튜너와 한국/미국의 지상파(ATSC)를 지원하는 튜너를 복수로 검토하였고, Ethernet은 10/100/1000MB를 지원하는 칩셋을 기준으로 선택하였다. 무선인터넷(WiFi)의 경우에는 미국/대만계열의 칩셋을 검토하였는데 802.
방송튜너의 경우는 유럽표준의 위성방송 (DVB-S2)을 지원하는 튜너와 한국/미국의 지상파(ATSC)를 지원하는 튜너를 복수로 검토하였고, Ethernet은 10/100/1000MB를 지원하는 칩셋을 기준으로 선택하였다. 무선인터넷(WiFi)의 경우에는 미국/대만계열의 칩셋을 검토하였는데 802.11b/g/n을 지원하며 싱글밴드/듀얼밴드를 지원하는 칩셋중 가격대비 성능 및 기술지원의 용이성을 위해 대만산 싱글밴드지원의 칩셋으로 구성된 모듈을 사용하기로 하였다. 스트리밍기기의 메인 회로의 주요 CPU는 중국 AMlogic, Rockchip, 국산인 넥셀, 코아로직, 그리고 엠텍비젼의 레퍼런스 보드 및 SDK들을 검토하였다.
먼저, 영상저장장치를 구성하는 주요부품인 CPU몇 종을 검토하였는데, 중국회사 중 가장 많은 위성방송 수신 장치에서 사용되고 있는 AMLOGIC사의 Quod core, DSP로 탁월한 성능을 갖고 있는 Texas Instrument사의 DM385, 넥셀사의 Cortex A9 Quadcore, 코아로직사의 Cortex A8 싱글코아, 엠텍비젼사의 T11 듀얼코아, 등을 검토하였다. 검토 결과 넥셀사의 칩셋을 선정하였다.
AMLogic사의 S802 칩셋은 방송용으로 목적성을 갖고 있는 칩셋으로 영상 인코딩을 수행하는 코덱의 능력뿐만 아니라, 방송 스트리밍과 연결할 수 있는 인터페이스가 적절한 반면, 개발을 위해서 SLA(: Software Licesnse Agreement)를 맺어야 하고 기술지원을 중국으로부터 받아야 하므로써 소통에 적지않은 시간과 비용을 투여해야 하는 단점이 있다. 다음으로 Texas Instrument사의 TMS320DM8168을 검토하였다. DM8168은 C674x계열의 영상관련 DSP와 Cortex A8 single core를 갖고 있어 여러 가지 장점이 있음에도 가격이 높다.
ARM Cortex A7의 Dual Core 기반의 칩셋이다. 코아의 성능대비 Video encoder와 Decoder의 성능이 탁월하여 상대적으로 가격대비 성능이 우수하다는 판단으로, 저가형 스트리밍 장치 제작시 후보군의 칩셋으로 검토하였다.
다음으로, 방송용 튜너 및 스트리밍 소스와의 인터페이스 비교 분석하였다. 스트리밍장치에서 중요한 부분은 영상과 멀티미디어의 소스와의 인터페이스이다.
소스와의 인터페이스는 소스의 내용과 형식에 따라 다양한 라인업이 있다. 소스중 방송과 관련해서는 위성(DVB-S/S2)과 지상파(ATSC)를 검토하였다. DVB는 유럽을 중심으로 한 인터페이스 표준이고, ATSC는 미국을 중심으로 하는 미국/캐나다/멕시코 그리고 한국이 사용하는 지상파 표준이다.
DVB는 유럽을 중심으로 한 인터페이스 표준이고, ATSC는 미국을 중심으로 하는 미국/캐나다/멕시코 그리고 한국이 사용하는 지상파 표준이다. 따라서 DVB-S2및 ATSC의 튜너 및 스트리밍장치와의 인터페이스를 분석하였다. ATSC튜너는 Sharp사의 튜너를 검토하였다.
따라서 DVB-S2및 ATSC의 튜너 및 스트리밍장치와의 인터페이스를 분석하였다. ATSC튜너는 Sharp사의 튜너를 검토하였다. DVB-S2 위성튜너와의 기구적인 정합성을 고려할 때 두 개의 튜너보드가 약 2.
한편 방송외의 다른 소스는 인터넷 멀티미디어와 카메라를 검토하였다. 인터넷 멀티미디어는 이더넷(Ethernet)과 무선인터넷 (WiFi)를 검토하였고, 카메라의 경우에는 WiFi 및 USB와 연결되는 카메라를 검토하였다. 분석결과 WiFi IC로는 MTK사의 MT7601UN 사용하기로 하였다.
분석결과 WiFi IC로는 MTK사의 MT7601UN 사용하기로 하였다. WiFi 모듈은 USB 인터페이스를 이용한 것과 SDIO 인터페이스를 사용하는 것이 있는데, 본 연구에서는 여러개의 USB를 브랜치할 수 있는 USB Hub칩셋을 사용하므로 여유가 있는 USB 인터페이스용 모듈을 고려하였다.
메모리는 휘발성메모리인 SDRAM (DDR1, DDR2, DDR3)과 비휘발성 메모리인 저장장치 (eMMC, NAND Flash, NOR Flash)의 종류선택과 어떠한 용량의 메모리를 사용해야 할 지에 대한 분석이 필요하다. 이를 위해 휘발성 메모리 DDR3를 분석하였다. 본 연구에서 고려하고 있는 데이터는 기본적으로 VGA(640x480)급부터 Full HD (1920x1080)의 초당 30프레임 또는 60프레임급의 멀티미디어 영상이다.
데이터 대역폭이 높은 경우 회로패턴이 민감하고 민감한 이슈를 해결하기 위해서 비용과 시간이 많이 들어갈 수 밖에 없다. 따라서 본 연구에서는 최소 667MHz, 최대 800MHz 의 클럭 스피드를 목표로 디자인을 진행하기로 하였다. 메모리의 용량은 사용자원 (OS/User Interface/기타)에 따라 달라지나, 제품의 가격구성에 중요한 영향을 미친다.
본 연구에서는 안드로이드를 기본으로 사용하고 Full HD를 사용하기로 결정했으므로, 512MB~2GB사이의 최적의 용량을 선택하였다. 다음으로, 비 휘발성 메모리 중 대용량의 저장장치가 필요한 경우에는 eMMC 또는 NAND Flash 메모리를 사용하고 소용량의 저장장치가 필요한 경우에는 Serial Flash를 검토하였다. Linux를 사용하고 간단한 사용자 인터페이스가 필요한 경우에는 Serial Flash만 사용하여도 무방하지만, 안드로이드를 사용하는 경우에는 eMMC 나 NAND Flash를 사용하여야 하는 상황이다.
eMMC와 NAND Flash를 사용하는 예를 검토해 보면 eMMC가 NAND Flash 보다 속도(Read/Write)기준 2배정도 효율적으로 나타나고 있다. 그렇지만, 가격적인 면에서 NAND Flash의 장점이 있어 eMMC/NAND Flash 8GB/4GB의 디바이스를 검토하였다. Linux Only로 사용하는 경우를 위해서 Serial Flash도 함께 분석하였다.
그렇지만, 가격적인 면에서 NAND Flash의 장점이 있어 eMMC/NAND Flash 8GB/4GB의 디바이스를 검토하였다. Linux Only로 사용하는 경우를 위해서 Serial Flash도 함께 분석하였다. NAND Flash 는 Micron의 MT29F64G08CA BABA, Toshiba의 TC58TEG6DDKTA00, SK Hynix의 H27UCG8T2ETR을 검토하였다.
Linux Only로 사용하는 경우를 위해서 Serial Flash도 함께 분석하였다. NAND Flash 는 Micron의 MT29F64G08CA BABA, Toshiba의 TC58TEG6DDKTA00, SK Hynix의 H27UCG8T2ETR을 검토하였다. 상대적으로 회로의 PCB 면적이 작게 필요한 경우를 감안하여 eMMC와 LPDDR3가 하나의 패키지로 구성된 eMCP를 검토하였다.
NAND Flash 는 Micron의 MT29F64G08CA BABA, Toshiba의 TC58TEG6DDKTA00, SK Hynix의 H27UCG8T2ETR을 검토하였다. 상대적으로 회로의 PCB 면적이 작게 필요한 경우를 감안하여 eMMC와 LPDDR3가 하나의 패키지로 구성된 eMCP를 검토하였다. 1개의 eMMC와 2개의 DDR3 대신 1개의 칩을 적용하므로써 PCB의 면적을 줄일 수 있는 방안을 갖기 위해서이다.
구체적으로 기술하면, 30fps@1080p 또는 60fps@1080i, MPEG2 to H.264 30fps을 지원하기 위한 ‘재생 및 스트리밍 능력 (Decoder) /트랜스코딩 모듈’을 개발하였다.
튜너 PCB는 ATSC 지상파가 연결될 수 있는 1종과 위성 DVB-S2를 지원하도록 설계하였다. 방송수신을 위해 한국/북미의 지상파 표준 인 ATSC 보드를 착탈식으로 적용할 수 있도록 설계 하였으며, 위성은 유럽표준인 DVB-S2를 기준으로 제공한다.
튜너 PCB는 ATSC 지상파가 연결될 수 있는 1종과 위성 DVB-S2를 지원하도록 설계하였다. 방송수신을 위해 한국/북미의 지상파 표준 인 ATSC 보드를 착탈식으로 적용할 수 있도록 설계 하였으며, 위성은 유럽표준인 DVB-S2를 기준으로 제공한다. 지상파방송 및 위성방송 튜너 PCB 회로 설계도는 각각 그림3 및 4와 같다.
4 KitKat을 사용하였다. 안드로이드 앱 마켓 (구글플레이)으로부터 어플리케이션을 다운로드 받아 사용할 수 있는 장점을 활용하였다. 마지막 프레임워크는 멀티미디어를 하드웨어의 의존도가 최소로 하기 위해 오픈소스인 XBMC(: X Box Media Center)의 Version 13.
다음으로 지상파/위성방송 튜너 인터페이스, Ethernet (WiFi 가능), 그리고 HDMI 인터페이스를 지원하기 위해 ‘인터페이스 모듈’을 개발하였다.
즉, ‘재생 및 스트리밍 능력 (Decoder) /트랜스코딩 모듈’, ‘인터페이스 모듈’, ‘스트리밍 서버 모듈’, ‘미디어 플레이어 모듈’, ‘UPnPAV/RA 모듈’, ‘Device 매니저 모듈’, 그리고 ‘스마트기기용 스트리밍 앱’을 개발하였다.
마지막으로 스트리밍 클라이언트 기능, 스트리밍 콘텐츠 재전송을 위한 서버기능, 전용 미디어 플레이어 (TS 플레이어 포함), 스트리밍 콘텐츠 재전송 대상 관리를 위한 device sub manager, 그리고 UPnP 기능을 제공하기 위해 ‘스마트기기용 스트리밍 앱’을 개발하였다.
한편 스트리밍을 해야할 대상의 IP/정보관리, 스트리밍서버접속을 위한 호출기능을 제공하기 위해 ‘Device 매니저 모듈’을 개발하였다.
스트리밍 전송의 대상 device를 검색 IP 변경시에도 연결하는 기능을 제공하기 위해 DDNS를 대체할 수 있도록 ‘UPnP AV/RA 모듈’을 개발하였다.
다음으로 지상파/위성방송 튜너 인터페이스, Ethernet (WiFi 가능), 그리고 HDMI 인터페이스를 지원하기 위해 ‘인터페이스 모듈’을 개발하였다. 이를 각 인터페이스 및 디바이스드라이버 구현하였다. 개발한 ‘스트리밍 서버 모듈’은 RTP/UDP서버로서 스트리밍서버를 구현하였다.
방송/인터넷/VOD/카메라 기반의 동영상/애니메이션등 멀티미디어 콘텐츠를 저장 없이 스트리밍 전송하여 다중의 일반재생기기 및 스마트폰을 이용하여 재생할 수 있는 스트리밍 기기 및 스마트기기용 앱 개발 방안을 제시하였다. 이를 위해 메인 CPU 비교분석, 방송용 튜너 및 스트리밍 소스와의 인터페이스 비교분석 그리고 메모리를 기준으로 기존 상용제품들을 분석하였다.
방송/인터넷/VOD/카메라 기반의 동영상/애니메이션등 멀티미디어 콘텐츠를 저장 없이 스트리밍 전송하여 다중의 일반재생기기 및 스마트폰을 이용하여 재생할 수 있는 스트리밍 기기 및 스마트기기용 앱 개발 방안을 제시하였다. 이를 위해 메인 CPU 비교분석, 방송용 튜너 및 스트리밍 소스와의 인터페이스 비교분석 그리고 메모리를 기준으로 기존 상용제품들을 분석하였다. 이를 기반으로 재생 및 동시 스트리밍 성능을 30fps@FHD H.
이를 위해 메인 CPU 비교분석, 방송용 튜너 및 스트리밍 소스와의 인터페이스 비교분석 그리고 메모리를 기준으로 기존 상용제품들을 분석하였다. 이를 기반으로 재생 및 동시 스트리밍 성능을 30fps@FHD H.264 디코딩 및 동시 스트리밍할 수 있으며, 멀티미디어 소스의 종류는 3종이상 지원할 수 있는 하드워어를 설계 구현하였다. 또한 트랜스코딩 능력은 30fps@FHD를 만족할 수 있는 소프트웨어 모듈을 개발하였다.
대상 데이터
본 연구에서 개발하려는 목표 시스템과 관련된 특허가 이미 출원 또는 등록되었는지를 조사하였다. 관련된 특허로는 10개[6-15]를 조사하였고, 각각의 특성을 분석하였다. 지면상의 관계로 가장 최근 결과를 포함하고 있는 특허들에 대해 분석하였다.
11b/g/n을 지원하며 싱글밴드/듀얼밴드를 지원하는 칩셋중 가격대비 성능 및 기술지원의 용이성을 위해 대만산 싱글밴드지원의 칩셋으로 구성된 모듈을 사용하기로 하였다. 스트리밍기기의 메인 회로의 주요 CPU는 중국 AMlogic, Rockchip, 국산인 넥셀, 코아로직, 그리고 엠텍비젼의 레퍼런스 보드 및 SDK들을 검토하였다.
먼저, 영상저장장치를 구성하는 주요부품인 CPU몇 종을 검토하였는데, 중국회사 중 가장 많은 위성방송 수신 장치에서 사용되고 있는 AMLOGIC사의 Quod core, DSP로 탁월한 성능을 갖고 있는 Texas Instrument사의 DM385, 넥셀사의 Cortex A9 Quadcore, 코아로직사의 Cortex A8 싱글코아, 엠텍비젼사의 T11 듀얼코아, 등을 검토하였다. 검토 결과 넥셀사의 칩셋을 선정하였다. 각각의 특징을 분석하면 먼저, AMLOGIC사의 Quod core은 ARM 계열의 칩셋을 주로 공급하고 있다.
국내 많은 업체들이 자동차용 블랙박스를 개발한 경력이 있어 안정성이 있으나, 제조사의 차기 로드맵이 여의치 않은 것이 단점으로 파악되었다. 마지막으로 엠텍비젼사의 칩셋 MV8921(T11) 듀얼코아를 분석하였다. ARM Cortex A7의 Dual Core 기반의 칩셋이다.
인터넷 멀티미디어는 이더넷(Ethernet)과 무선인터넷 (WiFi)를 검토하였고, 카메라의 경우에는 WiFi 및 USB와 연결되는 카메라를 검토하였다. 분석결과 WiFi IC로는 MTK사의 MT7601UN 사용하기로 하였다. WiFi 모듈은 USB 인터페이스를 이용한 것과 SDIO 인터페이스를 사용하는 것이 있는데, 본 연구에서는 여러개의 USB를 브랜치할 수 있는 USB Hub칩셋을 사용하므로 여유가 있는 USB 인터페이스용 모듈을 고려하였다.
이를 위해 휘발성 메모리 DDR3를 분석하였다. 본 연구에서 고려하고 있는 데이터는 기본적으로 VGA(640x480)급부터 Full HD (1920x1080)의 초당 30프레임 또는 60프레임급의 멀티미디어 영상이다. 따라서 DDR1이나 DDR2의 경우에는 Full HD급의 영상을 수납하거나 가공하기에 적합하지 않다.
이론/모형
안드로이드 앱 마켓 (구글플레이)으로부터 어플리케이션을 다운로드 받아 사용할 수 있는 장점을 활용하였다. 마지막 프레임워크는 멀티미디어를 하드웨어의 의존도가 최소로 하기 위해 오픈소스인 XBMC(: X Box Media Center)의 Version 13.2를 활용하였다. XBMC는 오픈소스 프레임워크이긴 하지만, 안드로이드에서 사용하기 위하여 많은 튜닝을 필요로 했다.
성능/효과
ATSC튜너는 Sharp사의 튜너를 검토하였다. DVB-S2 위성튜너와의 기구적인 정합성을 고려할 때 두 개의 튜너보드가 약 2.3mm의 차이가 발생하므로써 스트리밍장치의 기구적 정합성을 위한 별도의 작업이 필요함을 확인하였다. 한편 방송외의 다른 소스는 인터넷 멀티미디어와 카메라를 검토하였다.
물론 OS만의 이슈가 아니라 수납하는 데이터의 크기가 VGA급이냐, Full HD급이냐에도 영향이 있다. 본 연구에서는 안드로이드를 기본으로 사용하고 Full HD를 사용하기로 결정했으므로, 512MB~2GB사이의 최적의 용량을 선택하였다. 다음으로, 비 휘발성 메모리 중 대용량의 저장장치가 필요한 경우에는 eMMC 또는 NAND Flash 메모리를 사용하고 소용량의 저장장치가 필요한 경우에는 Serial Flash를 검토하였다.
후속연구
4Ghz를 넘는 클럭 스피드를 갖고 있으며, 국산 칩셋으로 기술지원을 받기 용이한 장점이 있다. 그렇지만, 주요 생산품이 안드로이드 태블릿으로, 방송/영상 스트리밍을 위한 보드 제작을 위해서는 추가적인 개발이 필요하다. 코아로직사의 Cortex A-8의 single core를 기반으로 하며 800Mhz의 클럭 속도를 사용할 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
HD영상 가변스트리밍 전송시스템 및 전송방법의 목적은 무엇인가?
먼저 오티에스에 의해 등록된 ‘HD영상 가변스트리밍 전송시스템 및 전송방법’[6]은 기존 CCTV 시스템의 영상 끊김 현상, 저 화질 영상, 취약한 보안 기능을 해결하기 위한 것이다. 시스템은 영상생성장치 (CCTV 등), 가변형영상단말기, 스트리밍서버로 구성되어 있으며, 가변형영상단말기는 외부에서 수신되는 영상신호를 해상도별 엔코딩 후 통신대역폭의 실시간 상황에 따라 지속적으로 영상신호를 전송하거나, HD고화질영상신호를 저장한 후 파일 전송 프로토콜(FTP)을 이용하여 별도로 스트리밍서버로 전송 한다.
AMLOGIC사의 Quod core의 장점은 무엇인가?
각각의 특징을 분석하면 먼저, AMLOGIC사의 Quod core은 ARM 계열의 칩셋을 주로 공급하고 있다. 장점으로는 방송관련 하드웨어 블록이 상대적으로 탁월하다. 검토한 S802 칩셋은 Cortex A9 quad core로 OS로는 Linux와 Android를 사용하고 있다.
넥셀사의 Cortex A-9의 장점은 무엇인가?
특히 Linux까지는 Texas Instrument사에서 지원을 하지만, 안드로이드와의 사용자 인터페이스를 위한 미들웨어는 협력업체의 솔루션을 이용해야 하는데 비용이 상대적으로 많이 들어가는 단점이 있다. 넥셀사의 Cortex A-9는 Quad core를 기반으로 하며 1.4Ghz를 넘는 클럭 스피드를 갖고 있으며, 국산 칩셋으로 기술지원을 받기 용이한 장점이 있다. 그렇지만, 주요 생산품이 안드로이드 태블릿으로, 방송/영상 스트리밍을 위한 보드 제작을 위해서는 추가적인 개발이 필요하다.
참고문헌 (15)
B. Kim, "The study of IPTV standardization trend from the aspect of the quality of experience (QoE)and its implication," J. of the Korea Institute of Electronic Communication Sciences, vol. 8, no. 12, 2013, pp. 1811-1817.
C. Park, Y. Ju, and Y. Lee, "An Implementation of Smart Network for High-Quality Media Contents Delivery," J. of the Korea Institute of Electronic Communication Sciences, vol. 8, no. 1, 2013, pp. 85-91.
M. Lee, "A study on the Throughput Guarantee with TCP Traffic Control," J. of the Korea Institute of Electronic Communication Sciences, vol. 11, no. 3, 2016, pp. 303-308.
J. Park, S. Lee, and W. Oh, "Congestion Control Mechanism for Efficient Network Environment in WMSN," J. of the Korea Institute of Electronic Communication Sciences, vol. 10, no. 2, 2015, pp. 289-296.
J. Kang, M. Yoon, Y. Jeong, S. Kim, K. Kim, and J. Kim. "Method and system for transmitting multimedia contents in communication network," United States Patent, no. 12096064, Jan. 26. 2007.
M. Song, J. Park, and Y. Kim, "Transmission system and method for variable streaming of HD media," Korea Patent, no. 101289758, May 6. 2013.
J. Lee, "Method for streaming multimedia contents in a mobile terminal and system thereor," Korea Patent, no. 100664227, Sep. 29. 2005.
T. Park, S. Ha, and G. AN, "System, method and apparatus of providing/receiving contents of plurality of content providers and client," Korea Patent, no. 1020100118570, Nov. 26. 2010.
C. An, A. Magzoumov, J. Lee, J Choi, and H. You, "Method for changing content, sink device and source device," Korea Patent, no. 100611987, Jul. 28. 2004.
T. Einarsson, P. Forjdh, C. Priddle, and Z. Wu , "Method and arrangent for adaptation in HTTP streaming," Korea Patent, no. 101624013, Jul. 5. 2012.
S. Bae, "An appartus for unification IPTV broadcast and method therefor and a medium having its program in store," Korea Patent, no. 100765193, Dec. 21. 2006.
J. Kim, Y. Go, and S. Choi, "Method and appratus for obtaining external chargedcontent in the UPnP network," Korea Patent, no. 100728025, Jan. 2. 2006.
C. Kim, H. Kim, Y. Park, and W. Lee, "Contents Distribution Method for Session Mobility Support in Contents Distributed Network System," Korea Patent, no. 100813003, Dec. 8. 2006.
S. Lee, S. Lee, I. Jung, and J. Jang, "Network system of supplying streaming service," Korea Patent, no. 100750583, Aug. 30. 2006.
C. Lee, H. Kim, B. Kim, H. Sung, and B. Lee, "Method and System for Providing Multimedia StreamingService by Using Information on Multicasting," Korea Patent, no. 100958013, Apr. 4. 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.