초록 ▼

연구의 목적 및 내용
본 과제는 5G 이동통신의 광대역, 초저지연, 초연결성 특장점에 부합할 수 있는 초다시점 디지털 사이니지 서비스, 몰입형 미디어 서비스, 이동체 원격관제 서비스를 제안하고, 이를 위한 5G 인프라 구축과 차세대 미디어 플랫폼, 원격관제 플랫폼, 이동체 단말의 개발을 통해 5G 이동통신망의 성능과 제안 서비스의 우수성을 실증코자 함.
ㅇ 초다시점 디지털 사이니지 서비스 개발 (지정 과제)
- 렌티큘러 방식 기반의 디지털 사이니지 서비스
- 기존 스테레오 콘텐츠기반 초다시점 영상합성 서비스(공

연구의 목적 및 내용
본 과제는 5G 이동통신의 광대역, 초저지연, 초연결성 특장점에 부합할 수 있는 초다시점 디지털 사이니지 서비스, 몰입형 미디어 서비스, 이동체 원격관제 서비스를 제안하고, 이를 위한 5G 인프라 구축과 차세대 미디어 플랫폼, 원격관제 플랫폼, 이동체 단말의 개발을 통해 5G 이동통신망의 성능과 제안 서비스의 우수성을 실증코자 함.
ㅇ 초다시점 디지털 사이니지 서비스 개발 (지정 과제)
- 렌티큘러 방식 기반의 디지털 사이니지 서비스
- 기존 스테레오 콘텐츠기반 초다시점 영상합성 서비스(공모)
ㅇ 몰입형 영상서비스 개발 (자유과제)
- 실시간 8K 고효율 방송 중계 서비스
- 차세대 Depth기반 VR생방송 서비스
- VR 멀티플렉스 서비스 (공모 과제)
ㅇ 이동체 원격관제 서비스 (자유 과제)
- 이동체기반 실시간 영상중계 서비스
- FPV영상기반 원격 이동체 제어 서비스
ㅇ 5G 인프라
- 주요 5G서비스를 수용하기 위한 5G 네트워크 구축
- 초고속, 저지연 등의 주요 KPI를 지원하는 5G 네트워크 구축
- 인빌딩 서비스 지원을 위한 5G중계기/안테나 개발

□ 5G망에서의 초다시점 디지털 사이니지 서비스
< 1차년도 >
o 5G망에서의 초다시점 디지털 사이니지 서비스
- 5G 네트워크를 이용하여 초다시점 영상을 실시간으로 전송
- 무안경 3D 및 사용자 위치에 따른 시차 제공에 특화된 서비스 개발
- 5G의 고속 데이터량 등 8대 KPI에 맞는 새로운 시범 서비스 개발
o 초다시점 사업화 가능성 확인 및 활용 서비스 설계 및 검증
- 전체 광학계 설계 및 기본 부가 요구조건 분석
- 영상 켈리브레이션 자동화 S/W 설계
- 단위 광학 모듈 설계
- 광학계 전자 제어 모듈 설계 제작
- 콘텐츠 저작툴 설계 및 개발
- 광학계 모델링 및 사전 시각화
- 콘텐츠 저작툴 설계 및 개발
- 광학계 모델링 및 사전 시각화
- 콘텐츠 광학적 이미지 보정 S/W개발
- 콘텐츠 변환 및 픽셀 재배치 알고리즘 개발
- 테스트용 콘텐츠 제작
- 콘텐츠서버 동기화 스트리밍용 클라이언트 콘텐츠 재생기 설계 및 제작/네트워크용 초다시점 콘텐츠 원격 메니지먼트 서버 제어기술

□ 초다시점 디지털 사이니지 서비스 개발 (지정 과제) >
< 2차년도 >
o 초다시점 디지털 사이니지 서비스 개발
- 렌티큘러 방식 기반의 디지털 사이니지 서비스
o 렌티큘러 방식 얼굴인식 연동 맞춤형 광고 사이니지 시연 시스템 제작
- 얼굴인식 시스템 연동 기능 개발
- 검증용 콘텐츠 8종 제작
- 이용자 맞춤형 초다시점 콘텐츠 선택 재생 처리 기능 개발
- Unity 기반 재생 플레이어 개발
< 3차년도 >
o 초다시점 디지털 사이니지 서비스 개발
-‘초다시점 디지털 사이니지 서비스’기술 및 시연시스템 개발
o 5G 실감 사이니지용 미디어 서버 개발
- 콘텐츠 입수/전송/메세지 연동 기능
- 초다시점 콘텐츠 및 정보 영상 연동 기능 개발
o 5G 실감 사이니지 디스플레이 서버 개발
- 초다시점 재생 player 개발 SW
: 초다시점 재생 모듈 개발
: 동작인식 인터랙티브 기능 모듈 개발
- 정보 재생 어플리케이션 개발 SW
o 5G 실감 사이니지용 키오스크 제작
- 초다시점 시스템용 키오스크 3대 제작
o 5G 네트워크 기반 데이터 전송 기능 개발
- 5G 네트워크 연결 데이터 전송
o 5G 실감 사이니지용 콘텐츠 제작
- 사이니지용 시연용 108시점 콘텐츠 5종 제작
- 사이니지용 시연용 정보 콘텐츠 제작

□ 5G 자유시점 홀로포테이션 서비스(2차년도 공모 후 계속과제)
< 3차년도 >
ㅇ ‘5G 자유시점 홀로포테이션’ 구현 기술 및 시연시스템 개발
ㅇ 홀로포테이션 서비스를 위한 전송 시스템 구축
ㅇ 고용량 3D 데이터 전송 기술 개발
- Windows 및 Linux 기반 고용량 3D 데이터 live 송/수신 모듈 개발
- 송신/수신 라이브러리 인터페이스 개발
- 고용량 전송을 위한 네트워크 환경 설치
. 10G Swiching 설치 및 기능 시험
- Teaming/Bonding 설치 및 기능 시험
- 전송 성능 시험
. 동종 및 이종 OS 간 전송 시험(Windows, Linux)
ㅇ 라이브 스트림 데이터 아카이빙
- 라이브 스트림 데이터 VoD 파일로 저장
ㅇ 3D 데이터(STL) 스트리밍 서비스 전송
- 3D 데이터 입수 모듈 수정 개발
- RTSP 서버 수정 개발 및 설치

□ 몰입형 영상서비스
< 1차년도 > 5G망에서의 초고화질 실감 영상 서비스
ㅇ 변환시스템: 4K(30fps) HEVC 실시간 변환 시스템
ㅇ 플레이어: PC/Android h.264, HEVC 지원하는 MPEG-DASH 플레이어
ㅇ 콘텐츠 관리 시스템: VOD/실시간 채널 관리, 메뉴 관리, 사용자 및 장비관리 시스템
ㅇ 스트리밍 시스템
- 4K 실시간 H.264/HEVC 코덱 및 VOD/Live 서비스를 지원하는 MPEG-DASH 스트리밍 시스템.
- MPTS(Multiple Program Transport Streaming)를 개발하여 하나의 채널에 다중 비디오/오디오 데이터를 이용 할 수 있도록 지원.
- 수신받은 TS 포맷을 MP4 포맷으로 변경하여 스트림 서비스
< 2차년도 > 실시간 8K 고효율 방송 중계 서비스
ㅇ 변환 시스템 개발
- 8K 영상 입수/송출 기능 개발
- 8K HEVC (30fps) 인코더 정합 작업
- HEVC Tile merger module 개발
ㅇ MMT 플레이어 설계 및 개발
- MPEG-DASH(MMT) 프로토콜 수신 모듈 개발
- 8K HEVC 디코더 정합 (30fps)
- Adaptation Filter 모듈 개발
- Android 4K HEVC 디코더, 렌더러 정합 개발
ㅇ MPEG-DASH(MMT)기반 4K HEVC 실시간　스트리밍 시스템 구축
- 디코딩을 위한 MMT 캡술화 및 패키징 기술 개발
< 3차년도 > 실시간 8K 고효율 방송중계 서비스 (5G 8K-VR 시네마)
ㅇ 변환 시스템(360 및 VR 변환)
- HEVC 8K/60fps/120Mbps 인코딩 개발
- HEVC custom resolution size 변환 모듈 개발
- Mosaic 기능 개발
- MPEG-2 TS De-MUX/MUX, TS over RTP/UDP 송출
ㅇ 8K 송출 시스템
- VoD 파일로부터 미디어 데이터를 추출하여 라이브 스트림 데이터 전송
- 편성 정보에 따라 영상 파일의 시간 정보를 순차적으로 증가하며 전송하는 송출 기능 개발
- VoD 미디어 파일 전환시 패킷의 끊김 현상 없이 원활한 패킷 송출
- 유니캐스트로 수신 받은 라이브 스트림 데이터를 멀티캐스트로 변환 및 송출
ㅇ 플레이어
- TS Over RTP/UDP 입수 모듈 개발
- MPEG-2 TS De-MUX 개발
- 8K HEVC Video Stream Decoding 개발
- NV12 To RGBA Color Space Converter 개발
- 360 Video Renderer 개발
- HMD 기능 연동 개발
- Network Time Protocol(NTP) Clinet 개발
- 기준 시간 기반 출력 시간 동기화 모듈 개발
- Android 360 Player 개발
- 서비스 변경에 따라 프로토콜 대체 (MMTP→TS over RTP)

□ 차세대 Depth기반 VR생방송 서비스
< 2차년도 >
ㅇ 3차원 카메라 시스템
- 카메라 리그 설계 및 3차원 디자인/검증 및 제작
- 다중 영상의 입수 제어 및 모니터링 S/W 개발
ㅇ 3차원 영상 처리 시스템
- 다중 영상 획득을 위한 각 카메라 간 동기화 모듈 개발
- 각 Stereo 영상의 Depth Map 생성 모듈 개발
- 추출된 Depth Map을 이용한 실시간 Stitching 모듈 개발
- LR 이미지 2D Projection 모듈 및 텍스처링 모듈 개발
ㅇ 3차원 VR 송출 시스템
- NVENC 기반의 4K HEVC 비디오 실시간 인코딩 모듈 개발
- AAC 오디오 실시간 인코딩 모듈 개발
- 비디오/오디오 동기화 및 RTSP Streamer 개발
ㅇ 3차원 VR 전용 Player
- RTSP 기반 비디오/오디오 데이터의 입수 처리 모듈 개발
- HEVC, AAC 디코딩 모듈 개발
- Head Tracking에 따른 3D VR Rendering 모듈 개발
< 3차년도 >
ㅇ 3차원 카메라 시스템
- 3D 180도 RGB 카메라와 IR 다중카메라 리그 설계 및 제작
ㅇ 3차원 영상 처리 송출 시스템
- 3D 깊이 정보 추출 기능의 고도화 및 최적화
- 3D 정합 기능의 고도화 및 최적화
- 3D 영상 합성 기능의 고도화 및 최적화
- VR 영상 압축 및 송출 기능의 고도화 및 최적화
ㅇ AR/VR Viewport 생성 시스템
- 3D 영상과 깊이 정보 수신 기능의 고도화 및 최적화
- AR 객체 합성 기능의 설계 및 개발
- Viewport 영상 생성 기능의 설계 및 개발
- Viewport 영상 송출 기능의 설계 및 개발
ㅇ 3D AR/VR Player
- 3D 영상과 깊이 정보 수신 기능의 고도화 및 최적화
- 영상 디코딩 기능의 고도화 및 최적화
- AR 객체 합성 기능의 설계 및 개발
- AR/VR 영상 재생 기능의 고도화 및 최적화
ㅇ Viewport Player
- Viewport 영상 수신 기능의 설계 및 개발
- Viewport 영상 디코딩 기능의 설계 및 개발
- Viewport 영상 재생 기능의 설계 및 개발
- 사용자 입력 서버 전송 기능의 설계 및 개발

□ 이동체기반 실시간 영상중계 서비스
< 2차년도 >
ㅇ LTE 영상 전송 이동체 개발
- Flight Controller S/W 및 H/W 개발
- LTE를 이용하여 통신 가능한 통신 시스템 구성
- 원격 관제 시스템과의 제어 프로토콜 개발
ㅇ 이동체 원격 관제 시스템 개발
- N:1 제어 가능한 원격 관제 서버 개발
- 서버 구동 가능한 원격 관제 클라이언트 개발
- N:1 이동체 제어 및 클라이언트 통신 프로토콜 개발
ㅇ 2K 영상 전송 시스템
- 영상 전송 모듈 제어 서버 개발
- HDMI Input 영상 2K Up-Scaling 및 전송 시스템 개발
- Client Viewer 개발
< 3차년도 >
ㅇ 5G 영상 전송 이동체 개발
- Flight Controller S/W 및 H/W 개발
- 5G를 이용하여 통신 가능한 통신 시스템 구성
- 원격 관제 시스템과의 제어 프로토콜 개발
ㅇ 이동체 원격 관제 시스템 개발
- 원격 관제 서버 개발
- 서버 구동 가능한 원격 관제 클라이언트 개발
- 이동체 제어 및 클라이언트 통신 프로토콜 개발
ㅇ 4K 영상 전송 시스템
- 영상 전송 모듈 제어 서버 개발
- HDMI Input 영상 4K 전송 시스템 개발

□ FPV영상기반 원격 이동체 제어 서비스
< 2차년도 >
ㅇ FPV용 이동체 개발
- 영상 모듈, Flight controller, LTE modem 탑재 가능하며, FPV 비행 가능한 이동체 개발
ㅇ 초저지연 영상 중계 모듈 개발
- NVIDIA　board를 이용한 S/W 방식의 저지연 모듈 개발
- Multimedia 및 Network Protocol을 one-chip화로 영상 압축 및 전송 속도를 획기적으로 향상 시킨 H/W 방식의 저지연 모듈 개발
- 720p 30fps 영상 : LTE 망 전송 지연 150ms 이내 구현
- 1080p 15fps 영상 : LTE 망 전송 지연 150ms 이내 구현
< 3차년도 >
ㅇ FPV용 이동체 개발
- 영상 모듈, Flight controller, LTE modem 탑재 가능한 이동체 개발
ㅇ 초저지연 영상 중계 모듈 개발
- Multimedia 및 Network Protocol을 one-chip화로 영상 압축 및 전송 속도를 획기적으로 향상 시킨 H/W 방식의 저지연 모듈 개발
- 1080p 30fps 영상 : 5G 망 전송 지연 100ms 이내 구현
ㅇ LTE 및 5G망을 통한 원격 조종 시스템 개발
- 제어 신호 지연 : 5G 망 전송 지연 40ms 이내 구현

□ 공모전
< 2차년도 >
ㅇ 대중소 상생 공모전
- 5G 시대를 열어갈 초다시점 AR/VR융합 서비스 공모
ㅇ 공모주제
- 초다시점 서비스
. 초다시점 원천기술과 타서비스기술과의 융합 (e.g. 미디어서비스와의 시너지 등)
. 초다시점 원천기술 고도화
- AR/VR융합서비스
. AR/VR의 공간 체험과 기존서비스와 융합
. AR/VR의 진화를 고려한 서비스
ㅇ 공모부분
- 기술 및 서비스 개발능력 보유한 스타트업 벤처, 중소/중견 기업으로 기술력 및 사업모델을 증명할 수 있는 업체
ㅇ 공모일정
- 15개 중소기업 참여
ㅇ 초다시점 서비스 분야 1개사 선정
- 초다시점 가상현실 융합 서비스를 위한 실시간 임의시점에서의 영상 합성 기술 개발 - ㈜씨소
ㅇ AR/VR융합서비스 분야 1개사 선정
- LG360VR등HMD디바이스를활용한스포츠∙공연.게임VR생중계기술개발 - ㈜ 살린
< 기존 스테레오 콘텐츠기반 초다시점 영상합성 서비스, ㈜씨소 >
ㅇ 시차 추정 알고리즘 개발
- 스테레오 영상 정합 기술 개발 (시차추정)
∙ 두 카메라 영상인 Left Image와 Right Image에서 대응점을 찾고 대응점간의 (편차의)길이를 이용하여 계산을 통해 나타낸 시차추정(디스페리티맵:disparity map) 기술 개발 완료
- 색상 영상과 변위영상의 객체 경계 처리 기술 개발
∙ 세그멘테이션 기법을 적용한 시차추정 기술 개발 완료
o 멀티 뷰 영상을 이용한 객체 경계 처리 기술 강화
- Gestalt Theory를 이용한 형태(form, shape)정보기반 전경(figure)과 배경(background)으로 나누고 보다 근접한 부분으로 적용하여 오류를 줄이는 방법을 적용하여 성능 향상
o 초다시점 영상 합성 기술 개발
- 최적의 81개 시점을 처리 할 수 있는 기술 개발
. 초다시점 영상 생성 기술 개발 완료
- 멀티 뷰 시차추정을 이용한 빈 영역을 채우는 영상 보간 알고리즘 성능 강화
. 빈 영역을 채우는 영상 보간 알고리즘 개발 완료
- 멀티 뷰 영상의 시차추정을 이용한 영상 통합 알고리즘 개발
. 초다시점 렌티큘러 디스플레이를 위한 81시점 합성영상 구현
< VR 멀티플렉스 서비스, ㈜살린 >
ㅇ Meta Info System 개발
- 영상 서비스를 위한 서버, 리소스 위치, 리소스 속성 정보 개발 완료
ㅇ Rendering System 개발
- 3D 가상룸 설계 및 디자인 완료
. 2D 화면 시청 시 가상공간의 3D 가상룸 설계 및 디자인 완료
. 콘서트장 가상룸 반영 완료
- HMD 단말에서 영상 처리 프로그램 개발 완료
. 위치가 다른 360도 영상 3개 영상 처리 프로그램 완료
. 2D 영상 처리 프로그램 완료
- HMD 단말에서 부가정보 처리 프로그램 개발 완료
. Wikipedia에 twice 멤버 사진을 가상 룸에 반영 완료
< 3차년도 >
ㅇ 5G 융합서비스 공모전
- 5G 시대를 대비한 미래 성장동력 발굴 및 개발을 위한 ‘5G 융합서비스’ 공모전 진행
ㅇ 공모주제
- 차세대 미디어
- 무인관제/지능형 원격제어
- 자율주행/커넥티드카
- 스마트 시티
ㅇ 공모부분
- 기술 및 서비스 개발능력 보유한 스타트업 벤처, 중소/중견 기업으로 기술력 및 사업모델을 증명할 수 있는 업체
ㅇ 공모일정
- 21개 중소기업 참여
- 평가 방식: 1점에서 5점까지 5단계로 차등평가하며 항목별로 가중치를 반영해 100점 만점 기준 점수로 환산함
- 평가 위원: 엘지유플러스 연구위원 2명, 외부 전문가 3명
- 평가 결과: ㈜인텔리빅스 - 91.4점, ㈜글로브포인트 – 88.4점
< 5G망에서의 모듈형 영상 관제 시스템, ㈜인텔리빅스 >
ㅇ 모듈형 시스템 카메라와 지능형 영상분석(이벤트) 정합 및 연동 기능 개발
- 모듈형 시스템 카메라와 지능형 영상분석 소프트웨어 정합
- 엣지 단말에서 영상 분석 가능한 메타데이터를 전송하는 기능 개발
. 지능형 영상분석 된 정보를 통한 영상 재생 및 기능 테스트 및 검증
ㅇ 모듈형 카메라 영상 재생 및 원격 모니터링 검증
- 획득된 영상을 재생 및 원격 모니터링 서버에 전송하는 기능 개발
. 모듈형 시스템과 원격 모니터링 시스템 영상 테스트 및 검증
. 모바일 바이스(태블릿)을 통한 원격 모니터링 테스트 및 검증
ㅇ 모듈형 시스템 개발
- Junction Box 내 독립적인 시스템을 구성할 수 있는 하드웨어 구성
. 모듈형 시스템 구현에 필요한 하드웨어 정합 및 테스트
ㅇ 영상검색 시스템 연동
- 모듈형 시스템의 영상을 메타데이터화 하여 영상 검색 시스템에 연동하는 기능 개발
. 영상 검색 테스트 및 검증
< 모션인식기반 VR 놀이 교실 , ㈜글로브포인트 >
ㅇ 가정에서 IPTV를 활용하여 상호작용할 수 있는 컨텐츠를 발굴하고 그 사용성 개발 검증
ㅇ 특별히 유아를 대상으로 게임같이 접근성이 좋고 상호작용을 지속적으로 유도할 수 있는 컨텐츠 개발
ㅇ 모션 인식으로 체험할 수 있는 적절한 놀이 기획 및 개발
- 화면에 움직이는 오브젝트를 향해 장풍을 쏠 수 있는 컨텐츠기획 개발
- 내러티브를 드러낼 수 있는 3D 오프닝 영상 제작 적용
ㅇ 모션 인식으로 원활하게 작동할 수 있는 UI 구성 개발
- 특정 지점 몇 곳을 지속적으로 인식시켜 버튼의 역할을 할 수 있도록 개발
ㅇ 추후 안드로이드 셋톱박스와 모바일 폰을 고려하여 작성 언어를 Java 개발
- OpenCV의 Java버전과 VLCj 프레임워크를 포함시킨 프로젝트 기획 개발
ㅇ 적정 성능 기반의 하드웨어 선정 개발 적용
ㅇ HD 웹캠에서 입력된 영상의 프레임을 분석하여 움직인 부분을 검출하는 알고리즘을 구현 개발
- 프레임을 매트릭스로 변환하고 비교하는 알고리즘 구현
- 움직임 검출에 대한 민감도를 조절할 수 있도록 프로그램 개발
- 성능 검사를 통해 적당한 해상도 적용 개발

□ 5G 인프라
< 1차년도 >
ㅇ Pre-5G기지국 및 단말 개발
- 이론적 설계를 통한 기지국 장비 및 테스트 단말 개발
- 최고 속도 1Gbps 이상의 Pre-5G 기지국 개발
< 2차년도 >
ㅇ 5G 시험기지국 및 단말 개발
- mmWave대역을 지원하는 RF안테나와 무선구간 10Gbps를 수용하는 Digital Unit개발
ㅇ POTN(패킷, 광 통합형 전송장비) 개발
- 100GE 패킷 트래픽을 파장으로 변환, 장거리 전송 가능한 장비 개발
ㅇ T-SDN Controller 소프트웨어
- POTN장비를 통합 제어하여 회 설계 및 설정, 최적 경로 계산 등을 GUI 기반으로 자동화 하는 소프트 웨어 개발
< 3차년도 >
ㅇ 5G기지국 및 단말 개발
- 무선 구간 셀 최고 속도 20Gbps이상, 전송지연 1ms이내를 만족하는 기지국 개발
- 5G기지국과 연동하여 5G주요 성능 시험이 가능한 단말 개발
ㅇ 인빌딩 솔루션 개발
- 5G기지국과 연동하여 인빌딩에서 원활한 서비스 제공을 위한 5G중계기 및 안테나 개발
- 중계기 종단 출력 10dBm 이상 출력을 만족하도록 개발

연구개발성과
□ 5G망에서의 초다시점 디지털 사이니지 서비스
< 1차년도 >
o 연구개발성과
- 초다시점 디스플레이 설계 및 모듈 제작
. 초다시점 디스플레이 단위 광학 모듈 설계 (20개프로젝터)
:구조분석 및 단위모듈/미러구조/하우징 설계 및 제작 완료
. 초다시점 디스플레이 광학계 전자 제어 모듈 설계
: 분석 및 설계 완료, 제작 완료
. 영상 Calibration 자동화 설계
: 요구사항분석 완료, Auto Calibration 기능구현 완료
- 초다시점 콘텐츠 제작 및 재배치 SW 개발
. 초다시점 콘텐츠 저작툴 설계 및 개발
: 설계 완료, UI 디자인/ 제작툴 구현 완료
. 초다시점 광학계 모델링 및 사전 시각화 알고리즘 설계
:설계 완료, 광학계 모델링/시각화 알고리즘 설계 완료
. 초다시점 콘텐츠의 광학적 이미지 보정 SW 개발
: 설계 완료, UI 디자인/제작툴 구현 완료
. 초다시점 콘텐츠 변환 및 픽셀 재배치 알고리즘 개발
: 설계 완료, 병렬컴퓨터용 재배치 구현 완료
o 초다시점 콘텐츠 재생기 설계 및 제작/네트워크용 초다시점 콘텐츠 원격 management server 제어 기술 개발
- 콘텐츠 서버 동기화 스트리밍용 클라이언트 콘텐츠 재생기 설계 및 제작
: 설계 완료, 스트리밍 모델링 구현/동기화 구현 완료
o 정량적 평가 결과

□ 초다시점 디지털 사이니지 서비스 개발 (지정 과제) >
< 2차년도 >
o 연구개발성과
- 렌티큘러 방식 얼굴인식 연동 맞춤형 광고 사이니지 시연 시스템 제작
. 얼굴인식 시스템 연동 기능 개발
. 이용자 맞춤형 초다시점 콘텐츠 선택 재생 처리 기능 개발
. 검증용 얼굴인식용 콘텐츠 8종 제작
. Unity 기반 재생 플레이어 개발(Auto 플레이)
. 고객 실사 촬영 및 콘텐츠 합성 기능 개발
. Ani-GIF 제작, E-mail 발송 서비스
- 외부환경 연동을 활용한 창문형 초다시점 사이니지 시연 시스템 제작
. 창문형 외부환경 연동 시스템 개발
. 제어용 Pad(테블릿)앱 설계 및 개발
. 검증용 콘텐츠 3종 제작
o 정량적 평가 결과
< 3차년도 >
o 연구개발성과
- 5G 실감 사이니지용 미디어 서버 개발
- 5G 실감 사이니지 디스플레이 서버 개발
. 초다시점 재생 player 개발 SW
- 정보 재생 어플리케이션 개발 SW
- 5G 실감 사이니지용 키오스크 제작
- 5G 네트워크 기반 데이터 전송 기능 개발
- 5G 실감 사이니지용 콘텐츠 제작
. 사이니지용 시연용 108시점 콘텐츠 7종 제작
. 사이니지용 시연용 정보 콘텐츠 제작
o 정량적 평가 결과

□ 5G 자유시점 홀로포테이션 서비스(2차년도 공모 후 계속과제)
< 3차년도 >
ㅇ 연구개발성과
- 다중 카메라를 통한 3D 모델링 생성
- Texture 정확도 : 20dB
- Structure 정확도 : 0.4MSSIM
- 자유시점 영상 생성 및 스트리밍 전송
- 3D 고용량 데이터 전송을 위한 기반 기술 확보
- 고용량의 데이터 전송을 위한 10G 스위치 통한 LACP 본딩 또는 티밍 기술 확보
- 3D 데이터의 실시간 스트리밍 기술 확보
ㅇ 정량적 평가 결과

□ 몰입형 영상서비스
< 1차년도 > 5G망에서의 초고화질 실감 영상 서비스
ㅇ 연구개발성과
- 변환시스템의 1차년도 정량 지표인 HEVC 4K, 30fps, 25Mbps 목표치를 달성
- 1차년도 변환 지연 시간의 목표가 5초이내가 목표였으나 3.2초로 초과 달성
- 플레이어의 재생 지연 시간의 목표가 2초였으나 1.172초의 결과를 보여 40% 이상 더 줄여 초과 달성
- RTP로 전송 받은 HEVC 코덱 데이터를 MPEG-DASH를 이용하여 MP4 포맷으로 전송함으로써 초고화질 영상의 전송을 가능케 하였고, MPTS 기술을 적용함으로써 하나의 채널에서 서버로 부터 영상의 재요청이 없이도 다중 비디오 및 오디오를 플레이어에서 선택하여 재생할 수 있도록 구현
- 기존의 라이브 뿐만 아니라 VoD 파일로 부터 서비스를 제공할 수 있도록 개발함으로써 상용화 서비스에 대비
- 멀티앵글 카메라를 활용한 4K HEVC MPEG-DASH 영상 전송 기술 확보
ㅇ 정량적 평가 결과
< 2차년도 > 실시간 8K 고효율 방송 중계 서비스
ㅇ 연구개발성과
- 8K: 화면 구성을 위해 4K 카메라 4대 구성
- 변환 시스템: 로우 이미지는 3G-SDI 16포트로 입력받아 4K HEVC H/W 인코더를 통해 4장의 변환 된 이미지를 HEVC tile 방식으로 하나의 이미지로 합치고 SPS의 해상도, HRD 내용 변경, PPS의 tile flag 및 파라미터를 추가하고 slice 헤더를 변경하여 HEVC 8K 이미지 정보로 변경 한 후 MPEG-2 TS로 먹싱 후 RTP로 송출
- 스트리밍 시스템: TS over RTP를 수신하여 패킷을 분석하여 송출 데이터를 추출하고 데이터를 MMT로 Transmuxing 후에 MPEG-DASH(MMT)로 송출
- PC/Android 플레이어: MPEG-DASH(MMT)를 수신하여 H/W decoder를 이용하여 복호화 후 영상 및 오디오를 재생
- HEVC 8K 인코더 개발 완료
- MPEG-DASH(MMT) HEVC 8K PC 플레이어 개발 완료
- MPEG-DASH(MMT) HEVC 4K Android 플레이어 개발 완료
- MPEG-DASH(MMT) 스트리밍 시스템 개발 완료
ㅇ 정량적 평가 결과
< 3차년도 > 실시간 8K 고효율 방송중계 서비스 (5G 8K-VR 시네마)
ㅇ 연구개발성과
- 5G 무선 네트워크를 중심으로 360 8K 미디어 파일로부터 영상 데이터를 입수하여 8K HEVC 8K custom size encoding과 Mosaic을 통해 스트림 전송하여 360 렌더링을 통해 고화질 VR을 시청
- 8K 변환 시스템(360 및 VR 변환) 개발 완료
- 8K-VR 스트림 송출 시스템 개발 완료
- 스트림 서버 성능 고도화(Manifest 파일 메모리 사용, Chunk file 메모리 사용 및 크기 최적화, Session Pool Managing 최적화)
- VR 재생 Player 개발 완료 (HMD / Android 360)
ㅇ 정량적 평가 결과

□ 차세대 Depth기반 VR생방송 서비스
< 2차년도 >
ㅇ 연구개발성과
- 3D 360 카메라 리그 제작 완료
- 3D 360영상처리의 핵심인 자동 영상 정합 알고리즘의 구현 및 특허 출원
- 실시간 고품질 4K 영상 인코딩/스트리밍 모듈 개발 완료
- 3D 360 VR 전용 PC Player 개발 완료
ㅇ 정량적 평가 결과
< 3차년도 >
ㅇ 연구개발성과
- 3D 180 멀티 depth sensor 제작 완료
- 180도 3D Modeling 구현
- 실시간 고품질 4K 영상 및 3D data 인코딩/스트리밍 모듈 개발 완료
- 3D 360 VR 전용 Player 개발 완료
- Viewport 생성 서버 구축 완료
ㅇ 정량적 평가 결과

□ 이동체기반 실시간 영상중계 서비스
< 2차년도 >
ㅇ 연구개발성과
- 동시 4대의 이동체 제어 가능한 서버 및 클라이언트 개발 완료
- 2K급 영상 LTE 송출 모듈 개발 완료
ㅇ 정량적 평가 결과
< 3차년도 >
ㅇ 연구개발성과
- 관제서버 및 웹기반 클라이언트 개발 완료
- 장애물 우회하는 최단경로비행
- 충돌방지
- DGPS
- 4K급 영상 송출 모듈 개발 완료
ㅇ 정량적 평가 결과

□ FPV영상기반 원격 이동체 제어 서비스
< 2차년도 >
ㅇ 연구개발성과
- 200ms 이내 720p 30fps(HD) LTE 송/수신 모듈 개발 완료
- 3차년 FPV원격 제어를 위한 서버 경유 제어 신호 지연 시간(LTE망 지연 포함) 80ms 지연 속도 달성
ㅇ 정량적 평가 결과
< 3차년도 >
ㅇ 연구개발성과
- 100ms 이내 1080p 30fps(FHD) 5G 송/수신 모듈 개발 완료
- FPV원격 제어를 위한 신호 지연 시간(5G망 지연 포함) 목표 달성
ㅇ 정량적 평가 결과

□ 공모전
< 2차년도 >
< 기존 스테레오 콘텐츠기반 초다시점 영상합성 서비스, ㈜씨소 >
ㅇ 시차 추정 알고리즘 개발
ㅇ 멀티 뷰 영상을 이용한 객체 경계 처리 기술 강화 완료
ㅇ 초다시점 영상 합성 기술 개발 완료
ㅇ 정량적 평가 결과
< VR 멀티플렉스 서비스, ㈜살린 >
ㅇ Meta Info System 개발 완료
ㅇ Rendering System 개발 완료
- 3D 가상룸 설계 및 디자인 완료
- HMD 단말에서 영상 처리 프로그램 개발 완료
- HMD 단말에서 부가정보 처리 프로그램 개발 완료
ㅇ 정량적 평가 결과
< 3차년도 >
< 모션인식기반 VR 놀이 교실 , ㈜글로브포인트 >
ㅇ 모션 인식으로 상호작용 할 수 있는 컨텐츠 기획 완료
ㅇ 웹캠을 통해 사용자의 움직임을 감지하는 기능 개발 완료
ㅇ 사용자의 상호작용이 화면 내 오브젝트에 영향을 줄 수 있는 시스템 개발 완료
ㅇ 정량적 평가 결과
사용자 움직임 감지의 경우 임의의 200프레임에 대해 측정하여 평균을 구함.
실측 평균 값: 99.725ms
ㅇ 구현결과
□ 5G 인프라
< 1차년도 >
ㅇ 연구개발성과
- 무선 구간 최고속도 1Gbps 이상의 Pre-5G 테스트 베드 구축 완료
- 5G 테스트 베드 구축을 위한 관련 기술 확보(256QAM, 4x4MIMO 등)
- KVM 기반의 SPGW VNF의 기본 동작 기능
- VNF Manager·VIM을 통한 VNF, VM의 가상 자원 할당·해제, 생성, 삭제, 스케일링 기능
ㅇ 정량적 평가 결과
< 2차년도 >
ㅇ 연구개발성과
- 무선 구간 최고속도 10Gbps, 전송지연 1.4ms 지원하는 기지국 개발
- 100Gbps 인터페이스에 최대 100Gbps 전송, 파장변환 장거리 전송 장비 POTN 개발
ㅇ 정량적 평가 결과
< 3차년도 >
ㅇ 연구개발성과
- 무선 구간 최고속도 20Gbps, 전송지연 1ms 이내를 지원하는 기지국 개발
- 5G기지국과 연동하여 중계기 출력이 10dBm 이상인 중계기 개발
- 5G 인빌딩 서비스를 지원하기 위한 중계기와 연동하는 Service/Donor안테나 개발
ㅇ 정량적 평가 결과

연구개발성과의 활용계획 (기대효과)
□ 초다시점 디지털 사이니지 서비스
ㅇ 고객 맞춤 광고 제공을 통해 타겟 마케팅 가능
ㅇ 광고 외에도 엔터테인먼트 등의 다양한 분야로 확장 가능
ㅇ 안경 없이 3D 콘텐츠를 여러 시점에서 물체를 관찰할 수 있는 장점을 활용하여, 고객사가 원하는 다양한 형태의 맞춤형 광고 콘텐츠를 제작, 제공할 수 있으며, 백화점, 상가, 영화관 등의 공공장소와 전시관, 과학관, 박물관 등의 특수 장소 활용과 함께 시청각 교육, 입체 전시, 쇼핑 콘텐츠, 엔터테인먼트 등 여러 분야에 접목 또한 가능하여, 제조사, 광고사, 엔터테인먼트사 등에서 디지털 미디어보드, 디지털 사이니지 등의 수요를 대체하여 미래형 비즈니스 모델을 창출 할 수 있음

□ 5G 자유시점 홀로포테이션 서비스(2차년도 공모 후 계속과제)
ㅇ 자유시점 기술 컨텐츠를 활용한 화상 통신, 화상 회의 등의 실시간 서비스 활용 하고자 함
ㅇ 음성과 2D데이터를 입체적으로 보여줘 이해도를 높이는 비실시간 서비스를 사업화를 진행하고자 함 (과학, 스포츠)

□ 몰입형 영상서비스
< 1차년도 > 5G망에서의 초고화질 실감 영상 서비스
ㅇ 초고화질/실감 콘텐츠를 이용한 신규 비즈니스 모델 창출
< 2차년도 > 실시간 8K 고효율 방송 중계 서비스
ㅇ 몰입형 영상서비스
- 본 과제를 통해 구축된 8K UHD 인코더를 이용하여 고화질의 실감 콘텐츠 생산을 통해 교육, 스포츠 체감 프로그램 활성화를 통해 UHD 실시간 방송 시장 비즈니스 모델을 창출
- 본 과제를 통해 구축된 고품질의 3D 360 VR 생중계 플랫폼을 통신사, 방송사, 영상 포털 사업자 등의 수요처에게 제공하여, 고품질/대용량의 콘텐츠 제작 및 대용량 영상 전송을 위한 용도로 활용하도록 하며, 지속적으로 360 생중계 서비스 시장에서의 창의적인 비즈니스 모델을 창출
< 3차년도 > 실시간 8K 고효율 방송중계 서비스 (5G 8K-VR 시네마)
ㅇ 상용화: 국내/국외 8K 시장은 일본을 제외하고는 진행 되고 있지 않으나 4K의 경우 실제 시장이 열리고 있어 방송용 4K 변환 시스템을 개발/출시하여 국내 시장에 진입. 실제 사업화를 통해 과제에서 개발 된 성과물을 현장 적용. 2017년 4K 상용 제품 출시 및 홍보. 2020년 8K 상용 제품 출시.

□ 차세대 Depth기반 VR생방송 서비스
본 과제를 통해 구축된 Depth기반 VR생방송 서비스를 통하여 방송 통신 분야에서 3D 360 VR 컨텐츠를 실시간으로 생중계하여, 현실감과 몰입감을 증대시킴으로써 새로운 실감 미디어를 경험할 수 있는 서비스가 가능하며, 이러한 서비스를 기반으로 개인 방송 사업자, 국내 MCN 사업자등의 고객을 목표로 사업화를 확대 실시하고자 함

□ 이동체 원격관제 서비스
본 과제를 통해 구축된 이동체 원격 관제 서비스를 통하여 원격지의 고화질 영상을 실시간으로 중계하여 재난현장, 공장감시 등의 여러가지 감시모니터링 체계에 적용 및 활용이 가능하며, 서비스의 고도화를 통하여 베타버전과 시제품을 오픈하고 사업화를 확대 실시하고자 함

□ 5G 인프라
ㅇ 5G 인프라를 활용하여 추후 5G서비스 실증의 시범망으로 활용하고 향후 도래할 5G 단말과 5G 신규 서비스 연동 검증시 활용
ㅇ 5G 시험망 구축 경험을 토대로 초기 5G 인프라 상용 구축시 안정적이며 효율적으로 구축

(출처 : 요약문 5p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 보고서 요약서 ... 4
• 요약문 ... 5
• 목차 ... 28
• 1. 연구개발과제의 개요 ... 29
• 가. 연구개발의 목적 ... 29
• 나. 연구개발의 필요성 ... 30
• 2. 연구 수행 내용 및 성과 ... 37
• 가. 초다시점 디지털 사이니지 서비스 시스템 개발 ... 47
• 나. 5G 자유시점 홀로포테이션 서비스 기술 개발 ... 70
• 다. 실시간 8K 고효율 방송중계 서비스 개발 ... 98
• 라. 차세대 Depth기반 VR생방송 서비스 개발 ... 121
• 마. 이동체기반 실시간 영상중계 서비스 개발 ... 148
• 바. FPV 영상기반 원격 이동체 제어 서비스 개발 ... 165
• 사. 5G 인프라 ... 169
• 아. 5G 융합서비스 공모전 ... 174
• 3. 목표 달성도 및 관련 분야 기여도 ... 204
• 가. 정량적 평가 결과 ... 204
• 나. 평가 방법 ... 208
• 다. 연차별 정량적 연구성과 목표 및 달성도 ... 248
• 라. 연구개발성과 ... 248
• 마. 국내 논문 게재 ... 251
• 바. 국내 및 국제학술회의 발표 ... 252
• 사. 사업화 현황 ... 252
• 아. 기타 성과 (홍보, 전시) ... 252
• 자. 관련 분야 기여도 ... 257
• 4. 연구개발성과의 활용 계획 등 ... 258
• 붙임. 자체 보안관리 진단표 ... 261
• 끝페이지 ... 262