보고서 정보
주관연구기관 |
경북대학교 KyungPook National University |
연구책임자 |
허재일
|
참여연구자 |
김범기
,
강성종
,
김증섭
,
김진형
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2023-02 |
과제시작연도 |
2022 |
주관부처 |
문화체육관광부 Ministry of Culture, Sports and Tourism |
등록번호 |
TRKO202300005104 |
과제고유번호 |
1375027398 |
사업명 |
지역연계첨단CT실증사업 |
DB 구축일자 |
2023-08-16
|
키워드 |
라이브셰어.라이브셰어 공연장.다면 영상.라이브 뷰잉.5세대 이동통신.Live Share.Live Share concert hall.multi screen.Live viewing.5G.
|
초록
▼
□ 연구개발 목표 및 내용
◼ 최종 목표
○ 라이브 공연을 5G와 실감기술로 동시에 여러 원격지에서 함께 즐기게 하는 라이브셰어 공연장 구축 및 공연기술 개발
○ 실증지(대구문화예술회관) 공간을 첨단문화기술 R&D 및 시범 서비스가 가능한 첨단공연장으로 구축함으로 지역문화 경쟁력 제고 및 지역 첨단CT기술 생태계 활성화 목표
○ 실증지 라이브셰어 공연장 활용하여, 수도권 등 원격지 라이브 공연 공유, 사회적약자 대상 공연서비스, 공공·민간수요 등 라이브셰어 수요 발굴 및 활성화 추진
◼ 전체 내용<
□ 연구개발 목표 및 내용
◼ 최종 목표
○ 라이브 공연을 5G와 실감기술로 동시에 여러 원격지에서 함께 즐기게 하는 라이브셰어 공연장 구축 및 공연기술 개발
○ 실증지(대구문화예술회관) 공간을 첨단문화기술 R&D 및 시범 서비스가 가능한 첨단공연장으로 구축함으로 지역문화 경쟁력 제고 및 지역 첨단CT기술 생태계 활성화 목표
○ 실증지 라이브셰어 공연장 활용하여, 수도권 등 원격지 라이브 공연 공유, 사회적약자 대상 공연서비스, 공공·민간수요 등 라이브셰어 수요 발굴 및 활성화 추진
◼ 전체 내용
○ 다면영상 획득기술
- 다면영상 획득용 카메라 제어용 리그 개발
○ 5G 라이브공연 전송기술
- 360 영상 화질 최적화 중계 기술 개발
- 멀티뷰 영상 화질 최적화 중계 기술 개발
○ 다면영상 상영기술
- 공연장에 최적화된 다면 영상 시스템 구축
- 공연장 통합 제어 솔루션 및 저작도구 개발
- 이기종(LED+시네마DLP Projector) 다면 스크린 기술 개발
- 고화질 다면 영상 Production 플랫폼 개발
- 라이브셰어 공연 적용 가능한 입체 오디오 서라운드 기술 개발
○ 실감연출 인터랙션기술
- 라이브셰어 공연장 AR/VR 콘텐츠 기술 개발
- 라이브셰어 공연장 AR/VR 콘텐츠 저작 기술 설계
- 실감인터랙션 서버 설계
- 실감인터랙션 앱 개발
- 라이브셰어 공연장 위치기반 군집 AR/VR 콘텐츠 기술 개발
○ 기술실증 및 시범 서비스
- 실증 콘텐츠 수요 도출 및 기획을 통한 세부 콘텐츠 도출
- 기술실증(통합, 안정화, 최적화) 기반 시범서비스 활성화
◼ 1단계
❏ 목표
⦁ (다면영상 획득기술) 다면영상 획득용 카메라 제어용 리그개발
⦁ (5G 라이브공연 전송기술) 360영상 화질 최적화 중계 기술개발
⦁ (다면영상 상영기술) 공연장 최적화 다면영상기술, 공연장 통합 모니터링, 제어솔루션, 이기종 다면 스크린 기술, 고화질 다면 영상 Production 플랫폼, 라이브 셰어 공연 적용 가능 입체오디오 서라운드 기술 개발
⦁ (실감연출 인터랙션기술) AR/VR 재현, 저작 기술 및 실감인터랙션 서버 설계
❏ 내용
⦁ 다면영상 획득기술
- 다면영상 획득을 위한 복수의 카메라 제어 무선 인터페이스 및 제어용 리그 설계 및 개발
⦁ 5G 라이브공연 전송기술
- 120fps 이상의 360 8K to 4K / FHD / HD 다운 스케일 스트림 생성 및 네트워크 환경에 따른 HTTP기반 적응형 스트리밍
⦁ 다면영상 상영기술
- 이기종 디스플레이 30ms 이하의 동기화 오차, 8K@30fps 표현
- 공연장 환경에 맞는 분할영상 생성
- 시네마DLP Projector 기반 고화질 멀티스크린 4K 콘텐츠 디스플레이 환경 구축을 위한 라이브셰어 공연장 디스플레이 구조 설계 개발
- 고화질 4K급 디스플레이 멀티 영상 전송을 위한 Video Splliter 핵심 FPGA 모듈 설계 개발
- 라이브셰어 공간의 서라운드 디지털 오디오 프로세서 장치의 핵심 DSP 개발
⦁ (실감연출 인터랙션기술)
- 다면 공연장/모바일 AR 특수효과 재현 기술 설계 및 프로트타입 구현
- AR 특수효과 콘텐츠 2종 제작
- AR/VR 콘텐츠 프로젝트 관리 기술 설계
- AR/VR 콘텐츠 마크업 언어 처리 기술 설계
- 사용자 인터랙션 객체 배치 기술 설계
- AR/VR 콘텐츠 메타데이터 생성 기술 설계
- 인터랙션 관리 기능 및 이펙트 관리 기능 설계
- AR/VR 콘텐츠별 리소스 및 메타데이터 관리 기능 설계
- 라이브 공연장 이모티콘 관리 및 전송 기능 설계
- 스마트폰 카드 섹션 지원을 위한 군집 제어 기술 설계
◼ 2단계
❏ 목표
⦁ (다면영상 획득기술) 다면영상 획득용 카메라 제어용 리그 개발
⦁ (5G 라이브공연 전송기술) 멀티뷰 영상 화질 최적화 중계기술
⦁ (다면영상 상영기술) 공연장 최적화 다면영상 기술, 다면 콘텐츠오소링 및 저작도구, 실시간 상호작용이 가능한 5G기반 모바일 대응 AR플레이어, 이기종 다면 스크린기술, 고화질 다면영상 Production 플랫폼, 입체오디오 서라운드 기술개발
⦁ (실감연출 인터랙션기술) AR/VR 콘텐츠 재현 및 저작기술, 실감인터 랙션 서버개발, 실감인터랙셥 앱, 위치기반 AR/VR기술 개발
❏ 내용
⦁ 다면영상 획득기술
- 촬영 시야각(FOV)에 따른 다양한 촬영 카메라 적용 시제품 및 실증
⦁ 5G 라이브공연 전송기술
- 120fps 이상 속도의 재생 환경(공연장/모바일)에 맞는 멀티채널 스트림 생성 및 최적화
- 4K@30fps 8채널 P2P기반 멀티뷰 고속 동기화 스트리밍
- 실시간 분할 스트림 접합
⦁ 다면영상 상영기술
- 이기종 디스플레이 15ms 이하의 동기화 오차, 12K@60fps 표현
- 30Hz이상 DMX를 통한 무대 장치와 연동 가능
- 시네마DLP Projector 기반 고화질 멀티스크린 4K 콘텐츠 디스플레이 환경 구축을 위한 라이브셰어 공연장 디스플레이 구조 설계 개발
- 고화질 다면 영상 처리 멀티 비디오 분배기술 및 stitch 하드웨어 개발
- 라이브셰어 공간의 서라운드 디지털 오디오 시스템 최적화 인터페이스 개발
⦁ (실감연출 인터랙션기술)
- 다수 사용자 화면 인터랙션 인터페이스 개발
- 다양한 스마트 디바이스의 화면크기를 고려한 사용자 화면 인터랙션 크기를 자동 판단하여 동일성을 구현하는 기술 적용
- 다면 공연장/모바일 AR 특수효과 재현 기술 개발
- AR 특수효과 콘텐츠 5종 제작
- AR/VR 콘텐츠 프로젝트 관리 기술 개발
- AR/VR 콘텐츠 마크업 언어 처리 기술 개발
- 사용자 인터랙션 객체 배치 기술 개발
- AR/VR 콘텐츠 메타데이터 생성 기술 개발
- 인터랙션 관리 기능 개발
- 인터랙션 이펙트 관리 기능 개발
- AR/VR 콘텐츠별 리소스 및 메타데이터 관리 기능 개발
- 라이브 공연장 이모티콘 관리 및 전송 기능 개발
- 스마트폰 카드 섹션 지원을 위한 군집 제어 기술 개발
- 인터랙션 앱 UI/UX 설계
- 공연 영상 실시간 재생 기능 개발
- 플라잉 이모티콘 선택 및 전송 기능 개발
- 동적 이모티콘 선택 및 전송 기능 개발
- 자막 번역 및 음성 서비스 기능 개발
- 스마트폰 기반 카드 섹션 인터랙션 콘텐츠 개발
- 실증지 부가 정보 표시 기능(일정, 공연정보 등) 개발
◼ 3단계
❏ 목표
⦁ (다면영상 획득기술) 다면영상 획득용 카메라 제어용 리그 개발
⦁ (5G 라이브공연 전송기술) 멀티뷰 영상 화질 최적화 중계기술
⦁ (다면영상 상영기술) 이기종 다면 스크린기술, 고화질 다면영상 Production 플랫폼, 입체오디오 서라운드 기술개발
⦁ (실감연출 인터랙션기술) AR/VR 콘텐츠 재현 및 저작기술, 실감인터랙션 서버개발, 실감인터랙션 앱, 위치기반 AR/VR기술 개발
❏ 내용
⦁ 다면영상 획득기술
- 시범서비스 적용을 통한 안정화 및
- 획득영상의 실시간 중계를 위한 전송 인터페이스 적용
⦁ 5G 라이브공연 전송기술
- 4K@30fps 16채널 P2P기반 멀티뷰 고속 동기화 스트리밍
- 동기화 스트리밍 지연시간 2초 이내
⦁ 다면영상 상영기술
- 3%이내 오차를 갖는 자가진단을 통한 다면 영상 보정 오류 자동 교정
- 다면영상 분석을 통한 30Hz 이상 속도의 무대조명 효과 자동 생성
- 초고화질 이기종 다중 LED 전광판 실증 및 시범서비스를 통한 고도화
- 초고화질 LED 전광판 Multi Wall Controller 시스템 개발
- 비디오 stitch 및 splitter 통합관제 S/W 개발
- 비디오 스위칭 및 Graphic Transition S/W 개발
- 라이브셰어 공간의 서라운드 디지털 오디오 프로세서 운용시스템 실증 및 시범서비스를 통한 고도화
⦁ (실감연출 인터랙션기술)
- 라이브셰어 공연장 실증 및 시범 서비스를 통한 AR 특수효과 재현 기술 실증 및 안정화
- AR 특수효과 콘텐츠 5종 제작
- AR/VR 콘텐츠 프로젝트 관리, 마크업 업처처리, 객체 배치, 메타데이터 생성, 인터랙션 관리기능, 인터랙션 이펙트 관리 실증 및 안정화
- 인터랙션 관리 기능 실증 및 안정화
- AR/VR 콘텐츠별 리소스 및 메타데이터 실증 및 안정화
- 라이브 공연장 이모티콘 관리 및 전송 기능 실증 및 안정화
- 스마트폰 카드 섹션 지원을 위한 군집 제어 기능 실증 및 안정화
- 공연 영상 실시간 재생 기능 실증 및 안정화
- 플라잉 이모티콘 선택 및 전송 기능 실증 및 안정화
- 동적 이모티콘 선택 및 전송 기능 실증 및 안정화
- 자막 번역 및 음성 서비스 기능 실증 및 안정화
- 스마트폰 기반 카드 섹션 인터랙션 콘텐츠 실증 및 안정화
- 실증지 부가 정보 표시 기능 실증 및 안정화
□ 연구개발성과
○ (3단계 연구개발 완료) 3단계 영상획득, 전송, 상영 인터랙션 목표 대비 핵심기술 개발 완료
- 다면영상 획득기술(3개 분야)
- 다면영상 상영기술(16개 분야), 입체오디오 기술(3개 분야)
- 5G 중계기술(3개 분야)
- 실감연출인터랙션기술(25개 분야)
○ (실증지 인프라 구축 완료) 대구문화예술회관(팔공홀) 다면영상 및 미디어시스템 구축
- 이기종 + 다면 프로젝션(고화질 4K(5,120 x 3,200) X 6대 구축) 및 미디어 서버시스템 구축 완료
- 입체 오디오 서라운드 및 AFC 가변음향 시스템 구축(14개 앰프, 82개 스피커, 16개 마이크, 콘솔1, 스테이지박스 1) 완료
- LED Hanging 시스템 설계(호이스트 시스템 제어 및 테스트, 최대 5톤 하중 지지 등 구조검토 승인완료) 및 구축 완료
- 초고화질 LED 디스플레이 시스템(정면 LED 모듈 480개의 모듈로 1,500 x 800 크기, 좌우측 LED 모듈 192개의 모듈로 300 x 800 크기) 설계 및 구축 완료
- 초고화질 LED 디스플레이(에이프런 영역 LED 시스템 추가 확장[기존 670inch → 900inch로 확장]) 구축 완료
○ (정량적 목표) 3단계 25건의 정량적 목표항목 100% 달성
- 기술실증 건수 초과달성(2건→4건)
- 기술적 및 경제적 성과 목표(100%)달성(특허출원 5건, 특허등록 3건, 소프트웨어 등록 8건, 사업화 4건, 신규채용 2명)
- 멀티디스플레이 및 비디오 출력 동시 출력(비디오출력 UHD 2160해상도 6Port → 8Port) 확장개발
- 자체평가검증(5건)→공인시험성적 평가검증 상향(5건)
- 영상 획득 및 전송 시스템에 대한 28GHz 네트워크 슬라이싱, 회선보안성, 지연률 등의 실내•실외 테스트 공인시험성적 평가 검증
- 국내 논문 1건 → 해외논문 1건 게재
- 신규기술개발 3건(❶ 컴팩트형 리그개발, ❷ 위치 데이터 전달모듈 및 SW, ❸ 다면리그 모니터링 기구부 개발)
- 다면 영상획득 멀티 카메라 리그 시제품 제작 및 실증
• 위치기반 군집제어 사용자 인터렉션 시제품 제작 및 실증 검증 완료
□ 연구개발성과 활용계획 및 기대 효과
○ (활용계획) 라이브셰어 공연이라는 새로운 활용 목적과 원래 문화․공연 목적의 첨단화․ 극대화가 가능한 2가지 타입으로 활용 가능
- (라이브셰어 공연장형) 외부 라이브공연을 5G로 전송하여, 실증지에서 다면스크린 및 실감콘텐츠를 활용하여 공연 관람
- (첨단CT 공연장형) 실증지에서 하는 뮤지컬, 연극 등 공연에 구축된 다면 스크린, 실감콘텐츠를 공연 연출기술로 활용
○ (기술적효과) 공연기술 + 5G, 실감콘텐츠 기술을 융합하여 문화·공연의 원격지 라이브 공유를 위한 초실감, 초고화질 콘텐츠 획득 및 초저지연 전송 기술 확보
○ (문화적효과) 지역, 문화소외계층 등 문화·공연의 라이브 공유로 문화 격차 해소 및 문화복지 혜택 제공
○ (경제적 측면) 라이브셰어 공연장 구축 및 요소기술 확보를 통해서, 라이브셰어 공연 연출을 원하는 국내·외 민간수요 발굴 및 라이브셰어 신시장 창출
○ (사회적측면) 최근 코로나19 나 향후 유사한 재난 상황에서 비대면 온라인 공연문화의 수요가 발생할 것으로 예측이 되며, 본 사업을 통해서 확보된 기반시설 및 기술은 비대면 공연·문화에 활용될 것으로 기대됨
○ (정책적효과) 5G의 특성인 초고속, 초저지연, 초연결의 특성을 모두 살린 라이브셰어 공연을 체험하게 함으로써, 5G의 가능성 및 확장성을 국민들에게 홍보
(출처 : 요약문 3p)
목차 Contents
- 표지 ... 1
- 요 약 문 ... 3
- 목차 ... 8
- 1 연구개발과제의 개요 ... 9
- 2 연구개발과제의 수행 과정 및 수행 내용 ... 13
- 3 연구개발과제의 수행 결과 및 목표 달성 정도 ... 15
- 1. 연구개발 수행 결과 ... 15
- 2. 목표 달성 수준 ... 72
- 4 목표 미달 시 원인분석 ... 84
- 1. 목표 미달 원인(사유) 자체분석 내용 ... 84
- 2. 자체 보완활동 ... 84
- 3. 연구개발 과정의 성실성 ... 84
- 5 연구개발성과의 관련 분야에 대한 기여 정도 ... 85
- 6 연구개발성과의 관리 및 활용 계획 ... 86
- 끝페이지 ... 89
※ AI-Helper는 부적절한 답변을 할 수 있습니다.