초록 ▼

□ 과제수행 목표 및 내용
○ 최종 목표
ㅇ 초실감 서비스 기술 선도를 위한 미디어 원천기술 개발

○ 1단계
□ 목표
ㅇ 초실감 서비스를 위한 원천기술 개발
- 고밀도 조밀 공간데이터 생성 및 메쉬/텍스처 매핑 기술 연구
- 저지연 기반 고품질 음향 압축 요소기술 구현 및 검증
- 발달장애인 실감훈련을 위한 인터랙티브 콘텐츠 기술 개발
- 사용자 선택형 입체미디어 부호화 알고리즘 개발
- 인터랙티브 미디어 창작 서비스 플랫폼 성능 고도화 및 플랫폼 시범서비스 확대
□

□ 과제수행 목표 및 내용
○ 최종 목표
ㅇ 초실감 서비스 기술 선도를 위한 미디어 원천기술 개발

○ 1단계
□ 목표
ㅇ 초실감 서비스를 위한 원천기술 개발
- 고밀도 조밀 공간데이터 생성 및 메쉬/텍스처 매핑 기술 연구
- 저지연 기반 고품질 음향 압축 요소기술 구현 및 검증
- 발달장애인 실감훈련을 위한 인터랙티브 콘텐츠 기술 개발
- 사용자 선택형 입체미디어 부호화 알고리즘 개발
- 인터랙티브 미디어 창작 서비스 플랫폼 성능 고도화 및 플랫폼 시범서비스 확대
□ 내용
- 이종 센서기반 공간데이터 정합 및 정제 기술 및 다시점 영상 기반 조밀 공간데이터 정제 기술 연구
- 저지연/고품질 음향 압축 베이스라인 코덱 및 공간음향 렌더링 기술 구현
- 실-가상 혼합 기반 실감훈련 인터랙티브 콘텐츠 기술 및 직업훈련 동작인식 기반 훈련 상태분석 및 피드백 기술 구현
- 사용자 선택형 입체미디어 부호화 및 화질개선 핵심 알고리즘 연구

○ 2단계
□ 목표
ㅇ 초실감 시범서비스
- 초실감 세컨드 스페이스 실현을 위한 다중센서/지능정보기반 공간영상 생성 및 재현 핵심기술 개발
- 저지연/고품질/고효율 음향 압축 기술 통합 및 검증
- 가상중재 기반 개별 맞춤 실감훈련 콘텐츠 기술 개발
- 사용자 선택형 입체미디어 서비스 핵심기술 개발
□ 내용
- 고정밀 공간영상 생성 및 인터랙티브 재현 핵심기술 개발
- 저지연/고품질/고효율 음향 압축 요소기술 통합 및 검증
- 가상 중재 콘텐츠 유형화 및 동기화, 발달장애인 개별 맞춤 감각융합 기술 구현
- 사용자 선택형 입체미디어 부호화 및 화질개선 핵심 알고리즘 성능고도화

○ 3단계
□ 목표
ㅇ 초실감 서비스 실현
- 저지연/고품질/고효율 음향 압축 기술 성능 고도화 및 표준 기술 연구
- 사용자 선택형 입체미디어 시범서비스
□ 내용
- 음향 압축 기술 성능 고도화, 음향 압축 복잡도 개선, 고속화 기술 개발 및 국제표준화 연계 및 대응
- 사용자 선택형 입체미디어 부호화 알고리즘 성능검증

□ 과제 수행과정 및 내용
ㅇ 과제 수행과정
- 기 개발한 공간영상 기술 대비, 목표 개발 기술의 성능 비교 분석을 통해 핵심 요소기술 파악, 비교 우위 정량적 목표 수립
- 음향 압축 관련 기술 동향 조사 및 분석을 통해 저지연을 위한 코덱 구조 설계, 최신 심층신경망 기술 활용 등을 통한 IPR 확보
- 맞춤형 실감 인터랙티브 기술 개발 및 발달장애인 가상직업훈련 콘텐츠 시범서비스 추진
- 입체미디어 부호화 및 부가영상 화질개선을 위해 해당 분야 IPR 기반 표준화 이슈 제기, 전략 수립을 통한 표준화

ㅇ 과제 수행내용
- 고품질 공간영상 생성을 위한 핵심 요소기술 연구 및 MPEG-I G-PCC 관련 표준화 활동 수행
- 저지연/고품질/고효율 음향 압축 핵심 요소기술 연구 및 코덱 개발
- 실-가상 융합 인터랙티브 콘텐츠 기술, 가장중재 콘텐츠 기술 및 발달장애인 직업훈련 콘텐츠/신체활동 콘텐츠 적용
- 사용자 선택형 입체 애니메이션 콘텐츠 화질개선을 위한 조건부 대체 알고리즘 연구

□ 과제 수행결과 및 목표달성도
ㅇ 과제 수행결과
2020년도 (성과)
정량
• (사업화) 기술이전 기업 발달장애인훈련센터 체험관 설치사업 수주(2개 기관, 매출 7.2천만원)
• (표준화) MPEG WG7 G-PCC 기고 1건
• (논문) SCI(E) 투고(5건)/게재(2건), 국제우수학술대회 투고 5건
정성
• 동의대학교와 인터랙티브 미디어 창작 플랫폼 기술협력으로 인터랙티브 시네마 작품(5개) 상영회
• 2020 ICT 기술사업화 페스티벌 ‘시나리오 기반 인터랙티브 영상 창작 기술’ 온라인 전시

2021년도 (성과)
정량
• (사업화) 기술이전 기업 발달장애인훈련센터 VR체험 시스템 구축 1건, 국립특수교육원 실감 콘텐츠 체험교실 구축사업 등 2건(총 매출 7.6억), 시제품 출시(똑똑 액션플로우, ‘21.11)
• (표준화) MPEG WG7 G-PCC 기고 5건, ATSC3.0 3D 표준 채택
• (논문) SCI(E) 투고(11건)/게재(6건), 국제우수학술대회 투고(9건)/게재(3건
정성
• 전국 24개 장애인 직업훈련기관 시범서비스 실시, 가상직업훈련 콘텐츠를 통한 발달장애인 고용창출
• ETRI 유망기술회 및 TechDay개최(12개 기업기술 상담)
• 지역 영상 업체(KNN,부산MBC)와 실증 테스트베드 구축

ㅇ 과제 수행 목표달성도
가. 과제 수행 목표달성도 (기술개발 성과지표)
나. 공통지표
다. 자율지표

□ 관련 분야에 대한 기여
ㅇ 관련 분야 과학적·기술적·경제적·사회적 기여
과학적
• 딥러닝 기반의 깊이정보 및 자동 주석 생성, 깊이정보 추정 정확도 개선, 스테레오영상 깊이 추정 기술 개발 기여
– SCI(E) 논문 7편 투고/4편 게재, Top-tier 우수 국제학술대회 6편 투고/1편 발표
• 저지연-고품질 음향 압축 및 공간음향 분야 우수 논문 게재를 통한 기술발전 기여
– SCI(E) 논문 3편 투고/2편 게재, Top-tier 우수 국제학술대회 8편 투고/2편 발표
• 발달장애인 가상 직업훈련을 위한 실감 인터랙션 핵심기술 및 가상 중재콘텐츠 기술 연구
- SCI(E) 논문 4편 투고/2편 게재, 국내외 전문학술지 4편 게재 및 학술대회 2편 발표
• 기존 2D 서비스 호환성을 유지하며 스트리밍 트래픽 증가 시 화질의 열화없이 실감 입체 미디어 서비스가 가능한 차세대 UHD, OTT 및 개인방송 서비스용 미디어 부호화 기술
– 국제표준 채택 1건, 국내특허출원 1건, SCI(E) 논문 2건(투고), 국내학술대회 논문 5건

기술적
• 공간영상 압축 기술 표준화와 대규모 공간 데이터 생성 및 정합 원천기술 확보
– 국제출원특허(4건), 국내출원특허(20건), 국제표준기고서(6건)
• 저지연-고품질 음향 압축 및 공간음향 분야 특허 다수 출원을 통한 원천기술 확보
– 국제출원특허(10건), 국내출원특허(24건)
• 발달장애인 맞춤형 실감 인터랙티브 콘텐츠 기술 확보 및 세계 최초 가상 중재콘텐츠 기술 구현
- 국제특허출원(2건), 국내특허출원(8건)
• 지역 내 영상/영화 콘텐츠 기업들과의 기술개발/사업화를 통한 동반성장 기회창출
– KNN, 부산 MBC와 협업을 통해 실증테스트베드 구축 및 테스트 2건
• 영상물의 의미분석을 위한 핵심기술과 사용자와의 커뮤니케이션을 위해 필요한 핵심기술 확보
- 국제출원특허(1건), 국내출원특허(5건)

경제적
• SK텔레콤과 미국 싱클레어 방송 그룹에서 합작하여 설립한 Cast.Era와 5G 환경에서 실사 AR 객체를 현장에서 획득/전송 및 클라우드에서 고속생성하는 실증을 통한 공간데이터 서비스 검증함
• 음향 압축 및 공간음향 분야 표준특허 확보를 통한 막대한 로열티 수익 창출 기대(‘30년 이후)
– 표준발명 1건 당 기대수익 5억 이상
• 장애인 직업훈련 전문기관 및 특수교육기관 대상 기술이전 사업화 성과 4건 달성(총 매출 8.3억)
- 기술이전 기업 시제품 출시 및 관련 수요 증가로 국내외 매출 증대 기대
• 코로나 시대 이후 온라인콘서트, OTT 기반 실감콘텐츠 서비스 분야 관련 시장은 지속 성장 예상
- 2021 부산국제트랜스미디어 포럼 공동주최, K-ICT WEEK in Busan 2021 전시회 참가
• 인터랙티브 미디어 창작 기술의 시범서비스 및 사업화
- 미디어 크리에이터 교육, 온라인교육용 북마크 서비스, 국내 중소기업 기술이전: 90백만원/2건

사회적
• 세계적인 비대면 환경에서 공연/쇼핑/협업 서비스에서 광범위하게 사용되고 있는 그래픽 기반의 3D 모델을 초실감 공간영상으로 대체함으로써 가상공간이 현실의 대안 세계가 되는 초실감 세컨드 스페이스 서비스와 관련된 산업의 활성화를 기대
• 사회적 약자인 발달장애인 직업훈련을 통해 장애인 고용 창출 효과 달성
- 산학연계 훈련을 통해 발달장애인 훈련생 대기업 취업 (바리스타 6명, 스팀세차 3명)
• 부산이 가진 영상산업 기반을 이용하여 고유의 영상산업을 창출함으로써 글로벌 영상산업 허브 도약, 새로운 한류의 메카로 자리 매김하는데 기여
• 국내 팬덤 문화, 한류 경쟁력을 원동력으로 활용, 한류 콘텐츠를 이용한 인터랙티브 영상산업 활성화 추진

ㅇ 후속 과제에 도움을 줄 수 있는 연구 결과
- 메타버스 콘텐츠 기술, 저지연/고품질/고효율 음향 압축 및 공간음향 렌더링 기술, 실-가상 융합 인터랙션 기술, 가상 중재 콘텐츠 기술, 사용자 선택형 입체 미디어 서비스 기술 개발에 활용 가능

□ 성과관리 및 활용계획
ㅇ 성과관리 현황
• 데이터 생산 및 관리
– 국립경주박물관의 실외 및 실내를 광대역 레이저 스캐너를 이용하여 스캐닝
– 서대문형무소역사관 실외 및 실내를 광대역 레이저 스캐너를 이용하여 스캐닝
• 데이터 저장 및 보존: 획득한 데이터는 원본 그대로 하드 디스크를 이용하여 백업 및 보관
• 데이터 공동활용: 연구 종료 후 바로 원내 공개 예정
ㅇ 성과활용 계획
- (기술적) 카메라 자세, 깊이정보 추정 등 딥러닝 기반 공간데이터 생성 기술은 기존 hand-craft 방식의 성능과 처리속도 제한 극복
- (기술적) 현재의 음성 및 오디오 압축 기술과 차별화된 새로운 패러다임의 저지연/고품질/고효율 음향 압축 기술 개발을 통해 음향 압축 기술 관련 글로벌 시장 선도 및 국제표준 확보
- (기술적) 신체·인지적 한계를 극복하여 가상증강 콘텐츠를 향유할 수 있는 AR/VR 접근성 핵심기술을 확보함으로써 산업 파급효과를 통한 글로벌 시장경쟁력 강화
- (기술적)　실감형 콘텐츠 연구성과를 이용한 지역 ICT 기술 전시회 및 시범서비스 제공을 통해 지역내 문화 콘텐츠 산업 및 서비스 대중화에 기여
- (사회문제해결) 발달장애인을 위한 가상 직업훈련 및 평가진단 기술 개발을 통해 직업훈련 환경을 개선하고 안정적인 고용으로 이어질 수 있도록 함으로써 경제적 자립과 삶의 만족도를 높임
- (확보된 기술의 사업화 전략) 기술이전을 통해 장애인 직업훈련 전문기관 및 특수교육 기관을 대상으로 요소기술을 적용한 VR/AR 융복합 콘텐츠의 사업화를 추진

□ 향후 과제 수행계획
ㅇ 다음 단계(2단계 : ’22~’24년) 연구개발 계획
[초실감 세컨드 스페이스 실현을 위한 공간영상 생성 및 재현 원천기술 개발]
1) 연구개발 목표 및 내용
• 목표: 초실감 세컨드 스페이스 실현을 위한 다중센서/지능정보기반 공간영상 생성 및 재현 핵심기술 개발
• 내용: 고정밀 공간영상 생성 및 인터랙티브 재현 핵심기술 개발, 지능정보기반 공간데이터 생성 원천 기술 연구, 공간영상 비즈니스 모델 연구
2) 국내외 분야 환경변화
- 메타버스에 대한 관심이 성장가능성을 높이고 있으며, 게임 및 엔터테인먼트에서 다양한 분야로 확장 중
3) 연구개발 추진전략
- 메타버스 서비스에서 공간(건물)이나 객체(제품, 사람 등)를 3차원 실사모델로 표현하기 위한 공간영상 생성 핵심기술 개발 및 플랫폼 사업자와의 협력을 통한 상용화 추진
4) 연구개발 일정 및 기대 성과
• 연구개발 일정
- 2022년 난제 객체 공간영상 생성 및 재현 기반 기술 연구를 수행하고, 2023년 지능정보기반 고정밀 공간영상 생성 및 인터랙티브 재현 기술 개발 수행
• 기대성과: 세계최고 수준의 공간영상 추출·생성·재현 성능 달성

[실시간 소통과 체험을 위한 저지연/고품질 동시지원 음향 압축 기술 개발 및 표준화]
1) 연구개발 목표 및 내용
• 목표: 저지연 기반 고품질/고효율 음향 압축 요소기술 통합 및 검증
• 내용: 음향 압축 핵심기술 개발 및 국제표준화 추진(음향 압축, 공간음향 기술)
2) 국내외 분야 환경변화: 메타버스 관련 이슈가 등장하면서 공간음향과 저지연-고품질 오디오 코덱에 대한 관심 증가
3) 연구개발 추진전략
- 음향 코덱 내 신호분석 단위를 최적화하고 요소기술별 지연을 초래하는 요인을 제한하여 저지연 목표 달성을 위한 코덱 구조 설계
- 저지연/고품질/고효율 음향 압축 기술 개발을 위해 영상 부호화 및 다양한 분야에서 연구되고 있는 최신 심층신경망 기술 등의 활용 가능성을 검증하여 이를 음향 압축을 위한 요소기술로 활용
- 확보된 요소기술과 IPR을 기반으로 저지연/고품질/고효율 음향 코덱에 대한 표준화 이슈 제기 및 전략 수립을 통한 국제표준화 추진
4) 연구개발 일정 및 기대 성과
- 2단계(‘22~’24): 저지연 기반 고품질/고효율 음향 압축 요소기술 연구를 통한 음향 압축 핵심 특허 30건 출원 및 SCI(E) 논문(투고) 3건, Top-tier 우수 국제학술대회(투고) 9건
- 3단계(‘25~‘29): 저지연/고품질/고효율 음향 압축 기술 성능 고도화 및 표준 기술 연구를 통한 국제표준 특허(총년도) 20건 확보
- 오디오 부호화 및 공간음향 기술 국제표준 반영 및 표준특허 확보를 통한 성과확산 추진

[발달장애인 가상 직업훈련을 위한 맞춤형 실감 인터랙티브 콘텐츠 기술 개발]
1) 연구개발 목표 및 내용
• 목표: 발달장애인 가상 직업훈련 시스템 개발 및 시범서비스
• 내용: 멀티모달 센싱 기반 인터랙티브 훈련 동작 인식/ 신체활동 추적 및 상태분석 고도화, 사용자 정보 기반 중재콘텐츠 동기화 기술 개발, 상용 수준의 사용자 반응형 직업체험훈련 콘텐츠 개발 및 시범서비스
2) 국내외 분야 환경변화
- 장애인의 사회진출에 대한 기대와 요구가 높아짐에 따라 신규 직종에 대한 체험과 훈련 수요가 증가하고 있으며, 하드웨어 성능 고도화와 경량화로 AR/VR을 통한 훈련이 가능
3) 연구개발 추진전략
- 현장 밀착형 R&D 추진을 통해 연구개발 결과물의 현장적용 실효성을 담보하고, 수요기관 시범서비스 및 실증을 통해 공공서비스 파급효과를 극대화함
4) 연구개발 일정 및 기대 성과
- 2단계(’22): 멀티모달 센싱 기반 인터랙티브 협업 훈련 안정화, 가상 중재 모니터링 및 제어 시스템 고도화 및 상용 수준 직업체험훈련 콘텐츠 개발, 국내외 특허 4건 확보

[사용자 선택형 UHD 입체 미디어 서비스 기술 개발]
1) 연구개발 목표 및 내용
• 목표: 사용자 선택형 입체미디어 부호화 핵심알고리즘 연구, UHD 입체미디어 스트리밍 서비스 검증을 위한 필드테스트, 사용자 인터랙션 인식 기반 입체 영상 재생 기술 연구
• 내용: 입체 애니메이션 콘텐츠 화질개선을 위한 조건부 대체 알고리즘 연구, Cross-view 기반 계층적 입체미디어 부호화 알고리즘 개발, 입체 영상 재생 기반 사용자 인터랙션 인식 알고리즘 연구
2) 국내외 분야 환경변화
- 디지털 사이니지 관련 기업들은 자사 제품을 위한 별도 플랫폼을 개발하여 공개하고 있으며, 사물인터넷 시대의 본격화에 따라 단순히 콘텐츠를 보여주는 디스플레이에서 사용자와 소통하고 데이터를 수집하는 도구로 진화
3) 연구개발 추진전략
- 사용자 선택형 UHD 입체 미디어 핵심 알고리즘개발 및 요소기술 개발, 성능평가용 테스트베드 구축을 바탕으로 참여기관의 미디어 콘텐츠 기술개발, H.266기반 서비스 표준화 아이템 발굴, H.265 확장형 입체미디어 인코더/디코더 핵심기술 개발, 방송장비 및 플랫폼 개발을 바탕으로 사업 추진
4) 연구개발 일정 및 기대 성과
- 스마트 미디어 산업 세계화를 위한 사용자 입체 미디어 서비스 플랫폼을 위한 초고화질 3D/2D 동시 서비스가 부가조건 없이 사용 가능한 사용자 선택형 입체 미디어 서비스 핵심기술 개발
6) 사업화 추진 계획
- 사용자 선택형 입체미디어 스트리밍 시범서비스
∙ 지역내 방송 및 통신망을 활용한 2D/3D 호환형 입체미디어 스트리밍 시범서비스 (부산MBC & KNN)
∙ 관련 Head-End 장비 및 단말기 상용화 추진

(출처 : 요약문 3p)

목차 Contents

• 표지 ... 1
• 요약문 ... 3
• 목차 ... 7
• 1. 과제 개요 ... 8
• 1. 과제 수행계획 ... 8
• 2. 현황 및 접근방법 ... 10
• 2. 과제목표 및 수행과정 ... 25
• 1. 과제목표 ... 25
• 2. 과제 연차별 수행과정 및 내용 ... 26
• 3. 과제 수행기간 추진체계 및 방법 ... 32
• 3. 과제 수행결과 및 목표달성도 ... 36
• 1. 과제 수행결과 ... 36
• 2. 목표달성도 ... 43
• 3. 목표 미달 시 원인분석 ... 241
• 4. 관련 분야에 대한 기여 ... 242
• 1. 과학적·기술적·경제적·사회적 파급효과 ... 242
• 2. 후속 과제에 도움을 줄 수 있는 연구 결과 ... 244
• 5. 성과관리 및 활용계획 ... 246
• 1. 성과관리 현황 ... 246
• 2. 성과활용 계획 ... 246
• 6. 향후 과제 수행계획 ... 248
• 7. 연구개발비 사용실적 ... 265
• 8. 중요 연구변경 사항 ... 266
• 끝페이지 ... 267