초록 ▼

연구개발목표 및 내용
최종 목표
4차 산업혁명시대, 인공지능(Deep Neural Networks)기반 XR(eXtend Reality) 미디어아트라는 새로운 장르개척의 필요성을 인식함. 물리적으로 떨어진 공간의 아티스트 및 관람객이 가상과 현실, 물리적 공간의 제약 없이, 실시간으로 협업하거나 인터랙션 할 수 있는, 5G(초-저지연 네트워크)로 연결된 XR 트윈 환경을 구축하고, 이 공간을 위한 인공지능기반 초-실감 미디어아트의 저작, 교육, 전시 기술의 개발을 수행함. 또한 구축된 하이퍼큐브 (Hyper-Cube)를

연구개발목표 및 내용
최종 목표
4차 산업혁명시대, 인공지능(Deep Neural Networks)기반 XR(eXtend Reality) 미디어아트라는 새로운 장르개척의 필요성을 인식함. 물리적으로 떨어진 공간의 아티스트 및 관람객이 가상과 현실, 물리적 공간의 제약 없이, 실시간으로 협업하거나 인터랙션 할 수 있는, 5G(초-저지연 네트워크)로 연결된 XR 트윈 환경을 구축하고, 이 공간을 위한 인공지능기반 초-실감 미디어아트의 저작, 교육, 전시 기술의 개발을 수행함. 또한 구축된 하이퍼큐브 (Hyper-Cube)를 통해, 개발된 기술의 실험, 콘텐츠 개발 및 기획 전시를 프로젝트로 진행하며, 이러한 과정의 원천적 기술적 개발요소, 프로젝트 주요사항을 교육과정과 연계하여 석·박사급 고급 R&D 전문 인력양성을 최종목표로 함.
전체 내용
본 과제의 목표를 효율적으로 달성하기 위한 연구/개발은 크게 1) XR-Twin 공간의 구축, 2) 인공지능 기반 초현실 인터랙티브 미디어 생성 및 작품 연구/개발, 3) 저작도구 및 미디어 렌더링 기술 개발로 구성됨. 1)의 구축은 본 과제의 참여 기업이 중심이 되어 수행되고, 2)의 연구/개발은 참여 대학이 중심이 되어 이루어지며, 3)의 개발은 참여 기업과 대학이 공동으로 수행하게 됨. 이러한 차세대 공간 및 기술 개발의 모든 과정이 의미 있는 교육 과정으로 설계 될 수 있도록, 2)의 연구/개발을 위한 기반기술은 참여 대학의 정규 교육 과정으로 설계되었고, 3)의 기술 개발은 프로젝트 과정 및 비-정규 교육 과정으로 설계되었음. 연차별 연구개발에 대한 세부 내용은 다음과 같음.

1단계
목표
초실감 하이퍼큐브 구축 및 인공지능 기반 초실감 미디어 생성 기초 기술 연구
내용
1. (홍익대, 날다팩토리,브이알애드, 클릭트)
1.1 디지털트윈 기반 디지털 미디어 전시 환경 구축 연구
1.2 텔레프레젠스 기능 병합을 위한 요구사항 분석 및 병합 환경 구축
1.3 인공지능 기반 하이퍼아틀리에 요구사항 분석
(인공지능기반 초실감 2D(배경)/3D(인터랙션) 미디어 요구사항 분석 및 학습 데이터 구축 (오브제 종류에 따른 영상, 3D 모델 각 1,000개 이상)
1.4 하이퍼큐브 전시환경 요구사항분석 및 기본설계
1.5 하이퍼큐브기반 하이퍼아들리에 환경요구사항 및 콘텐츠 개발 및 전시
2. (연세대, 서울미디어대학원)
2.1 실시간 고품질 오브제 영상생성을 위한 조건부 GAN 네트워크 구축 연구
2.2 실시간 고품질 오브제 3D 모델 생성을 위한 딥러닝 네트워크 구조 연구
2.2 고품질 오브제 영상의 실시간 변환을 위한 스타일전이 네트워크 연구
2.3 초고해상도 확장을 위한 Super Resolution 네트워크 구축 연구

2단계
목표
5G연결형 하이퍼큐브 테스트베드 구축 및 인공지능기반 하이퍼아틀리에 기술 연구
내용
1. (홍익대, 날다팩토리, 브이알애드, 클릭트)
1.1 하이퍼큐브 테스트베드 구축 (2곳)
(초고해상도 실험 작품 개발, 작품의 하이퍼큐브 입력, 3면/4면 프로젝션 디스플레이, 무선화 기반 증강/실감 연동, 하이퍼큐브 테스트베드 추가 요구사항 분석 및 처리)
1.2 하이퍼큐브 연결 및 운용 시스템 구축
(하이퍼큐브 실시간 연동 – 3면 프로젝션 + 1면 텔레프레젠스 화면, 하이퍼큐브 운용 시스템 설계 및 구축, 하이퍼큐브 연동 추가 요구사항 분석 및 처리, 인터랙션 오브제 선정 및 증강/실감 연동 요구사항 분석)
1.3 하이퍼큐브 내 초실감 미디어 인터랙션 요구사항 분석, 콘텐츠개발 및 전시
1.4 인공지능 기반 하이퍼아틀리에 시스템 설계
(요구사항 분석, 시스템 및 하이퍼큐브 연동 구조설계, 1차년도 개발 엔진 연동 및 추가 요구사항 분석)
2. (연세대, 서울미디어대학원)
2.1 초실감 미디어 2D 학습데이터 기반 오브제 생성 딥러닝 엔진 개발
2.2 초실감 미디어 3D 오브제 모델 생성을 위한 딥러닝 네트워크 연구
2.3 3D 오브제 동작 모델 생성을 위한 딥러닝 네트워크 연구
2.4 배경 화면 오브제 대상 실시간 인터랙션 기술 연구
(배경 화면 실시간 객체 검출 및 객체별 스타일 전이 시스템 개발)
2.5 하이퍼큐브 내 관람객 대상 실시간 인터랙션 기술 개발
(실시간 사람 검출 및 하이퍼큐브 좌표 생성 기술 인터랙션 연동 구조에 따른 시스템 설계/개발)

3단계
목표
인공지능기반 하이퍼-아틀리에 통합관리시스템 구축 및 5G연결된 하이퍼큐브(제주영상문화산업진흥원 및 서울산업진흥원) 테스트베드를 통한 XR미디어아트실증
내용
1. (홍익대, 브이알애드, 날다팩토리, LG유플러스)
1.1 하이퍼큐브 테스트베드 운용 및 운용 시스템 최적화 연구
(다양한 하이퍼큐브 대상 콘텐츠 개발, 콘텐츠 운용, 운용 시스템 고도화, 콘텐츠 다양성에 따른 시스템 최적화 연구, 국립중앙박물관과 국립아시아문화전당 원거리 테스트베드(Hyper-Cube) 운용을 통한 실증)
1.2, 하이퍼아틀리에 시스템 구축 및 하이퍼큐브 연동 고도화 연구
1.3, 하이퍼큐브 내 초실감 미디어아트 아티스트 2인과 인공지능 콜라보
1.4 원거리 하이퍼큐브 구축 및 하이퍼아틀리에 활용 미디어아트 비대면 실습교육
2. (연세대, 서울미디어대학원)
2.1 초실감 3D 오브제 모델 및 동작 연동 네트워크 개발
2.2 하이퍼큐브 인터랙션 네트워크 개발 및 하이퍼아틀리에 연동 기능 구현
2.3 실시간 고품질 오브제 미디어 (2D/3D) 생성 네트워크 고도화
(학습 고도화, 자동 확장 방식 설계 및 하이퍼아틀리에 기능 구축)
2.4 초고해상도 지원 아틀리에 구성요소 고도화 연구

연구개발성과
○(개발, SCI(2), 비SCI(30), 학술대회발표(39), 특허등록(4)) 인공지능 기반 하이퍼아틀리에 원천 기술 개발
- XR트윈 환경기반 하이퍼큐브 통합관리시스템개발을 통한 원거리, 비대면, 실시간 협업 가능한 솔루션을 제공
- 하이퍼아틀리에 개발은 10K 해상도 급의 고품질 초고해상도 영상 생성
- 인공지능 기반 3D 영상/모델 처리에 대한 분야는 현재까지 많은 연구가 수행되지 못한 새로운 분야로, 본 과제를 통해 이러한 연구 분야를 개척
○(프로젝트9종/고도화3종/전시3회) 융합 기술 개발을 기반으로 새로운 초-경험 (Hyper-Experience) 예술 장르구축
- 5G, 디지털트윈, 텔레프레젠스 기술을 통합한 하이퍼큐브의 구축 및 운영 시스템 개발로 새로운 형식의 초-경험 제공을 가능하게 함
- 인공지능 기반 하이퍼아틀리에 시스템은 10K 해상도 이상의 초고해상도 영상의 생성 및 다양한 오브제의 3D 모델 생성, 고품질 변환 기능 등을 제공함
○(교육19강좌 총52학점) 4차 산업 핵심 기술 및 대규모 프로젝트 기반 석·박사급 R&D 전문 인력 양성
- 석·박사급 전문인력 56명, 과정 이수자 261명 이상 양성
- 2021, 2022년 아르스 일렉트로니카 국제공모전에 개발된 기술을 바탕으로 양성 인력의 IP로 출품을 지원하여 양성 인력의 전문성을 제고
[단계별 연구개발성과 항목별 목표]
○ 개발성과 항목
○ 프로젝트성과 항목
○ 교육성과 항목
○ 연구성과 항목

연구개발성과 활용계획 및 기대 효과
○ 연구개발: 인공지능 기반 하이퍼아틀리에 원천 기술 개발
- XR트윈 환경기반 하이퍼큐브 통합관리시스템개발은 새로운 창작환경 및 실습교육 확장 기대
- 하이퍼아틀리에 개발은 해당 분야의 학문적 발전 및 상용성 제고에 크게 기여할 수 있을 것으로 기대
- 인공지능 기반 3D 영상/모델 처리에 대한 분야는 신분야로서 매우 높은 학문적 기여가 가능할 것으로 기대
○ 프로젝트: 융합기술 개발 기반 새로운 초-경험(Hyper-Experience) 예술 장르구축
- 관광, 전시, 공연 산업에 새로운 마일스톤을 제시할 수 있을 것으로 기대
- 인공지능 기반 하이퍼아틀리에 시스템은 예술 장르 뿐 아니라, 영화, 게임 산업의 개념 영상, 고품질 CG 배경 생성 및 3D 모델 생성을 매우 효율적으로 지원할 수 있을 것으로 기대
○ 4차 산업 핵심 기술 및 대규모 프로젝트 기반 석·박사급 R&D 전문 인력 양성
- 4차 산업 전문 인력난 해소에 기여하고 청년 취업/ 창업에 대한 효율적 지원이 가능할 것으로 기대
- 양성 인력의 IP 출품지원으로 한국의 문화기술 위상을 더욱 높일 것으로 기대

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요 약 문 ... 2
• 목차 ... 6
• 1 연구개발과제의 개요 ... 7
• 1-1. 기술개발의 개요(5G환경에서 인공지능기반 XR 트윈 미디어아트 저작기술개발) ... 7
• 1-2. 프로젝트의 개요 ... 8
• 1-3. 교육운영의 개요(기술개발 및 프로젝트 연계 석·박사급 R&D 전문 인력양성) ... 9
• 1-4. 연구개발의 중요성 및 필요성 ... 11
• 1-5. 연구개발 대상의 국내외 현황 ... 11
• 2 연구개발과제의 수행 과정 및 수행 내용 ... 12
• 2-1. 연구개발과제의 수행 과정 ... 12
• 2-2. 연구개발과제의 수행 내용 ... 12
• 3 연구개발과제의 수행 결과 및 목표 달성 정도 ... 29
• 1. 연구개발 수행 결과 ... 29
• 2. 목표 달성 수준 ... 71
• 4 목표 미달 시 원인분석 ... 74
• 1. 목표 미달 원인(사유) 자체분석 내용 ... 74
• 2. 자체 보완활동 ... 74
• 3. 연구개발 과정의 성실성 ... 75
• 5 연구개발성과의 관련 분야에 대한 기여 정도 ... 79
• 6 연구개발성과의 관리 및 활용 계획 ... 83
• 7 별첨 자료 ... 88
• 끝페이지 ... 88