초록 ▼

1. 연구개발의 개요
[광주과학기술원]
○ 스마트 미디어월 플랫폼의 토대가 될 주요 요소 기술들의 연구 개발
공연 전시를 위한 스마트 미디어월 소프트웨어 플랫폼 구축으로서 타임라인 및 콘텐츠 저작을 용이하는 어셋, 아카이브를 활용한 인터랙티브 전시 콘텐츠를 개발하는데에 목적을 둠. 다양한 인터랙션이 가능한 양방향 미디어월을 구축하며 이를 활용하여 새로운 미디어월 콘텐츠를 구축하는데에 방향을 정하고 개발함.
○ AI 기반 데이터 증강 및 시각화 기술 개발
첨단 기술을 사용해 예술 작품을 실현하는 뉴미디어 아

1. 연구개발의 개요
[광주과학기술원]
○ 스마트 미디어월 플랫폼의 토대가 될 주요 요소 기술들의 연구 개발
공연 전시를 위한 스마트 미디어월 소프트웨어 플랫폼 구축으로서 타임라인 및 콘텐츠 저작을 용이하는 어셋, 아카이브를 활용한 인터랙티브 전시 콘텐츠를 개발하는데에 목적을 둠. 다양한 인터랙션이 가능한 양방향 미디어월을 구축하며 이를 활용하여 새로운 미디어월 콘텐츠를 구축하는데에 방향을 정하고 개발함.
○ AI 기반 데이터 증강 및 시각화 기술 개발
첨단 기술을 사용해 예술 작품을 실현하는 뉴미디어 아트 제작에 적용 가능한 딥러닝 기반 알고리즘 개발을 목적으로 둠. 다양한 이미지들을 생성하고 확보하기 위해 최신 GAN(Generative Adversarial Network) 구조의 네트워크를 활용함. 또한, 데이터 집합의 특성을 담은 잠재공간(Latent space)에 대한 분석을 통해 사용자가 원하는 이미지 생성 및 시각화를 하고자 함. 이를 위해, 1차 연도에는 뉴미디어 아트 제작 알고리즘에 필요한 학습 데이터 확보와 데이터 증강 기술을 개발함.
○ 인터랙티브 프로젝션 맵핑 기술 개발
프로젝션 맵핑(Projection mapping)이란 빔프로젝터로 대상물 표면에 영상을 투사하여 무대에 대한 영상과 효과를 체험할 수 있게 하는 기술임. 연구의 목적은 단순한 벽이나 건물을 대상을 넘어 복잡하고 동적인 대상에 대한 프로젝션 맵핑 알고리즘을 개발하는 것임. 따라서, 다양한 무대를 담을 수 있도록 2대 이상의 빔프로젝터를 활용함. 본 기술에 대한 모든 개발은 실험공간의 제약이 없는 Unity 가상 환경에서 이루어 짐. 1차 연도에는 정적 환경에서 두 프로젝터에서 나오는 빛이 겹치는 영역을 자연스럽게 처리하기 위한 알고리즘을 개발함.
○ 딥 러닝 기반 사용자 제스처 및 행위 인식 기반 기술 개발
미디어월과의 실시간 인터랙션을 위한 가장 직관적인 조작 체계는 사용자의 제스처와 행위를 인식하는 것임. 근래에는 딥 러닝 기반의 모델을 활용하여 영상으로부터 신체의 각 관절의 위치를 추정하고 그를 기반으로 행위와 제스처를 인식하는 방식이 쓰임. 이러한 기술을 영상을 프레임 단위로 읽어 들이는 실시간 온라인 방식으로 구현하기 위한 기술을 연구 및 개발함. 1차 연도에는 이를 위한 전체적인 프레임워크를 설계했고, 각 서브모듈을 기초적인 단계까지 개발함.

[연세대학교]
○ 참여자의 제스처와 행위인식기반 스마트 미디어월 운용 소프트웨어 개발
미디어월과 센서의 배치 구조에 따라 발생할 수 있는 예상 가능한 제약 조건을 분석하고, 사용자의 신체적 행위의 부담 정도가 고려된 인터랙션 시나리오를 설계하며 미디어월의 공간적 구조에 따른 센서의 종류 및 배치 모델 분석 및 미디어월의 공간적 조건에 따른 센서의 수행 역할 및 성능 테스트, 공간적 구조에 따른 참여자의 실행 가능한 움직임의 크기 및 필요 운동 범위 테스트, 센서의 배치에 따른 활용 가능한 제스처와 행위 분류 및 카테고리 설계를 함

[혼합현실그룹]
○ 지능형 콘텐츠 추천 시스템 개발
얼굴인식 알고리즘을 활용한 개인화 ID 추출 방식 개발
참여자의 얼굴에서 추출된 특징을 기반으로 참여자의 특성을 추정하는 기술 개발
참여자의 특성 기반 콘텐츠 추천 알고리즘 설계 및 개발

(출처 : 본문 : 1. 연구개발의 개요 3p)

목차 Contents

• 표지 ... 1
• 1. 연차실적 ... 3
• 1. 연구개발의 개요 ... 3
• 2. 연구개발 목표 ... 4
• 3. 연구개발 결과 ... 6
• 4. 연구개발 목표의 달성도 및 자체평가 ... 9
• 5. 연구 성과 ... 11
• 6. 연구 수행에 따른 문제점 및 개선 방향 ... 11
• 7. 중요 연구변경 사항 ... 12
• 8. 기타 건의 사항 ... 12
• 2. 다음 연도 연구개발 계획 ... 13
• 1. 주요 연구개발 추진방향 ... 13
• 2. 연구개발성과의 활용방안(활용성 강화를 위한 연구 주안점 포함) ... 16
• [붙임] 세부 내용 ... 18
• 끝페이지 ... 69