초록 ▼

□ 연구개발 목표 및 내용
○ 최종 목표
다중이용자 실시간 참여 기반의 C-reality(Collaborated Reality) 전시플랫폼 개발
○ AR과 VR의 독립적인 플랫폼을 넘어, 문화예술의 현장감과 가상세계의 몰입감을 동시에 추구하는 전시플랫폼 개발
○ 특히 단순 감상이 아니라 문화예술 경험에 참여하는 기획자, 예술가, 관람객이 협업하여 확장현실(XR)의 문화예술 콘텐츠를 만들어가는 응용플랫폼 제시

○ 전체 내용
문화예술 콘텐츠: 확장현실(XR) 기반의 협업형 융합전시 < Tele-P

□ 연구개발 목표 및 내용
○ 최종 목표
다중이용자 실시간 참여 기반의 C-reality(Collaborated Reality) 전시플랫폼 개발
○ AR과 VR의 독립적인 플랫폼을 넘어, 문화예술의 현장감과 가상세계의 몰입감을 동시에 추구하는 전시플랫폼 개발
○ 특히 단순 감상이 아니라 문화예술 경험에 참여하는 기획자, 예술가, 관람객이 협업하여 확장현실(XR)의 문화예술 콘텐츠를 만들어가는 응용플랫폼 제시

○ 전체 내용
문화예술 콘텐츠: 확장현실(XR) 기반의 협업형 융합전시 < Tele-Picnic > 프로젝트
기술개발: 기획자/예술가/관람객이 협업 가능한 확장현실 기반 전시연출기술 개발
인력양성: 현장-기획-개발의 융합 인력양성 프로그램 통해 현장 중심 전문가 양성

2021 서울시립미술관 융합프로젝트: 집에서, 미술관에서, 모바일에서 특별한 문화예술 경험으로 랜선 피크닉을 떠나다 < Tele-Picnic >

< 기술개발 부문 >
○ Enhance 증강 기술 “전시대상 경험을 확장현실에서 증강시키는 기술 개발”
- 3차원 드로잉 기술: 참여자가 3차원 공간에 결과물(어노테이션, 드로잉, 퍼포먼스)을 생성, 제어, 기록하는 기술 개발
- 증강 연출 기술: 현장의 전시물을 둘러싼 가상세계의 빛(라이팅), 소리(사운드), 형태(포지션) 등을 자유롭게 제어하는 연출기술 개발
○ Collaborate 협업 기술 “이용자가 동시 참여하여 문화예술을 즐기는 기술개발”
- 실시간 공유 기술: 네트워크망을 활용하여 다중 이용자가 개별화된 경험을 공유할 수 있는 기술 개발
- 현장감 공유 기술: 건축물 및 대형 설치물의 현장감(소리, 거리감 등)을 공유할 수 있는 기술 개발
○ Archive 보존 기술 “문화예술 경험이 생성한 디지털 데이터의 선별적 보존”
- 실외 지오태깅 기술: 이용자의 관람경험과 참여결과를 위치 기반으로 보존 및 가상세계에 모델링
- 버츄얼 아카이빙 기술: 현실공간과 관계없이 이용자로부터 생성된 디지털 경험데이터를 선별하여 가상세계 안에서 아카이브

< 인력양성 부문 >
○ 문화예술과 기술개발의 구분이 아닌, 문화예술 경험으로 기획된 협업형 인력양성 체계 구축
- 본 연구개발 과정에서 양성될 전문인력은 문화예술 혹은 기술개발을 선택하지 않고, 디지털전환(Digital Transformation) 시대에 요구되는 문화예술 영역의 3D감각, 현장감을 중심하는 라이브 퍼포먼스 감각, 장기적인 콘텐츠 구축에 필수적인 메타데이터 감각을 길러내기 위한 세부과정으로 진행됨
- 이를 위해 연구개발 기간 내내 기획자, 창작자, 개발자를 융합하여 소규모 리서치 그룹을 구성하여 운영 (기획설계, 창작 및 제작, 매개와 활용 리서치 그룹)
- 이를 통해 디지털 기술 이전의 문화예술과 이후의 문화예술 경험을 연결지어 사고하고, 이를 통해 현장 중심의 기획, 창작, 개발에 특화된 전문인력을 양성

○ 1단계
□ 목표
기술목표 - ○ 가상공간 및 증강현실 기반의 3차원 페인팅 도구 개발
질적목표 - ○ 전문인력 양성을 위한 기초 훈련으로서 동시대 융복합 사례 연구 및 프로젝트 기획안 제작

□ 내용
기술 수행 내용
○ 가상공간에서의 상호작용 연구
- 물리기반의 사물 상호작용
- 충돌체를 따르는 손동작 연구
○ 이미지 인식 기반 AR 프로토타입
- 손으로 그린 그림을 AR로 시각화
- 외곽선 추적에 기반한 컴퓨터비전 기술활용으로 실시간 추출
- 증강된 그림과 터치로 상호작용
- 손그림 증강 처리알고리즘
- openCV 를 이용한 특정색깔의 영역(사각형) 검출(InRange)
- openCV를 이용한 외곽선검출 (findContour)
- openCV를 이용한 손그림 Crop (BitwiseXor)
- Crop한 이미지를 Unity에서 Voxel화
- ARFoundation을 이용하여 Voxel을 3D로 증강
○ 멀티플레이 기술 연구(1)
- 온라인 기반 AR 프로토타입
- AWS를 활용한 온라인 환경 구축
- 증강된 사물과 상호작용
- 커스텀 가능한 아바타
- 채팅과 감정표현 애니메이션 기능

질적 수행 내용
○ XR 이해도 제고 위한 < 텔레드라이브 > 프로그램 운영
- XR 이해를 돕기 위한 < 텔레드라이브 >프로그램 기획, 운영
- 4개월 간 강연 4회, 워크숍 4회로 총 8회 프로그램 운영
- 코로나로 인해 언택트로 프로그램을 진행하기 위해 온라인 플랫폼을 적극 활용함. 강연 플랫폼은 유튜브로 진행했으며, 워크숍은 연구진들의 집중도를 높이기 위해 ZOOM을 활용하여 진행
- 공개에 동의한 강연자에 한해 강연 영상을 지속적으로 공개
- 동시 접속자는 최대 40명, 최대 조회수는 총합 1000건을 넘어서는 등 일반 대중의 관심 확인
- 흥미로운 주제와 이해가 쉬운 강연으로 연구진 및 시민들의 XR을 향한 막연한 경계심을 무너뜨림
○ XR을 활용한 예술 프로젝트 사례 조사
- XR에 대한 이해력 제고와 동시대 기술트랜드 파악을 위해 연구 진행
- VR(가상현실), AR(증강현실), XR(혼합현실) 분야로 구분하여 사례 조사 진행

○ 2단계
□ 목표
기술목표
○ 저작 도구로서의 활용성 실험 및 연구
○ 멀티플랫폼 기반의 멀티플레이 협업 환경 개발
질적목표
○ < Tele-Picnic >시연을 위한 확장현실(XR)의 문화예술 콘텐츠 구체화

□ 내용
기술 수행 내용
○ 저작 결과물 사례 연구 및 도구 개선
- 리얼리티 표현에 적합한 도구
- 추상 표현에 적합한 도구
○ 협업을 통한 저작 과정 연구
- 다중 접속 환경 검증
- 사용 가능한 최소한의 네트워크 환경 도출
○ 멀티플레이 기술 연구 (2)
- 로컬네트워크 환경에서의 온라인 서버 구축
- 멀티플랫폼(AR, VR)에서의 멀티플레이 환경 구축
○ 버츄얼 아카이브 메타데이터 및 링크 연구
- 다중 이용자가 실시간으로 생성해내는 콘텐츠에 특화된 메타데이터와 데이터 링크에 대한 연구
○ 가상공간 구축을 위한 3D스캔 모델링
- 가상공간 구축을 위한 3D 스캔 모델링
- 3D 스캔 모델 최적화
- 로컬 컴퓨팅: 고퀄리티 모델링을 위한 포스트
- 프로세싱 *다중이용자 참여를 위한 클라우드 컴퓨팅 방식 연구 진행 중
- 촬영 시 연결되는 이미지의 ‘적정 각도’ 파악하여 오브젝트의 결합 오류를 줄이는 연구
- 3D 스캔의 평균 퀄리티를 위한 연구

질적 수행 내용
○ 온라인 국제 컨퍼런스 < 보이지 않는 미술관 > 진행
- 코로나19로 온라인 컨퍼런스로 전환하여 2021년 4월22일~5월7일 진행
- 확장현실을 활용한 해외 예술플랫폼, 확장현실의 미학적 해석을 위한 미학자 및 비평가, 새로운 기술을 활용한 작품 제작과 관객과의 교감에 대한 이야기를 나눌 예술가를 선정하여 진행
○ 인력양성 대상자를 위한 분기별 문화예술 기술 융복합 워크숍 개최
- 7명 내외의 3개 소규모 리서치그룹으로 나누어 밀착 진행
- 1차 연도에서 생성된 프로젝트 기획안을 바탕으로 각 팀별 연구개발 후 분기에 1회 내부 워크숍을 개최하여 진행 과정 공유
- 기획자/예술가/관람객이 협업 가능한 확장현실 기반 전시연출기술과 콘텐츠를 구체화하면서 각 팀별 전시플랫폼 개발
- 인력양성 대상자의 참여 환경과 상황이 다르나, 각 세부 리서치그룹별로 R&D 및 기술개발 과정에 적극적으로 참여할 수 있는 ‘집중 코스’를 신설하여 운영
○ 인력양성 대상자 중심으로 2021 서울시립미술관 융합프로젝트 < Tele-Picnic >구현
- 2021년 하반기 북서울미술관의 실내외를 활용하여 확장현실(XR) 기반의 협업형 융합프로젝트 < Tele-Picnic > 진행
- 각 팀이 개발한 전시플랫폼을 통해 기획자/예술가/관람객이 집과 미술관, 모바일에서 특별한 문화예술 경험 제공
- 북서울미술관 온라인, 오프라인 활용
○ 학술대회 발표 및 어워드 출품
- 2021.2.25. 한국문화예술위원회 예술과 기술 융합주간 “테크놀로지에서 내러티브로: 아트앤테크놀로지 생태계의 진화” 김
** 책임연구원 발표 진행
- 2021.10.23. 국립현대미술관< 미래 미술관:실험가들 > “데이터 기술과 물리적 공간을 융합하다.” 김** 책임연구원 발표진행
- 2021.12.4. 한국디자인사학회 학술대회 < 변화의 사건들 > “마이티버스:XR생태계의 새로운 질서와 관계들” 김** 책임연구원 발표 진행
- 2022.2.10. 한국문화예술위원회 아트앤테크 살롱 < 기술과 데이터로 변화하는 전시와 미술관 >에서 프로젝트 사례 발표
- 레드닷 디자인 어워드, VRHAMMY AWARD 2022, Marche du Film CANNES XR 2022 출품 준비

□ 연구개발성과
○ 확장현실 기반의 문화콘텐츠 사이클 전반을 이해하는 전문인력양성
○ 차별화된 확장현실 기반의 문화예술 경험모델 제시 및 실연
○ 확장현실 기반의 응용플랫폼을 활용하는 문화예술 기관 및 파트너 확대

□ 연구개발성과 활용계획 및 기대 효과
○ 확장현실 기반의 문화콘텐츠 사이클 전반을 이해하는 전문인력양성
- 문화예술 자원의 생성-전달-경험-공유-기록으로 이루어지는 콘텐츠사이클에 전문화된 문화예술 융합인재 양성
- 개별 과목 중심이 아니라, 프로젝트 기반의 인력양성 모델 추구
○ 차별화된 확장현실 기반의 문화예술 경험모델 제시 및 실연
- 기존 문화예술 경험을 온라인화하거나, 기술을 시연하기 위한 이벤트가 아니라 지속가능하며 새로운 문화예술 경험의 형태를 구현
- 온라인, 오프라인으로 구분되지 않고, 코로나19 이후 새롭게 등장하는 문화예술 모델 제시
○ 확장현실 기반의 응용플랫폼을 활용하는 문화예술 기관 및 파트너 확대
- 요소기술이 결합된 플랫폼 통해 더 확대된 국내외 참여자가 함께 만들어갈 수 있는 기회 마련

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요 약 문 ... 2
• 용어설명 ... 6
• 목차 ... 7
• 1. 연구개발과제의 개요 ... 8
• 가. 기술개발 ... 8
• 나. 문화예술 협업형 전문인력, C-인재 (Collaborated Professional) 양성 ... 9
• 다. 문화예술 콘텐츠 프로젝트 ... 10
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 11
• 가. 연구 개발 수행 ... 11
• 나. 인력양성의 추진 ... 16
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 23
• 1) 연구수행 결과 ... 23
• 2) 목표 달성 수준 ... 35
• 4. 목표 미달 시 원인분석 ... 40
• 1) 목표 미달 원인(사유) 자체분석 내용 ... 40
• 2) 자체 보완활동 ... 40
• 3) 연구개발 과정의 성실성 ... 40
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 41
• 6. 연구개발성과의 관리 및 활용 계획 ... 41
• 끝페이지 ... 42