초록 ▼

□ 연구개발 목표 및 내용
◎ 최종 목표
o 5G 네트워크 상 가상-실공간 연계형 VR·AR 콘텐츠에서 사용자 인터랙션 체험 반응도를 분석 및 반영하는 저지연형의 다중 참여자 간 협업 인터랙션 기술 개발
- 5G 네트워크 상의 VR·AR 협업 공간 內 다중 참여자들의 인터랙션을 저지연으로 실현하기 위해, 경량화 디바이스와 엣지클라우드 서버를 활용한 MEC(모바일 엣지 컴퓨팅) 사용
- 5G 네트워크 상의 VR·AR 협업 공간 사용자 인터랙션 시 엣지클라우드를 활용하여 실·가상 공간 및 객체와의 고정밀 정합 및

□ 연구개발 목표 및 내용
◎ 최종 목표
o 5G 네트워크 상 가상-실공간 연계형 VR·AR 콘텐츠에서 사용자 인터랙션 체험 반응도를 분석 및 반영하는 저지연형의 다중 참여자 간 협업 인터랙션 기술 개발
- 5G 네트워크 상의 VR·AR 협업 공간 內 다중 참여자들의 인터랙션을 저지연으로 실현하기 위해, 경량화 디바이스와 엣지클라우드 서버를 활용한 MEC(모바일 엣지 컴퓨팅) 사용
- 5G 네트워크 상의 VR·AR 협업 공간 사용자 인터랙션 시 엣지클라우드를 활용하여 실·가상 공간 및 객체와의 고정밀 정합 및 동기화를 실현
- 가상-실공간 연계형 VR·AR 콘텐츠의 사용자-가상객체 간 및 사용자 간 친화적인 일대일/일대다 인터랙션
- VR·AR 협업 공간에서의 사용자 인터랙션 정보를 바탕으로 사용자의 인터랙션 만족도(QoI: Quality of Interaction)를 예측 및 분석 반영

o 연구개발 결과물
- 단일 RGB 기반 핸드 트래킹 모듈 (SW)
- RGB + IMU 기반 공간 스캔 & 편집 툴 (SW)
- 저지연 / 동기화 기반 연산 가속화 솔루션 (SW)
- AR 글래스 기반 객체 선택/조작 모듈 (SW)
- 경량형 햅틱 장갑 기반 탠저블 UI 모듈 (SYS)
- 인터랙션 품질(QoI) 정량화 프레임워크 (SW)
- 5G MEC 협업 인터랙션 인프라 (SYS)
- 다자 협업 동기화 통합 프레임워크 (SW)
- AR 글래스 기반 원격 협업 솔루션 (SYS)

◎ 전체 내용
[연구개발내용]
o 5G 네트워크 상의 실·가상 연계형 협업 공간內 다중 참여자들의 VR/AR 인터랙션을 저지연으로 실현하기 위해, 착용형 경량화 디바이스와 엣지클라우드 서버 기반으로 고효율 컴퓨팅을 수행
o 5G 네트워크 상의 VR·AR 협업 공간 사용자 인터랙션 시 엣지클라우드를 활용하여 실·가상공간 및 객체와의 고정밀 정합 및 동기화 처리
o 가상-실공간 연계형 VR·AR 콘텐츠의 사용자-가상객체 간 및 사용자간 친화적인 일대일/일대다 인터랙션
o VR·AR 협업 공간에서 추출한 사용자 인터랙션 정보를 바탕으로 인터랙션 만족도(QoI: Quality of Interaction)를 예측 및 분석하여 반영

[과제수행방법]
o 연구개발 세부기술 주제별로 세계 최고 수준의 전문기관 참여의 컨소시엄 구성으로, 기관별 특화된 연구개발 역할론 부여
o 엣지클라우드 컴퓨팅 기반의 저지연 VR/AR 인터랙션 기술의 실증을 위해, 상용 엣지클라우드 인프라를 보유한 이통사를 활용
o 다자 참여 VR/AR 인터랙션 기술의 사업화 추진을 위해 참여기관 및 협력기관 기 보유 플랫폼의 최대한 활용으로 사업화 추진동력을 확보
- 이통사 보유의 원격 AR플랫폼 또는 소셜 VR/AR 플랫폼을 활용하여, 기존 플랫폼 고도화에 의한 신서비스 및 시장 창출을 유도
o VR/AR 인터랙션의 사용자 만족도(QoI)의 정량화를 위한 척도 및 절차 표준 개발에 기 국제표준화 개발 경험을 반영
- 주관기관은 기존에 사용자의 VR/AR 콘텐츠 체험품질(QoE) 분석 방법 및 절차에 대한 국제표준화 추진 경험을 보유 (IEEE-SA WG P3079 및 P3333.1.3에서 표준화를 추진 중)

□ 연구개발성과
[연구개발 결과물]
o 엣지클라우드 기반 핸드 포드 예측 기술 개발
- RGB 기반 다중 사용자 고속 손 추적 모듈 개발
- 모바일 환경 기반 사용자 인터랙션 인터페이스용 SDK 구현
- 핸드 포즈 추정 기술의 AR 글래스 적용 서비스 모듈 구현

o AR 공간 매핑 및 공간 좌표계 시스템 기술 개발
- 실시간 맵 및 자세 학습 모듈 구현
- 개별 영상 융합형 확장 공간 고속 구축 기술 구현
- 공간 스캔 정보 기반 AR 콘텐츠 저작 도구 개발
- AR 글래스 기반 스마트홈 응용 서비스 개발용 API 구현

o 사용자 인터랙션 만족도 정량화 프레임워크 기술 개발
- AR 인터랙션 품질 측정을 위한 AR 레퍼런스 콘텐츠 구현
- 사용자 인터랙션 만족도 정량화 모델 구현용 실험 DB 구축 완료
- 사용자 인터랙션 만족도 정량화를 위한 기계학습 모델 개발
- XR 콘텐츠의 사용자 인터랙션 만족도에 대한 정량화 절차 표준 개발

o VR/AR 경량형 엣지 디바이스 기반 다중 사용자 간 사용자 인터랙션 기술 개발
- 초경량 센서 기반 가상 터치패드 인터랙션 기술 개발
- 원거리 가상객체 조작 오류 최소화 프레임워크 개발
- 공유 시선 정보 양방향 피드백 인터페이스 구현

o 5G MEC 기반 VR/AR 인터랙션 인프라 구축 완료
- 이통사(LGU+) 상용 5G 망 기반 MEC 테스트베드 구축 완료
- 다중 사용자용 AR 인터랙션 콘텐츠 서비스의 구동 및 통합 시험 완료
- 상용 5G 상용 테스트베드 성능 시험 및 타 지역 망 시험을 통한 검증 완료

o 다중참여자 간 협업 인터랙션 동기화 및 통합 프레임워크 기술 개발
- 다중 참여자 실시간 동기화용 분산형 서버 구축 완료
- 다중 참여자 동기화를 위한 서비스 관리 성능 최적화 모듈 구현
- AR 인터랙션 콘텐츠 서비스의 동기화용 SDK 구현
- 스마트팩토리 다중 참여자 협업 훈련 서비스 개발 및 성능 시험 완료

o 경량형 AR 글래스 기반 원격 협업 콘텐츠 서비스 기술 개발
- AR 글래스를 활용한 공교육 현장 시범 수험용 콘텐츠 기획, 설계 및 제작
- AR 인터래션 기반 교사 및 학생용 원격 수업 기능 모듈 구현
- AR 글래스 기반 원격 협업 솔루션 개발 및 현장 시범 운영 진행
- AR 콘텐츠 서비스의 공교육 현장 지원 효과 분석 모델 연구 수행

[정량적 연구 결과]
o 모든 평가항목들에 대해 최종 목표를 달성함 (일부 항목들은 초과 달성)
- 인터랙션 반응속도(다중 참여자 반응속도 평균) (ms)
⇒ 최종 목표: 100ms 이하, 최종 달성: 65.32ms
- 실·가상공간 정합 오차 (다중 참여자 오차 평균)
⇒ 최종 목표: 2cm 이하, 최종 달성: 1.75 cm
- 가상공간 실시간 동시 협업 인터랙션 가능 인원 (명)
⇒ 최종 목표: 10명 이상, 최종 달성: 20명 (공인인증: 10명)
- VR/AR 인터랙션 예측/변환 지연 시간 (ms)
⇒ 최종 목표: 20ms 이하, 최종 달성: 7.23ms
- 인터랙션 가능 공간 크기 (단일 공간/확장 공간) (m²)
⇒ 최종 목표: 50m² 이상, 최종 달성: 52.26m²
- VR/AR QoI 평가 정확도 (%)
⇒ 최종 목표: 85% 이상, 최종 달성: 95.41%
- 손가락 위치 추정 평균오차 (mm)
⇒ 최종 목표: 45.33mm 이하, 최종 달성: 45.32mm

o 당해연도 정량적 실적 목표를 달성
- 특허: 국제출원 8건 달성(2건 출원 진행 중 포함), 국내 출원 14건 달성
- 논문: SCI급 논문지(IEEE Transactions 등) 5건 게재
해외 최우수 학술대회(CHI/UIST/ICCV) 발표 6건 포함 총 15건 발표
- 표준화: 국제(IEEE 3079) 기고서 제출/채택: 7건/5건, 표준안 채택 1건 달성
국내(TTA, 포럼) 기고서 제출/채택: 6건/5건. 표준안 채택 5건 달성
- 기술이전: 손움직임 추적 기술 1건 달성(3,300만원, ‘21.12.08.), 추가 2건 협의 진행 중 (각 5,000만원, ’23.02. 현재)
- 사업화: 참여기업(스트라토(주), ㈜맥스트) 자가실시 3건 달성(10,815만원)
- 성과홍보: 전시회, 국내 언론보도, 국제 인터넷미디어 보도 등의 국내·외 홍보 10건
- 시제품 제작: AR 글래스 기반 다자참여 과학교육 시범콘텐츠 등 9건 제작
- SW등록/기술문서: 손움직임 추적모듈 등 SW 등록 13건, 기술문서 65건 등록

□ 연구개발성과 활용계획 및 기대 효과
[활용계획]
o 고정밀/고속 핸드포즈 추정 기술의 기술이전 및 사업화 추진
- 글로벌 경쟁 기술과 대비 강인성/속도 측면에서 지속적인 우월성 확보 추진
- 다양한 VR/AR/XR 어플리케이션에서 사용자 친화적인 상호작용 수단 제공
o 사교육 분야에서 비대면 원격 학습을 도입
- 기존의 가정방문을 통한 대면 지도를 AR 기반으로 가상공간에서 비대면 실현
- 학생의 경우 가정에서 접속하여 XR 공간(메타버스)에서 소통 및 협력학습
o EBS의 비대면 온라인을 통한 공교육 강화
- 코로나 상황에 대응하여 신 온라인 교육 플랫폼인 “온라인클래스” 운영 확대
- EBS 공교육 강화 일환으로 본 연구결과물 기반 XR 원격 비대면 기술을 활용
- 과기부-교육부 부처 협력으로 공교육 XR 원격 교육 기반 마련에 기여
- 공교육 서비스 강화를 위한 전국민 서비스 확대 추진(벽지.소외지역 포함)
o 제조분야에서 원격 모니터링 및 관제 서비스에 연구결과물 도입
- 메타버스/디지털트윈 기반의 B2B 수요처 발굴 및 사업화 추진
- 제조, 건설, 유통 등의 다양한 스마트팩토리 서비스 솔루션 사업화 추진
- 대학교, 지자체 및 공공기관 대상의 AR 콘텐츠 서비스 솔루션 사업화 추진

[기대효과]
o 국내 이통사 보유의 기존 클라우드 VR/AR 콘텐츠 플랫폼은 영상 시각 체험만 제공하는 등 기술적 한계가 존재. 당 VR/AR 인터랙션 기술 탑재에 의한 상호작용성 제공으로 신차원의 콘텐츠 체험 서비스 창출 가능
o VR/AR 인터랙션 콘텐츠 제작을 위한 효율적인 제작 및 실용성 검증 방법/ 절차를 제시하여, 신제품 출시를 통한 적시 시장 진출 실현
o VR/AR 콘텐츠 서비스에 사용자 의도 파악 기반의 친화성을 부여하여, 해당 서비스를 지속 소비할 수 있도록 함. 신차원의 킬러 VR/AR 서비스 출시 및 시장 창출이 가능
o 핵심 원천 기술 기반 표준 특허 확보를 통한 국내외 MEC 기반 VR/AR 콘텐츠 시장 신규 확대

(출처 : 요약문 4p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 4
• 목차 ... 8
• 1. 연구개발과제의 개요 ... 9
• 1) 최종 목표 ... 9
• 2) 기술개발의 필요성 ... 10
• 3) 연구개발 계획 ... 11
• 4) 정량 성과지표별 기대 목표 ... 13
• 5) 결과물의 성능지표 ... 14
• 6) 연구개발 참여기관 구성 ... 14
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 15
• 1) 5G 엣지디바이스 기반 VR/AR 인터랙션 정보 추출 기술 ... 15
• 2) 5G 엣지클라우드 기반 저지연 다중 참여 인터랙션 동기화 ... 25
• 3) 다중 참여자 VR/AR 인터랙션 QoI 인식 및 반영 기술 ... 32
• 4) 5G MEC 기반 VR/AR 인터랙션 서비스 구축 및 검증 ... 41
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 50
• 1) 연구수행 결과 ... 50
• 2) 목표 달성 수준 ... 72
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 73
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 73
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 73
• 3) 연구개발 과정의 성실성 ... 73
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 74
• 6. 연구개발성과의 관리 및 활용 계획 ... 75
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 76
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 77
• 8. 연구개발비 사용실적 ... 79
• 1) 연구개발비 사용명세서 ... 79
• 2) 발생이자 사용명세서 ... 79
• 3) 반납액 명세서 ... 79
• 끝페이지 ... 91