초록 ▼

연구의 목적 및 내용
o 가상과 실 상황이 융합된 실내 공간 내에서 자유롭게 이동하면서 실감형 콘텐츠와 상호작용을 통해 체험·훈련·교육 등이 이루어지는 선도적 가상현실 기반의 몰입형 실내 공간 구축 및 체험 기술 개발
∘ 가변형 실감 체험이 가능한 몰입환경 실내 공간 구축 기술 개발
∘ 가려짐에 강인한 사용자 및 객체 고속 정밀 추적 및 피드백 기술 개발
∘ 자유 이동 사용자-콘텐츠간 실시간 인터랙션 기술 개발
∘ 대규모 가상 체험 VR 데이터 변환 및 전송 기술 개발
∘ 물리 시뮬레이션 기반 UI/

연구의 목적 및 내용
o 가상과 실 상황이 융합된 실내 공간 내에서 자유롭게 이동하면서 실감형 콘텐츠와 상호작용을 통해 체험·훈련·교육 등이 이루어지는 선도적 가상현실 기반의 몰입형 실내 공간 구축 및 체험 기술 개발
∘ 가변형 실감 체험이 가능한 몰입환경 실내 공간 구축 기술 개발
∘ 가려짐에 강인한 사용자 및 객체 고속 정밀 추적 및 피드백 기술 개발
∘ 자유 이동 사용자-콘텐츠간 실시간 인터랙션 기술 개발
∘ 대규모 가상 체험 VR 데이터 변환 및 전송 기술 개발
∘ 물리 시뮬레이션 기반 UI/UX 및 실 사용자 리타켓팅 기반 버츄얼 크리쳐 적용 기술 개발
∘ 사용자 방향정보 추적 기반 및 콘텐츠 상황 인지형 4D효과 생성 및 제시 기술 개발
∘ 1인칭 RGBD센서와 가림(occlusion)에 강인한 사용자 위치 및 자세 추적 기술 개발
∘ 시계열 데이터 학습 및 사전 동작 예측을 통한 실시간 제스처 인식 기술개발
∘ 하이브리드 센싱 데이터 연동 및 콘텐츠 통합관리 시스템 개발

1차년도 연구개발성과
o 하이브리드 센서 네트워크 기반 실측 공간 정보 융합 및 실측 공간-가상 공간 정합 기술
- 키넥트 및 옵티트랙 카메라 데이터 네트워크 시스템 구축
- 멀티 키넥트 카메라간 정합 및 옵티트랙 카메라 캘리브레이션
- 키넥트 좌표계 및 옵티트랙 좌표계를 기준 좌표계로 변환하여 하이브리드 센서 정합
- 실-가상 공간 정합 및 멀티 키넥트 기반 사용자 머리 추적

o 1인칭 완전 몰입 가상 환경 깊이감 휴먼팩터 측정 및 분석 기술
- 3D 입체 영상에 대한 인간의 시감각 거리 인지 특성 조사
∙ 경험적 인지 요인과 생리적 인지요인으로 구분
∙ 인간의 시감각 인지 현상을 100% 재현할 수 없는 HMD 및 가시화 S/W의 한계를 휴먼팩터 특성을 고려하여 보정 필요
- 파일럿 실험: HMD 사용에 따른 사용자 반응 현상 측정 및 분석
∙ 현실과 1:1 scale로 동일한 가상 공간 구축
∙ 가상 객체의 거리감 측정 실험을 통해 상용 HMD의 거리감 차이발생 및 보정 기술 개발의 필요성 확인
- 본 실험: 피실험자 집단 대상 현실-가상 공간 거리감 비교 측정 실험
∙ 사용자 신체가 직접 움직이는 상황 – 네비게이션 상호작용 일반화
∙ 신체(손)로 객체를 충돌하는 상황 – 접촉 상호작용 일반화
- 현실-가상 공간 거리감 일치 보정을 위한 제어 요소 분석 및 알고리즘
∙ 네비게인션 상호작용 보정 알고리즘: Goal distance(cm) = 54.68 + 0.4279 x perception distance (base distance 85cm)
∙ 접촉 상호작용 보정 알고리즘: AdjustX = 0.5129 + 0.4234 OriginalX + 0.1050 OriginalX². AdjustY = 2.475 - 0.07757 OriginY - 0.01638 OriginY²

o 다시점 RGBD 영상 기반 실측 공간 객체 인식 및 위치 고속 추적 기술개발
- 컨볼루션 신경망을 활용한 다시점 RGBD 특징 추출 기법 및 분류기 학습
∙ 사전 학습 모델을 이용한 딥러닝 알고리즘 적용
∙ 3채널 RGB 영상으로 사전 학습된 모델을 깊이 영상에 적용하기 위하여 깊이 영상에 false coloring 기법을 적용
- RGBD 옵티컬 플로우 및 BRISK 키포인트 추출 기반 객체 추적

o 모션 슈트 기반 사용자 실시간 고정밀 global 자세 추적 및 고정밀 보정기술
- RGB-D 센서 기반 사용자 맞춤형 모션 슈트 관절 측정
∙ 상대적 모션 센서 데이터와 IK 기반 사용자 관절 측정
∙ 사용자별 맞춤형 자세 추정
- Inertial과 RGB-D 센서 데이터를 기반으로 한 센서 융합 관절 트래킹
∙ 센서별 관절 추정 특성과 upper extremities geometric constraints 기반의 센서 융합 관절 트래킹

o 원근거리 멀티 센서 기반 자기 가림 현상 (Self-occlusion)에 강인한 손가락 추적 기술
- 원근거리 멀티 센서 퓨전 기반 자기 가림 현상에 강인한 손가락 추적
∙ 멀티뷰 컨볼류셔널 뉴럴 네트워크 기반의 손가락 관절 추적 기술 확보

o 1인칭 RGBD 센서 기반 공간내 사용자 위치 추적 기술
- RGB 영상과 Depth 이미지를 결합하여 실시간으로 사용자 시점의 상대적인 취지를 추적하는 Inside-out Tracking 기술 개발 (추적속도 30fps 이상)
- 기존의 광학 마커 기반의 Outside-in Tracking기술과의 결합을 통해 사용자 간 가림으로 인한 일시적인 추적 실패를 극복 가능

o HMD 착용자 얼굴 캡쳐 기반 아바타 표현 기술 개발
- 가려짐에 강인한 사용자 얼굴 캡쳐 기반 아바타 얼굴 애니메이션
∙ RGB-D 기반 사용자 얼굴 모션 예측 알고리즘 적용

o 실 객체와 가상 객체간 물리 시뮬레이션을 통한 UI/UX 제어 기술
- 실 객체-가상객체 연계를 위한 실시간 추적 가능한 실 객체 인식 기술
∙ HSV에 기반한 특정색 검출 모듈 개발
∙ 다각형 꼭지점과 각 코너 각도를 이용한 다각형 검출 모듈 개발
∙ 이미지 고정밀/고속 탐지 및 매칭을 위한 Kaze 알고리즘 기반의 Feature2D 검출 모듈 개발
- 실 객체와 연계된 가상 객체 실시간 움직임 제어 기술
∙ 실시간 사용자 팔 각도 추적 및 가상 객체 연계 모듈 개발
- 석궁(화살)과 충돌 Object를 이용한 물리 시뮬레이션 제어 기술
∙ 힘, 발사각, 중력가속도를 이용한 포물선 운동 물리 시뮬레이션 모듈개발
∙ Destructible Properties Matrix를 이용한 Object 충돌 제어 모듈 개발

o 시계열 데이터 학습 기반의 동작 인식 지연 감소 기술
- 제스처 모션 예측으로 영상획득, 인식 및 그래픽 렌더링 과정에서 발생하는 시간 지연을 상쇄하여, 사용자가 Delay를 인지하지 못하는 수준의 실시간 제스처 인터렉션 기능 개발
∙ 인식 지연시간(Latency) 40msec 이내

o 사용자 방향정보 추적 기반 콘텐츠 적응형 4D 효과 제시 기술
- RGB-D영상기반 특정영역내 다수 사용자 상태정보 추적 기술
∙ 다수 사용자 상태정보 실시간 추적 모듈 개발
∙ 다수 사용자 상태정보에 따른 상황인지형 모듈 개발
- 유/무선 고속통신이 가능한 4D 효과 제시 기술
∙ 아두이노기반 송풍콘트롤 모듈 개발

o PC/모바일 VR 체험 장치 간 가상 콘텐츠 스크립트 변환 기술
- 개별 VR 기기 전용 SDK들 사이의 변환 기능 을 고려한 스크립트 변환 기술 설계
- 저작도구 플러그인 방식의 사용자 인터페이스 개발
- VR 리소스 변환 모듈 개발
- VR 스크립트 변환 모듈 개발

o 몰입 콘텐츠를 활용한 360도 영상 콘텐츠 생성 기술
- 몰입 체험을 위해 개발된 가상현실 콘텐츠를 360도 동영상으로 변환하여 현장 및 원격지에 존재하는 다수의 사용자들에게 현재 체험중인 콘텐츠 내용을 임의 시점에서 관찰할 수 있도록 제공
- 개발된 기술은 차후 실사 기반 사용자 영상을 합성하여 실-가상 정합 360 영상 콘텐츠를 개발하는데 필요한 기반 기술로서 최종적으로 VR체험 콘텐츠의 홍보 및 콘텐츠 재사용을 극대화하는데 활용될 예정임

o 외부획득정보변환 및 VR콘텐츠이벤트 전송 기술
- 외부획득정보 전송 속도 (목표치 : 0.2초 이내 달성)
∙ Optitrack-UWB-kinect2 3종 센서의 결합센싱정보가 사용자 단말에 도달하는 속도를 측정하여 목표치 도달여부 테스트
∙ Optitrack-UWB 멀티센싱 : Optitrack의 가림현상 대응을 위한 테스트
∙ Optitrack-Kinect2 멀티센싱 : 특정영역 내에서 제스처/표정 센싱 시나리오 구현을 위한 테스트
- VR 콘텐츠 이벤트정보 전달 속도
∙ 공간내 4D 효과를 다양하게 적용하기 위해 3종 이펙트 장비(포그머신(향기), 바람(에어커튼), 바닥진동)을 대상으로 이벤트정보 전달 속도를 테스트
- 3종 장비 테스트 결과 전달속도 목표치 (0.2초)는 달성했으나 실제 사용자가 4D효과를 체감하기까지 소요되는 시간은 장비별 편차가 있으며 0.5~2.0초로 개선이 요구됨
- 해당 개선사항은 2차년도에 장비의 물리 제원을 개선하고 사용자시나리오는 변경함으로써 해결할 예정

2차년도 연구개발성과
o 실측 공간내 환경변화 추적 기반 실 환경-가상 환경 정합 기술
- 실-가상 비강체 정합
∙ 실 객체 Pointcloud와 가상 객체 Mesh의 Scale, Translation, Rotation 변환을 통한 좌표계 정합
∙ 비강체 Iterative Closest Point 알고리즘 기반 Mesh 정합
- 제어점 기반 Mesh 변형
∙ Moving Least Squares 알고리즘 기반 2차 다항식 근사 Mesh Vertex Interpolation

o 완전 몰입/투시 환경 기반 가상-현실 공간감 휴먼팩터 일치 최적화 기술
- HMD 착용시 자기 중심의 시각적 거리감 인지 관련 휴먼팩터 측정 설계
∙ 약 1미터 이내의 근신공간(near body space) 거리 안의 3차원 객체를 조작(matching task)하는 경우를 중심으로 거리감에 영향을 주는 요소탐색
- 시장을 대표하는 복수 개의 3D VR 게임엔진 S/W 및 HMD H/W로 피실험자 인지 측정 플랫폼 구축 및 실험 진행
∙ Unity 5 및 UnrealEngine4와 Oculus Rift CV1, HTC VIVE 및 PiMax HMD를 중심으로, 거리감 인지 측정 실험 설계 및 다수 피실험자 대상 실험 진행
- 임의의 HMD 콘텐츠 대상 가상-현실 거리감 보정을 위한 S/W 모듈개발
∙ Unity 5 및 UnrealEngine4 거리감 일치 보정 가이드 및 플러그인 모듈 개발

o 가려짐에 강인한 동적 객체 인식 및 변화 추적 기술
- Depth 정보 기반 동적 객체 영역 분할 기술
∙ 깊이 영상의 에지로부터 distance transform으로 마커 추출 및 watershed 알고리즘 적용
∙ 고정 RGB-D 센서 기준 동적 객체의 3차원 위치 입력 기반 동적 객체영역 분할
- RGB 영상 기반 사용자 영역 분할 기술
∙ 딥러닝 기반 객체 검출 및 영역 분할 기술인 Fully Convolutional Instance-aware Semantic Segmentation 기법 적용하여 사람 영역 분할
- RGB 및 Depth 정보 융합 가려짐에 강인한 동적 객체 영역 분할 기술
∙ Depth 기반 객체 영역으로부터 RGB 기반 사용자 영역을 제거하여 사용자가 제외된 객체만의 영역 분할
∙ 가려짐으로 부족한 객체 영역은 다시점 영상을 융합하여 최종 동적 객체 영역 분할 결과를 획득함

o 모션 슈트 기반 continuous 전신 햅틱 렌더링 기술
- Impulse force(총알 관통 효과)와 moving feedback을 위한 실감 피드백 액츄에이터 모듈 구현 완료 (100%)
∙ 응답 특성 및 실감 impulse force 효과를 고려한 액츄에이터 구현
∙ Array 형태의 LRA 액츄에이터 기반 중첩 생성 피드백 모듈 구현
- 바디 감각 수용체 특성별 햅틱 피드백 모듈 구현
∙ 신체 penetration 및 moving 효과를 위한 바디 감각 수용체 특성을 극대화하는 피드백 모듈 구현
∙ 피드백 독립 UI와 unreal engine에 적용되는 플러그인 형태로 구현

o 물리적 객체 조작 상황(Object manipulation)에서의 손가락 추적 기술
- 멀티뷰 컨볼루셔널 뉴럴 네트워크 구조 변경을 통한 정확도 향상
∙ 하이퍼 파라미터 그리드 탐색을 통한 네트워크 구조 최적화
∙ 객체 조작 상황 데이터베이스 활용과 네트워크 앙상블 방법 적용을 통한 반복적 네트워크 성능 테스트 (위치 오차 10mm 목표)

o Outside-in & Inside-out 추적 융합 기반 가림(occlusion)에 강인한 사용자 위치 및 자세 추적기술
- RGBD 센서 기반 1인칭 3차원 위치/자세 추적 엔진 개발
∙ 영상 및 깊이(depth) 센서 데이터를 동시에 활용하여 사용자의 위치를 외부 센서가 잃어버린 경우 다시 찾을때 까지 잃어버린 순간부터 스스로 사용자의 위치를 추적하는 기술
∙ 외부 센서를 통한 추적에 보조적인 역할로서 공간내 절대적인 위치가 아닌 위치를 잃어버린 순간부터 상대적인 위치만을 실시간 추적
- 멀티 센서 좌표축 캘리브레이션
∙ 일정 길이의 동기화한 데이터 이용해 좌표축 이동에 필요한 회전, 평행 이동 값 계산
- 센서 융합을 통한 가림에 강인한 사용자 위치 및 자세 추적
∙ 칼만필터를 적용하여 가림이 발생 하는 경우 좌표축 캘리브레이션이 완료된 Inside-out 트래커 정보를 활용해 데이터 교정

o 실 사용자 리타켓팅 기반 버츄얼 크리쳐 적용 기술
- 사용자 행동 및 객체 변화에 따른 가상 크리쳐 실시간 행동 제어
∙ 사용자 행동 기반 크리쳐 target mimicking motion 예측
∙ 수학적 모델 기반 Sub-bone 움직임 표현

o 실세계 사용자 및 객체 변화에 따른 크리쳐 실시간 행동 제어 기술
- 크리쳐 실시간 행동 제어를 위한 크리쳐 성격 엔진(NPCP Engine) 기술 개발
∙ 5가지 성격 특성 요소(Big Five Factor Model) 기반 크리쳐 성격 엔진 알고리즘 개발
∙ 크리쳐 성격 엔진 편집 인터페이스 기능 개발
∙ 크리쳐 성격 엔진기반 크리쳐 실시간 행동 제어 기술 개발
∙ 크리쳐 성격 엔진기반 크리쳐 실시간 행동 제어 기술 개발
- 인터랙션 및 이벤트에 기반한 크리쳐 실시간 행동 제어 기술 개발
∙ 실세계 사용자 모션 분석/입력 및 가상 객체 연동 기술 개발
∙ 사용자 인터랙션 및 이벤트에 따른 크리쳐 행동 제어 기술 개발

o 사전 동작 예측을 통한 실시간 제스처 인식 기술
- 연속적인 Hand Tracking 데이터로 제스처 인식 기술 개발
∙ 연속적인 Hand Tracking 데이터에 대한 모션 및 예측 수행으로 제스처 인식 지연 감소 (30ms 이내)
∙ 3종 이상의 제스처 기반 VR 체험 인터렉션 기능 개발

o 콘텐츠 상황 인지형 4D효과 생성 기술
- 감각자극 4D효과 생성 시뮬레이터 개발
∙ 블로어/온냉장치/발향기(3종)/1축시뮬레이터 개별 모듈 패키지화 설계 및 개발
∙ 통합 제어 보드 및 모듈 설계 및 개발
- 콘텐츠 상황 인지형 4D 효과 시스템 저작 플러그인 제어 기술
∙ 4D 효과 생성 시뮬레이터 연동 인터페이스 기능 개발
∙ 가상공간의 객체 및 이벤트 통합 관리 기능 개발
∙ 가상공간의 객체 및 이벤트와 4D 효과 매핑 기능 개발

o 이종 VR 체험 장치 간 가상 콘텐츠 구동 환경 변환 기술
- Bridge 기반 Cross Platform VR 체험장치 기술 개발
∙ 기존의 Script를 분석하여 코드 자체를 변경하는 방식이 아닌 코드는 그대로 두고 해당 코드가 호출하는 내부 VR 기능을 타 VR 기기에서도 동작하도록 상호지원하는 Bridge 방식의 Cross Platform VR 지원 기술 개발
- 이종 VR 체험 장치간 가상콘텐츠 구동환경 변환이 가능한 Bridge 방식 VR 저작도구 플러그인 개발
∙ 대표적인 VR저작도구인 Unreal, Unity3D 엔진에서 구동환경 변환을 수행할 수 있도록 Plugin을 개발하고, 사용자 정의 Mapping을 수행할 수 있는 GUI 적용

o 오픈플랫폼 VR 콘텐츠-몰입VR콘텐츠 seamless 합성 기술
- 콘텐츠를 체험중인 사용자의 실사 영상을 획득하여 몰입 VR 환경과 크로마키 기반의 합성을 실시
∙ 체험 공간 내 사용자 트래킹 및 사용자 실사 영상 취득용 카메라 좌표계를 위한 공간 좌표계와 몰입 콘텐츠의 가상 카메라를 일치시키기 위한 켈리브레이션 작업을 실시
∙ 상용 카메라를 이용한 실사 영상 획득 및 크로마키 기반의 실사 영상합성용 언리얼 엔진용 플러그인 개발

o 모듈별 콘텐츠 업데이트&모니터링 기술
- 콘텐츠통합관리시스템 개발
∙ 3팀 6인 동시체험을 위한 다중 서버 동시 구동
∙ 하드웨어 전원/모니터링, SW 모니터링/on,off 등 기본 관리 기능
∙ 사용자체험정보 통계
∙ 키오스크기반 체험전후 시나리오 연동 기능
∙ 태블릿기반 대시보드형 운영관리 인터페이스
- 사용자 모니터링 기능
∙ 웹캠기반 실체험환경 녹화/전송/저장 기능
∙ 3인칭 카메라 기반 가상환경내 사용자 촬영/녹화/저장/전송 기능

연구개발성과의 활용계획(기대효과)
< 활용계획 >
o (체감형 테마파크 분야 활용) 사용자의 고정밀 실시간 추적 기술과 가상 객체 복원 기술 개발을 통하여 실사와 가상이 혼용된 체감형 가상현실 콘텐츠를 게임 및 테마파크에 적용
o (재난 및 안전 훈련 분야 활용) 실제 공간에 임의의 가상 상황을 연출하여 재난 대응 및 안전 훈련 체험을 실시할 수 있는 실감 가상 재난 대처 및 안전 훈련 서비스에 활용
o (모의 전투 훈련 분야 활용) 기존의 가상 환경에서 수행하는 국방, 경찰 전투,침투 훈련을 확장하여 실제와 가상의 실습 환경으로 꾸며진 실내 환경에서 진행하는 실감 훈련 서비스에 적용
o (실-가상공간 연계형 쇼핑/마케팅에 활용) 오프라인 스토어의 제품 다양성 부족을 극복하고 온라인 스토어의 체험 불가 문제를 해결하는 실-가상 정보 연계형 실내 실감 쇼핑 서비스에 활용
o (원격지 연동 몰입형 전시관/박물관/홍보관 및 스포츠에 활용) 원격지의 공유 몰입형 인터랙티브 기술에 의해 가상공간에서 전시물을 감상하거나 실감 체험 스포츠 서비스에 활용

< 기대효과 >
o (세계 시장) 가상현실 게임, 가상 스튜디오, 스포츠 체험, 원격 화상회의 등 다자 참여형 공간을 기반으로 하는 광범위한 실감 체험 콘텐츠 분야에서의 글로벌 대형 시장 선점 가능
o (국내 시장) 국내 가상현실 산업 규모는 ‘14년 6,768억원에서 연평균 40%의 높은 성장 속에 ’20년 6조원 시장을 형성할 것으로 기대되며 본 연구개발 결과는 국내시장 성장에 기폭제 역할을 할 것으로 전망
o (시장 창출) 원격지에서 여러 명의 사용자가 가상의 공유 공간에서 체험과 경험을 공유할 수 있는 차세대 도심형 디지털 테마파크 시장 창출 및 활성화 전망

( 출처: 요약문 7p )

목차 Contents

• 표지 ... 1
• 제출문 ... 3
• 보고서 요약서 ... 5
• 요약문 ... 7
• 목차 ... 25
• 1. 연구개발 과제의 개요 ... 27
• 가. 기술개발의 개요 ... 27
• 나. 기술개발 대상의 국내외 현황 ... 28
• 다. 국내･외 지식재산권 현황 ... 44
• 2. 연구 수행 내용 및 성과 ... 49
• 가. 기술개발의 최종목표 ... 49
• 나. 1차년도 연구개발 내용 및 성과 ... 51
• 다. 2차년도 연구개발 내용 및 성과 ... 105
• 3. 목표 달성도 ... 149
• 가. 1차년도 목표 달성도 ... 149
• 나. 2차년도 목표 달성도 ... 165
• 다. 목표 미달성 사유 및 차후대책 ... 188
• 4. 연구개발성과의 활용 계획 ... 191
• 가. 기술개발의 중요성 및 의의 ... 191
• 나. 관련분야 기여도 ... 193
• 다. 기술개발 결과의 활용방안 ... 198
• 끝페이지 ... 199