보고서 정보
주관연구기관 |
한국전자통신연구원 Electronics and Telecommunications Research Institute |
연구책임자 |
김기홍
|
참여연구자 |
이교석
,
엄진오
,
이정현
,
김창용
,
배재덕
,
양선우
,
노상도
,
김준모
,
서용호
,
권태수
,
Mark Billinghurst
,
윤국진
,
윤승현
,
서진석
,
Mark Billinghurst
,
이건
,
최명걸
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2018-03 |
과제시작연도 |
2016 |
주관부처 |
과학기술정보통신부 Ministry of Science and ICT |
등록번호 |
TRKO202100006995 |
과제고유번호 |
1711055143 |
사업명 |
첨단융복합콘텐츠기술개발 |
DB 구축일자 |
2021-07-24
|
키워드 |
몰입 3D 가상현실 콘텐츠.실감 상호작용 인터페이스.제스처 인식.실감형 콘텐츠.인스턴트 3D 생성.Immersive 3D VR Content.Realistic Interface.gesture recognition.Realistic experience content.Instance 3D Creation.
|
초록
▼
□ 연구의 목적 및 내용
❑ 즉시 생성한 3D 모델로 구성된 가상공간 내에 원격의 다수 사용자가 함께 참여하여 상호작용을 통해 공통된 경험을 즐기고 교류할 수 있는 실감형 콘텐츠 기술 개발
① Join&Joy 공간 구성을 위한 인스턴트 실측 3D 생성 기술 개발
* 비전문가 직접 제작(DIY)할 수 있는 인스턴트 3D 콘텐츠 생성 ⇨ 저비용 가상공간 구축
② 원격 실측 3D 공간 가시화 및 참여자 연동 기술 개발
* 단일/다수 참여자의 정보(외형, 의도 등) 추출, 이들간의 정보 연동하는 체험형 상호작용
□ 연구의 목적 및 내용
❑ 즉시 생성한 3D 모델로 구성된 가상공간 내에 원격의 다수 사용자가 함께 참여하여 상호작용을 통해 공통된 경험을 즐기고 교류할 수 있는 실감형 콘텐츠 기술 개발
① Join&Joy 공간 구성을 위한 인스턴트 실측 3D 생성 기술 개발
* 비전문가 직접 제작(DIY)할 수 있는 인스턴트 3D 콘텐츠 생성 ⇨ 저비용 가상공간 구축
② 원격 실측 3D 공간 가시화 및 참여자 연동 기술 개발
* 단일/다수 참여자의 정보(외형, 의도 등) 추출, 이들간의 정보 연동하는 체험형 상호작용 기술
③ 실감체험 기반 몰입형 콘텐츠 서비스 기술 개발
* 디지털 테마파크 및 3D 스마트/비쥬얼 커뮤니케이션 광고 등 몰입형/사용자 주도형 서비스 개발
□ 1차년도 연구개발성과
o 인스턴트 3D 생성기반 사용자맞춤 3D 실감체험 콘텐츠 서비스 기술
- 즉시적 사용자맞춤형 3D 콘텐츠 활용을 위한 사용자 및 체험아이템의 인스턴트 3D 생성 핵심 길목 기술 확보
∙ 사용자맞춤 “On-Site 3D 콘텐츠 서비스”를 위해 사용자의 실측 3D 디지털클론(형상, 모션)과 외형특징정보(성별, 나이, 체형 등)를 1대의 RGBD 센서를 이용하여 인스턴트 3D 생성(현, 12초 수준), 모션추적 (현, 20 fps 수준), 특징추출(현, 4종)하는 코어 기술 개발
∙ 실물 아이템(의상, 악세서리 등)을 이용한 실감체험 서비스를 위해 아아템의 손쉬운 디지털변환용 전용기구물 제작 및 자동화(57% 수준) 파이프라인 구축 기술 개발
- 사용자맞춤형 3D 실감체험 서비스 제공을 위한 “실감체험 3D 플랫폼”HW/SW 개발 및 실감체험 콘텐츠(피트니스, 광고) 테스트베드 구축
∙ 사용자 및 체험아이템의 인스턴트 3D 생성 정보를 이용하여 사용자맞춤 실감체험 콘텐츠 서비스를 제공하기 위한 “실감체험 3D 플랫폼”자체 개발
∙ 거점기반 사용자맞춤형(사용자 외형정보, 체력정도) 실감체험 3D 피트니스/광고 콘텐츠 서비스 기술 개발 및 테스트베드 구축
o 가상공간기반 인터랙티브 테마파크 콘텐츠 기술
- 모듈형 스케일러블 몰입 디스플레이 기술
∙ 4채널 프로젝션 기반 광시야각(4면 수평 360°) 고해상도 몰입 가시화 기술 개발
∙ 원격 참여자용 광시야각(100°) HMD기반 개인 몰입 가시화 기술 개발
∙ 저전력 블루투스 신호 분석에 의한 휴대형 가상공간 정보 기술 개발 (영역 및 진입 구분)
- 원격 참여형 가상 아바타 연동 플랫폼 기술
∙ TTS를 이용한 실시간 Lip Sync 및 Depth 기반 참여자 추적을 통한 아바타 시선 연동이 가능한 원격 가상 아바타 외형 특성정보 표현 기술개발
∙ 사용자 위치에 따라 콘텐츠가 변화하는 가상 창문형 가시화 기술 개발
∙ 원격 가상 아바타 표현을 위한 데이터 처리 및 전송을 위한 RTSP기반의 대용량 가상현실 데이터 전송 테스트베드 구축
- 가상공간 기반 참여자 연동형 인터랙션 기술
∙ 원거리(3~5m) 콘텐츠 제어가 가능한 6단계 지시형 제스쳐 인식기술
∙ 착용형/비착용형 혼용 방식에 따른 고정밀 자세 인식 및 Force 센싱 적용 인터랙션 기술 개발
∙ 원격 사용자 참여 방식의 360도 전방위 회전 가능한 구형(球形) 모션 베이스 연동 설계
o 거점설치 대화면 미러형 실감체험 콘텐츠 서비스 단말 시스템
- 서버-단말 구성의 사용자정보 및 광고 연동 가능한 “실감체험 3D 플랫폼”의 거점 단말
- 70인치 디스플레이와 과 미러(거울반사 83%, 패널투과 33%) 결합 구성
- 1 Kinect, 1 webcam, 1 DSLR 구성의 센서 시스템
o 사용자의 인스턴트 3D 생성 기반 사용자맞춤 실감체험 3D 피트니스/광고 콘텐츠 서비스 개발
- 1 Kinect 센서를 이용한 다중자세 기반 실측에 의한 실시간 자세제어가 가능한 사용자의 인스턴트 3D 클론(아바타) 생성 구현
- 인스턴트 체력측정을 통한 사용자맞춤 실감체험 피트니스 운동 콘텐츠 서비스 구현
- 사용자의 외형정보(성별, 나이, 체형) 기반 맞춤형 광고 송출 및 광고(동영상, 영상) 콘텐츠 내 실물아이템에 대한 사용자 움직임 연동 실감체험 서비스 구현
- 사용자 정보의 DB 연동을 통한 모바일 서비스 연동 구현
o 실물 체험아이템의 3D 스캔기반 디지털변환 시스템
- “실감체험 3D 플랫폼”의 체험아이템 공급 단말
- 1 Kinect, 1 DSLR 센서 구성의 저가형 영상기반 3D 스캔 방식 구현
- 아이템의 다층구조를 고려한 사실적인 실시간 물리시뮬레이션 기능 구현
- 아이템의 복잡도나 전문적 지식없이 실물아이템의 디지털변환을 위한 자동화 파이프라인 구축( 현재 57% 자동화율 달성)
o Join&Joy 광시야각 디스플레이 프레임워크 시작품
- 모듈형 스케일러블 몰입 디스플레이 환경을 구축
- 4면으로 구성된 벽면 스크린 및 프로젝터 설치 (단초점 DLP-Laser 프로젝터)
o 착용형 아바타 기반 가상 참여-모션 체험 몰입 환경 구축 시작품
- 사용자가 참여하여 모션 체험을 할 수 있는 몰입 환경을 구축
- 솦속방의 컨텐츠 조화 부속물 설치
□ 2차년도 연구개발성과
o 자율 움직임 사용자의 모션 추적 연동 실측 3D 디지털클론 생성 기술
- 사용자의 자율 회전 움직임 중 정면응시 초기자세로 생성한 디지털클론을 기반으로 클론과 깊이영상간 오차분석을 통한 정밀 모션 추적 수행기술 개발 완료
- 사용자 자율 회전 모션정보와 연동한 디지털클론의 3D 가시성 테스트를 통한 신체 주요부위의 신규 실측 3D 정보 업데이트 및 정합을 통한 사용자 디지털클론 생성 기술 개발 완료
- 사용자 자율 회전 종류 후 사용자 디지털클론 생성 소요 시간: 평균 5초 이내 달성
o 실측 3D 아바타를 이용한 자기가림에 강인한 전방위 모션 추적 기술
- 자기가림에 강인하도록 모호성 배제 가능한 모든 조합의 저수준 모션 집합 생성 및 레퍼런스 DB에서 최적의 자세를 검색하는 기술 개발 완료
- 레퍼런스 자세를 깊이 영상에 투영, 디지털클론과 깊이 영상 간의 오차를 반복적으로 최소화하는 인체 특성 반영 역기구학(평균 28fps)기술개발 완료
o 신체 정보 및 모션 기반 사용자 외형정보 분류 기술
- 관절 정보 및 생성된 디지털 클론 기반 사용자 인체 측정 기준점 신체 둘레 측정 기술 개발 완료
- 표준 인체 치수 정보 기반 사용자 신체 부위별 비만도 정보 추출 기술 개발 완료
- 통계적인 사용자 신체 부위별 비만도 정보 추출을 위한 성별/나이 정보연동 완료
o 신체 정보, 모션 및 색상 기반 착용 아이템의 형태적 분류 기술
- 피부 검출 및 관절 정보 기반 착용 아이템의 형태적 분류 기술 개발 완료 (반팔/긴팔 상의, 하의 총 4종 분류)
- 피부 검출 및 아이템 형태적 분류 정보 기반 착용 아이템의 색상 정보추출 기술 개발 완료
o 3D mesh 구조의 스캔된 아이템과 클론 연동 자동화 기술
- 자동 스키닝을 위한 디지털클론의 스키닝 정보를 체험아이템으로의 전사 기술 개발 완료
- Sweep 기반 전사 함수 품질 향상 기술 및 최소 입력의 직관적인 sweep 설정 인터페이스 개발 완료
o 텍스쳐의 조명 효과 예측을 이용한 조명 효과 제거 기술
- 다수 카메라/다수 촬영 영상의 색상 보정 기술 개발 완료
- 텍스쳐의 조명 효과 제거 및 diffuse 재질 텍스쳐 생성 기술 개발 완료
o 거점 기반 사용자맞춤 3D 실감체험 콘텐츠 시범서비스
- 체험아이템 스캐너를 통한 체험아이템 DB등록, 사용자 계측용 거울을 통한 사용자 DB등록 후 모바일 기기를 활용하여 서버-모바일 연계를 통한 3D 실감체험 콘텐츠 서비스 기술 개발
- K사 R&D 성과물을 전시하는 사내 비공개 행사에 ETRI-K사 Open R&D 개념으로 참가하여 K사 그룹 임직원 1500여명을 대상으로 K사의 개인정보 보호기술과 연계한 모바일 3D 실감체험 기술 시연
- 미국 K-CON USA 2015 LA 행사의 미래부 전시관 K-ICT Dream Zone에 인스턴트 3D 사용자 생성을 위한 전신거울형 시스템과 모바일단말을 이용한 3D 실감체험 기술, 체험아이템의 인스턴트 3D 생성 기술 전시, 홍보 수행
o 모바일 연동 3D 실감체험 콘텐츠 서비스를 위한 SW기술 및 테스트베드 구축
- 모바일 연동 3D 실감체험 시범서비스를 위한 모바일-키오스크 SW 구조 설계, 서버 Web API 설계 완료
- Unity3D 기반 키오스크, 모바일 SW 개발 완료 및 Java API 기반 웹서비스 SW 개발 완료
- 3D 실감체험 시범서비스를 위한 인스턴트 3D 사용자 디지털클론 생성용 미러디스플레이 단말 상 사용자 계측 SW 개발 완료
- 모바일 단말 상 사용자DB/체험아이템DB 연동 모바일 3D 실감체험 시범서비스 어플리케이션 개발 완료
- 시범서비스를 위한 체험아이템 스캐너로 생성한 시범서비스용 3D 체험 아이템 제작 및 관리를 위한 DB와 웹페이지 운영
- 실감체험 “썬더펀치(Thunder Punch)게임” 서비스를 위한 “사용자 실측정보 및 체험 결과 이미지 도출”을 위한 시나리오 디자인 완료 및 실감체험 SW 개발 완료
o 모바일 연동 3D 실감체험 콘텐츠 제공 단말 제작 및 서비스 기술 개발
- 전신미러형 인스턴트 3D 인체 모델링을 위한 미러디스플레이 설계 및 제작완료
- 스캔안정성 확보 및 스캔영역 확장을 고려한 체험아이템 스캐너 설계 및 제작완료
- 상용서비스 중인 비콘 기반 광고 플랫폼과 실감체험 콘텐츠 플랫폼의 연동을 통한 사용자 맞춤형 모바일 푸쉬 광고 서비스 개발 완료
o 비정형 객체 대상 몰입 디스플레이 렌더링 기술
- 2개 이상의 다중 채널 프로젝터를 이용한 비정형 객체 대상 몰입 디스플레이 공간 구축 설계 및 테스트 베드 구축 완료 (근거리 투사용 프로젝터 5대 활용)
- 비정형 객체 대상 몰입 디스플레이를 위해 Depth센서 기반 Calibration과 프로젝터 영상조정으로 다양한 형태의 디스플레이 공간에 몰입 가시화가 가능하게 하는 렌더링 기술 개발 완료
o 기하변형 디스플레이 표면 인식 및 추적 기술
- 움직이는 사용자와 같은 기하변형 디스플레이의 표면에 대한 인식 및 추적을 통해 콘텐츠를 공간 프로젝션함으로써 자유도가 높은 공간 가시화를 구현
- Reference Mesh를 기반으로 움직이는 객체에 대해 Point Cloud를 이용하여 배경과 분리한 후, GPU 기반 ICP(Iterative Closest Point)를 적용하여 실시간 정합하고, 정합된 정보를 토대로 프로젝션 영상을 투사하여 움직이는 비정형 물체 표면에 원하는 영상 투사
o 휴대형 원격 실공간 몰입 콘텐츠 제어 기술
- 클라이어트-서버 기반의 휴대기기 센서 정보 처리 시스템 개발 완료
- 휴대 단말기 자세 정보에 의한 3D 가상객체 자세 동기화 완료
- 휴대 단말기 공간 정보에 의한 3D 가상객체 공간 제어 완료
o 상황정보 기반 가상 아바타 얼굴 외형 변경 기술
- 대화를 주도하는 사용자 음성 기반 시선 일치 가상 아바타 표현 (Sound localization 기반 시선 제어)
- 다수 사용자 skeleton 인식 및 sound 발생 추정 기반 주도적 음성 표현사용자 candidate 추출 기술
o 혼합현실 기반 인터랙티브 3D 콘텐츠 탐색 기술
- 혼합현실 기반 실사용자 핸드 UI 가시화
- 완전 몰입형 HMD 기반 3D 콘텐츠 네비게이션 UI 및 상호작용 기능 지원
o 실측 가상 공간 구성 및 임의 시점 영상 생성 기술
- Network data 전송 기반 Multiple Kinect 시스템 구성 완료
- Depth 영상의 노이즈 제거 및 Hole filling을 위한 Multi-lateral filtering 기술 개발 완료
- RGBD 특징점 매칭 및 Iterative Closest Point 기반Multi-Kinect의 좌표계 정합 기술 개발 완료
- Multi-kinect 기반 실 환경 복원을 위하여, GPU가속을 통한 3D 복원 데이터 실시간 생성 (kinect 개수 제한 없음, voxel 해상도 0.5cm)
- 임의 시점 영상 생성을 위하여, 레이캐스팅(ray casting)기반 3D 데이터 실시간 렌더링 (30FPS 이상)
o 사실적인 아바타 데이터 전송 기술
- 원격지 간 사용자 모션 데이터 전송 및 가상 아바타 모션 동작 매핑 (관절 기반 원격지 모션 데이터 전송)
o 원격 실공간을 가상 활용하는 체험 공간 모듈 설계 및 구축
- 버추얼 롤러코스터 모션플랫폼 이동을 위한 레일 설계 완료
- 드라이파크용 롤러코스터를 실내용으로 압축 설계 완료
- 11m x 6m 평면 공간에 직선, 곡선, 상하운동 구간을 포함한 30m 길이의 레일 형태 설계 및 구축 완료
- 모션플랫폼의 운동 하중 및 500kg 이하의 무게를 이동시킬 수 있는 기차 구동부 구축 완료
- Interaction Wall 기반 인터랙션 Spot 구축 완료
o 시점 반영 기반 그룹 대화형 의도 인식 기술
- Top-view 깊이 영상 기반 다수 사용자 머리/손/팔 검출
∙ 다수 사용자 전신 검출 수 및 검출율 (4인 이상, 검출율 98% 이상)
∙ 다수 사용자 머리 검출 수 및 검출율 (3인 이상, 검출율 95% 이상)
∙ 다수 사용자의 손/팔 검출율 (4인 이상, 검출율 90% 이상)
- 시선 방향에 따른 사용자 의도 인식 인식
∙ 콘텐츠 제어를 위한 펀치 동작 인식율 (양손 펀치 동작 인식률 90% 이상)
∙ 터치 인식을 위한 평면 검출 속도 향상 (속도 10fps 이상)
∙ 물체 인터랙션을 위한 터치 인식율 (인식율 90%이상)
o 신체 모션 반응 기반 체감형 햅틱 피드백 기술
- 불충분한 모션 센서를 이용한 연관 관절 기반 자세 추정 기술 개발 (팔,머리 등의 3개 미만의 센서 적용)
- 거치형-착용형 객체간 자연스러운 seamless feedback transition 기술 개발 (착용형 Force Sensing/거치형-착용형 feedback 연동)
- Physical wall 기반 가상-실제 seamless 핸드 움직임 인식 및 인터랙션 기술 개발 (가상-실제 wall 상에서 seamless gesture symbol 인식, 미리 정의된 핸드 symbol 인식 가능)
o 원격 사용자 참여형 교육 놀이형 모션 시스템 구축
- 2축 모션 피드백 시스템 설계 완료
- 원격 사용자 참여용 기차부 설계 및 모델링 완료
- 운동 하중 및 체험자 무게 중심 이동 안전 장치 확보 완료
- HMD 콘텐츠 시나리오에 따른 모션 피드백 적용 완료
- 자유모션운동이 가능한 기차 구동부 제작 완료
o 원격지 실측공간 기반 인터랙티브 실감 콘텐츠 제작
- 셜록홈즈 ‘푸른홍옥’의 상호작용 동작인식형 프로젝션 시스템 기반 디지털 스토리텔링 개발 완료
- 콘텐츠 시나리오 : 도둑이 푸른 홍옥을 훔쳐 달아나 거위에게 보석을 숨기고 사용자는 셜록 홈즈가 되어 숨겨진 푸른 홍옥을 찾음
- 사용자 시나리오 : 다수 사용자간의 손동작에 반응형 프로젝션 영상을 맵핑하고 맵핑 영상의 조준, 발사 과정을 통한 로봇 거위를 사냥하여 점수 획득을 목적으로 함
o 가상 아바타 적용형 체험공간 구조 설계 연구
- 가상 카메라 기반 모노레일 네비게이션 매핑 (모노레일 연동형 병마용 콘텐츠 네비게이션 제어 개발)
- State 기반 가상 아바타 모션 동작 제어 및 idle 모션 적용 (control animator 기반 아바타 애니메이션 제어 개발)
o 원격지 실공간 기반의 엔터테인먼트 콘텐츠 기획 및 제작
- HMD 착용형 엔터테인먼트 콘텐츠 시나리오 기획 완료
- 가상환경과 실제 레일카가 일치하는 콘텐츠 디자인 완료
- Infinite Space 공간 이동 기법 구현 완료
- 유니티3D 기반의 가상 공간 모델링 및 상호 작용 콘텐츠 개발 완료
o 실측 공간 인터랙티브 디지털 테마파크 콘텐츠 시범서비스
- 인터렉티브 디지털 콘텐츠 서비스 모델 정의
- 서비스 모델 기반 인터렉티브 디지털 콘텐츠의 사용자 시나리오 작성
- 시범 서비스용 인터랙션 콘텐츠 ‘썬더펀치’ 시스템 개발 완료
□ 3차년도 연구개발성과
o 다중 사용자 환경의 사용자 실측 디지털클론생성 및 모션 추적 기술 개발
- 사용자 행동 모니터링 기반의 인터랙티브 실측 3D 디지털클론 생성 기술
∙ 사용자 상황 기반 가상 아바타 얼굴 및 행동 패턴 생성 기술 개발
- 다중 사용자 환경의 외부 가림에 강인한 전신 모션 추적 기술
∙ 다수 카메라 영상을 이용한 외부 가림에 강인한 전신 추적 기술 확보
o 외형적 분류정보 기반의 객체 정보 추출 기술 개발
- 다변화 환경 적응형 다객체 인식 기술
∙ pre-trained model 기반 다변화 환경에 강인한 특징 추출단 구현
∙ multi class 써포트 벡터 머신 분류기를 활용한 객체 인식 시스템 구현
- 외형적 분류 정보 기반 체험아이템 제시 기술
∙ 3D 프린터를 활용한 미니어쳐 제작 및 캐릭터 아이템별 콘텐츠 8종 제작
o 형태적 특징 반영 체험아이템 디지털화 기술 개발
- 체험아이템의 재질구조 및 형태적 특징 반영 실물 3D 형태적 특징 반영 디지털 아이템 재구조화 기술
∙ 직접 개발한 이기종 센서 기반 인스턴트 3D 체험아이템 스캐너를 통해 실제 의류 등 체험아이템을 간단하게 촬영한 후, 실물 3D 형태적 특징 및 재질구조를 반영한 고품질의 3D 디지털 실감체험 아이템 제작
- 네트워크 상태를 고려한 체험아이템의 재질구조 및 형태적 특징 반영동적 형상 변형 기술
∙ 이기종센서(DSLR+RGBD) 이용한 저비용 및 높은 자동화율을 제공하는 3D 스캔기반 인스턴트 3D 실측 복원 및 실물아이템의 3D 모델 자동생성, 3D 실감체험 지원을 위한 체험아이템 속성 편집, 사용자 움직임에 연동한 물리기반 시뮬레이션을 지원하는 기술을 개발함
o 사용자맞춤 실감체험형 3D 디지털몰 서비스 기술 개발
- 모바일연계 사용자맞춤 실감체험형 3D 디지털몰 구조 설계 연구
∙ 수요공급자 요구사항을 반영한 모바일연계 사용자맞춤 실감체험형 3D 디지털몰 서비스 설계 및 3D 콘텐츠의 반응형 전송을 지원 연동이 가능한 온라인 기반의 모니터링 SW 기술을 개발함
- 온라인연동 실감체험형 디지털몰의 네트워크 상태에 따른 3D 콘텐츠의 반응형 전송을 지원하는 연동/관리 SW기술 및 테스트베드 구축
∙ 1회 신체 계측만으로 계측된 사용자의 실측 3D 디지털클론에 3D 의류를 증강하여 고객의 PC 및 스마트 기기로 사용자 맞춤형 실감체험 서비스를 제공할 수 있는 기술을 개발함
∙ 실제 사용자의 요구사항 및 수요업체의 요구사항에 맞게 사용성 분석을 통한 UI 설계 및 이를 반영한 거점기반 디지털몰 단말을 제작하여 실감체험구매지원 가능 서비스를 구축함
- 실감체험 구매를 지원하는 거점기반 디지털몰 단말 제작 및 서비스 기술
∙ 신체주요부위의 인스턴트 3D 실측기반의 사용자 3D 아바타 생성 및 정밀 사용자 자세추정을 통한 사용자-아바타 간 픽셀단위의 고정밀 자세 일치, 모바일 연동 서버-단말 간 증강현실기반 실감체험 제공 기술개발
∙ 실감체험 구매를 지원하는 거점기반 디지털 몰 단말을 제작을 통한 디지털몰 서비스 테스트베드 구축 및 사업화 모델에 맞춘 서비스 시나리오를 설계 및 구현 기술을 개발함
o 이동형 몰입 디스플레이 기술 개발
- 설치 환경 분석을 통한 가상환경 구성 자동화 기술
∙ 실 공간 정보 획득 기반의 카메라 배치 최적화 시뮬레이션 기술 개발완료
- 병렬 연산 기반 실시간 기하변형 표면 화면보정 가속화 기술
∙ 다중 병렬 프로젝션 영상 기하보정 자동 + 수동 통합 솔루션을 통한 몰입 가상공간 구성 시간 절감 기술 개발
∙ 초고속 카메라 기반 3D 객체 추적을 통한 동적 물체 프로젝션 기술설계 및 개발
∙ GPU 기반 실시간 프로젝션 기하보정 가속화 기술 설계 및 개발
∙ Invisible IR Marker를 이용한 동적 물체 추적 및 프로젝션 영상 가시화 기술 개발
- 원격 실공간 실시간 3D 가시화 기술
∙ RGBD 기반 실 공간 내 관심 영역 실시간 Segmentation 및 3D data 원격지 가시화 기술 확보
o 원격 공유 공간 구성 및 아바타 연동 플랫폼 기술 개발
- 원격 참여형 아바타 제어 기술
∙ 실제-가상 환경 원격 참여형 가상 아바타 실험 수행
∙ Co-presence, Trust 측정 실험 분석
- 실측 공유 공간 정합 기술
∙ 원격 공간 데이터 네트워크 시스템 구성 기술 확보
∙ 멀티 키넥트 카메라 정합 및 패턴 기반 공유 공간 간 정합 기술 확보
- 공유 공간에서의 가상 객체 지능형 행동 기술
∙ 숫자 인식 기반 가상 객체의 지능형 행동 기술 개발 완료
- 다수 실측 공간 연동이 가능한 체험 공간 모듈 설계 및 구축
∙ 다수 실측 공간 연동이 가능한 체험 공간을 설계하고 실험실에 구축 완료
o 다변화 환경 체감형 그룹 의도 파악 및 반응 기술 개발
- 지속적 모니터링 기반 Seamless Navigation 기술
∙ HMD 기반 가상 공간 참여형 사용자 모니터링 모듈 개발
∙ 이기종 3D 엔진 플랫폼 네트워크 기반 VR 콘텐츠 사용자 모니터링
∙ 사용자 근신공간 상호작용 3DUI 개발
∙ 착용형 디스플레이 및 핸드 인터랙션 인터페이스에 최적화된 3DUI 설계 및 사용자 직접 조작 인터랙션 지원
- 환경 제어를 위한 협업협 의도 인식 기술
∙ 이종 체험 시스템 환경에서 다수 사람들의 의도를 동시에 파악할 수 있는 기술 확보
- 환경 변화 체감 효과용 햅틱 기반 반응 제시 기술
∙ 2차원 패턴으로 구성된 다채널 피드백 제어가 가능한 시각적-촉각적 seamless 일치감 기술
∙ 신체의 receptor의 spatio-temporal한 주파수 특성을 이용하는 알고리즘 및 터치와 사용자의 제스쳐에 따라 구조물의 패턴이 harmonic하게 반응하는 시스템 구현
∙ 관절 extremities 보정 동작을 통해 IK의 자세 예측 성능을 확보하여, 이를 기반으로 spatio-temporal한 feedback modulation과 사용자의 joint touch actuator의 feedback을 동시 제어
- 실감형 Join & Joy 가상 객체 원격 공유 콘텐츠 제작
∙ 실감형 Join & Joy 가상 객체 원격 공유 콘텐츠를 기술에 적용시킬 수 있는 가상 환경 디자인 및 콘텐츠 제작 완료
o 이종공간 연동체험 전시형 놀이광장 콘텐츠 기술 개발
- 원격 실공간 연결형 테마 공간 구조 설계 연구
∙ 원격지에 접속한 체험자와 실내형 테마파크 공간을 연결할 수 있는 공간 구조를 설계하고 실험실에 구축 완료
- 가상 객체 공유형 Join& Joy형 콘텐츠 기획 및 제작
∙ 서로 다른 실 공간에서 가상 체험 콘텐츠에 다수가 동시 접속하여 가상 전투를 체험하는 ‘텔레포트VR’ 시범 콘텐츠 기획 및 제작
□ 4차년도 연구개발성과
o 사용자 환경 연동 3D 증강 휴먼 제어 기술
- 사용자 환경 연동 3D 증강 휴먼 (가상캐릭터) 제어
∙ 사용자 주변 환경을 인지하여 적응형으로 가상 캐릭터의 모션을 제어하는 알고리즘을 개발함
o 장치 성능 기반 협업형 사용자 모션 추적 기술
- 장치 성능별 사용자 모션 추적 트리 구조 최적화 기술
∙ 사용자 모션 추적을 위한 트리 기반의 클래스 분리 기술
∙ 장치 성능별 트리 깊이와 형태를 조절하여 장치 파워에 따른 최적 모션 트리 생성 기술
o 동적 형상 변형 적합 다수준 복원 모델 생성 기술
- 체험아이템의 형상 변형을 위한 기하 구조의 복잡도를 다양화함으로써 성능이 다른 장치에서 실시간 체험을 가능하게 하는 기반 마련
∙ 기하 구조의 각 edge에 대해서 변형을 최소화하는 지점을 찾은 후 edge의 두 vertex를 정합함으로써 점진적으로 복잡도 간략화
∙ 사용자가 Maya에서 GUI 기반으로 손쉽게 간략화 할 수 있는 플러그인 개발 (원본 대비 최소, 최대 비율 및 단계 수 설정)
- 영상 센서 및 턴테이블 자동 위치 보정 기술 향상에 따른 체험아이템 자동화율 개선
∙ 오토마타 기반 실시간 사용자 인터렉션 지원 영상 특징점 추출 기술 개발
o 장치 성능 적응형 동적 형상 변형 처리 기술
- 다양한 성능의 장치에서 체험아이템의 형상 변형을 실시간으로 처리하는 기술 개발과 분산 처리 시스템 구축을 통해 플랫폼 독립형 서비스 제공 기술 구현
∙ 분산 처리 시스템 구축 및 Web API 기반 일원화된 통신 방식 제공
∙ 장치 성능을 모니터링하여 체험아이템의 동적 형상 변형을 위한 자동 파라미터 제어를 통한 실시간 처리 기술 구현
∙ 장치 성능에 따라 다양한 복잡도의 기하 구조를 갖는 체험아이템을 자동 선택하여 실시간 형상 변형 기술 구현
o 이동성 지원 전방향 가상환경 가시화 기술
- ICP/SaC 기반 정형 스크린 Pro-Cam Calibration 기술 지원
∙ 정형 스크린(Cylinder, Dome, ..)의 경우 해당 정형 모양의 수치 (반지름, 위치, 방향 등)를 수작업으로 입력하던 방식에서 RGB-D 카메라를 이용한 ICP/SaC 기반 자동 캘리브레이션 지원
- NURBS 기반 외곽 영역 Masking
∙ 기존에 영상 조정에만 NURBS Curve Grid를 이용하였던 것을 Masking 영역 표시에 대해 4개의 Patch와 다중 Control Point를 이용하여 구현. 기존에 일반 Line 및 음영을 이용한 Masking보다 효율적이고 빠르게 Masking 작업이 가능
- 프로젝션 영상/AR HMD 영상 융합 가시화 기술
∙ 프로젝션 영상에 AR HMD영상을 연동하여 콘텐츠를 가시화함으로써 대화면/고해상도의 프로젝션 영상과 입체감/몰입감을 주는 AR HMD 영상의 융합 콘텐츠를 지원
o 휴대형 기기 대상 참여자 연동 가상객체 지능형 행동 기술
- 휴대기기를 위한 가상객체의 추적 및 동작 패턴 생성
- 탱고폰 상의 가상 객체 실공간 정합 및 가상객체 동작 패턴 구현(2종류)
o 가상-실환경 혼합 가시화 공간 Seamless 연동 기술
- 가상-실환경 혼합 가시화 공간 seamless 상호작용을 위한 멀티 플랫폼 기반 3DUI 기술 개발 및 시범 콘텐츠 연동
∙ 휴대형 스마트 기기 및 모바일 HMD 기반 가상-실환경 혼합 가시화 시스템
∙ 이기종 디스플레이 혼합 가시화 공간에서 직관적 3DUI 상호작용 기반 콘텐츠 정보 이동 기술이 적용된 시범 콘텐츠
o Join & Joy 몰입형 가시화 통합 관리 도구
- 다수 참여형 몰입 가상공간 가시화 통합 관리 도구
∙ 몰입 가상공간을 다수의 인원이 참여하여 콘텐츠를 체험할 수 있도록 각 체험 장비들의 좌표계들을 글로벌 좌표계로 연계하고 관리할 수 있도록 지원
o 실생활적용 사용자맞춤 실감체험형 3D 디지털몰 시범서비스
- 비즈니스 모델 설계 및 시범서비스 수행
∙ 쇼핑몰/의류브랜드 등 설치 거점을 확보할 수 있는 사업자에 대한 인스턴트 3D 실감체험 단말 설치 및 사업모델 개발
• 디지털 매체 혹은 광고 기획사 등 on/offline을 연계한 마케팅 및 홍보 이벤트에 특화된 인스턴트 3D 실감체험 단말 설치 및 사업모델 개발
• 마케팅 홍보이벤트 형태 및 거점 설치형 시범서비스를 ‘18년 런칭 예정인 의류브랜드와 제휴하여 진행함
o 다중단말연계 디지털몰 연동/관리 SW 기술 및 테스트베드 구축
- 다중단말연계 디지털몰 연동/관리 SW기술 개발 및 테스트베드 구축 ∙ 원격지에 설치된 인스턴트 3D 실감체험 키오스크 단말기를 네트워크 연계를 통해서 하나의 관리 콘솔에서 실시간으로 상태를 조회하고, fault 발생 시, 자동으로 복구하는 프로세스를 구현하여 다중 단말기 관리 및 운영을 자동으로 수행하는 SW 설계 및 테스트베드 구현
o 다중단말연계 디지털몰 단말 제작 및 실생활 연계 서비스 기술
- 다중단말연계 디지털몰 단말 제작
∙ 체험자의 터치가 가능한 2nd-view 단말 기구를 시범서비스에서 목적하는 서비스 시나리오에 적합하도록 HW&SW를 설계하여 제작하고 제작된 단말 기구를 시범서비스에 적용
- 실생활 연계 서비스 기술 ∙ 실감체험3D서비스를 실생활에서 쉽게(‘언제’, ‘어디서나’, ‘누구든지’, ‘특별한 장치가 아니더라도’) 서비스 받을 수 있도록 개발
- ‘언제’, ‘어디서나’, ‘누구든지’, ‘특별한 장치가 아니더라도’ 가능한 서비스를 위해, 웹기반의 서비스를 구축하여 거점에서 한 번의 체형 측정을 통해 자신의 신체에 맞는 체험아이템을 즉시 발급받을 수 있는 체험 ID를 통해 복잡한 절차 없이(로그인, 회원 가입 등) 웹 연결이 가능한 장치를 통해 서비스 받을 수 있도록 함
∙ 실감체험3D서비스를 일반 사용자에게 홍보 및 기회 부여를 통해 실생활에 접목될 수 있는 접점을 찾고 사업화 방향을 모색
- 공동기관의 광고매체 프로모션 연계 시범서비스 설계에 맞게 개발 기술 고도화 및 패키징 함
- 사업화 용이성 및 확장성을 위해, 체험아이템 생성 기술의 자동화하고, 다중단말 연계가 가능하도록 구축 및 실시간 모니터링이 가능하도록 실감체험3D서비스 기술을 연동 및 통합 함
o 다중 카메라 기반 사용자 검출 및 아이디 유지 추적 기술 개발
- 딥러닝 기반 사람 검출 기술을 개발해 추적 대상을 선정해 기존 추적 알고리즘에 적용했으며, CNN 기반의 사람 구분 기술을 이용해 아이디 유지 추적 기술을 완성
o 모듈화 체험 공간을 활용한 사용자 맞춤형 피트니스 연계 시범 서비스
-- 키즈 디지털 놀이 콘텐츠 및 콘텐츠 원격 업데이터 시스템 개발
∙ 유아들의 동작 패턴 인식을 통한 체력 측정과 디지털 콘텐츠를 결합하여 다양한 신체 발달요소를 분석하여 제시하는 시스템을 개발
o 다중 참여 사용자 지원 아바타 외형 변형 제어 기술 개발
- 실 사용자 체험 환경 기반 가상 아바타 외형 변형 제어 기술 개발
∙ 다중 참여 사용자 지원 아바타 외형 변형 제어 기술은 실 사용자 체험 환경에서 autonomous virtual human (가상 아바타)의 모션을 제어하기 위해 bone strength를 보존하기 위한 최적화 기술임
∙ 사용자 환경에서 아바타 모션 정합을 위해서 혼합현실에서의 걷기 모션에 대한 정합을 수행함
o 가상-실제 공유 공간 정밀 혼합현실 기술
- 다중 원격 공간내 사용자 3D pointcloud 생성 및 전송
- 가상 공간내 3D pointcloud 혼합현실 가시화
o 원격 공유 공간 가상 객체 3D 정보 연동 기술
- 가상 객체 연동을 위한 압력 센서 플레이트 개발, 분석 및 움직임 정보 반영 기술
∙ 압력 센서 Array 플레이트 기반 압력 분포 분석을 통한 사용자 자세 분석 기술
∙ 사용자 자세 분석 기반의 가상 3D 객체 움직임 반영 기술
∙ 라이다 (Lidar) 기반의 사용자의 공중 움직임 실시간 반영 기술
o 원격 사용자 참여형 모형 장치 기반 가상 공간 설계 및 구축
- 원격 몰입 콘텐츠 연동형 센서 구축 및 모션플랫폼 시스템 개발
∙ 체험자 모션 인지 및 원격 몰입 콘텐츠 연동형 센서 시스템 개발
∙ 원격 사용자 접속 공간 시스템 구축
o 실시간 혼합 정보 제공을 위한 객체 검출 기술
- top view 기반 실시간 혼합 정보 제공을 위한 현장 적용형 사용자 검출 및 동작 인식 기술 개발
∙ 사용자별 멀티스레딩 프로그래밍을 적용하여 실시간 다수 사용자 관절 추적 (2인, 30fps)
∙ 사용자 지시 영역 사영면 적응형 정밀 지시 기술 (장단거리, 정면/바닥 적용 가능)
∙ variation이 큰 데이터에 적용하기 위하여 아동 데이터 추가 수집(성인 및 아동 사용자도 적용 가능)
o 증강-실 객체 기반 감성 자극 행동 햅틱 인터랙션 기술
- 가상-실 객체 역/촉감 제어 인터페이스 HW 모듈 완료
∙ 다중 역/촉감 포인트를 제시할 수 있는 소켓 프레임 및 터치면 구현 완료
∙ 역/촉감 혼용 햅틱 제어 모듈 구현 완료
- 다양한 감성을 자극할 수 있는 역/촉감 햅틱 패턴 알고리즘 구현 완료
∙ 역/촉감 혼용 감성 자극 햅틱 패턴 생성 알고리즘 구현 완료 (현재 5가지 이상 감성 패턴 지원)
∙ 시간 트랙별 햅틱 자극 패턴을 저작할 수 있는 UI 구현
o 가상 및 실제 공간 공유형 인터랙티브 실감 콘텐츠 제작
- 몰입 환경 기반 특수효과 시뮬레이션 및 실공간 연동 이벤트 제작
∙ Unreal Engine 기반 인터랙티브 시범 콘텐츠 제작
∙ 원격 접속 가상-실공간 공유 이벤트 시나리오 구현
o 다중 원격 사용자 연동형 테마공간 구조 설계 연구
- 번개 행성 Planet Kart 시범 콘텐츠 실-가상 공간 연동 구현
∙ 원격 사용자 연동형 시범 콘텐츠 이벤트 구현
o 가상 및 실제 공간 공유형 Join & Joy 콘텐츠 설계 및 제작
- 몰입 모션 체험 상호작용 콘텐츠 설계 완료
∙ 몰입 모션 체험 상호작용 콘텐츠 기본 설계 완료
1) 개요: 실-가상 동작 연동 체험자 운동 능력 모니터링 및 운동 훈련 가능한 가상 놀이체험 콘텐츠
2) 체험 대상: 영/유아(만 4세 이상 12세 이하)
3) 제작 목적: 원격 공유 공간 가상 객체 3D 정보 연동 기술 가시화를 위한 시범콘텐츠 제작
4) 콘텐츠 구성: [준비 운동]-[본 운동]-[정리 운동] 순서로 구성
· 준비운동 : 3D 지능형 개발 캐릭터(교수자)의 동작과 음성 명령에 체험자가 상호작용함
· 본 운동 : 체험자의 실-가상 아바타 점핑 동작 기반 점수 획득게임 구성
· 정리 운동: 3D 지능형 개발 캐릭터(교수자)의 명령 지시에 의한 체험자 심신 안정화 동작(걷기/숨쉬기)으로 구성
- 몰입 모션 콘텐츠 체험 시스템 구축 완료
- Unity Engine 기반 상호작용 콘텐츠 제작 완료
∙ 콘텐츠 설계 기반 Unity 게임엔진 환경 기반 가상 환경 구축 및 3D 객체 개발 완료
∙ 체험자 점핑 동작 연동 상호작용 가능한 게임형 가상 콘텐츠 개발
o 원격 이종공간 연동 기반 전시형 Join&Joy 콘텐츠 시범서비스
- 다중 원격 사용자 연동형 테마공간 구조 설계 완료
- 원격 사용자 연동형 시범 콘텐츠‘번개 펀치’시스템 설치 완료
- Unity Engine 기반 원격 이종 공간 연동 상호작용이 가능한 전시 콘텐츠 개발 완료
∙ Unity Engine 기반 실 공간 투사용 번개레이싱 인트로 설계 및 스토리보드 제작
∙ 원격 네트워크 연동 기반 실 공간 영상 프로젝션 테스트
∙ 상호작용 전시 콘텐츠 실 공간 적용
- 원격 사용자 연동형 시범 콘텐츠‘번개 펀치’이벤트 구현 완료
□ 연구개발성과의 활용계획 (기대효과)
< 활용계획 >
o 정부의 콘텐츠 산업 정책(‘콘텐츠로 열어가는 창조경제’) 실현 각 분야에 활용
① (신시장) 과학기술․ICT와 문화 융합에 의해 출현되는 신시장 창출 기여
* 인터랙션, 3D기술 활용한 디지털 사이니지 콘텐츠를 통한 미래 광고시장 선도
* 기존 콘텐츠 융합(패션쇼, 첨단문화예술 전시 등)과 결합된 창의 콘텐츠
②(미래 서비스) ICT R&D 중장기 전략 15대 미래 서비스 중 “樂(즐거움 제공)”과 관련한 Join&Joy 서비스 실현
* 테마파크(놀이+ICT), 체험 교육(교육+ICT), 원격 화상회의(회의+ICT), 등 新콘텐츠 시장 창출
③ (Flagship) 한국형 디지털 테마파크 조성 추진(D.C.Flagship프로젝트)에 직접 활용
* 국민의 여가/학습 증진을 위한 테마 콘텐츠, 혹은 테마파크 제작에 직접 활용가능
(유사사례:스크린 골프) 이외에 디지털사이니지 및 3D기술을 이용한 체감형 교육/과학 콘텐츠 등
< 기대효과 >
o 정부의 국정 비전에 부합
① (국민행복) 첨단 ICT 제공으로 “함께하는 즐거운 삶”을 실현 등 “국민행복” 실현 기여
② (기업 활성화) First mover형 Join&Joy 원천 기술 개발/보급을 통한 중소기업의 강소화 견인
③ (일자리)Join&Joy형 신 콘텐츠 생태계 출현 ⇨ ICT 기술 및 서비스 분야에서의 일자리 창출
* Join&Joy의 핵심이 되는 가상현실 기술 경우 국내 시장은 ‘07년 1,763백만 불에서 ’12년 4,033백만 불로 성장했으며, 향후 연평균 약 18%의 괄목한 성장이 예상
o 글로벌 시장 진출 ‐ 도심형 디지털 테마파크로 국민의 여가 활용 접근성을 높이는 한편, 동일 기술/제품을 대규모 복합문화시설이 확산되고 있는 해외 시장으로 글로벌 진출 모색
o 가상 스튜디오, 스포츠 체험, 원격 화상회의 등 다자 참여형 공간을 기반으로 하는 광범위한 실감 경험 교류형 콘텐츠 분야에서의 글로벌 대형 신 시장 창출
o 가족 단위의 경험을 공유할 수 있는 새로운 테마파크형 가상공간 제공을 통한 대중의 콘텐츠 소비욕구 충족 및 차세대 도심형 디지털 테마파크 신 시장 창출
- 테마파크 세계시장은 연평균 3.8% 성장 중이며 '17년 31.8억 달러 규모로 예상됨. 디지털 테마파크 신규시장은 이중 9%인 '17년 2.86억 달러로 추정 (※출처: Global Industry Analysts, Inc. '12)
(출처 : 요약문 7p)
목차 Contents
- 표지 ... 1
- 제 출 문 ... 3
- 보고서 요약서 ... 5
- 요약문 ... 7
- 목차 ... 49
- 1. 연구개발과제의 개요 ... 51
- 가. 기술개발의 개요 ... 51
- 나. 기술개발 대상의 국내외 현황 ... 52
- 다. 국내·외 지식재산권 현황 ... 69
- 2. 연구 수행 내용 및 성과 ... 75
- 가. 기술개발의 최종목표 ... 75
- 나. 1차년도 연구개발 내용 및 성과 ... 77
- 다. 2차년도 연구개발 내용 및 성과 ... 104
- 라. 3차년도 연구개발 내용 및 성과 ... 137
- 마. 4차년도 연구개발 내용 및 성과 ... 207
- 3. 목표 달성도 및 관련 분야 기여도 ... 265
- 가. 정량적 목표 달성도 및 현황 ... 265
- 나. 평가항목별 목표 달성도 및 현황 ... 279
- 다. 목표 미달성 사유 및 차후대책 ... 285
- 4. 연구개발성과의 활용 계획 ... 287
- 가. 기술개발의 중요성 및 의의 ... 287
- 나. 관련분야 기여도 ... 288
- 다. 기술개발 결과의 활용방안 ... 291
- 붙임1. 자체 보안관리 진단표 ... 293
- 붙임2. 연구실 안전조치 이행표 ... 294
- 끝페이지 ... 294
※ AI-Helper는 부적절한 답변을 할 수 있습니다.