This paper proposes how to develop a multi-sensory virtual reality system based on realistic media that can improve the sense of immersion and reality experienced by the user. We suggest four types of multi-sensory virtual reality system; a realistic media experience system which provides sensory ex...
This paper proposes how to develop a multi-sensory virtual reality system based on realistic media that can improve the sense of immersion and reality experienced by the user. We suggest four types of multi-sensory virtual reality system; a realistic media experience system which provides sensory experiences to user by interlocking the media file with the sensory informations and reproducing the sensory information suitable for the scene, a real image-based panorama experience system which maximizes the sense of reality, an experience ball system in which users engage themselves into the system environment to lead the story and immersion of the content through interaction with the system, and a cultural heritage experience system based on hand movement recognition. The suggested systems can be applied in a various area such as education, advertisement, culture and arts, performance, exhibition, sports, game, 4D Experience Center, and so on. We supposed that it can contribute to create a variety of sensible contents services in the realistic media industry through the convergence of media, contents, and devices.
This paper proposes how to develop a multi-sensory virtual reality system based on realistic media that can improve the sense of immersion and reality experienced by the user. We suggest four types of multi-sensory virtual reality system; a realistic media experience system which provides sensory experiences to user by interlocking the media file with the sensory informations and reproducing the sensory information suitable for the scene, a real image-based panorama experience system which maximizes the sense of reality, an experience ball system in which users engage themselves into the system environment to lead the story and immersion of the content through interaction with the system, and a cultural heritage experience system based on hand movement recognition. The suggested systems can be applied in a various area such as education, advertisement, culture and arts, performance, exhibition, sports, game, 4D Experience Center, and so on. We supposed that it can contribute to create a variety of sensible contents services in the realistic media industry through the convergence of media, contents, and devices.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
실감미디어 기반의 다감각 가상 체감시스템은 체험 상황에 맞는 인터페이스와 체감 장치, 고품질 영상 등의 적절한 배치와 연계가 몰입감을 높이는데 큰 영향을 미친다. 본 논문에서는 사용자에게 감각체험을 통해 몰입감 및 현장감을 향상시키면서 비용 및 기술 복잡도는 줄일 수 있는 다양한 다감각 가상 체감시스템 개발 방법을 제안하였다.
다양한 디스플레이 장치와 청각, 촉각 등의 감각을 자극할 수 있는 바람, 물, 번개, 진동 등과 같은 체감 효과, 몰입감을 높일 수 있는 인터페이스의 설계 및 제작 등이 체험 콘텐츠와 긴밀하게 연동될 때 사용자들의 만족도가 높아질 수 있다. 본 논문에서는 시각, 청각, 촉각 등의 사용자의 다감각 콘텐츠 제작 기술과 사용자의 체험을 극대화시키기 위한 상호작용 인터페이스 기술, 체험을 위한 하드웨어 플랫폼 등의 설계를 통해 임장감과 현실감을 극대화시킬 수 있는 체감 시스템을 개발하였다.
본 논문은 시각, 후각, 촉각 등 사용자의 감각 자극을 극대화할 수 있는 다감각 정보를 제공하여 더욱 현장감, 몰입감 있는 실감미디어 가상 체감시스템을 위한 기술과 체험형 콘텐츠를 개발하는데 목적이 있다. 본 논문의 내용은 다음과 같이 구성된다.
제안 방법
손동작 인식 기반의 문화유산 체험시스템은 오큘러스 리프트(Oculus Rift)와 손동작 인식 기술인 립모션(Leap Motion)을 이용하여 미륵사지 역사유적을 실감 체험할 수 있도록 제작하였다. Fig. 11과 같이 미륵사를 3D 그래픽으로 복원하고, 립모션을 이용하여 회전, 전진, 정지 등의 쉽고 간단한 손동작 제스처별 명령을 구현하여 문화해설사의 음성과 함께 오큘러스를 통해 둘러볼 수 있도록 하였다. 또한 미륵사지 석탑 또는 목탑을 사용자가 쌓아 올려 완성 시킬 수는 체험형 콘텐츠 구현을 위해 Fig.
미디어 파일 내에 차량이나 건물이 폭발하는 장면이 포함된 경우에 제어 신호는 차량과 건물이 폭발하는 순간에 체감시스템이 소리 또는 진동을 발생하도록 한다. Fig. 5와 같이 체감 효과 연동 소프트웨어를 개발하여 영상과 동기화된 제어 신호를 제작하였고, 셋톱박스에서 출력하는 제어 정보에 따라서 영상의 내용에 부합하는 소리, 진동, 바람, 번개, 미스트(Mist) 등의 특수 환경 장비를 통해 시청자에게 입체감 및 현장감을 제공하였다.
9는 체험볼 시스템의 전체 구성도를 나타낸 것이다. 깊이(Depth) 카메라 기반의 사용자 모션 트래킹(Motion Tracking) 기술과 가속도, 자이로센서, 롤링 센서를 이용한 체험볼 움직임 분석 및 볼 궤적 추적 기술, 바람, 조명, 진동의 실감 재현장치 보드 설계 및 MPEG-V 메타데이터를 이용한 재현장치 제어 기술 등이 사용 되어 구현하였다. 이 시스템에서 운용되는 체험형 게임 콘텐츠는 Fig.
11과 같이 미륵사를 3D 그래픽으로 복원하고, 립모션을 이용하여 회전, 전진, 정지 등의 쉽고 간단한 손동작 제스처별 명령을 구현하여 문화해설사의 음성과 함께 오큘러스를 통해 둘러볼 수 있도록 하였다. 또한 미륵사지 석탑 또는 목탑을 사용자가 쌓아 올려 완성 시킬 수는 체험형 콘텐츠 구현을 위해 Fig. 12와 같이 분리되어 있는 건물이나 탑의 각 부분을 손으로 쥐고 들어올려 맞춰야할 부분으로 가져다 놓는 손동작 제스처를 구현하였다. 가상세계에서의 공간 지각력과 손동작의 정확성에 따라 탑 쌓기 완성에 걸리는 시간이 차이가 많아, 문화유산 체험을 위한 교육용 뿐 아니라, 손/손가락 운동 감각 및 운동 정확도 향상을 위한 고위험군 직무 훈련 및 장애우 직업 가상 훈련 분야도 활용 가능할 것으로 기대된다.
동신대학교 DCRC에서는 가상 수중 환경에 대한 체감형 콘텐츠와 시스템을 개발하여 사용자의 몰입감을 증대시키기 위해 하드웨어 장치들과 해양 콘텐츠를 연계하기 위한 양방향 인터페이스 기술과 해저환경의 물리적 현상에 따라 다감각 효과를 제공할 수 있는 가상 해저체험 시뮬레이션 시스템을 개발하였다. 또한 스킨스쿠버 체감 시뮬레이터를 가상 수중환경과 연동시킴으로써 수중에 직접 들어가지 않고도 스킨스쿠버를 체험해 볼 수 있는 체감형 콘텐츠를 개발하였다[14, 15].
3에서 보여지듯 AFS 기반의 스포테인먼트 실감체험 플랫폼은 스키, 스키점프 경기장의 실제 환경 정보를 수집하고 선수의 정확한 동작 데이터를 획득하여 플랫폼을 통해 재현함으로써 현장 상황에 대한 사실적인 실감체험을 할 수 있도록 하였다. 사용자가 실제 스키 슬로프에서 타는 듯 한 느낌을 주기 위해 사용자 의지에 따라 Roll 축 모션 생성부를 기반으로 양발을 독립적으로 움직여 좌우 가속과 전후 가속을 제공해줄 수 있는 기구 구조를 설계하였으며, 실세계에서 느껴지는 스키 자세 움직임을 스키 시뮬레이터 상에 반영함으로써 사실감을 높일 수 있었다.
손동작 인식 기반의 문화유산 체험시스템은 오큘러스 리프트(Oculus Rift)와 손동작 인식 기술인 립모션(Leap Motion)을 이용하여 미륵사지 역사유적을 실감 체험할 수 있도록 제작하였다. Fig.
실사 영상 기반의 파노라마 체험 시스템은 8K 파노라마 영상으로 현장감을 극대화하고 새로운 인터랙션 기술을 접목하여 사용자가 콘텐츠를 즐기면서 체험할 수 있도록 하였다. 영상은 Sony F65 촬영 시스템을 이용하여 담양, 낙안민속촌, 순천, 여수의 남도 4개 지역의 아름다운 풍경을 무압축 RAW 데이터로 저장하였다.
깊이(Depth) 카메라 기반의 사용자 모션 트래킹(Motion Tracking) 기술과 가속도, 자이로센서, 롤링 센서를 이용한 체험볼 움직임 분석 및 볼 궤적 추적 기술, 바람, 조명, 진동의 실감 재현장치 보드 설계 및 MPEG-V 메타데이터를 이용한 재현장치 제어 기술 등이 사용 되어 구현하였다. 이 시스템에서 운용되는 체험형 게임 콘텐츠는 Fig. 10처럼 온 몸으로 공을 굴리거나 점프하는 등의 사용자 움직임을 적용하여 다양한 스토리텔링과 결합할 수 있고, 공룡, 거북이 알, 펭귄 등의 캐릭터들과 장르별 게임 플레이 방식에 따라 응용될 수 있으며, 꽃밭을 지나면 꽃향기가 나는 등향기 분사장치도 적용하였다.
콘텐츠 연동형 체감시스템은 인터넷을 통해 다운로드하거나 스트리밍되는 영화 또는 게임 등의 콘텐츠와 연동하여 시청자가 착석한 의자를 움직이거나 바람, 물, 번개, 진동 등의 특수 효과를 제공하여 현장 감을 향상시킨다. 이 시스템은 인터넷을 통해 영상 서버와 제어 서버로부터 미디어 파일과 제어 정보를 획득하는 수신부, 미디어 파일을 디코딩하여 각 가정에 설치된 TV와 같은 디스플레이 장치로 전송하는 영상 출력부, 제어 정보를 디코딩하여 생성된 제어 신호를 체감시스템으로 전송하는 제어 정보 출력부로 구성된 셋톱박스(STB)로 구현하였다. Fig.
대상 데이터
영상은 Sony F65 촬영 시스템을 이용하여 담양, 낙안민속촌, 순천, 여수의 남도 4개 지역의 아름다운 풍경을 무압축 RAW 데이터로 저장하였다. 레일 시스템(Rail System)과 지미집 (Jimmy Jib)을 이용하여 사용자가 아름다운 남도의 풍경을 실제 현장에서 걷고 둘러보는 것과 같은 체험을 할 수 있도록 영상을 획득하였다. 영상은 비디오월 모니터를 이용하여 대형 화면으로 디스플레이 될수 있게 하였으며, 야외의 현장감을 향상시키기 위해 멀티 레이저 센서를 이용하여 사용자 인식 및 움직임을 트래킹하고 파노라마 영상기반의 실시간 렌더링 방식으로 실제 현장을 산책하고 있는 것과 같은 현장 감을 제공한다.
실사 영상 기반의 파노라마 체험 시스템은 8K 파노라마 영상으로 현장감을 극대화하고 새로운 인터랙션 기술을 접목하여 사용자가 콘텐츠를 즐기면서 체험할 수 있도록 하였다. 영상은 Sony F65 촬영 시스템을 이용하여 담양, 낙안민속촌, 순천, 여수의 남도 4개 지역의 아름다운 풍경을 무압축 RAW 데이터로 저장하였다. 레일 시스템(Rail System)과 지미집 (Jimmy Jib)을 이용하여 사용자가 아름다운 남도의 풍경을 실제 현장에서 걷고 둘러보는 것과 같은 체험을 할 수 있도록 영상을 획득하였다.
성능/효과
실감 체험형 체험볼 시스템은 사용자가 직접 스토리텔링에 참여하며 체험기기와의 상호작용을 통해 콘텐츠에 몰입할 수 있는 새로운 체험 기반의 게임콘텐츠로서, 게임과 놀이(체험)를 접목하여 몸을 움직이며 테마에 몰입될 수 있어 헬스 케어 분야에 활용가능성이 매우 높을 것으로 기대된다. 또한 문화유산 체험 시스템은 HMD와 립모션과 같은 비교적 간단한 기술에 손동작 인식의 정밀도 향상, 국내의 문화유산의 콘텐츠화, 탑쌓기 등과 같은 적극적인 체험 콘텐츠를 접목함으로써 다양한 체험을 가능하게 할 수 있었다.
파노라마 체험에서 지역 정보 전달, 체험 지역 변경 등 다양한 사용자 인터랙션을 위해 투명 터치 키오스크(Transparent Touch Kiosk)를 제작하여, 파노라마 체험 메뉴 선택뿐 아니라 사운드를 선택하고 믹싱하면 미디어 아트로 재생되는 미디어아트 체험 콘텐츠에도 활용할 수 있게 하였다. Fig.
후속연구
12와 같이 분리되어 있는 건물이나 탑의 각 부분을 손으로 쥐고 들어올려 맞춰야할 부분으로 가져다 놓는 손동작 제스처를 구현하였다. 가상세계에서의 공간 지각력과 손동작의 정확성에 따라 탑 쌓기 완성에 걸리는 시간이 차이가 많아, 문화유산 체험을 위한 교육용 뿐 아니라, 손/손가락 운동 감각 및 운동 정확도 향상을 위한 고위험군 직무 훈련 및 장애우 직업 가상 훈련 분야도 활용 가능할 것으로 기대된다.
실사 영상 기반의 파노라마 체험시스템은 아름다운 남도 풍경의 8K 파노라마 영상과 멀티 레이저 센서, 투명 키오스크를 이용하여 야외의 현장 몰입감을 극대화시킬 수 있으며, 대형 디스플레이의 효과를 극대화할 수 있는 미디어아트 콘텐츠로 야외 광고, 제품 쇼케이스 등에 매우 효과적일 것이다. 실감 체험형 체험볼 시스템은 사용자가 직접 스토리텔링에 참여하며 체험기기와의 상호작용을 통해 콘텐츠에 몰입할 수 있는 새로운 체험 기반의 게임콘텐츠로서, 게임과 놀이(체험)를 접목하여 몸을 움직이며 테마에 몰입될 수 있어 헬스 케어 분야에 활용가능성이 매우 높을 것으로 기대된다. 또한 문화유산 체험 시스템은 HMD와 립모션과 같은 비교적 간단한 기술에 손동작 인식의 정밀도 향상, 국내의 문화유산의 콘텐츠화, 탑쌓기 등과 같은 적극적인 체험 콘텐츠를 접목함으로써 다양한 체험을 가능하게 할 수 있었다.
향후 실제 사용자 환경에서 발생하는 다양한 감각적 요소에 관한 세부적인 분석을 통하여 실감미디어 콘텐츠와 연동시키는 연구와 좀 더 사실적인 감각 자극을 제공할 수 있는 감각 효과 인터페이스 및 디바이스 개발에 대한 연구가 진행되어야 할 것이다. 개발된 시스템을 통합하고 다양한 환경이나 디바이스에서도 운영될 수 있는 실감미디어 저작도구를 개발 또한 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
체감시스템 이용시 사용자들의 만족도를 높이기 위한 조건은 무엇입니까?
다양한 디스플레이 장치와 청각, 촉각 등의 감각을 자극할 수 있는 바람, 물, 번개, 진동 등과 같은 체감 효과, 몰입감을 높일 수 있는 인터페이스의 설계 및 제작 등이 체험 콘텐츠와 긴밀하게 연동될 때사용자들의 만족도가 높아질 수 있다. 본 논문에서는 시각, 청각, 촉각 등의 사용자의 다감각 콘텐츠 제작 기술과 사용자의 체험을 극대화시키기 위한 상호작용 인터페이스 기술, 체험을 위한 하드웨어 플랫폼 등의 설계를 통해 임장감과 현실감을 극대화시킬 수있는 체감 시스템을 개발하였다.
실감미디어란 무엇입니까?
실감미디어는 현재 사용하는 미디어보다 월등히 나은 표현력과 선명함, 현실감을 제공하여 방송, 영화, 게임 등 엔터테인먼트 분야뿐만 아니라 CG, 디스 플레이, 증강현실, 각종 산업 응용 등 다양한 분야에서 활용이 가능한 차세대 스마트 미디어이다[5,6]. “현장에서 느끼는 모든 것을 소비자에게 있는 그대로 생생하게 전달하는 것”, “완벽한 실감 전달”을 실감미디어 서비스의 최종적인 목표로 고품질의 시각, 청각, 후각, 촉감 정보 등 다감각 정보의 생성, 처리, 저장, 변환, 전송, 재현 및 서비스 등에 관한 기술, 또한 방송통신, 플랫폼, 인터페이스(UX/UI) 장비 등하드웨어 기술과 영화, 게임, 가상현실, 증강현실, 혼합현실, 고품질 파노라마, 실감콘텐츠 제작/재현 등소프트웨어 기술, 대용량 데이터의 압축 기술, 콘텐츠 보호/보안기술, 플랫폼 미들웨어 기술 및 관련 제품과 미디어에 대한 품질인증 기술 등을 포괄하고 있다[7,8].
실감미디어 서비스 기술과 관련한 표준화 작업은 어디에서 진행되고 있습니까?
실감미디어 서비스 기술과 관련한 표준화 작업은 MPEG에서 이루어지고 있다. MPEG은멀티미어와 관련된 다양한 기술 분야에 대해 표준화를 진행하고 있으며, 실감미디어 서비스 기술과 관련 해서는 MPEG-V, MPEG-M, MPEG-A, MPEG-U 워킹그룹에서 이루어지고 있다. MPEG-V는 가상세계와 가상세계, 가상세계와 실세계간의 인터페이스 규격을 정의하고 있으며 아키텍처, 실감효과 메타데이터, 실감효과 디바이스 속성정보 등 7개의 파트로 구성하여 진행하고 있다.
참고문헌 (15)
S.K. Oh, "Recent Trends and Prospects of Smart Industry," Weekly Technology Trends of National IT Industry Promotion Agency, pp. 1-10, 2013.
J.M. Joo, "Appearance of Smart Media and Direction of Broadcasting Communication Regulation System Improvement," Korean Association for Broadcasting & Tele communication Studies, pp. 9-29, 2011.
J.A. Kwon, S.M. Kim, and G.M. Park, "Analysis of Consumer's Adoption Intentions and Prospects of Industry for Immersive Media," Electronic and Telecommunications Trends, Vol. 24, No. 2, pp. 1-8, 2009.
G.T. Hur, "A Study on the Improvement Plan of Smart Realistic Media Industry," Realistic Media Workshop, pp. 53-81, 2012.
G.T. Hur, "Smart Realistic Media Industry," Realistic Media Forum, pp. 59-68, 2013.
RMIA, The Construction of Infrastructure Development Agency for Realistic Media Industry, v.12, 2013.
RMIA, A Plan to Promote Smart Real Media Industry, 2013.
H.C. Lee, B.S. Kim, E.S. Kim, and G.T. Hur, "R&D Trends and Prospects of Next Generation Realistic Media," Open Standards & Internet Association, Vol. 26, No. 4, pp. 28-39, 2012.
B.S. Choi and H.R. Lee, "Trend of SMMD Technology for Realistic Media Service," Institute for Information&Communication Technology Promotion, No. 1326, pp. 27-36, 2007.
J.H. Cho, A Study on Multimedia Application Format for TV-Anytime based Broadcasting Content, Master's Thesis of Information and Communications University, 2006.
S.W. Park, J.T. Kim, J.H. Jang, and E.H. Paik, "Implementation of a Metadata Analyzer based on the Expressive Multisensory System for the Ubiquitous Home Environments," Proceeding of Annual IEEE International Symposium on Consumer Electronics, pp. 50-51, 2008.
K.I. Wang, I.Y. Chen, W.H. Abdulla, and B.C. Wunsche, "3D Virtual Interface for Ubiquitous Intelligent Environments," Proceeding of the 3rd IET International Conference on Intelligent Environments, pp. 24-25, 2007.
Setting Global Standards Among Real and Virtual Worlds, http://www.metaverse1.org (accessed Aug., 10, 2016).
J.H. Youn, G.T. Hur, and I.C. Kang, "A Study On The Development Of Virtual Underwater Environment And Sensory Simulator," Journal of Korea Multimedia Society, Vol. 15, No. 4, pp. 560-568, 2012.
C.M. Kim, J.H. Youn, I.C. Kang, and B.K. Kim, "Development and Assessment of Multi-sensory Effector System to Improve the Realistic of Virtual Underwater Simulation," Journal of Korea Multimedia Society, Vol. 17, No. 1, pp. 104-112, 2014.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.