[논문]360도 파노라마 영상 기반 대화형 가상현실 서비스 구축

강병길; 유석호; 이완복

doi:10.14400/jdc.2017.15.11.463

360도 파노라마 영상 기반 대화형 가상현실 서비스 구축
Development of an Interactive Virtual Reality Service based on 360 degree VR Image 원문보기

디지털융복합연구 = Journal of digital convergence, v.15 no.11, 2017년, pp.463 - 470

강병길 (공주대학교 게임디자인학과) , 유석호 (공주대학교 게임디자인학과) , 이완복 (공주대학교 게임디자인학과)

초록
AI-Helper

VR 영상을 활용한 가상현실 콘텐츠는 제작의 용이성과 사용자 편의성으로 인해 주목받고 있으나 상호작용이 결여된 상태이기 때문에 응용 분야와 활용성에 있어서 한계가 있다. 본 연구에서는 이러한 문제점을 극복하고자 360도 파노라마 영상과 게임엔진을 활용하여 상호작용이 가능한 고해상도 VR 서비스를 구축하는 방안을 제시한다. 특히 복잡한 연산이 소요되는 배경 영상은 파노라마 영상으로 미리 렌더링하여 생성한 것이므로 낮은 사양의 단말기에서도 높은 프레임 수를 유지하면서 서비스를 제공할 수 있는 특징이 있으며, 사용자의 시점과 움직임에 반응하여 고해상도의 배경영상을 발췌하여 보여주기 때문에 상당한 몰입감을 구현할 수 있다. 본 제안 방법의 효과성을 보이기 위해 가상 동물원 환경을 VR로 구성하여 보았으며 사용자의 상호작용과 몰입감을 증대시킬 수 있음을 보이기 위해 상호작용 게임을 사례로 보인다.

Abstract ▼ AI-Helper

Currently, virtual reality contents using VR images are spotlighted since they can be easily created and utilized. But because VR images are in a state of lack of interaction, there are limitations in their applications and usability.In order to overcome this problem, we propose a new method in which 360 degree panorama image and game engine are utilized to develop a high resolution of interactive VR service in real time. In particular, since the background image, which is represented by a form of panorama image, is pre-generated through a heavy rendering computation, it can be used to provide a immersive VR service with a relatively small amount of computation in run time on a low performance device. In order to show the effectiveness of our proposed method, an interactive game of a virtual zoo environment was implemented and illustrated showing that it can improve user interaction and immersion experience in a pretty good way.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

현재 VR 시장의 위기와 함께 이를 극복할 수 있을 것으로 기대를 모으는 VR 영상이 단순히 가상세계를 관찰하는 단계에 머물면서 그 한계를 극복하기 위한 다양한 방안이 연구되고 있다. 본 연구는 VR 영상의 기존 장점을 살리면서 상호작용 요소를 추가하는 방안에 대해서 제안하였다. 사용자 플레이어와 서버 기반의 플랫폼을 구축하고 이를 서비스하는 시스템을 구상하였고, 실제로유니티를 이용해서 상호작용 데이터와 VR 영상 콘텐츠를 생성하여 체험이 가능한 플레이어를 구현하였다.
본 연구는 기존의 VR 영상을 그대로 활용하면서 여기에 상호작용이 가능한 데이터를 별도로 추가하는 형태로,기존의 호환성과 장점을 살리고 부족한 상호 작용 요소를 보완하는 방법으로 접근한다.
본 연구는 이러한 VR 영상의 한계를 극복하기 위해서 상호작용 요소를 접목한 VR 영상 콘텐츠를 개발하고, 이를 제공하는 플랫폼을 구축하는 것을 목적으로 한다. 이를 위해서 3D 제작 도구인 Unity 3D를 이용하여 360도 VR 영상 콘텐츠를 제작하고 상호작용에 필요한 3차원 공간정보, 객체 정보, 상호작용 스크립트를 데이터화 하여 사용자의 플레이어에서 재생하는 플랫폼을 설계한다.

제안 방법

동물원을 가상으로 체험하는 시나리오를 진행하였다. 상호 작용 요소로 체험자가 물방울을 동물들에게 발사하도록 하며, 맞출 경우 하트 아이콘이 생기면서 체험이 종료된 후 맞춘 하트의 개수를 표시하도록 하였다.
본 연구는 VR 영상의 기존 장점을 살리면서 상호작용 요소를 추가하는 방안에 대해서 제안하였다. 사용자 플레이어와 서버 기반의 플랫폼을 구축하고 이를 서비스하는 시스템을 구상하였고, 실제로유니티를 이용해서 상호작용 데이터와 VR 영상 콘텐츠를 생성하여 체험이 가능한 플레이어를 구현하였다.
동물원을 가상으로 체험하는 시나리오를 진행하였다. 상호 작용 요소로 체험자가 물방울을 동물들에게 발사하도록 하며, 맞출 경우 하트 아이콘이 생기면서 체험이 종료된 후 맞춘 하트의 개수를 표시하도록 하였다. 단순히 동물을 감상하는 것뿐만 아니라 사용자의 액션이 반영되어 결과가 표시된다.
영상 제작은 유니티 엔진(Unity 3D)으로 진행하였다. 계획된 3차원 공간을 구축하고 상호작용하는 객체를 배치한다.
사용자는 VR 영상의 흐름을 자동으로 따라야 한다. 이를 보완하는 방안으로, VR 영상에 각 상황에 맞는 영상을 모두 포함하고, 플레이어에서 상호작용에 따라 해당 시간으로 순간 이동시키는 방법을 고안하였다. 또한, 사용자의 선택을 입력받기 위해서 영상을 멈추지 않고, 영상을 예약된 구간을 반복 재생한다.
본 연구는 이러한 VR 영상의 한계를 극복하기 위해서 상호작용 요소를 접목한 VR 영상 콘텐츠를 개발하고, 이를 제공하는 플랫폼을 구축하는 것을 목적으로 한다. 이를 위해서 3D 제작 도구인 Unity 3D를 이용하여 360도 VR 영상 콘텐츠를 제작하고 상호작용에 필요한 3차원 공간정보, 객체 정보, 상호작용 스크립트를 데이터화 하여 사용자의 플레이어에서 재생하는 플랫폼을 설계한다.
이후 데이터 서버로부터 VR 영상에 맞는 고유의 상호작용 데이터를 내려받으며, 데이터를 통해서 내부적으로 3차원 공간을 구축하고, 상호작용에 필요한 객체의 3차원 위치를 계산한다.

대상 데이터

본 연구에서 사용하는 상호작용 데이터는 [Fig. 2]에서 보이는 바와 같이 크게 3차원 공간 정보, 3차원 객체의 위치정보, 상호작용 이벤트 정보로 구성 된다. 상호작용 데이터의 특징은 다음과 같다.
[Table 1]는 상호작용 요소가 적용된 VR 영상을 재생하였을 경우 보이는 프레임 속도와 실시간으로 3D 렌더링 과정을 거쳐 영상을 재생하는 기존 방식의 프레임 속도를 비교 실험한 결과이다. 실험에 사용한 단말기는 삼성 갤럭시 S5이고, 데이터 수집은 10초 간격으로 이루어졌다. 3D Rendering 방식은 모바일 기기의 GPU가 실시간적으로 렌더링을 진행하고 있으며 평균적으로 20프레임 수준을 나타냈지만, 본 연구에서 제안한 방법을 적용한 경우 평균 48프레임의 성능을 보인다.
영상은 2K 해상도인 2048 × 1024와 모노영상(Equidistant Mono) 기준으로 제작되었다.

이론/모형

영상제작에 사용된 데이터를 유니티의 Asset Bundle 기법을 이용해서 상호작용 정보를 데이터화 한다. 플레이어에서 런타임(Runtime)시 데이터를 로딩하고 영상과 함께 동기화하여 재생 한다.

성능/효과

실험에 사용한 단말기는 삼성 갤럭시 S5이고, 데이터 수집은 10초 간격으로 이루어졌다. 3D Rendering 방식은 모바일 기기의 GPU가 실시간적으로 렌더링을 진행하고 있으며 평균적으로 20프레임 수준을 나타냈지만, 본 연구에서 제안한 방법을 적용한 경우 평균 48프레임의 성능을 보인다.
이 정보는 VR 영상이 재생되는 시간과 같아야 한다. 셋째, 상호작용 이벤트 정보는 사용자 플레이어에서 VR 영상 재생시간에 맞춰 동기화되어 실시간으로 처리된다.

후속연구

현재의 VR 산업은 VR 컨텐츠의 대중화에 초점을 맞추어야 할 것이며, 이런 대중화의 걸림돌을 해결하는 연구가 어느 때보다 절실한 시점이다[16]. 그러한 의미로 상호작용이 가능한 VR 영상 컨테츠 개발과 그 플랫폼 구축은 의미 있는 대안이 될 수 있을 것으로 기대한다.
두 번째 제한 사항으로는 스트리밍을 통한 VR 영상 재생은 버퍼링과 같은 지연이 발생할 수 있으며, 상호작용을 위해 구축된 데이터는 이러한 VR 영상의 재생과 동기화를 이루는 방안이 필요하다.
또한, 상호작용을 위한 방안으로 VR 영상과 같은 3차원 공간과 오브젝트 정보를 구축하고 실시간으로 적용하는 방안을 제안하였는데 3D 렌더링을 이용하는 기존 방식과 상호작용이 적용된 VR 영상을 비교하였을 때 2배 이상의 성능 향상이 발생하는 것을 확인할 수 있었으며,일반 VR 영상과 달리 상호작용 요소가 접목된 보다 개선된 VR 영상을 제작할 수 있기 때문에 VR 시장의 대중화에 한층 기여할 수 있을 것으로 기대된다.
본 연구에서는 3차원 모델 데이터를 영상화하여 작업하기 때문에 상호작용을 위한 3차원 정보를 확보하는 것이 비교적 수월하다. 추후 실사의 영상으로부터 3차원 정보를 확보하기 위해서는 이러한 3차원 공간으로 변환하는 별도의 단계를 추가하고 3차원 정보를 확보하는 앞서 살펴본 선행 연구의 적용을 고려할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	VR 시장의 부정적인 전망의 원인은?	이러한 VR 시장의 부정적인 전망의 원인 중 하나로 사용자가 즐길 수 있는 콘텐츠의 부족 현상이 지목되고 있으며, 이러한 현상이 장기화 될수록 VR 시장은 제대로 피지도 못하고, '3D 콘텐츠' 전철을 밟지 않을까 하는 우려를 낳고 있다. 이 때문에 초기 VR 시장 단계에서 부족한 콘텐츠를 만회하는 방안으로 비교적 제작과 보급이 쉬운 VR 영상이 주목을 받고 있으며 모바일을 중심으로 그 시장이 빠르게 형성되고 있다.
	VR 영상의 한계는?	이 때문에 초기 VR 시장 단계에서 부족한 콘텐츠를 만회하는 방안으로 비교적 제작과 보급이 쉬운 VR 영상이 주목을 받고 있으며 모바일을 중심으로 그 시장이 빠르게 형성되고 있다. 그러나 VR 영상은 VR 콘텐츠 에서 중요시되는 '상호작용' 요소가 존재하지 않아 단순히 가상 세계를 관찰하는 데 그치고 있다. 결과적으로 단순히 VR 영상을 감상하는 수준으로는 이러한 VR 콘텐츠 생태계의 활성화에 한계가 발생한다[3,4,15]
	매칭 모듈을 이용한 이동 객체와 VR 영상의 동기화 연구의 활용은?	매칭 모듈을 이용한 이동 객체와 VR 영상의 동기화 연구는 VR 시스템에 어트랙션을 적용하고 VR 영상과 이동하는 객체의 움직임을 동기화하여 지연시간을 최소화하는 방법을 제안하였다[6]. 이는 상호작용 요소를 접목하는 직접적인 제안은 아니지만, 객체의 동기화의 방안을 통해 상호작용을 적용하기 위한 주요 기능으로 활용될 수 있다.

참고문헌 (16)

Chang-Hoon Kang, "Flow of next generation broadcast video, Present and Future of VR contents", The Korea Contents Association Review, Vol. 14, No. 2, pp. 14-18, 2016.
Mansik Kim, Jungho Kang and Moon-seong Jun, "Market and Technical Trends of VR Technologies", The Korea Contents Association Review, Vol. 14, No. 4, pp. 14-16, 2016.
Jeong, Woo-Jeong, Cho, Joung-Hyung and Kim. Myung-Soo, "A study of VR contents problem associated with VR market change : Focusing on the mobile VR game contents", KSDS Conference Proceeding, , pp. 200-201, 2016.
Lang-Goo Lee, Jean-Hun Chung. "A Study on Visual and Auditory Inducement of VR Image Contents and the Inducement Components of for Immersion Improvement", Journal of Digital Convergence, Vol. 14, No. 11, pp. 495-500, 2016.
Kim Joo-yong, "360-degree Image and VR Design", pp. 9-10, CommunicationBooks, 2017.
Hyoun-Sup Lee, Eun-Jae You and Jin-deog Kim, "Synchronization of Moving objects and VR images", Journal of the Korea Institute of Information and Communication Engineering, Vol. 21, No. 7, pp. 1435-1440, 2017.
Kwang Soo Kim, Yong-hwan Lee, "Comparison and Usage Analysis of 360 Degree VR Video Rigs", The Society of Modern Photography & Video, Vol. 19, No. 1, pp. 87-106, 2016.
Keun Hyoung Lee, Soung Hun Han, Ki Sung Jeong, Min Gyu Kim, Ji Won Lee, Seo Won Jung and Jin Mo Kim, "3D Interactive Virtual Reality Contents Production Pipeline based on Photographic Image", Korea HCI Conference, , pp. 357-363, 2016.
Hyoun-Sup Lee, Eun-Jae You and Jin-deog Kim, "Synchronization of Moving objects and VR images", Journal of the Korea Institute of Information and Communication Engineering, Vol. 21, No. 7, pp. 1435-1440, 2017.
Tae-june Kim, Eun-young Chang, Nam-ho Hur, Jin-woong Kim and Ji-sang Yoo, "Virtual Viewpoint Image Synthesis Algorithm using Multi-view Geometry", The Journal of Korean Institute of Communications and Information Sciences, Vol. 34, No. 12, pp. 1154-1166, 2009.
Choe, Yeong-Seon, Lee, Ho-Dong, Park, Min-Chul and Park, Gwi-Tae, "Design of Interactive 3D Calculator for Produce 3D Contents", Korean Broadcast Media Engineering Conference, , pp. 325-326, 2011.
Lee, Sang-Ha and Yoo, Jisang, "Development on Multi-view synthesis system for producing 3D image", Korean Broadcast Media Engineering Conference, , pp. 89-91, 2016.
Yun-Suk Kang and Yo-Sung Ho, "Generation of High-resolution Disparity Map using Multiple Cameras and Low-resolution Depth Camera", Proceedings of Symposium of the Korean Institute of communications and Information Sciences, , pp. 287-288, 2012.
Yo-Sung Ho, "Development of 3D Video Processing Techniques", Communications of the Korean Institute of Information Scientists and Engineers, Vol. 29, No. 12, pp. 9-16, 2011.
http://v.media.daum.net/v/20170904181518376 Accessed on 20 Jun 2017.
Seung Jo Han, Sun-Uk Kim, Kyo-Chan Koo, Kyun-Joo Lee, Min-Su Cho. "Effects of Virtual Reality Images on Body Stability : Focused on Hand Stability", Journal of Digital Convergence, Vol. 15, No. 8, pp. 391-400, 2017.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증