가상현실에서 효과적인 3차원 영상 연출을 위한 연구 -언리얼 엔진의 영상 제작을 이용한 인터렉티브 쇼트 중심으로- A Study on effective directive technique of 3D animation in Virtual Reality -Focus on Interactive short using 3D Animation making of Unreal Engine-원문보기
360도 가상현실은 오래전부터 상용되고 있던 기술이었으나 HMD(Head Mounted Display)와 같은 기기의 발전과 가상현실의 영상을 제어하고 실행시키는 하드웨어의 발전으로 최근에 가상현실의 제작이 전 세계적으로 활발하게 진행되는데 360도 영상의 제작은 기존의 영상제작과는 다른 연출 방식을 요구하고 사용자를 위한 연구가 진행되고 있다. 가상현실 영상은 몰입성, 현재성과 상호작용을 요구하는 플랫폼을 지향하기 때문에 이에 맞는 영상문법이 필요하다. VR에서 사용자는 연출자가 만들어 놓은 세계를 자유롭게 감상할 수 있으며 본인의 관심대상에 집중할 수 있는 장점이 있다. 하지만 이것은 또한 연출자에게 내러티브의 진행과 전달하고자 하는 영상에 집중할 수 있게 하는 장치를 개발하고 설치할 필요성을 요구한다. 연출자에게는 영상을 전달하는 다양한 방법들 가운데 쇼트의 구성을 이용할 수 있는데 본 고에서는 이 쇼트의 구성을 통한 연출기법을 어떻게 효과적으로 360도 가상현실에서 적용시킬 수 있는지에 대해 연구하고자 한다. 현재의 가상현실 연출방식은 기존 영상제작 방식을 많이 따르고 있으며 쇼트구성도 마찬가지이다. 다만 360도 가상현실에서는 전통적인 3인칭 시점의 롱테이크 기법이나 블로킹 기법을 주된 연출구성으로 이용하지만 여전히 쇼트구성의 한계를 느끼고 있다. 또한 사용자가 HMD 트레킹을 이용하여 인터렉티브하게 360도 화면을 시청할 수 있는 반면에 쇼트의 구성과 쇼트의 연결은 기존 영상문법과 마찬가지로 연출자에게 절대적으로 의존하고 있다. 본 연구에서는 이러한 영상문법도 VR 영상의 상호작용의 특징인 사용자가 원하는 시점에 쇼트의 구성과 같은 영상문법을 자유롭게 변경할 수 있는지를 연구하고자 언리얼 엔진이라는 게임 툴을 사용하여 3D 애니메이션을 제작하고 블루프린트(Blueprint)라는 언리얼엔진의 비주얼 스크립팅을 가지고 트리거(Trigger)라는 노드로 조건의 참과 거짓을 구분시키는 장치를 만들어 각각의 상태에 따른 카메라의 위치를 선택하게끔 하여 다양한 쇼트를 만드는 인터렉티브 영상구성을 시도함으로 다양한 연출기법이 개발되고 관련 연구가 진행되어 360도 VR 영상 발전에 도움이 되길 기대한다.
360도 가상현실은 오래전부터 상용되고 있던 기술이었으나 HMD(Head Mounted Display)와 같은 기기의 발전과 가상현실의 영상을 제어하고 실행시키는 하드웨어의 발전으로 최근에 가상현실의 제작이 전 세계적으로 활발하게 진행되는데 360도 영상의 제작은 기존의 영상제작과는 다른 연출 방식을 요구하고 사용자를 위한 연구가 진행되고 있다. 가상현실 영상은 몰입성, 현재성과 상호작용을 요구하는 플랫폼을 지향하기 때문에 이에 맞는 영상문법이 필요하다. VR에서 사용자는 연출자가 만들어 놓은 세계를 자유롭게 감상할 수 있으며 본인의 관심대상에 집중할 수 있는 장점이 있다. 하지만 이것은 또한 연출자에게 내러티브의 진행과 전달하고자 하는 영상에 집중할 수 있게 하는 장치를 개발하고 설치할 필요성을 요구한다. 연출자에게는 영상을 전달하는 다양한 방법들 가운데 쇼트의 구성을 이용할 수 있는데 본 고에서는 이 쇼트의 구성을 통한 연출기법을 어떻게 효과적으로 360도 가상현실에서 적용시킬 수 있는지에 대해 연구하고자 한다. 현재의 가상현실 연출방식은 기존 영상제작 방식을 많이 따르고 있으며 쇼트구성도 마찬가지이다. 다만 360도 가상현실에서는 전통적인 3인칭 시점의 롱테이크 기법이나 블로킹 기법을 주된 연출구성으로 이용하지만 여전히 쇼트구성의 한계를 느끼고 있다. 또한 사용자가 HMD 트레킹을 이용하여 인터렉티브하게 360도 화면을 시청할 수 있는 반면에 쇼트의 구성과 쇼트의 연결은 기존 영상문법과 마찬가지로 연출자에게 절대적으로 의존하고 있다. 본 연구에서는 이러한 영상문법도 VR 영상의 상호작용의 특징인 사용자가 원하는 시점에 쇼트의 구성과 같은 영상문법을 자유롭게 변경할 수 있는지를 연구하고자 언리얼 엔진이라는 게임 툴을 사용하여 3D 애니메이션을 제작하고 블루프린트(Blueprint)라는 언리얼엔진의 비주얼 스크립팅을 가지고 트리거(Trigger)라는 노드로 조건의 참과 거짓을 구분시키는 장치를 만들어 각각의 상태에 따른 카메라의 위치를 선택하게끔 하여 다양한 쇼트를 만드는 인터렉티브 영상구성을 시도함으로 다양한 연출기법이 개발되고 관련 연구가 진행되어 360도 VR 영상 발전에 도움이 되길 기대한다.
360-degree virtual reality has been a technology that has been available for a long time and has been actively promoted worldwide in recent years due to development of devices such as HMD (Head Mounted Display) and development of hardware for controlling and executing images of virtual reality. The ...
360-degree virtual reality has been a technology that has been available for a long time and has been actively promoted worldwide in recent years due to development of devices such as HMD (Head Mounted Display) and development of hardware for controlling and executing images of virtual reality. The production of the 360 degree VR requires a different mode of production than the traditional video production, and the matters to be considered for the user have begun to appear. Since the virtual reality image is aimed at a platform that requires enthusiasm, presence and interaction, it is necessary to have a suitable cinematography. In VR, users can freely enjoy the world created by the director and have the advantage of being able to concentrate on his interests during playing the image. However, the director had to develope and install the device what the observer could concentrate on the narrative progression and images to be delivered. Among the various methods of transmitting images, the director can use the composition of the short. In this paper, we will study how to effectively apply the technique of directing through the composition of this shot to 360 degrees virtual reality. Currently, there are no killer contents that are still dominant in the world, including inside and outside the country. In this situation, the potential of virtual reality is recognized and various images are produced. So the way of production follows the traditional image production method, and the shot composition is the same. However, in the 360 degree virtual reality, the use of the long take or blocking technique of the conventional third person view point is used as the main production configuration, and the limit of the short configuration is felt. In addition, while the viewer can interactively view the 360-degree screen using the HMD tracking, the configuration of the shot and the connection of the shot are absolutely dependent on the director like the existing cinematography. In this study, I tried to study whether the viewer can freely change the cinematography such as the composition of the shot at a user's desired time using the feature of interaction of the VR image. To do this, 3D animation was created using a game tool called Unreal Engine to construct an interactive image. Using visual scripting of Unreal Engine called blueprint, we create a device that distinguishes the true and false condition of a condition with a trigger node, which makes a variety of shorts. Through this, various direction techniques are developed and related research is expected, and it is expected to help the development of 360 degree VR image.
360-degree virtual reality has been a technology that has been available for a long time and has been actively promoted worldwide in recent years due to development of devices such as HMD (Head Mounted Display) and development of hardware for controlling and executing images of virtual reality. The production of the 360 degree VR requires a different mode of production than the traditional video production, and the matters to be considered for the user have begun to appear. Since the virtual reality image is aimed at a platform that requires enthusiasm, presence and interaction, it is necessary to have a suitable cinematography. In VR, users can freely enjoy the world created by the director and have the advantage of being able to concentrate on his interests during playing the image. However, the director had to develope and install the device what the observer could concentrate on the narrative progression and images to be delivered. Among the various methods of transmitting images, the director can use the composition of the short. In this paper, we will study how to effectively apply the technique of directing through the composition of this shot to 360 degrees virtual reality. Currently, there are no killer contents that are still dominant in the world, including inside and outside the country. In this situation, the potential of virtual reality is recognized and various images are produced. So the way of production follows the traditional image production method, and the shot composition is the same. However, in the 360 degree virtual reality, the use of the long take or blocking technique of the conventional third person view point is used as the main production configuration, and the limit of the short configuration is felt. In addition, while the viewer can interactively view the 360-degree screen using the HMD tracking, the configuration of the shot and the connection of the shot are absolutely dependent on the director like the existing cinematography. In this study, I tried to study whether the viewer can freely change the cinematography such as the composition of the shot at a user's desired time using the feature of interaction of the VR image. To do this, 3D animation was created using a game tool called Unreal Engine to construct an interactive image. Using visual scripting of Unreal Engine called blueprint, we create a device that distinguishes the true and false condition of a condition with a trigger node, which makes a variety of shorts. Through this, various direction techniques are developed and related research is expected, and it is expected to help the development of 360 degree VR image.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
360도 VR 영상의 특징 중 하나가 상호작용으로 사용자가 가상공간에서 원하는 장면을 마음대로 볼 수 있다면 쇼트도 사용자의 의도대로 바꿀 수 있는 방법은 없는가에 대한 가능성을 실험 하고자 본 고의 360 VR 제작을 연구하였다.
360도 VR을 위한 프로세싱에서 실사 영상 촬영은 필수적인 360도 특수 카메라와 후반 작업에서 스티칭이 필요한 반면에 3D 디지털 영상 제작에서 3D 툴을 사용할 때는 별도의 360도 카메라의 제작이나 스티칭 작업이 생략되거나 필요할 경우에만 추가 되는 것을 제외하고는 전체 프로세싱의 절차는 비슷하다고 볼 수 있다. 360도 어안 렌즈의 카메라는 3D 툴에서 제공되는 카메라를 가지고 조작할 수 있거나 별도의 플러그인 카메라를 사용할 수 있는데 본 연구에서는 마야(Maya)11)를 사용한 디지털 360도 카메라 구성과 렌더링의 작업과정을 설명 해 보고자 한다. 첫째 카메라의 구성은 입체카메라(stereoscopic camera)를 이용하여 구성할 수 있다.
본 연구는 VR영상에 적합한 모빌리티(Mobility)의 생태계에서 고려해야 할 4가지 요소인 콘텐츠, 플랫폼, 네트워크와 디바이스 중 콘텐츠 분야에 초점을 맞추어 논하고자 한다. VR 영상의 디지털 콘텐츠 제작은 3D 애니메이션 툴(Maya)과 3D 게임엔진 기반의 언리얼 엔진(Unreal Engine)을 이용하여 제작하고 VR의 상호작용이라는 특징이 잘 나타날 수 있는 연출방법에 중점을 두고 연구하고자 한다. 언리얼 엔진을 이용한 영상 제작 형식을 선택한 이유는 360도 VR 영상의 가장 큰 특징 중 하나가 사용자가 영상을 시청하는 가운데 자유롭게 사용자의 초점을 이동할 수 있는 것인데 이러한 인터렉티브한 초점 변화와 더불어 쇼트의 변화도 자유롭게 선택하게 하고자 하는 목적을 충족시키기 위하여 언리얼 엔진의 블루프린트라는 시스템 노드들을 활용해서 제작자가 요구하는 부가적인 효과나 장치를 추가함으로써 본 연구의 목적을 가장 잘 표현할 수 있었기 때문이다.
이 시스템은 노드 기반 인터페이스를 사용하여 게임플레이 요소를 만드는 개념을 토대로 한 비주얼 스크립팅으로 인터렉티브한 게임을 만들 때는 반드시 동반되는 시스템이다24). 그래서 360 VR영상에서 이 시스템을 이용하여 인터렉티브한 영상을 시청할 수 있는 환경을 만들고자 하였다. 목표로 하는 360도 VR 인터렉티브 영상을 만들기 위해서 우선 플로어 차트(Flower Chart)를 만들고 전체적인 개념을 정리할 필요가 있었다.
한 마을에서 갑옷을 입은 사람과 노인이 집 앞에서 대화를 하고 있는 장면과 전체 마을을 설명하는 샷을 촬영한다면 쇼트의 크기나 앵글과 구도, 시점을 번갈아가며 변화를 주어 영상의 콘티뉴어티를 이어가는 것이 이런 영상의 기본적인 영상문법이다. 그러나 보통의 360도 VR 에서 이러한 영상은 카메라를 고정시키고 캐릭터의 블로킹을 통하여 쇼트의 구성에 변화를 주지만 본 영상은 시청자가 자유롭게 보고 싶은 장면으로 머리를 움직여서 구도를 변경하여 볼 수 있게 인터렉티브한 영상 기법을 만들고자 할 때 다음과 같은 영상문법이 가능한지를 알아보고자 하였다.
그럼에도 불구하고 가상현실의 영상을 제작함에 있어서 콘텐츠와 더불어 필요한 효과적인 연출기법을 연구하는 측면에서 볼 때 다양한 연출기법을 고려할 수 있다는 측면과 앞으로 더 발전해야 할 360도 가상현실 영상의 콘텐츠 개발을 위한 효과적인 내러티브를 뒷받침하기 위하여 본 연구가 조금이나마 도움이 되었으면 하는 바람이다.
다음의 표를 통하여 현재 VR 단편 애니메이션의 제작 된 작품 중에서 베스트 애니메이션으로 선정된 작품21)들을 분석함으로써 최근의 VR 애니메이션의 연출기법에 대해서 파악하고자 하였다. 작품들은 오큘러스 스토리 스튜디오의 <헨리>(Henry, 2015)와 바오밥 스튜디오의 <침략>(Invasion, 2016)과 함께 <장미와 나>(The rose and I, 2016)와 <알루메트>(Allumette, 2016)는 Penrose 스튜디오에서 만든 작품이다.
사용자가 마을 전체적인 모습과 환경을 둘러볼 수 있도록 360도 VR 카메라를 마을의 중앙에 위치시키도록 하였다. 또한 다른 360도 카메라는 두 캐릭터의 대화하는 위치와 가까이 설치하여 사용자가 캐릭터의 대화에 관심을 가지면 그 장면으로 쇼트를 변경 할 수 있도록 작업을 하고자 하였다. 카메라는 지면과 수평을 이루도록 하였다.
이는 전통적인 영상문법과 맞지 않는 특성이 있으며 360도 가상현실의 콘티뉴어티를 유지시키는 쇼트의 개발과 연구가 필요하게 되었다. 본 연구는 360도 VR 영상의 프로덕션 제작과정이 전통적인 영상 제작 기법과의 차이를 극복하고 성공적인 영상미학을 통한 킬러 콘텐츠를 제작하는데 도움이 될 수 있는 연출방법 중 상호작용이 가능한 쇼트의 구성을 제안하는데 그 목적이 있다.
본 연구는 VR영상에 적합한 모빌리티(Mobility)의 생태계에서 고려해야 할 4가지 요소인 콘텐츠, 플랫폼, 네트워크와 디바이스 중 콘텐츠 분야에 초점을 맞추어 논하고자 한다. VR 영상의 디지털 콘텐츠 제작은 3D 애니메이션 툴(Maya)과 3D 게임엔진 기반의 언리얼 엔진(Unreal Engine)을 이용하여 제작하고 VR의 상호작용이라는 특징이 잘 나타날 수 있는 연출방법에 중점을 두고 연구하고자 한다.
특히, 360도 영상은 킬러 콘텐츠 개발이라는 큰 과제뿐만 아니라 입체영상이나 기존 영상과는 또 다른 연출기법이 요구되고 있는 것이 현실이다. 본 연구는 여러 방면으로 시도되고 있는 연출기법에 대해서 또 다른 방법의 시도를 제시하고자 하였다. 360도 VR 영상이라는 특징은 몰입성, 현재성과 더불어 상호작용성이라고 할 수 있는데 이것이 충족되어질 때 사용자는 제작자가 만든 가상현실에서 실제인 것처럼 몰입 할 수 있을 것이다.
본 연구를 위한 가상현실을 구현하기 위하여 에픽 게임즈(Epic Games)의 ‘언리얼 엔진’(Unreal Engine)과 오토데스크의 ‘마야’(Maya)를 사용하기로 하였으며, 연출기법은 360도 VR로 만든 작품의 다양한 시야각과 쇼트의 구성을 자율적으로 확보하는 방법을 중점적으로 살펴보고, 이러한 연출을 시도할 때 동반되는 문제점과 한계성에 대해서도 알아보고자 한다.
본 연구에서 시도하고자 하는 연출기법은 쇼트의 다양성을 제작자가 선택하는 것이 아니고 시청자가 어떻게 자유롭게 선택하는 가를 실험하고자 함이다. 애니메이션 영상은 스토리가 중점이 아니며 영상문법을 시도할 수 있는 상황을 묘사하는 영상이다.
언리얼 엔진을 이용한 영상 제작 형식을 선택한 이유는 360도 VR 영상의 가장 큰 특징 중 하나가 사용자가 영상을 시청하는 가운데 자유롭게 사용자의 초점을 이동할 수 있는 것인데 이러한 인터렉티브한 초점 변화와 더불어 쇼트의 변화도 자유롭게 선택하게 하고자 하는 목적을 충족시키기 위하여 언리얼 엔진의 블루프린트라는 시스템 노드들을 활용해서 제작자가 요구하는 부가적인 효과나 장치를 추가함으로써 본 연구의 목적을 가장 잘 표현할 수 있었기 때문이다. 본 연구의 범위는 가상현실에서 효과적인 연출기법을 연구하기 위하여 다양한 연출기법 중 전통적인 평면중심의 쇼트기법과 시야각이 360도 VR과는 근본적인 차이점이 있음을 알고 쇼트의 콘티뉴어티를 구성하는데 많은 제약을 가지고 있는 가상현실의 제작에서 어떠한 방법으로 쇼트를 실현시키고 시야각을 다양화 할 수 있는지에 중점을 두고자 한다. 이를 위해서 3D 디지털 콘텐츠는 게임 에셋의 3D 배경과 캐릭터를 사용하고자 한다.
VR 영상의 디지털 콘텐츠 제작은 3D 애니메이션 툴(Maya)과 3D 게임엔진 기반의 언리얼 엔진(Unreal Engine)을 이용하여 제작하고 VR의 상호작용이라는 특징이 잘 나타날 수 있는 연출방법에 중점을 두고 연구하고자 한다. 언리얼 엔진을 이용한 영상 제작 형식을 선택한 이유는 360도 VR 영상의 가장 큰 특징 중 하나가 사용자가 영상을 시청하는 가운데 자유롭게 사용자의 초점을 이동할 수 있는 것인데 이러한 인터렉티브한 초점 변화와 더불어 쇼트의 변화도 자유롭게 선택하게 하고자 하는 목적을 충족시키기 위하여 언리얼 엔진의 블루프린트라는 시스템 노드들을 활용해서 제작자가 요구하는 부가적인 효과나 장치를 추가함으로써 본 연구의 목적을 가장 잘 표현할 수 있었기 때문이다. 본 연구의 범위는 가상현실에서 효과적인 연출기법을 연구하기 위하여 다양한 연출기법 중 전통적인 평면중심의 쇼트기법과 시야각이 360도 VR과는 근본적인 차이점이 있음을 알고 쇼트의 콘티뉴어티를 구성하는데 많은 제약을 가지고 있는 가상현실의 제작에서 어떠한 방법으로 쇼트를 실현시키고 시야각을 다양화 할 수 있는지에 중점을 두고자 한다.
제안 방법
그러면 HMD 기기의 움직임을 대변하는 카메라가 어떻게 액션 장면의 위치에 있는 트리거를 선택할 수 있는지를 해결하는 방안으로 각각의 카메라 앞에 기다란 큐브(cube)를 만들어서 붙이도록 하였다.
그리고 각각의 카메라가 영상 디스플레이에서 보이기 위해서는 트리거(Trigger)라는 각각의 카메라가 선택되기 위한 조건을 만족시켜주는 장치가 필요하였다. 그리고 이 조건의 선택이 참(True)이거나 거짓(False)일 경우로 구분(Equal Balance와 Branch 노드)하여 영상의 쇼트가 변화(Set Actor Location 노드)를 일으키도록 하였다.
다만 16분이 넘는 의 작품은 기존 영상문법에서 사용하는 페이드인/아웃의 기법이나 영상 안에 또 다른 영상이 보이는 픽쳐 인 픽쳐(picture in picture)기법을 사용하여 7번의 쇼트 구성과 쇼트의 크기에 변환을 주었으며 이 작품 또한 블로킹 기법을 사용함으로써 시청자에게 액션의 대상을 가까이에서 볼 수 있도록 배치하는 연출기법을 이용하였다.
언리얼 엔진의 선택은 게임엔진을 이용한 영상제작은 게임은 상호작용을 가장 잘 지원해준다는 측면에서 적합한 제작 툴이며 또한 최근에는 에픽 게임즈에서 언리얼 엔진을 이용한 애니메이션인 <소년과 연>(A Boy and His Kite, 2015)27)이나 <인베이션>을 선보였을 정도로 게임뿐만 아니라 에니메이션 제작에도 두각을 나타내는 툴이다. 또한 적절하게 360도 VR 영상을 HMD 기기와 연결시켜 제어시킴으로써 쇼트의 변화가 사용자의 HMD 트레킹에 의해서 이루어지는 것을 체험할 수 있게 하였다. 그럼에도 불구하고 VR 영상을 제작하면서 한계점도 발견하게 되었는데 사용자의 몰입성을 유지하기 위해서 방해가 되는 요소들을 줄일 필요가 있었으며, 인터렉티브의 장치를 사용자가 쉽게 인식할 방법에 대한 연구가 더 진행되어야 할 필요가 있었다.
또한 카메라의 위치는 사람의 눈높이에 맞추도록 하였다. 기존 영상에서는 다이내믹한 영상을 추구하기 위해서나 전체 구조를 보여주기 위한 부감 샷을 사용하기도 하지만 VR 영상에서는 이러한 샷은 사용자가 공중에 떠있게 느끼거나 비행을 하고 있다는 착각으로 어지러움이나 불안감을 느끼기에 본 영상에서는 피하도록 하였다.
본 연구에서 사용되는 모델링은 인터렉티브한 영상의 제작을 위해서 언리얼 엔진이라는 게임제작 툴을 사용하고자 하는데 이 툴에서 사용하기에 적합한 폴리곤과 텍스쳐를 위한 모델링을 만들 필요가 있었다. 본 애니메이션 영상에서는 마을을 구성하고 있는 집들과 자연물인 숲을 제작하고 두 개의 캐릭터를 제작하기로 하였다. 모델링은 게임 에셋을 통하여 무료나 유료로 구입할 수 있는 모델링들을 수정하고 제작함으로써 모든 모델링을 제작할 때 필요한 시간을 절약할 수가 있었다.
본 영상 제작에서 카메라 위치의 변화를 통하여 다양한 쇼트의 구성을 만들 수 있는데 그 방법은 트리거와 새로운 카메라를 계속 추가하여 구현할 수 있게 된다. 다만 시점을 3인칭에서 1인칭으로 변환하고자 할 때는 1인칭 시점의 캐릭터 위치에 카메라가 놓이기 때문에 그 캐릭터의 렌더링 이미지가 보일 필요가 없다.
사용자가 마을 전체적인 모습과 환경을 둘러볼 수 있도록 360도 VR 카메라를 마을의 중앙에 위치시키도록 하였다. 또한 다른 360도 카메라는 두 캐릭터의 대화하는 위치와 가까이 설치하여 사용자가 캐릭터의 대화에 관심을 가지면 그 장면으로 쇼트를 변경 할 수 있도록 작업을 하고자 하였다.
작품들의 연출기법은 모두 3인칭시점을 사용하고 시야각의 변화는 없이 360도의 시야각을 가지고 있었다. 쇼트의 구성은 10분미만의 짧은 작품들은 모두 단일 쇼트 구성을 사용하며 쇼트의 크기를 변환시키고자 할 때는 블로킹 기법을 사용하였다. 다만 16분이 넘는 <알루메트>의 작품은 기존 영상문법에서 사용하는 페이드인/아웃의 기법이나 영상 안에 또 다른 영상이 보이는 픽쳐 인 픽쳐(picture in picture)기법을 사용하여 7번의 쇼트 구성과 쇼트의 크기에 변환을 주었으며 이 작품 또한 블로킹 기법을 사용함으로써 시청자에게 액션의 대상을 가까이에서 볼 수 있도록 배치하는 연출기법을 이용하였다.
하지만, 하드웨어의 인터렉티브 기능에 반하여 콘텐츠 제작에서도 인터렉티브의 실현 가능성을 염두에 둘 필요가 있다고 본다. 이를 위해서 본 연구는 영상문법 중 연출기법의 쇼트구성과 같은 측면에서 인터렉티브를 시도하였다. 언리얼 엔진의 선택은 게임엔진을 이용한 영상제작은 게임은 상호작용을 가장 잘 지원해준다는 측면에서 적합한 제작 툴이며 또한 최근에는 에픽 게임즈에서 언리얼 엔진을 이용한 애니메이션인 <소년과 연>(A Boy and His Kite, 2015)27)이나 <인베이션>을 선보였을 정도로 게임뿐만 아니라 에니메이션 제작에도 두각을 나타내는 툴이다.
카메라는 지면과 수평을 이루도록 하였다. 카메라가 하이앵글이거나 로우앵글이면 사용자가 몸이 기울어지거나 가상세계가 기울어지는 것으로 느껴져 불안함이나 불편함을 느낄 수 있음으로 카메라의 위치를 움직이지 않고 고정시키는 것을 기본으로 작업하였다.
또한 다른 360도 카메라는 두 캐릭터의 대화하는 위치와 가까이 설치하여 사용자가 캐릭터의 대화에 관심을 가지면 그 장면으로 쇼트를 변경 할 수 있도록 작업을 하고자 하였다. 카메라는 지면과 수평을 이루도록 하였다. 카메라가 하이앵글이거나 로우앵글이면 사용자가 몸이 기울어지거나 가상세계가 기울어지는 것으로 느껴져 불안함이나 불편함을 느낄 수 있음으로 카메라의 위치를 움직이지 않고 고정시키는 것을 기본으로 작업하였다.
VR 영상에 쓰이는 애니메이션 내용은 집 앞에서 갑옷을 입은 사람(전사)과 노인의 대화가 주된 작업이었다. 캐릭터의 애니메이션은 각각 세 가지 기본 모션을 제작하기로 하였고 캐릭터의 애니메이션은 3D툴(Maya)에서 작업하여 fbx 파일로 저장한 후 언리얼 엔진으로 가져와서 작업을 진행하기로 하였다.
트리거는 어떠한 오브젝트여도 상관은 없었으나 카메라에 가장 가까이에 있는 물체(감자바구니와 손수레)를 사용하기로 하였고 HMD 기기를 통하여 시청자가 각각의 트리거를 보게 되면 자동으로 영상의 쇼트가 변화를 일으키게 하는 방법을 사용하였다. 즉, 기본 화면에서 전체를 둘러보다가 액션이 일어나는 곳에 시선이 머물러 관심이 생겨 트리거를 작동 시키면 그곳으로 쇼트가 넘어가게 되는 구조이다.
대상 데이터
목표로 하는 360도 VR 인터렉티브 영상을 만들기 위해서 우선 플로어 차트(Flower Chart)를 만들고 전체적인 개념을 정리할 필요가 있었다. 이 영상은 오큘러스 리프트와 같이 컴퓨터와 연결되는 HMD 기기를 착용하는 것(Input Action HMD Reset 노드)을 전제로 하여 제작하였고 두 지점의 카메라 위치(VR_Pawn과 VR_Pawn2 노드)를 준비 하였다. 그리고 각각의 카메라가 영상 디스플레이에서 보이기 위해서는 트리거(Trigger)라는 각각의 카메라가 선택되기 위한 조건을 만족시켜주는 장치가 필요하였다.
작품들은 오큘러스 스토리 스튜디오의 (Henry, 2015)와 바오밥 스튜디오의 (Invasion, 2016)과 함께 (The rose and I, 2016)와 (Allumette, 2016)는 Penrose 스튜디오에서 만든 작품이다.
성능/효과
본 애니메이션 영상에서는 마을을 구성하고 있는 집들과 자연물인 숲을 제작하고 두 개의 캐릭터를 제작하기로 하였다. 모델링은 게임 에셋을 통하여 무료나 유료로 구입할 수 있는 모델링들을 수정하고 제작함으로써 모든 모델링을 제작할 때 필요한 시간을 절약할 수가 있었다.
하지만 이 영상을 제작하면서 연구가 더 필요한 부분이 있음도 발견하게 되었다. 첫째, VR 영상 제작에 있어서 사용자가 영상에 몰입하는 것을 방해해서는 안 된다는 것인데 트리거의 위치에 따라서 의도치 않게 영상의 쇼트가 변경되어 시청하는데 방해가 될 수가 있다. 이는 한 공간에 너무 많은 트리거가 존재하거나 트리거의 크기가 너무 크면 머리 회전에 따라 쉽게 트리거에 시야가 노출되면서 영상 장면이 변경되기 때문이다.
후속연구
스티븐 스필버그 감독이 VR이 기존 영화감독의 자리를 위협할 것이라고 말 한 것은 바로 VR 영화에서 감독이 가지고 있는 고유 연출 권한이 관객에게 넘어갈 수 있는 현상을 경고한 것이라고 할 수 있다22). HMD 기기를 통하여 사용자가 연출자가 만들어 놓은 세계를 자율적으로 체험할 수 있고 쇼트의 크기나 구도도 사용자가 자율적으로 쇼트를 구성하여 볼 수 있다면 VR 영상의 특징인 상호작용성을 좀 더 충실히 이행할 수 있고 이는 연출의 다양성이 관객에 의해서 더 활발히 진행될 수 있을 것이다.
또한 적절하게 360도 VR 영상을 HMD 기기와 연결시켜 제어시킴으로써 쇼트의 변화가 사용자의 HMD 트레킹에 의해서 이루어지는 것을 체험할 수 있게 하였다. 그럼에도 불구하고 VR 영상을 제작하면서 한계점도 발견하게 되었는데 사용자의 몰입성을 유지하기 위해서 방해가 되는 요소들을 줄일 필요가 있었으며, 인터렉티브의 장치를 사용자가 쉽게 인식할 방법에 대한 연구가 더 진행되어야 할 필요가 있었다. 마지막으로 이 영상을 시청하기 위해 요구되는 적합한 하드웨어가 필요하다는 측면에서 하드웨어의 제약은 곧 영상을 시청하는 대상에 대한 확장성에 영향을 미치게 된다는 아쉬움이 있었다.
그렇기에 본 연구는 이러한 가상현실 제작의 효율적 연출기법을 실현하기 위하여 쇼트의 구성이나 구도를 HMD를 쓰고 시청하는 가운데 사용자가 자유롭게 카메라의 위치를 선택함으로써 쇼트의 크기가 변환되는 인터렉티브 연출기법을 시도함으로 새로운 360도 가상현실 연출 기법의 연구에 도움을 줄 수 있기를 기대한다.
이는 컷 전환성의 적절성에 문제가 생기게 되면 전체적인 내러티브에도 영향을 미칠 수 있을 것이다. 두 번째는 HMD를 통하여 시청하고 있는 중에 어떤 물체가 트리거인지 분간하기가 쉽지 않다는 한계점이 있었다. 액션이 일어나거나 연출자가 중요하다고 생각하는 곳에 쇼트의 구성을 변경하고자 트리거를 그곳에 위치시켰지만 사용자가 그 트리거를 선택하지 않으면 연출자가 의도한 쇼트의 구성은 일어나지 않게 된다.
본 연구에서 사용되는 모델링은 인터렉티브한 영상의 제작을 위해서 언리얼 엔진이라는 게임제작 툴을 사용하고자 하는데 이 툴에서 사용하기에 적합한 폴리곤과 텍스쳐를 위한 모델링을 만들 필요가 있었다. 본 애니메이션 영상에서는 마을을 구성하고 있는 집들과 자연물인 숲을 제작하고 두 개의 캐릭터를 제작하기로 하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
가상현실은 무엇인가?
가상현실(Virtual Reality)이란 어느 특정한 환경이나 세계를 컴퓨터와 같은 테크놀로지를 사용하여 인위적으로 구성하고 그 현실을 체험함으로써 수용자의 시각, 청각, 후각과 촉각을 자극하여 수용자가 그 가상적 세계에 존재하고 있는 것처럼 몰입시키는 인간과 컴퓨터간의 인터페이스를 말하는 것이다3). 이러한 가상현실의 세계를 구성하기 위해서는 수용자가 느낄 수 있는 모든 감지 기관을 컴퓨터가 제공하는 다감각성(Multi-Sensory)의 특성이 필요하지만 현 기술에서는 시각적, 청각적, 운동적, 촉각적등의 제한적 기능만을 제공하고 있다.
360도 영상은 기존 영상과 달리 어떤 형태의 영역을 촬영하는가?
360도 가상현실(VR)은 몰입형 VR의 대표적인 기술인데 구글에서 2014년 스마트폰을 이용한 ‘구글 카드보드’라는 VR 플랫폼을 출시하면서 360도 VR 동영상 시대를 시작하게 되었고 페이스북도 오큘러스를 인수하면서 본격적으로 시장에 뛰어들게 되었다6). 360도 영상은 기존 영상과는 다른 구(Sphere)형태의 영역을 촬영하게 된다. 이러한 촬영은 실사영상에서는 고프로(GoPro)라는 촬영 장비를 여러 대 연결하여 360도 영상을 촬영하게 된다.
HMD 기기는 반응속도를 0.02초나 그 이하를 유지해야 하는 이유는 무엇인가?
또한 영상의 깜박임을 방지하기 위해서 화면의 주사율이 60Hz 보다 90Hz가 더 이상적일 수 있지만14) 이러한 조합은 하드웨어의 성능이 고려되어져야 한다. 또한 시각능력의 반응속도도 고려해야 할 상황인데 피사체가 빛을 통하여 인간의 망막에 이미지가 맺히고 전기화학적 신호가 시신경을 통해서 뇌의 시각중추로 전달되는 시간이 0.02초(20ms)이다15). 그럼으로써 우리가 고개를 돌리는 운동시간과 시신경을 통해서 이미지를 인식하는 시간이 0.02초의 시간보다 늦어지게 되면 뇌에 멀미를 느끼게 된다. 그래서 HMD 기기는 반응속도를 0.
참고문헌 (18)
김윤정, VR콘텐츠의 멀미유발요인 감소를 위한 연출법 연구, 애니메이션연구, Vol.12, No.2, 2016/06
김경희, R&D정보센터, 가상현실/증강현실 기술/ 시장전망 및 실감형 디지털 콘텐츠 실태분석, 지식산업정보원, 2015
박경수, 글로벌 IT 업체, 차세대 먹거리로 '가상현실'에 주목, CAD&Graphics, BB미디어, 2016/01
유미, 가상현실영화의 개념과 제작 기술 분석, 애니메이션연구 Vol.11, No.5, 2015
이익희, $360^{\circ}$ VR 영상의 시야 확장에 대응한 영상 연출에 대한 연구, 한국과학예술포럼, Vo.25, 2016/09
이종한. 오큘러스 VR (Oculus VR)를 이용한 애니메이션 콘텐츠의 새로운 모색. 만화애니메이션 연구, Vol. 45, 2016
장욱상, 이영권, VR영상 연출 분석, 애니메이션연구, Vol.11, NO.5, 2016
정동훈, 가상현실 콘텐츠, 사용자 최적 경험을 위하여, 방송문화, 한국방송협회, 2016/06
※ AI-Helper는 부적절한 답변을 할 수 있습니다.