본 논문에서는 HMD를 사용해 VR 영화를 보는 관객들의 실재감과 몰입 감을 증강시키기 위한 효과적인 공간 사운드 디자인과 녹음 방식에 대해 실험 연구하였다. 3D VR 단편 영화 ‘The Bus’의 촬영을 통해 한정되고 제한된 공간 안에서 사운드 소스 또는 영상주체의 위치 변화를 통해 인간의 감정(공포심)을 자극하고 실재감을 극대화시킬 수 있는 효과적인 사운드 제작 방식을 찾는 데 초점을 두었다. VR 영상은 촬영 된 카메라의 위치를 중심으로 상하좌우의 모든 시점을 사용자가 원하는 대로 바꿔서 관찰할 수 있어 몰입감 높은 ...
본 논문에서는 HMD를 사용해 VR 영화를 보는 관객들의 실재감과 몰입 감을 증강시키기 위한 효과적인 공간 사운드 디자인과 녹음 방식에 대해 실험 연구하였다. 3D VR 단편 영화 ‘The Bus’의 촬영을 통해 한정되고 제한된 공간 안에서 사운드 소스 또는 영상주체의 위치 변화를 통해 인간의 감정(공포심)을 자극하고 실재감을 극대화시킬 수 있는 효과적인 사운드 제작 방식을 찾는 데 초점을 두었다. VR 영상은 촬영 된 카메라의 위치를 중심으로 상하좌우의 모든 시점을 사용자가 원하는 대로 바꿔서 관찰할 수 있어 몰입감 높은 가상현실 콘텐 츠로서 주목받고 있다. 공연, 영화, 방송과 같은 영상매체 뿐만 아니라 교 육, 게임 등의 콘텐츠에서도 현실감 높은 가상환경을 구축하는데 이를 사용 하고 있다. 이러한 가상현실 콘텐츠는 영상과 공간 사운드의 연동을 통해 사용자에게 더 높은 몰입감을 제공한다. 공간 사운드의 구현은 VR 콘텐츠 를 제작에 있어서 필수적인 요소로 자리매김하고 있다. 일반적으로 VR 영상은 HMD를 착용하는 콘텐츠로 제작되어 화면의 움 직임에 대해 매우 민감하기 때문에 멀미를 유발할 수 있다. 이런 단점 때문 에 대부분 고정된 카메라 포지션에서 영상이 촬영된다. 고정된(움직임이 없 는) VR 영상에서는 카메라 위치의 변화가 없기 때문에 중심점을 기준으로 촬영할 수 있어 사운드 작업 시에도 오랜 처리 시간이 발생하지 않는다. 하 지만 최근 영화, 교육, 관광 콘텐츠 등에서 드론이나 자동차 등에 카메라를 장착하여 어느 정도 안정적인 움직임이 포함된 콘텐츠가 다수 제작되면서 영상주체의 움직이는 영상에 대한 공간 사운드 제작의 필요성이 대두되고 있다. 움직임이 포함된 VR 영상의 경우 실제 카메라의 움직임과 가상공간 내 가상 카메라의 움직임을 동기화하는 과정이 필요하다. 이를 위해 촬영된 영 상으로부터 카메라의 내부 파라미터와 외부 파라미터를 추출하여 사용한다. 이러한 방식은 VR 영상이 촬영된 파일로부터 각 프레임의 특징점을 분석 하여 카메라의 움직임과 방향을 추정한다. 이를 ‘카메라 추적(tracking)’이라 한다. 이렇게 만들어진 데이터를 기준으로 사운드 디자인이 만들어진다. 하 지만, 이 방법은 촬영된 영상의 화질 크기가 높을수록 더 많은 시간 소요된 다는 점과 카메라 추적이 완료된 후에야 비로소 합성된 결과의 확인이 가능 하다는 문제점들을 가지고 있다. 본 논문에서는 이런 문제점을 해결하기 위해 실시간 뎁스-맵 추출이 가 능한 스테레오 카메라를 이용한 새로운 공간 사운드 제작 방식을 제안한다. 이는 촬영단계에서 카메라 추적이 실시간으로 진행되어 촬영 후 추가적인 처리 과정 없이 영상의 합성이 가능하다. 또한 촬영 단계에서 합성된 결과 물을 사전에 확인할 수 있어, 사운드 작업에 들어가는 시간을 줄여주고, 효율성 또한 높여 줄 것으로 기대된다.
본 논문에서는 HMD를 사용해 VR 영화를 보는 관객들의 실재감과 몰입 감을 증강시키기 위한 효과적인 공간 사운드 디자인과 녹음 방식에 대해 실험 연구하였다. 3D VR 단편 영화 ‘The Bus’의 촬영을 통해 한정되고 제한된 공간 안에서 사운드 소스 또는 영상주체의 위치 변화를 통해 인간의 감정(공포심)을 자극하고 실재감을 극대화시킬 수 있는 효과적인 사운드 제작 방식을 찾는 데 초점을 두었다. VR 영상은 촬영 된 카메라의 위치를 중심으로 상하좌우의 모든 시점을 사용자가 원하는 대로 바꿔서 관찰할 수 있어 몰입감 높은 가상현실 콘텐 츠로서 주목받고 있다. 공연, 영화, 방송과 같은 영상매체 뿐만 아니라 교 육, 게임 등의 콘텐츠에서도 현실감 높은 가상환경을 구축하는데 이를 사용 하고 있다. 이러한 가상현실 콘텐츠는 영상과 공간 사운드의 연동을 통해 사용자에게 더 높은 몰입감을 제공한다. 공간 사운드의 구현은 VR 콘텐츠 를 제작에 있어서 필수적인 요소로 자리매김하고 있다. 일반적으로 VR 영상은 HMD를 착용하는 콘텐츠로 제작되어 화면의 움 직임에 대해 매우 민감하기 때문에 멀미를 유발할 수 있다. 이런 단점 때문 에 대부분 고정된 카메라 포지션에서 영상이 촬영된다. 고정된(움직임이 없 는) VR 영상에서는 카메라 위치의 변화가 없기 때문에 중심점을 기준으로 촬영할 수 있어 사운드 작업 시에도 오랜 처리 시간이 발생하지 않는다. 하 지만 최근 영화, 교육, 관광 콘텐츠 등에서 드론이나 자동차 등에 카메라를 장착하여 어느 정도 안정적인 움직임이 포함된 콘텐츠가 다수 제작되면서 영상주체의 움직이는 영상에 대한 공간 사운드 제작의 필요성이 대두되고 있다. 움직임이 포함된 VR 영상의 경우 실제 카메라의 움직임과 가상공간 내 가상 카메라의 움직임을 동기화하는 과정이 필요하다. 이를 위해 촬영된 영 상으로부터 카메라의 내부 파라미터와 외부 파라미터를 추출하여 사용한다. 이러한 방식은 VR 영상이 촬영된 파일로부터 각 프레임의 특징점을 분석 하여 카메라의 움직임과 방향을 추정한다. 이를 ‘카메라 추적(tracking)’이라 한다. 이렇게 만들어진 데이터를 기준으로 사운드 디자인이 만들어진다. 하 지만, 이 방법은 촬영된 영상의 화질 크기가 높을수록 더 많은 시간 소요된 다는 점과 카메라 추적이 완료된 후에야 비로소 합성된 결과의 확인이 가능 하다는 문제점들을 가지고 있다. 본 논문에서는 이런 문제점을 해결하기 위해 실시간 뎁스-맵 추출이 가 능한 스테레오 카메라를 이용한 새로운 공간 사운드 제작 방식을 제안한다. 이는 촬영단계에서 카메라 추적이 실시간으로 진행되어 촬영 후 추가적인 처리 과정 없이 영상의 합성이 가능하다. 또한 촬영 단계에서 합성된 결과 물을 사전에 확인할 수 있어, 사운드 작업에 들어가는 시간을 줄여주고, 효율성 또한 높여 줄 것으로 기대된다.
In this study, the effective sound design and the recording system are experimentally researched to improve VR audience's emotional presence by using a head mounted display(HMD). Throughout the production of 3D VR short film , an advanced method of spatial sound design technology is ...
In this study, the effective sound design and the recording system are experimentally researched to improve VR audience's emotional presence by using a head mounted display(HMD). Throughout the production of 3D VR short film , an advanced method of spatial sound design technology is tested to stimulate audience's emotional reaction and increase the audience's emotional presence, focused on a situation of an image subject or a sound source's location change in the limited and enclosed space. VR image receives big attention in the virtual reality world for a high sensation of immersion, because the user can observe 360 degrees at the position of camera. Thus, it is being used more and more not only in the stage, screen, or the broadcasting, but in the contents of education or game to make the virtual environment of higher sense of reality. This content of virtual reality environment linkages the image and the spacial sound and provides immersion enlargement to the audience. The realization of stereoscopic spacial sound design becomes an essential part in the production of VR contents. In general, the camera is fixed in VR production because if the camera moves, the audience wearing HMD can easily get motion sickness. Therefore, there is no movement of camera in VR image and the sound design wouldn't take a long time comparatively so far. However, the recent VR contents like movie, education, tourism, include stable movement shot in the car or drone. Now, we need a spacial sound design for a moving images. To make the VR images including movement, the process of synchronization of the movement of the real camera and the imagined camera in the virtual reality would be necessary. In order to do that, the extraction from inside and outside parameter of the camera from the footage is necessary. The movement and the direction of the camera are estimated by analysing the feature point of each frame from the image file of VR shooting. In a terminology, it's called 'Tracking.' With these data, stereoscopic spacial sound design can be practicable. But, this method has problems. It takes longer time if the image has a higher definition and the compounded result can be confirmed only after tracking is over. In this study, to solve the problems, a new method of sound production using the stereo camera would be proposed, that is available for the real time depth-map extraction. In this new method, real time tracking can be done in the shooting process so that we can possibly compose the image directly without any additional processes of management. Additionally, it can be expected to reduce the time and to increase the efficiency of spacial sound making.
In this study, the effective sound design and the recording system are experimentally researched to improve VR audience's emotional presence by using a head mounted display(HMD). Throughout the production of 3D VR short film , an advanced method of spatial sound design technology is tested to stimulate audience's emotional reaction and increase the audience's emotional presence, focused on a situation of an image subject or a sound source's location change in the limited and enclosed space. VR image receives big attention in the virtual reality world for a high sensation of immersion, because the user can observe 360 degrees at the position of camera. Thus, it is being used more and more not only in the stage, screen, or the broadcasting, but in the contents of education or game to make the virtual environment of higher sense of reality. This content of virtual reality environment linkages the image and the spacial sound and provides immersion enlargement to the audience. The realization of stereoscopic spacial sound design becomes an essential part in the production of VR contents. In general, the camera is fixed in VR production because if the camera moves, the audience wearing HMD can easily get motion sickness. Therefore, there is no movement of camera in VR image and the sound design wouldn't take a long time comparatively so far. However, the recent VR contents like movie, education, tourism, include stable movement shot in the car or drone. Now, we need a spacial sound design for a moving images. To make the VR images including movement, the process of synchronization of the movement of the real camera and the imagined camera in the virtual reality would be necessary. In order to do that, the extraction from inside and outside parameter of the camera from the footage is necessary. The movement and the direction of the camera are estimated by analysing the feature point of each frame from the image file of VR shooting. In a terminology, it's called 'Tracking.' With these data, stereoscopic spacial sound design can be practicable. But, this method has problems. It takes longer time if the image has a higher definition and the compounded result can be confirmed only after tracking is over. In this study, to solve the problems, a new method of sound production using the stereo camera would be proposed, that is available for the real time depth-map extraction. In this new method, real time tracking can be done in the shooting process so that we can possibly compose the image directly without any additional processes of management. Additionally, it can be expected to reduce the time and to increase the efficiency of spacial sound making.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.