초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문은 가상 창문을 경계로 현실 환경과 가상 환경이 같이 존재하며, 깊이 카메라 및 관성 센서 정보에 의한 사용자의 위치 및 방향 정보를 바탕으로, 비등축 투영(Off-Axis Projection)과 입체 음향(3D Sound) 시뮬레이션 기술을 구현해 가상 창문으로부터 전달되는 시각 및 청각적 효과를 사실적으로 표현하여 사용자에게 몰입감을 제공하는 혼합 현실 환경을 제안한다.
입체 음향 효과는 3차원 공간 내에서 가상으로 위치된 ...

본 논문은 가상 창문을 경계로 현실 환경과 가상 환경이 같이 존재하며, 깊이 카메라 및 관성 센서 정보에 의한 사용자의 위치 및 방향 정보를 바탕으로, 비등축 투영(Off-Axis Projection)과 입체 음향(3D Sound) 시뮬레이션 기술을 구현해 가상 창문으로부터 전달되는 시각 및 청각적 효과를 사실적으로 표현하여 사용자에게 몰입감을 제공하는 혼합 현실 환경을 제안한다.
입체 음향 효과는 3차원 공간 내에서 가상으로 위치된 사운드에 대해 사용자가 사운드의 발생 위치를 인지할 수 있는, 현실에서 발생하는 소리와 유사한 공간적 신호 정보를 포함하는 음향 효과이다. 입체 음향 효과는 차세대 공간 컴퓨팅 기술인 증강현실 및 가상현실, 더 나아가 현실 환경과 가상의 환경이 혼재하는 혼합현실에서 사용자에게 현실감 있는 청각적 정보를 제공하기 위해 널리 활용되며, 활발히 연구가 진행되고 있다.
종래에 증강현실에서는 입체 음향 효과를 발생시키기 위해 미리 측정한 머리 전달 임펄스 응답(Head-Related Impulse Response)을 모노 채널의 사운드 신호와 합성하는 기법이 널리 사용되고 있으나, 이 기법으로는 사용자가 위치하는 임의의 공간 내에서 발생하는 음파 중 사용자에게 직접 도달하는 것 외에 반사 또는 회절 등에 의한 잔향 효과를 사실적으로 발생시키는 데 어려움이 있다.
사실적인 잔향 효과를 발생시키기 위해서는 현실 공간 정보로 구성된 3차원 모델과, 이 모델의 좌표계에 따른 사용자의 위치 및 방향 정보를 측정해야 하며, 이 정보들을 기반으로 입체 음향 생성에 필요한 임펄스 응답(Impulse Reponse)을 실시간으로 생성할 수 있어야 한다.
본 논문은 이러한 음향 효과를, 사용자 시점에 따른 왜곡 투영에 의한 시각 효과와 함께 사실적이면서 동시에 효율적으로 생성하여, 사용자에게 입체 음향 효과에 의한 공간적 정보 및 실감을 실시간으로 제공하는 데 그 목적이 있다. 본 구현물은 혼합 현실 내에서 시각 정보와 결합한 실감 환경을 구축할 수 있으며, 이를 토대로 게임, 공간 시뮬레이션, 가상 창문 등의 여러 분야에서 응용될 수 있다.

Abstract ▼ AI-Helper

In this paper, we propose a sound rendering system for generating immersive and realistic 3D sound effect by simulating sound propagation using reconstructed 3D model and user tracking data from real world which is obtained by depth camera.
3D sound effect is a kind of sound effect that has spat...

In this paper, we propose a sound rendering system for generating immersive and realistic 3D sound effect by simulating sound propagation using reconstructed 3D model and user tracking data from real world which is obtained by depth camera.
3D sound effect is a kind of sound effect that has spatial cue information similar to the sound from real world, making listeners perceive the position of virtually located sound in 3-dimensional space. 3D sound effect is being widely used in spatial computing[Mamei & Zambonelli, 2005] technology including Mixed Reality (MR) environment as well as Augmented Reality (AR) and Virtual Reality (VR) to provide realistic and immersive auditory information to users.
Traditional 3D sound effect generation system used Head-Related Impulse Response(HRIR) which is driven from Head-Related Transfer Function(HRTF)[] to convolve with the mono-channeled source signal. It is quite difficult to generate realistic reverberation effect which is obtained not only direct sound wave from sound source to listener but also indirect wave that arrives at a given point by reflection, scattering or diffraction when using this kind of methods.
In order to create realistic reverberation effect, a 3D model based on spatial information from the real world, with position and orientation value of the user should be obtained. A noble system emitting the sound effect should generate impulse response (IR) corresponding to this information.
The purpose of this paper is to generate this realistic and immersive sound effect interactively in order to construct interactive Mixed Reality environment and provide users with immersiveness and spatial information incurred by 3D sound effect. This implementation gives users the way to construct immersive environment with both visual and auditory information, therefore, can be applied in various applications including games, indoor simulation, immersive projection, and virtual windows.

주제어