적절한 촉각자극은 사운드 효과의 실감성을 증진시킬 수 있다. 예를 들어, 게임이나 영화 등에서 총소리와 함께 발생하는 진동자극은 감상자의 몰입감을 향상시킬 수 있다. 이러한 맥락에서 음향만을 담고 있는 기존 사운드 파일에 촉각자극정보를 부가하여 사운드 플레이와 함께 햅틱장치를 통해 진동자극을 준다면 좀 더 사실감 있는 사운드 체험을 할 수 있을 것이다. 본 논문에서는 사운드 파일을 분석하여 그에 따른 촉각자극정보를 생성하는 방법을 제안한다. 촉각자극정보란 사운드 파일 내에서 특정 소리가 발생하는 시간위치와 발생시켜야 하는 촉각자극패턴이다. 수작업으로 이러한 촉각자극정보를 생성하는 것은 많은 수고를 필요로 한다. 본 논문은 이러한 수작업을 대체할 수 있도록, 사운드 파일에서 특정 소리의 발생시점을 검색할 수 있는 사운드 감지 알고리즘과 촉각자극정보 생성방식을 제안한다. 사운드 감지 알고리즘은 검색하고자 하는 사운드의 주파수 특성을 이용하여 유사한 특성을 가지는 시점들을 찾아낸다. 개발한 알고리즘을 실험한 결과, 5가지 서로 다른 사운드에 대해 98% 이상의 감지 성공률을 얻을 수 있었다. 연구 결과를 종합하여 GUI기반의 진동패턴 생성 유틸리티를 개발하였다. 이 유틸리티를 이용하면 사운드 파일에서 특정 소리의 발생 부분을 자동으로 검색하고, 그 시점마다 원하는 진동정보를 손쉽게 생성할 수 있다.
적절한 촉각자극은 사운드 효과의 실감성을 증진시킬 수 있다. 예를 들어, 게임이나 영화 등에서 총소리와 함께 발생하는 진동자극은 감상자의 몰입감을 향상시킬 수 있다. 이러한 맥락에서 음향만을 담고 있는 기존 사운드 파일에 촉각자극정보를 부가하여 사운드 플레이와 함께 햅틱장치를 통해 진동자극을 준다면 좀 더 사실감 있는 사운드 체험을 할 수 있을 것이다. 본 논문에서는 사운드 파일을 분석하여 그에 따른 촉각자극정보를 생성하는 방법을 제안한다. 촉각자극정보란 사운드 파일 내에서 특정 소리가 발생하는 시간위치와 발생시켜야 하는 촉각자극패턴이다. 수작업으로 이러한 촉각자극정보를 생성하는 것은 많은 수고를 필요로 한다. 본 논문은 이러한 수작업을 대체할 수 있도록, 사운드 파일에서 특정 소리의 발생시점을 검색할 수 있는 사운드 감지 알고리즘과 촉각자극정보 생성방식을 제안한다. 사운드 감지 알고리즘은 검색하고자 하는 사운드의 주파수 특성을 이용하여 유사한 특성을 가지는 시점들을 찾아낸다. 개발한 알고리즘을 실험한 결과, 5가지 서로 다른 사운드에 대해 98% 이상의 감지 성공률을 얻을 수 있었다. 연구 결과를 종합하여 GUI기반의 진동패턴 생성 유틸리티를 개발하였다. 이 유틸리티를 이용하면 사운드 파일에서 특정 소리의 발생 부분을 자동으로 검색하고, 그 시점마다 원하는 진동정보를 손쉽게 생성할 수 있다.
Sound effects coming with appropriate tactile stimuli can strengthen its reality. For example, gunfire in games and movies, if it is accompanied by vibrating effects, can enhance the impressiveness. On a similar principle, adding the vibration information to existing sound data file and playing soun...
Sound effects coming with appropriate tactile stimuli can strengthen its reality. For example, gunfire in games and movies, if it is accompanied by vibrating effects, can enhance the impressiveness. On a similar principle, adding the vibration information to existing sound data file and playing sound while generating vibration effects through haptic interfaces can augment the sound experience. In this paper, we propose a method to generate vibration information by analyzing the sound. The vibration information consists of vibration patterns and the timing within a sound file. Adding the vibration information is labor-intensive if it is done manually. We propose a sound detection algorithm to search the moments when specific sounds occur in a sound file and a method to create vibration effects at those moments. The sound detection algorithm compares the frequency characteristic of specific sounds and finds the moments which have similar frequency characteristic within a sound file. The detection ratio of the algorithm was 98% for five different kinds of gunfire. We also develop a GUI based vibrating pattern editor to easily perform the sound search and vibration generation.
Sound effects coming with appropriate tactile stimuli can strengthen its reality. For example, gunfire in games and movies, if it is accompanied by vibrating effects, can enhance the impressiveness. On a similar principle, adding the vibration information to existing sound data file and playing sound while generating vibration effects through haptic interfaces can augment the sound experience. In this paper, we propose a method to generate vibration information by analyzing the sound. The vibration information consists of vibration patterns and the timing within a sound file. Adding the vibration information is labor-intensive if it is done manually. We propose a sound detection algorithm to search the moments when specific sounds occur in a sound file and a method to create vibration effects at those moments. The sound detection algorithm compares the frequency characteristic of specific sounds and finds the moments which have similar frequency characteristic within a sound file. The detection ratio of the algorithm was 98% for five different kinds of gunfire. We also develop a GUI based vibrating pattern editor to easily perform the sound search and vibration generation.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 사운드데이터에 대해서 적절한 진동정보파일을 생성할 수 있는 프로그램을 구현했다. 진동패턴 생성기를 통해서 파일을 생성할 수 있고, 사용자가 진동패턴을 일일이 입력하는 불편함을 없애기 위해 사운드 자동감지 알고리즘을 적용했다.
본 논문은 영화나 게임의 사운드 파일을 분석하여 그에 따른 촉각자극정보를 손쉽게 생성하는 방법을 제안한다. 촉각자극정보란 사운드 파일 내에서 특정 소리가 발생하는 시점과 발생시켜야하는 촉각자극패턴으로 구성된다.
사운드 파일에 대한 촉각자극정보를 일일이 수작업으로 생성하려면 많은 시간과 수고가 필요하다. 이를 해결하기 위해 본 논문에서는 사운드 파일에서 특정 소리의 발생시점을 검색할 수 있는 사운드 감지 알고리즘과 촉각자극정보 생성 방식을 제안한다.
제안 방법
진동패턴 생성기를 통해서 파일을 생성할 수 있고, 사용자가 진동패턴을 일일이 입력하는 불편함을 없애기 위해 사운드 자동감지 알고리즘을 적용했다.
이 알고리즘을 사용해서 98% 이상의 감지율을 얻어냈다. 감지하지 못하거나 잘못 감지한 경우에 대해서는 GUI 기반 촉각자극정보 입력 및 수정 유틸리티를 통해 진동정보를 수정할 수 있었다.
게임에서 발생하는 총소리 5개를 녹음을 하여 자동감지 알고리즘의 정확성을 검증했다. 검증에 사용한 사운드데이터는 그림 5와 같다.
촉각자극정보란 사운드 파일 내에서 특정 소리가 발생하는 시점과 발생시켜야하는 촉각자극패턴으로 구성된다. 본 논문에서는 촉각자극을 위해 진동을 이용한다.
그리고 비교 값으로 설정한 인덱스의 magnitude를 뽑아낸다. 분석을 통해 미리 저장해놓았던 magnitude와 사운드데이터를 분석해서 얻은 magnitude 간의 차이를 계산한다. 그 차이의 절대값을 계산하고 각 윈도우 별로 그 절대값을 모두 합한다.
사운드 파일 내에서 특정 사운드가 발생하는 시점을 자동으로 찾아서 촉각자극패턴을 생성하고, 이 유틸리티를 이용해 잘못된 패턴에 대해서 입력 및 수정을 한다.
제안 알고리즘의 핵심은 감지하고자 하는 소리의 주파수 분포 특성을 미리 분석하고, 그를 토대로 실제 사운드 파일 내에서 비슷한 주파수 특성을 갖는 부분을 찾아내는 것이다. 주파수 분포 특성을 비교할 때 시간 별로 주파수분포가 다르게 나타나는 점을 이용한다.
제안하는 사운드 감지 알고리즘의 정확성을 검증하기 위해 게임의 가지 총소리를 구 First Person Shooting(FPS) 5분하고 각각에 맞는 진동효과를 주는 실험을 수행하였다.
특정 사운드 비교를 위해 모든 주파수 영역의 magnitude에 대해 비교를 수행하지 않고, 제안한 알고리즘에서는 특성을 표현할 수 있는 n개의 주파수 영역에서의 magnitude만을 비교한다.
사운드 감지 알고리즘은 주파수 특성을 이용한다. 특정 사운드의 주파수 분포 특성을 미리 분석하고, 사운드 파일에서 유사한 특성을 가지는 시점들을 찾아낸다. 이러한 알고리즘은 진동패턴생성 유틸리티에 적용되어, 사운드 파일에서 특정 사운드 발생시점을 검색하고, 그 시점들마다 적절한 촉각자극정보를 생성하는 데 사용된다.
대상 데이터
총소리 발생 시작지점부터 . 1024개의 데이터를 모은다. 그 데이터를 개씩 개의 윈도우로 나누어 각각 FFT를 수행한다.
이론/모형
사운드가 가지는 주파수 분포 특성을 알아내기 위해 타임도메인의 신호를 주파수도메인의 신호로 바꿀 수 있는 Fast Fourier Transform(FFT). FFT을 사용한다[3]. FFT를 수행하면각 주파수 영역에 대한 특성 값인 magnitude 들이 나온다.
사운드가 가지는 주파수 분포 특성을 알아내기 위해 타임도메인의 신호를 주파수도메인의 신호로 바꿀 수 있는 Fast Fourier Transform(FFT). FFT을 사용한다[3].
즉, 볼륨이 클수록 값도 커진다. 이를 해결하기 위해 normalization 과정을 수행한다. 이 과정에서는 FFT 결과로 나온 magnitude값들을 가장 큰 magnitude값으로 나눈다.
성능/효과
모든 소리에 대한 감지율은 66번의 소리 중 1번만 감지하지 못해 98% 이상인 것을 확인 할 수 있었다.
연구 결과를 종합하여 GUI기반의 진동패턴 생성 유틸리티를 개발하였다. 이 유틸리티를 이용하면 사운드 파일에서 특정 소리의 발생 부분을 자동으로 검색하고, 그 시점마다 원하는 촉각자극정보를 손쉽게 생성할 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
사운드 감지 알고리즘이란 무엇인가?
사운드 감지 알고리즘은 사운드 파일 내에서 발생하는 특정사운드의 발생 시점을 찾아내고, 그 시점에 해당하는 촉각 자극정보를 생성하는 알고리즘이다.
사운드 감지 알고리즘은 어떤 곳에 사용되는가?
특정 사운드의 주파수 분포 특성을 미리 분석하고, 사운드 파일에서 유사한 특성을 가지는 시점들을 찾아낸다. 이러한 알고리즘은 진동패턴생성 유틸리티에 적용되어, 사운드 파일에서 특정 사운드 발생시점을 검색하고, 그 시점들마다 적절한 촉각자극정보를 생성하는 데 사용된다. 또한 GUI기반의 이 유틸리티는 수작업으로 촉각자극패턴을 입력 또는 수정하는 과정을 용이하게 해준다. 사운드 파일 내에서 특정 사운드가 발생하는 시점을 자동으로 찾아서 촉각자극패턴을 생성하고, 이 유틸리티를 이용해 잘못된 패턴에 대해서 입력 및 수정을 한다.
진동 인터페이스의 단점은 무엇인가?
이러한 기존 진동 인터페이스는 특정 주파수 영역에 해당 하는 사운드가 발생할 때 한정된 패턴으로만 진동을 발생시키기 때문에, 사용 초기에 향상되었던 실감효과가 급속히 쇠퇴하는 단점이 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.