Various approaches directly using vibrations of speakers have been suggested to effectively display the aural information such as the music to the hearing-impaired or the deaf. However, in these approaches, the human can't sense the frequency information over the maximum perceivable vibro-tactile fr...
Various approaches directly using vibrations of speakers have been suggested to effectively display the aural information such as the music to the hearing-impaired or the deaf. However, in these approaches, the human can't sense the frequency information over the maximum perceivable vibro-tactile frequency (around 1kHz). Therefore, in this study, an approach via spectral modulation of compressing the high frequency audio information into perceivable vibro-tactile frequency domain and outputting the modulated signals through the designated speakers is proposed. Then it is shown, through simulations of using Short-Time Fourier Transform (STFT) with Hanning windows and through preliminary experiments of using the vibro-tactile display testbed which is built and interfaced with a notebook PC, that the modulated signal of a natural sound composing sounds of a frog, a bird, and a water stream could produce the noise-free signal suitable enough for vibro-tactile speakers without causing Significant interfering disturbances, Lastly, for three different combinations of information provided to the subject, that is, i) with only video image, ii) with video image along with the modulated vibro-tactile stimuli as proposed in this study to the forearm of the subject, and iii) with video image along with full audio information, the effects to the human sense of reality and his emotion to given audio-video clips including various sounds and images are investigated and compared. It is shown from results of those experiments that the proposed method of providing modulated vibro-tactile stimuli along with the video images to the human has very high feasibility to transmit pseudo-aural sense to the human.
Various approaches directly using vibrations of speakers have been suggested to effectively display the aural information such as the music to the hearing-impaired or the deaf. However, in these approaches, the human can't sense the frequency information over the maximum perceivable vibro-tactile frequency (around 1kHz). Therefore, in this study, an approach via spectral modulation of compressing the high frequency audio information into perceivable vibro-tactile frequency domain and outputting the modulated signals through the designated speakers is proposed. Then it is shown, through simulations of using Short-Time Fourier Transform (STFT) with Hanning windows and through preliminary experiments of using the vibro-tactile display testbed which is built and interfaced with a notebook PC, that the modulated signal of a natural sound composing sounds of a frog, a bird, and a water stream could produce the noise-free signal suitable enough for vibro-tactile speakers without causing Significant interfering disturbances, Lastly, for three different combinations of information provided to the subject, that is, i) with only video image, ii) with video image along with the modulated vibro-tactile stimuli as proposed in this study to the forearm of the subject, and iii) with video image along with full audio information, the effects to the human sense of reality and his emotion to given audio-video clips including various sounds and images are investigated and compared. It is shown from results of those experiments that the proposed method of providing modulated vibro-tactile stimuli along with the video images to the human has very high feasibility to transmit pseudo-aural sense to the human.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그리고 진동 촉감 재현 단계에 속하는 내용으로서는 제시된 SCDM 방식에 의한 신호가 다수의 스피커 진동을 통하여 청각 장애인에게 전달되었을 때 감지 효능 평가에 관한 한 기초 연구로서 정상인을 대상으로 하여 제시된 스펙트럼 압축 변조 및 분할 방식의 가능성을 확인하였다.
따라서, 본 연구에서는 넓은 주파수 대역의 청각 정보를 가촉 주파수 영역내로 변조한 후 변조된 음악정보를 스피커를 통하여 출력하는 방안을 제시하고 자연음을 대상으로 한 모의실험을 통하여 원 자연음의 고주파수 정보가 가촉 주파수 영역 내로 효과적으로 변조될 수 있도록 하였다. 그리고 변조된 촉각 진동자극이 청각 장애인에게 적용되는 경우 어느 정도의 유사한 청감을 전달할 수 있는 지에 대한 가능성을 확인하기 위한 기초 연구로서 정상인을 대상으로 하되 i) 본 연구에서 제시된 방법에 의해 변조된 청각정보에 해당하는 진동 촉각 정보와 청각 정보와 연관된 영상정보-가 제공되는 경우, ii) 영상정보만이 제공되는 경우, 그리고 ⅲ) 청각 정보 및 영상정보가 모두 제공되는 경우인 세 가지 다른 실험조건(이들은 각각 청각 장애인에게 변조된 진동 촉감 정보를 제공하는 경우, 시각 정보 만에 의존하는 청각 장애인의 경우, 그리고 시각 및 청각 정보를 접하는 정상인의 경우와 유사한 조건임)에 대하여 14 가지의 다른 유형의 소리를 내포하는 환경에 대해 어느 정도의 실제감과 정서감을 느낄 수 있는지에 관한 비교 분석을 수행하였다.
손실되는 단점이 존재한다. 따라서, 본 연구에서는 보다 넓은 주파수 영역의 청각 정보를 진동 촉감을 통하여 효과적으로 전달할 수 있는 스펙트럼 압축변조 방안에 관하여 조사하였다. 구체적으로는 Matlab 환경에서 STFT 알고리듬을 활용한 스펙트럼 변조, 주파수에 따른 세기 변조 및 변조된 주파수 영역 분할, 노트북 PC 와 진동 스피커의 인터폐이스, 총 8 개의 진동 스피커가 velcro 위에 일렬로 고정된 진동 촉감 재현 모듈 제작, 그리고 스펙트럼 변조된 소리에 대한 모의실험을 수행하여 제시된 변조 방법을 통한 신호가 변조로 인한 잡음의 간섭 없이 안정적이며 효과적으로 넓은 주파수 영역의 청각정보를 가촉주파수 영역 안으로 압축 변조할 수 있음을 확인하였다.
따라서, 본 연구에서는 주파수 변조 단계에 관련된 내용으로서 입력된 청각 신호의 스펙트럼 변조와 주파수 분할방식을 제시한 후 그 적용 가능성을 조사하기 위하여 다수의 스피커를 조합한 진동 촉감 시험대를 제작하여 제시된 스펙트럼 변조 및 분할 방식 (spectral contraction and division method:SCDM)에 대한 기초 실험을 수행하였다. 그리고 진동 촉감 재현 단계에 속하는 내용으로서는 제시된 SCDM 방식에 의한 신호가 다수의 스피커 진동을 통하여 청각 장애인에게 전달되었을 때 감지 효능 평가에 관한 한 기초 연구로서 정상인을 대상으로 하여 제시된 스펙트럼 압축 변조 및 분할 방식의 가능성을 확인하였다.
한편, ⅲ)의 경우는 정상인의 상태를 나타낸다. 따라서, 이러한 세 가지의 실험 조건을 비교 분석함으로서 본 실험에서 목표로 하고 있는 청각 장애인의 유사 청감 재현 정도의 평가에 관한 유의한 결과를 확인하고자 하였다.
이러한 단점을 극복하기 위해 본 연구에서는 모든 주파수영역의 청각정보를 가촉 주파수 영역으로 압축 변조한후 변조된 주파수 영역을 분할하여 여러 개의 스피커를 통하여 진동촉감을 재현하는 방안을 제시한다. 이 방식에서는 청각 신호의 스펙트럼에서 전체 또는 원하는 주파수 이하의 정보를 가촉 주파수 영역안(10Hz~1kHz)으로 다음과 같이 압축 변조한다'
제안 방법
경우, ii) 영상정보만이 제공되는 경우, 그리고 ⅲ) 청각 정보 및 영상정보가 모두 제공되는 경우인 세 가지 다른 실험조건(이들은 각각 청각 장애인에게 변조된 진동 촉감 정보를 제공하는 경우, 시각 정보 만에 의존하는 청각 장애인의 경우, 그리고 시각 및 청각 정보를 접하는 정상인의 경우와 유사한 조건임)에 대하여 14 가지의 다른 유형의 소리를 내포하는 환경에 대해 어느 정도의 실제감과 정서감을 느낄 수 있는지에 관한 비교 분석을 수행하였다.
하였다. 그리고 영상정보와 청각정보를 동시에 제공하는 실험조건 ⅲ)에 대한 실제감 그리고 정서감 인지 실험의 경우는 실험대상자는 5 초 동안 컴퓨터 모니터에 제시된 영상정보와 청각 정보를 제공한 후 모니터에 제시된 설문에 따라 차례로 응답을 입력하도록 하였다.
그리고 진동 주파수에 따른 신호의 세기가 변조된 신호의 주파수 영역은 가장 민감한 진동 주파수 인지 영역으로 알려진 150Hz~250Hz 부근에서는 상대적으로 좁게, 그리고 나머지 영역은 넓게 조정하여 총 8 개의 영역으로 분할하였으며 대략 2.5cm 정도의 간격으로 일렬로 놓인 진동 스피커를 통하여 신호가 출력되도록 하였다.
보다 효율적인 청감 재현 결과를 얻기 위해서는 진동 주파수에 따른 스펙트럼의 세기 변조와 주파수 영역의 분할에 대하여 보다 심층적인 연구가 필요하지만, 본 연구에서는 편의상, 압축 변조된 신호는 주어진 진동신호의 주파수에 따른 사람의 동일감(equal sensation) 특성 8 을 고려하여 얻어진 다음과 같은 매핑 함수에 따라 스펙트럼의 세기를 변조하였다.
본 실험에서는 앞에서 제시된 SCDM 방식을 활용하여 청각 장애인에게 어느 정도의 유사 청감을 제공할 수 있는 가에 관한 기초 연구로서 일반정상인을 대상으로 아래와 같은 세 가지의 실험조건에 대해 실제감(생생감)과 정서감에 대한 반응을 각각 비교 분석하였다:
설문은 앞에서 선정한 14 가지의 다른 유형의 소리에 대한 질문으로써 주어진 상황에 관해 각각 얼마나 실제감 (또는 생생함) 또는 정서감을 느낄 수 있는 가를 응답하도록 구성하였다. 예를 들면, 각 소리에 대한 실제감(또는 생생함)에 관한 설문은 "동영상속의 장면이 얼마나 생생하게 또는 사실적으로 느껴지는가?"로 모두 동일하지만 정서감.
실제감 인지의 경우와 마찬가지로 실험 대상자들을 14 종류의 소리와 관련하여 영상만 제공한 집단(이하 영상 집단, 17 명), 진동과 영상을 동시에 제공한 집단(이하 진동-영상 집단, 20 명), 소리와 영상을 동시에 제공한 집단(이하 소리-영상 집단, 18 명)으로 구분하여 각 소리와 연관되어 불러일으켜 지는 정서감을 인지하는데 있어 집단 사이에 차이가 있는가를 비교하였다(Table 1). 분석 결과 영상 집단의 평균 정서감 인지 점수는 46.
실험 대상자들을 14 종류의 소리와 관련하여 영상만 제공한 집단(이하 영상 집단, 20 명), 진동과 영상을 동시에 제공한 집단(이하 진동-영상 집단, 20 명), 소리와 영상을 동시에 제공한 집단(이하 소리-영상 집단, 20 명)으로 구분하여 각 소리를 실제적인 것으로 인식하는 정도에 있어 집단 사이에 차이가 있는가를 비교하였다(Table I). 분석 결과 영상 집단의 평균 실제감 점수는 51.
실험조건 i) 즉, 영상 정보(image)만을 제공하는 실험조건에 대한 실제감과 정서감 인지 실험의 경우는 실험대상자들에게는 설문지가 먼저 배포되었으며 각 설문에 대해 5 초에 해당하는 영상 정보를 제공하고 난 후 응답하도록 하였다. 각 설문 사이의 간격은 초 정도로 적절히 조정하였다.
3은 압축 변조비가 1/2 인 경우에 변조된 스펙트럼과 위상각을 산출하는 과정을 나타낸다. 여러가지 방법이 있을 수 있으나 편의상 그림에서와 같이 본 연구에서는 원하는 샘플 속도의 1/2 (변조에서 요구되는 스펙트럼 압축비에 해당)에 해당하는 샘플 수로서 스펙트럼을 구한 후 이들을 주파수 상에서 압축하는 방법을 활용하였으며 이러한 과정은 물리적으로는 음조를 낮추는 (pitch shifting down) 효과를 나타낸다.
영상정보(image)와 SCDM 진동 촉각 정보(vibro tactile)를 동시에 제공하는 실험조건 ii)에 대한 실제감 그리고 정서감 인지 실험의 경우는 실험대상자들에게는 5 초 동안 컴퓨터 모니터에 제시된 영상정보와 실험 대상자의 전박부에 제공되는 SCDM 진동촉각정보를 인지한 후 모니터에 제시된 설문에 따라 차례로 응답을 입력하도록 하였다. 그리고 영상정보와 청각정보를 동시에 제공하는 실험조건 ⅲ)에 대한 실제감 그리고 정서감 인지 실험의 경우는 실험대상자는 5 초 동안 컴퓨터 모니터에 제시된 영상정보와 청각 정보를 제공한 후 모니터에 제시된 설문에 따라 차례로 응답을 입력하도록 하였다.
대상 데이터
실험에 사용될 소리의 유형을 결정하기 위해대전 청각 장애인 협회 회원 19 명을 대상으로 가장 듣고 싶어하는 소리 10 개를 선택하도록 하는 설문을 수행하였으며 얻어진 결과는 동물소리(14), 아기울음소리(13), 종소리(12), 경적소리(9), 계곡물 소리(9), 사람 소리(8), 노래 소리(6), 초인종 소리(6), 기차 소리(5), 비소리(5), 웃음소리(5), 과일 (물) 먹는 소리(4), 바람 소리(4), 악기소리(4), 비행기 소리(4) 등으로 요약된다. 여기서 괄호 안의 숫자는 빈도 수를 나타낸다.
실험자 대상자로서는 대학교에 다니고 있는 학생들을 중심으로 구성하였다. 그러나 모든 실험대상자는 세 가지의 실험 조건 중에서 한 가지 실험 조건에만 참여하도록 제한하였으며 또한, 실제감과 정서감 실험에서도 각각 한 가지 실험에만 참여하도록 제한하였다.
5는 진동 스피커를 이용한 진동-촉감 재현 시험 모듈이다. 이러한 진동-촉감 재현 시험 모듈은 Haptic chair 와 같은 의자형 진동 촉감 시스템에 설치되어 사람의 팔이나 다리 또는 등과 같은 다양한 위치에 부착될 수 있는 모듈의 형태로 설계되었으며 Fig. 5에 보인 시험 모듈은 총 8 개의 진동 스피커로 구성되며 Velcro 에 고정되어 사람의 전박부 (forearm) 에 자연스럽게 접촉이 잘될 수 있는 형태로 제작되었다. 이들 8 개의 진동 스피커는 각각 Fig.
여기서 괄호 안의 숫자는 빈도 수를 나타낸다. 이상과 같은 설문 결과를 고려하여 모든 실험에서 공통적으로 제공되는 청각 정보로서는 아기 울음소리, 자동차 소리, 개구리 울음 소리, 팝콘소리, 총소리, 지하철 소리, 성인의 웃음소리, 폭포소리, 응원 함성, 고양이 울음소리, 개 울음소리, 사자 울음소리, 비바람 소리, 천둥소리인 총 14 가지의 소리를 선정한 후각 유형 의 소리 와 관련된 시각 정보(video clip)를 수집하여 활용하였다.
한편, 이상의 STFT 알고리듬을 적용하는데 있어 입력신호의 샘플속도는 44.1kHz 로 설정하였으며 각 창은 4096 샘플 데이터로 구성하였다. 그리고 본 알고리듬과 관련된 제반 신호처리 과정은 PC 상의 Matlab 를 이용하였다.
이론/모형
1kHz 로 설정하였으며 각 창은 4096 샘플 데이터로 구성하였다. 그리고 본 알고리듬과 관련된 제반 신호처리 과정은 PC 상의 Matlab 를 이용하였다.
성능/효과
실제로 Fig. 7(a)의 신호를 스피커를 통하여 듣는 경우 예상한 바와 같이 주로 1kHz 이하의 주파수에 걸쳐있는 개구리 소리는 어느 정도 원음에 가까운 소리가 유지되었지만 높은 주파수 영역에 해당하는 새소리는 거의 알아듣기가 어려울 정도로 큰 정보의 손실이 있음을 확인할 수 있었다.
따라서, 본 연구에서는 보다 넓은 주파수 영역의 청각 정보를 진동 촉감을 통하여 효과적으로 전달할 수 있는 스펙트럼 압축변조 방안에 관하여 조사하였다. 구체적으로는 Matlab 환경에서 STFT 알고리듬을 활용한 스펙트럼 변조, 주파수에 따른 세기 변조 및 변조된 주파수 영역 분할, 노트북 PC 와 진동 스피커의 인터폐이스, 총 8 개의 진동 스피커가 velcro 위에 일렬로 고정된 진동 촉감 재현 모듈 제작, 그리고 스펙트럼 변조된 소리에 대한 모의실험을 수행하여 제시된 변조 방법을 통한 신호가 변조로 인한 잡음의 간섭 없이 안정적이며 효과적으로 넓은 주파수 영역의 청각정보를 가촉주파수 영역 안으로 압축 변조할 수 있음을 확인하였다.
그리고 제시된 스펙트럼 압축변조 및 분할 방식을 활용한 촉감 재현 방식이 어느 정도까지 청각 장애인에게 유사 청감을 재현할 수 있는 가를 확인하기 위한 기초 연구로서 정상인을 대상으로 다양한 유형의 소리에 대한 환경 정보를 첫째, 영상 정보만을 제공하는 경우(청각 장애인의 환경), 둘째, 영상정보와 더불어 변조된 진동 촉감을 대상자의 전박부(forearm)에 제공하는 경우(제시된 방안), 셋째, 영상정보와 청각 정보를 정상적으로 제공하는 경우(정상인의 환경)인 세 가지로 분류한 후 주어진 다양한 유형의 소리 환경에 대해 느끼는 실제감(생생함)과 정서감에 관한 반응을 비교분석함으로써 두 번째 방식이 첫 번째 방식보다는 일반적인 정상인의 반응에 상당히 가깝다는 결과를 확인하였다.
다음으로 세 집단 사이의 유의한 차이는 어떤 집단 사이의 차이로 인함인가를 분석하기 위해 2 집단씩 짝짓기를 하여 사후 검정을 시행한 결과 영상 집단과 진동-영상 집단 사이에는 실제 감을 인식하는 정도에 있어 유의한 차이가 있는 것으로 나타난 반면(51.20 ±21.72 vs 65.95 ±10.58, p=0.01), 진동.영상 집단과 소리-영상 집단 사이의 차이는 유의하지 않은 것으로 나타났다 (65.
다음으로 세 집단 사이의 유의한 차이는 어떤 집단 사이의 차이로 인함인가를 분석하기 위해 2 집단씩 짝짓기를 하여 사후 검정을 시행한 결과 영상 집단과 진동-영상 집단 사이에는 정서감을 인지하는 정도에 있어 유의한 차이가 있는 것으로 나타난 반면 (49.29 ±21.15 vs 64.25 ±9.30, p=0.001), 진동--영상 집단과 소리.영상 집단 사이의 차이는 유의하지 않은 것으로 나타났다 (64.
즉 본질적으로 소리에 강한 진동의 요소를 가지고 있는 유형의 경우는 영상만 제공하거나 소리-영상을 제공한 경우보다 진동-영상을 제공한 경우 더 실제감 있게 느끼는 것으로 나타났다. 반면 고양이 소리, 개구리 소리, 팝콘 소리 등과 같이 경쾌하거나 부드럽거나 소리의 크기가 작은 유형은 진동-영상 집단에 비해 소리-영상 집단의 평균 점수가 현저하게 높은 것으로 제시되었다.
있는가를 비교하였다(Table I). 분석 결과 영상 집단의 평균 실제감 점수는 51.20(±21.72), 진동-영상 집단은 65.95(±10.58), 소리-영상 집단은 6Z3O(±9.35)이었으며 이러한 집단들 사이의 평균점수의 차이는 통계적으로 유의한 것으로 나타났다 (F=7.13, p=0.002).
차이가 있는가를 비교하였다(Table 1). 분석 결과 영상 집단의 평균 정서감 인지 점수는 46.29(± 21.15), 진동-영상 집단 64.25(±9.30), 소리-영상 집단 68.39(±6.48)이었으며 이러한 집단들 사이의 정서감 인지 점수의 차이는 통계적으로 유의한 것으로 나타났다(F=13.17, p<0.001).
응원 소리 등이었다. 즉 본질적으로 소리에 강한 진동의 요소를 가지고 있는 유형의 경우는 영상만 제공하거나 소리-영상을 제공한 경우보다 진동-영상을 제공한 경우 더 실제감 있게 느끼는 것으로 나타났다. 반면 고양이 소리, 개구리 소리, 팝콘 소리 등과 같이 경쾌하거나 부드럽거나 소리의 크기가 작은 유형은 진동-영상 집단에 비해 소리-영상 집단의 평균 점수가 현저하게 높은 것으로 제시되었다.
96). 즉 영상 집단에 비해 진동-영상 집단이 소리 유형들에 대해 느끼는 실제 감의 정도가 더 높은 것으로 나타난 반면, 진동-영상 집단과 소리-영상 집단 사이의 실제감의 인지 정도는 유의한 차이가 나지 않는 것으로 나타났다. 특정한 소리를 생생하게 느끼게 하는 면에서 볼 때 진동-영상은 영상만 제공한 경우에 비해 월등히 높은 효과를 보이는 한편, 소리-영상에 비해서 결코 뒤떨어지지 않는 효과를 보이는 것으로 제시되었다.
64). 즉 영상 집단에 비해 진동-영상 집단이 소리 유형들에 대해 느끼는 정서감의 정도가 더 높은 것으로 나타난 반면, 진동-영상 집단과 소리-영상 집단 사이의 정서감의 인지 정도는 유의한 차이가 나지 않는 것으로 나타났다. 특정한 소리와 관련된 정서감을 불러일으키는 측면에서 볼 때 진동-영상은 영상만 제공한 경우에 비해 월등히 높은 효과를 보이는 한편, 소리-영상에 비해서 결코 뒤떨어지지 않는 효과를 보이는 것으로 제시되었다.
즉 영상 집단에 비해 진동-영상 집단이 소리 유형들에 대해 느끼는 실제 감의 정도가 더 높은 것으로 나타난 반면, 진동-영상 집단과 소리-영상 집단 사이의 실제감의 인지 정도는 유의한 차이가 나지 않는 것으로 나타났다. 특정한 소리를 생생하게 느끼게 하는 면에서 볼 때 진동-영상은 영상만 제공한 경우에 비해 월등히 높은 효과를 보이는 한편, 소리-영상에 비해서 결코 뒤떨어지지 않는 효과를 보이는 것으로 제시되었다.
즉 영상 집단에 비해 진동-영상 집단이 소리 유형들에 대해 느끼는 정서감의 정도가 더 높은 것으로 나타난 반면, 진동-영상 집단과 소리-영상 집단 사이의 정서감의 인지 정도는 유의한 차이가 나지 않는 것으로 나타났다. 특정한 소리와 관련된 정서감을 불러일으키는 측면에서 볼 때 진동-영상은 영상만 제공한 경우에 비해 월등히 높은 효과를 보이는 한편, 소리-영상에 비해서 결코 뒤떨어지지 않는 효과를 보이는 것으로 제시되었다. 한편, 각 소리와 연관되어 느껴지는 정서감에 대한 집단별 평균 점수들을 살펴본 결과(Table 3), 진동-영상 집단의 평균 점수가 가장 높게 나타난 소리의 유형은 사자 울음소리, 총소리, 지하철 소리, 웃음 소리, 폭포 소리 등으로 실제감 인지와는 다소 다른 양상을 보였으나 진동-영상은 본질적으로 소리에 진동의 요소를 가지고 있는 소리 유형에 대해 그 소리와 연관된 정서를 불러일으키는데 더 효과적인 것으로 나타났다.
한편, 각 소리별로 집단에 따른 실제감의 인지 정도를 살펴본 결과(Table 2), 진동-영상 집단의 평균 점수가 다른 집단들에 비해 가장 높은 것으로 나타난 소리의 유형은 아기 울음소리, 자동차 소리, 사자 울음소리, 총소리, 지하철 소리, 천둥 소리, 응원 소리 등이었다. 즉 본질적으로 소리에 강한 진동의 요소를 가지고 있는 유형의 경우는 영상만 제공하거나 소리-영상을 제공한 경우보다 진동-영상을 제공한 경우 더 실제감 있게 느끼는 것으로 나타났다.
특정한 소리와 관련된 정서감을 불러일으키는 측면에서 볼 때 진동-영상은 영상만 제공한 경우에 비해 월등히 높은 효과를 보이는 한편, 소리-영상에 비해서 결코 뒤떨어지지 않는 효과를 보이는 것으로 제시되었다. 한편, 각 소리와 연관되어 느껴지는 정서감에 대한 집단별 평균 점수들을 살펴본 결과(Table 3), 진동-영상 집단의 평균 점수가 가장 높게 나타난 소리의 유형은 사자 울음소리, 총소리, 지하철 소리, 웃음 소리, 폭포 소리 등으로 실제감 인지와는 다소 다른 양상을 보였으나 진동-영상은 본질적으로 소리에 진동의 요소를 가지고 있는 소리 유형에 대해 그 소리와 연관된 정서를 불러일으키는데 더 효과적인 것으로 나타났다.
후속연구
본 논문에 이어 다음 단계의 연구로써는 d 본 논문에서 제시된 청감-촉감 재현 방식및 개발된 촉감 재현 모듈을 가지고 장애인을 대상으로 한 청감 재현의 효과를 검증하기 위한 실험 및 분석, ii) 보다 효과적인 변조 신호 처리 방식, 세기 변조 방식 그리고 주파수 분할 방식 등에 관한 연구, ⅲ) 진동 촉감 뿐만 아니라 열감과 같은 또 다른 형태의 촉감 자극을 추가하여 진동촉감과 함께 청감재현의 효과를 향상시킬 수 있는 방안 등이 있으며 현재 이들에 관한 연구가 진행되고 있다.
참고문헌 (13)
Sohn, M. S., Shin, H. S., Park, J. S. and Han, D. W., "Trends of Haptic Interface for Wearable Computers," Report of the Electronics and Telecommunication Research Institute of the Korea, Vol. 20, No. 5, pp. 149-155, 2005.
Lindeman, R. W., Yanagida, Y., Noma, H. and Hosaka, K., "Wearable vibrotactile systems for virtual contact and information display," Virtual Reality, Vol. 9, No. 2, pp. 203-213, 2006.
Gunther, E., Davenport, G. and O'Modhrain, S., "Cutaneous Grooves: Composing for the Sense of Touch," Proceedings of Conf. on New Instruments for Musical Expression(NIME-02), pp.37-42, 2002.
Park, Y.-K., Choi, I.-M., Kim, W.-K. and Kang, D.-I., "Eyesight and Hearing Assistant Technique using Multiple Sensory Display," J. of KSPE, Vol. 26, No. 11, pp. 7-11, 2009.
Jones, L. A. and Sarter, N. B., "Tactile Displays : Guidance for Their Design and Application," Human Factors, Vol. 50, No. 1, pp. 90-111, 2008.
Wada, C., Shoji, H. and Ifukube, T., "Development and evaluation of a tactile display for a tactile vocoder," Technology and Disability, Vol. 11. No. 3, pp. 151-159, 1999.
Brown, L. M., Brewster, S. A. and Purchase, H. C., "A First Investigation into the Effectiveness of Tactons," Proceedings of the First Eurohaptics Conference and Symposium on Haptic Interfaces for virtual Environment and Teleoperator Systems, pp. 167-176, 2005.
Ternes, T. and MacLean, K. E., "Designing Large Sets of Haptic Icons with Rhythm," Haptics: Perception, Devices and Scenarios, Vol. 5024, pp. 199-208, 2008.
Karam, M., Russo, F., Branje, C., Price, E. and Fels, D. I., "Towards A Model Human Cochlea: Sensory substitution for crossmodal audio-tactile displays," Graphics Interface Conference, pp. 267-274, 2008.
Nanayakkara, S., Taylor, E., Wyse, L. and Ong, S. H., "An Enhanced Musical Experience for the Deaf: Design and Evaluation of a Music Display and a Haptic Chair," Proceedings of the 27th International Conference on Human Factors in Computing Systems, pp. 337-346, 2009.
Sethares, W. A., "Rhythm and Transforms," Springer, pp. 115-128, 2007.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.