본 논문은 공감각의 공학적인 응용 및 표현방법에 관한 기초연구로서, 인간이 인지할 수 있는 감각들 중 근감각을 시각 및 청각 요소로 변환하는 기본 시스템의 구축을 목표로 한다. 구축방법으로서, 근감각 신호를 3축 가속도 센서 및 2축 자이로센서로부터 계산된 롤(roll), 피치(pitch) 신호를 통하여 근감각 신호 데이터를 획득하고 그 데이터에서 시각적 컬러 정보와 청각적 정보로 변환하는 방법을 제안한다. 롤 신호는 HSI 컬러 모델의 명도(Intensity)와 청각의 요소인 옥타브(Octave)로 변환하고, 피치 신호는 HSI 컬러 모델의 색상(Hue)과 청각의 음계(Scale)에 대응하여 변환한다. 추출된 HSI 컬러모델의 요소성분들을 기반으로 RGB 컬러모델로 변환한 후 실시간 컬러 출력신호를 얻는다. 또한, 청각의 요소인 옥타브 및 음계 성분을 기반으로 MIDI 신호로 변환, 합성한 후 실시간 사운드 출력신호를 얻는다. 실험에서, 신체의 움직임 즉 근감각을 표현하는 롤과 피치 값에서 색과 음 사이의 유사성에 기초한 변환관계에 따라 정상적인 색과 음이 출력되는 것을 확인하였다.
본 논문은 공감각의 공학적인 응용 및 표현방법에 관한 기초연구로서, 인간이 인지할 수 있는 감각들 중 근감각을 시각 및 청각 요소로 변환하는 기본 시스템의 구축을 목표로 한다. 구축방법으로서, 근감각 신호를 3축 가속도 센서 및 2축 자이로센서로부터 계산된 롤(roll), 피치(pitch) 신호를 통하여 근감각 신호 데이터를 획득하고 그 데이터에서 시각적 컬러 정보와 청각적 정보로 변환하는 방법을 제안한다. 롤 신호는 HSI 컬러 모델의 명도(Intensity)와 청각의 요소인 옥타브(Octave)로 변환하고, 피치 신호는 HSI 컬러 모델의 색상(Hue)과 청각의 음계(Scale)에 대응하여 변환한다. 추출된 HSI 컬러모델의 요소성분들을 기반으로 RGB 컬러모델로 변환한 후 실시간 컬러 출력신호를 얻는다. 또한, 청각의 요소인 옥타브 및 음계 성분을 기반으로 MIDI 신호로 변환, 합성한 후 실시간 사운드 출력신호를 얻는다. 실험에서, 신체의 움직임 즉 근감각을 표현하는 롤과 피치 값에서 색과 음 사이의 유사성에 기초한 변환관계에 따라 정상적인 색과 음이 출력되는 것을 확인하였다.
As a basic study on both engineering applications and representation methods of synesthesia, this paper aims at building basic system which converts a muscular sense into both visual and auditory elements. As for the building method, data of the muscular sense can be acquired through roll and pitch ...
As a basic study on both engineering applications and representation methods of synesthesia, this paper aims at building basic system which converts a muscular sense into both visual and auditory elements. As for the building method, data of the muscular sense can be acquired through roll and pitch signals which are calculated from both three-axis acceleration sensor and the two-axis gyro sensor. The roll and pitch signals are then converted into both visual and auditory information as outputs. The roll signals are converted into both intensity elements of the HSI color model and octaves as one of auditory elements. In addition, the pitch signals are converted into both hue elements of the HSI color model and scales as another one of auditory elements. Each of the extracted elements of the HSI color model is converted into each of the three elements of the RGB color model respectively, so that the real-time output color signals can be obtained. Octaves and scales are also converted and synthesized into MIDI signals, so that the real-time sound signals can be obtained as anther one of output signals. In experiments, the results revealed that normal color and sound output signals were successfully obtained from roll and pitch values that represent muscular senses or physical movements, depending on the conversion relationship based on the similarity between color and sound.
As a basic study on both engineering applications and representation methods of synesthesia, this paper aims at building basic system which converts a muscular sense into both visual and auditory elements. As for the building method, data of the muscular sense can be acquired through roll and pitch signals which are calculated from both three-axis acceleration sensor and the two-axis gyro sensor. The roll and pitch signals are then converted into both visual and auditory information as outputs. The roll signals are converted into both intensity elements of the HSI color model and octaves as one of auditory elements. In addition, the pitch signals are converted into both hue elements of the HSI color model and scales as another one of auditory elements. Each of the extracted elements of the HSI color model is converted into each of the three elements of the RGB color model respectively, so that the real-time output color signals can be obtained. Octaves and scales are also converted and synthesized into MIDI signals, so that the real-time sound signals can be obtained as anther one of output signals. In experiments, the results revealed that normal color and sound output signals were successfully obtained from roll and pitch values that represent muscular senses or physical movements, depending on the conversion relationship based on the similarity between color and sound.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문은 신체의 움직임을 인지하는 근감각에서 시각과 청각으로의 변환을 시도하고 색과 음 사이의 유사성에 기초한 변환관계를 정의한다. 근감각을 포함한 여섯 가지 감각들 상호간의 전이에 관한 공감각 지각현상을 기반으로 근감각에서 시각과 청각으로 변환되는 시스템을 제안하고 구축하였다.
본 연구에서는 공감각의 요소 중 중요한 부분을 점유하고, 특히 신체의 움직임을 표현하는 근감각에서 감각의 사용빈도가 높은 시각 및 청각으로의 변환관계를 공학적으로 설계하고 시스템으로 구현하고자 시도하였다. 즉, 그림 1과 같이 시각, 청각, 촉각, 미각, 후각 및 근감각에서 일어날 수 있는 공감각 지각현상 중, 신체의 움직임 변화에 관련한 근감각에서 감각전이(sense transference)현상을 통해 다른 감각 요소로 변환될 수 있다고 가정하고 인간의 오감 중에 사용빈도가 높은 시각과 청각으로의 변환을 시도하였다.
가설 설정
본 연구에서는 공감각의 요소 중 중요한 부분을 점유하고, 특히 신체의 움직임을 표현하는 근감각에서 감각의 사용빈도가 높은 시각 및 청각으로의 변환관계를 공학적으로 설계하고 시스템으로 구현하고자 시도하였다. 즉, 그림 1과 같이 시각, 청각, 촉각, 미각, 후각 및 근감각에서 일어날 수 있는 공감각 지각현상 중, 신체의 움직임 변화에 관련한 근감각에서 감각전이(sense transference)현상을 통해 다른 감각 요소로 변환될 수 있다고 가정하고 인간의 오감 중에 사용빈도가 높은 시각과 청각으로의 변환을 시도하였다.
제안 방법
피치의 경우 –90°∼90°를 12등분 하여 음계와 HSI 컬러모델의 색상을 출력할 수 있게 하였고, 롤의 경우는 –90°∼90°를 10 등분 하여 명도와 옥타브를 출력할 수 있게 하였다. my-ARS를 하나만 사용하여 표현할 수도 있지만, 측정의 정확도와 원활한 제어를 시험하기 위해 두 손으로 나누어 실험하였다.
근감각에서 색과 음으로의 변환방식에 대한 기초연구로서, 본 실험에서는 근감각으로 측정할 수 있는 데이터 중, 위치 값인 롤(Roll)과 피치(Pitch)를 사용하여 색과 음으로의 변환을 시도한다. 즉, 롤 신호는 HSI 컬러 모델의 명도(Intensity)와 청각의 요소인 옥타브(Octave)로 변환하고, 피치 신호는 HSI 컬러 모델의 색상(Hue)과 청각의 요소인 음계(Scale)에 대응하여 변환한다.
본 논문은 신체의 움직임을 인지하는 근감각에서 시각과 청각으로의 변환을 시도하고 색과 음 사이의 유사성에 기초한 변환관계를 정의한다. 근감각을 포함한 여섯 가지 감각들 상호간의 전이에 관한 공감각 지각현상을 기반으로 근감각에서 시각과 청각으로 변환되는 시스템을 제안하고 구축하였다. 실험에서, 신체의 움직임 즉 근감각을 표현하는 롤과 피치 값에서 색과 음 사이의 유사성에 기초한 변환관계에 따라 의도한 바대로 정상적인 색과 음이 출력되는 것을 확인하였다.
근감각의 측정, 즉 원활한 신체의 움직임을 시뮬레이션하기 위해 본 실험에서는 그림 9(a)와 같이 my-ARS를 양손 등 위에 붙이고 왼손은 피치, 오른손은 롤을 조절할 수 있게 하여 롤과 피치 값의 변화에 따른 색과 음의 차이를 관찰하였다. 그림과 같은 상태에서 왼손을 위로 움직이면 0°∼90°, 아래로 움직이면 0°∼-90°이고, 오른손의 경우는 왼쪽으로 움직이면 0°∼-90°, 오른쪽으로 움직이면 0°∼90° 의 변화를 관찰할 수 있다.
두 번째 실험에서는 옥타브와 명도의 변화를 관찰하였다. 총 10단계로 나누어져 있으나 옥타브의 경우 88 키보드 피아노를 기준으로 하였으므로 8옥타브와 9옥타브 음이 빠져 있다.
두 번째 실험은 왼손을 고정한 상태(음계: A, 색상: 270°)에서 오른손을 좌우로 움직여 롤 값을 조절해 옥타브와 명도 값의 변화를 관찰하였다.
즉, 옥타브의 변화는 동일음계를 기준으로 가볍고 무거운 느낌으로 들리므로 밝고 어두운 명도와 대응시키기 위해 약 10 옥타브에 해당하는 가청주파수 대역을 고려하여 10 단계로 나누어 정의하였다. 또한, 피치의 변화를 12 단계로 나누어 시각 정보인 HSI 컬러 모델의 색상과 청각 정보인 음계의 변화로 대응시킨다. 즉, HSI 컬러모델의 색상은 12 음계와 대응시키기 위해 색상의 범위(0°∼360°)를 12 등분하여 정의하였다.
즉, 롤 신호는 HSI 컬러 모델의 명도(Intensity)와 청각의 요소인 옥타브(Octave)로 변환하고, 피치 신호는 HSI 컬러 모델의 색상(Hue)과 청각의 요소인 음계(Scale)에 대응하여 변환한다. 롤과 피치로부터 HSI 컬러모델의 요소성분인 명도와 색상을 추출하고, 채도(Saturation)는 본 연구에서는 중간 값으로 고정한 뒤 RGB 컬러 모델로 변환하여 최종 컬러색상을 실시간 시각 출력신호로서 얻는다. 또한 롤과 피치로부터 청각의 요소성분인 옥타브와 음계 정보를 추출하고, 이를 기반으로 컴퓨터나 외부 장비로 연주 정보를 상호 전달하기 위해 정해진 데이터 전송 규격인 MIDI(Musical Instrument Digital Interface) 신호로 변환하여 최종 합성된 사운드를 실시간 청각 출력신호로서 얻는다.
본 논문에서는 음의 삼속성을 기본으로 다양한 음색을 표현할 수 있는 MIDI를 사용한다. MIDI 음의 발생과 소멸은 노트 온(Note On) 메시지로 음의 발생을 표시하고, 노트 오프(Note Off)로 음의 소멸을 표시한다.
본 연구에서는 근감각 신호에서 색과 음으로의 변환에 있어 근감각으로 측정할 수 있는 데이터 중 롤과 피치 정보를 이용하여 색과 음으로의 변환을 시도한다. 실험에서, ARS의 가속도 센서 및 자이로 센서를 통하여 획득된 가속도와 각속도 데이터를 기반으로 계산된 롤과 피치 값을 사용한다.
본 연구에서는 색을 인간의 색인지에 기반을 둔 사용자 지향성의 HSI 컬러모델로 표현한 다음 RGB 컬러 모델로 변환하여 사용한다. RGB 컬러모델을 바로 사용하지 않고 HSI 컬러모델을 사용하는 이유는 RGB 컬러모델이 가법혼합방식을 사용하기 때문에 Red, Green, Blue 값을 보았을 때 최종적으로 어떤 색이 나올지 쉽게 알 수가 없고 빛의 밝기에 대한 정보가 없으므로 밝기에 따른 색에 영향을 줄 가능성이 크기 때문이다.
본 연구에서는 근감각 신호에서 색과 음으로의 변환에 있어 근감각으로 측정할 수 있는 데이터 중 롤과 피치 정보를 이용하여 색과 음으로의 변환을 시도한다. 실험에서, ARS의 가속도 센서 및 자이로 센서를 통하여 획득된 가속도와 각속도 데이터를 기반으로 계산된 롤과 피치 값을 사용한다. 롤과 피치 값에 대응하는 시각과 청각 정보는 색과 음 사이의 유사성에 기초한 대응관계로서 정의된다.
결과를 확인할 수 있는 출력용으로 그림 9(b)와 같은 VC++기반 시스템을 구축하였다. 실험은 두 번으로 나누어 측정하였다. 첫 번째 실험은 오른손을 고정한 상태(옥타브:4, 명도: 0.
이렇게 얻어진 HSI 컬러모델을 RGB 변환 공식을 이용하여 변환한 최종 RGB 컬러의 출력을 확인한다. 옥타브와 음계는 MIDI 신호에 적용하여 최종 사운드를 합성하여 출력하고, ARS의 롤과 피치 값의 변화에 따른 사운드의 변화를 확인한다.
두 번째 실험은 왼손을 고정한 상태(음계: A, 색상: 270°)에서 오른손을 좌우로 움직여 롤 값을 조절해 옥타브와 명도 값의 변화를 관찰하였다. 음의 측정은 출력되는 음을 녹음하여 사운드 분석 도구인 Praat[18]로 음의 피치 값과 주파수를 측정하였고, 출력된 컬러는 변환관계에 따른 정확한 컬러값인지 검증하였다.
동일한 개념으로 음악에서는 같은 음계를 연주할 때 옥타브의 높고 낮음에 따라 가볍고 무거운 느낌으로 구분되어 들린다[13]. 이러한 공통점을 기준으로 색상과 음계를 롤 신호와 대응시키고, 명도와 옥타브를 피치로 대응시켰다.
5 값으로 고정한다. 이렇게 얻어진 HSI 컬러모델을 RGB 변환 공식을 이용하여 변환한 최종 RGB 컬러의 출력을 확인한다. 옥타브와 음계는 MIDI 신호에 적용하여 최종 사운드를 합성하여 출력하고, ARS의 롤과 피치 값의 변화에 따른 사운드의 변화를 확인한다.
또한 롤과 피치로부터 청각의 요소성분인 옥타브와 음계 정보를 추출하고, 이를 기반으로 컴퓨터나 외부 장비로 연주 정보를 상호 전달하기 위해 정해진 데이터 전송 규격인 MIDI(Musical Instrument Digital Interface) 신호로 변환하여 최종 합성된 사운드를 실시간 청각 출력신호로서 얻는다. 이처럼 롤과 피치 신호를 입력으로 한 근감각의 변화를 색과 음으로 동시에 실시간 출력할 수 있는 시스템을 구축하여 변화를 관찰하였다.
이처럼 색과 음 사이의 유사성을 고려하여, 음에서 한 옥타브를 12음계로 나눈 것과 동일한 개념으로 색상과 음계를 구분하고, 가청주파수대(20Hz∼20kHz)는 약 10 옥타브에 해당하므로 명도와 옥타브를 10 단계로 구분하였다.
근감각에서 색과 음으로의 변환방식에 대한 기초연구로서, 본 실험에서는 근감각으로 측정할 수 있는 데이터 중, 위치 값인 롤(Roll)과 피치(Pitch)를 사용하여 색과 음으로의 변환을 시도한다. 즉, 롤 신호는 HSI 컬러 모델의 명도(Intensity)와 청각의 요소인 옥타브(Octave)로 변환하고, 피치 신호는 HSI 컬러 모델의 색상(Hue)과 청각의 요소인 음계(Scale)에 대응하여 변환한다. 롤과 피치로부터 HSI 컬러모델의 요소성분인 명도와 색상을 추출하고, 채도(Saturation)는 본 연구에서는 중간 값으로 고정한 뒤 RGB 컬러 모델로 변환하여 최종 컬러색상을 실시간 시각 출력신호로서 얻는다.
즉, 옥타브의 변화는 동일음계를 기준으로 가볍고 무거운 느낌으로 들리므로 밝고 어두운 명도와 대응시키기 위해 약 10 옥타브에 해당하는 가청주파수 대역을 고려하여 10 단계로 나누어 정의하였다. 또한, 피치의 변화를 12 단계로 나누어 시각 정보인 HSI 컬러 모델의 색상과 청각 정보인 음계의 변화로 대응시킨다.
그림 10의 (a)와 (b)는 첫 번째 실험 결과이고 (c)와 (d) 는 두 번째 실험 결과이다. 첫 번째 실험에서는 음계와 색상의 변화를 관찰하였다. 그림 10(a)는 4옥타브 12음계의 주파수 출력결과로서, 4옥타브 C의 주파수 263Hz를 시작으로 순차적으로 증가하여 4옥타브 A의 주파수는 정상적으로 440Hz가 되는 것을 확인하였다.
실험은 두 번으로 나누어 측정하였다. 첫 번째 실험은 오른손을 고정한 상태(옥타브:4, 명도: 0.44, 채도: 0.5)에서 왼손만을 위에서 아래로 움직여 피치 값을 조절하고 음계와 색상의 변화를 관찰하였다. 두 번째 실험은 왼손을 고정한 상태(음계: A, 색상: 270°)에서 오른손을 좌우로 움직여 롤 값을 조절해 옥타브와 명도 값의 변화를 관찰하였다.
피치의 경우 –90°∼90°를 12등분 하여 음계와 HSI 컬러모델의 색상을 출력할 수 있게 하였고, 롤의 경우는 –90°∼90°를 10 등분 하여 명도와 옥타브를 출력할 수 있게 하였다.
이론/모형
근감각으로 느낄 수 있는 정보로는 움직이는 속도, 운동의 방향, 관절의 굽어진 정도이다. 이러한 감각을 디지털 정보로 측정하는 방법의 일환으로 가속도 센서 및 자이로 센서 등의 관성 센서(inertial sensor)로부터 계산된 롤(roll), 피치(pitch) 및 요(yaw) 신호에 기반한 자세측정장치(ARS: Attitude Reference System)를 사용한다. ARS의 가속도센서는 동체의 가속도를 측정하고 자이로 센서는 동체의 각 속도를 측정함으로써 로봇이나 차량, 항공기 등의 자세를 측정하기 위해 개발된 장비이다.
성능/효과
첫 번째 실험에서는 음계와 색상의 변화를 관찰하였다. 그림 10(a)는 4옥타브 12음계의 주파수 출력결과로서, 4옥타브 C의 주파수 263Hz를 시작으로 순차적으로 증가하여 4옥타브 A의 주파수는 정상적으로 440Hz가 되는 것을 확인하였다. 그림 10(b)는 출력되는 색의 변화를 보여주고 있다.
색상이 0° 일 때 빨간색에서 30° 씩 증가하여, 120°에서 녹색, 240°에서는 파란색을 확인하였고 총 12가지 색을 관찰 할 수 있었다.
근감각을 포함한 여섯 가지 감각들 상호간의 전이에 관한 공감각 지각현상을 기반으로 근감각에서 시각과 청각으로 변환되는 시스템을 제안하고 구축하였다. 실험에서, 신체의 움직임 즉 근감각을 표현하는 롤과 피치 값에서 색과 음 사이의 유사성에 기초한 변환관계에 따라 의도한 바대로 정상적인 색과 음이 출력되는 것을 확인하였다.
후속연구
본 연구를 포함한 공감각 상호인지기반 시스템의 응용으로서, 시각장애인 또는 청각장애인을 위한 편의장비의 개발이나, 인간의 공감각적 기능을 지닌 지능형 로봇 개발, 스마트폰 및 모바일기기 등에서의 다양한 응용 어플리케이션 개발 등이 가능함과 동시에, 온라인 또는 오프라인의 광고 산업, 게임 산업 및 디자인산업 등에서도 광범위하게 응용될 수 있을 것으로 기대한다.
구현된 시스템에서는 근감각의 인지 요소 중 요(Yaw)를 제외한 롤(Roll)과 피치(Pitch)로 제한하여 변환하였기 때문에 색과 음의 다양한 요소를 충분히 활용하지 못하였다. 향후 연구 과제로는 ARS에서 얻을 수 있는 정보 중 요 신호뿐만 아니라, 가속도 센서 및 자이로 센서 등의 관성 센서로부터 획득되는 가속도 성분과 각속도 성분을 이용하여 신체 움직임의 속도 변화량을 추정한다면 좀 더 유연한 시스템이 되리라 기대한다.
질의응답
핵심어
질문
논문에서 추출한 답변
공감각이란?
공감각(Synesthesia)은 어떤 감각에 자극이 주어졌을 때 자극이 주어진 감각 외에 다른 감각을 자극하여 반응을 유발하는 현상을 말한다. 이러한 현상은 모든 사람이 공통으로 느끼지는 않지만 일치하는 경우가 많고 일반인보다 시각, 청각 장애인이 더욱 발달되어 있다.
일반인과 청각 장애인의 공감각 발달 정도의 차이는 어떻게 나타나는가?
공감각(Synesthesia)은 어떤 감각에 자극이 주어졌을 때 자극이 주어진 감각 외에 다른 감각을 자극하여 반응을 유발하는 현상을 말한다. 이러한 현상은 모든 사람이 공통으로 느끼지는 않지만 일치하는 경우가 많고 일반인보다 시각, 청각 장애인이 더욱 발달되어 있다. 공감각의 예로서 시각을 통하여 레몬을 보았을 때 미각으로 신맛이 느껴진다거나, 청각으로 소리를 들었을 때 특정 색이 시각적으로 보이는 경우, 후각으로 어떠한 냄새를 맡았을 때 청각적인 기억을 불러일으키는 경우, 또는 촉각으로 물체의 느낌을 느꼈을 때 느낌에 대한 시각적 기억을 불러일으키는 경우 등을 들 수 있다.
공감각의 예는?
이러한 현상은 모든 사람이 공통으로 느끼지는 않지만 일치하는 경우가 많고 일반인보다 시각, 청각 장애인이 더욱 발달되어 있다. 공감각의 예로서 시각을 통하여 레몬을 보았을 때 미각으로 신맛이 느껴진다거나, 청각으로 소리를 들었을 때 특정 색이 시각적으로 보이는 경우, 후각으로 어떠한 냄새를 맡았을 때 청각적인 기억을 불러일으키는 경우, 또는 촉각으로 물체의 느낌을 느꼈을 때 느낌에 대한 시각적 기억을 불러일으키는 경우 등을 들 수 있다. 대부분의 경우 시각을 통해 공감각을 느끼거나 다른 감각을 통해 시각적인 공감각을 느끼는 경우가 많다.
참고문헌 (18)
Suslick K.S., "Synesthesia in science and technology: more than making the unseen visible", Current opinion in chemical biology, vol. 16 no. 5/6, pp. 557-563, 2012.
Goller Aviva I, Otten Leun J, "Seeing sounds and hearing colors: an event-related potential study of auditory-visual synesthesia.", Journal of cognitive neuroscience, vol. 21, no. 10, pp. 1869-1881, 2009.
G-Y Jun, Synesthetic expression of sounds and colors, Ewha Womans University, Master's thesis, 2004.
J-H Han, Color harmony scheme using the synesthetical characteristic of music, Yonsei University, Master's thesis, 2004.
J-H Kim, Upper limb position sense of the athletes in different sport events, Korea National University of Education, Master's thesis, 2004.
Milosevic B., Naldi R., Farella E, "Design and validation of an attitude and heading reference system for an aerial robot prototype", American Control Conference(ACC) , pp. 1720-1725, 2012.
Martin P., Salaun E., "Design and implementation of a low-cost observer-based attitude and heading reference system", Control engineering practice, vol. 18, no. 7, pp. 712-722, 2010.
G-H Kim, J-G Beak, Sound-color harmonization, Imress, 2003.
S-I Kim, J-S Jung, "A Basic Study on the System of Converting Color Image into Sound", Journal of the Korean Institute of Intelligent Systems, vol. 20, no. 2, pp. 251-256, 2010.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.