색-청 공감각 인지 기반 사운드-컬러 신호 실시간 변환 시스템의 구현 Real-time Implementation of Sound into Color Conversion System Based on the Colored-hearing Synesthetic Perception원문보기
본 논문은 공감각의 한 부분인 색청(colored-hearing) 공감각을 이용한 사운드-컬러 신호 변환에 관한 연구로서, 인간이 인지 할 수 있는 오감 중 공감각적 변환이 가장 많이 일어나는 청각과 시각을 이용한 실시간 변환 시스템의 구축을 목표로 한다. 본 논문에서 제안하는 음-색 실시간 변환 방법으로서, 입력으로 사용하는 MIDI(Musical Instrument Digital Interface) 신호에서 음계(scale), 옥타브(octave) 및 음의 세기(velocity)를 추출한 후 HSI 컬러모델의 기본 요소인 색상(hue), 명도(intensity) 및 채도(saturation)에 각각 대응하여 변환하는 방법으로 단순하지만 직관적인 방법을 사용한다. 변환된 HSI 컬러 모델은 모니터 출력을 위해 RGB 컬러 모델로 최종 변환하여 출력한다. 실험에서, MIDI 입력신호 전송 H/W 시스템과 VC++ 기반 해당 사운드-컬러 변환 입 출력 S/W 모니터링 시스템을 구축하여 사운드에서 컬러로의 출력이 제안한 방식에 따라 값이 출력됨을 확인하였다.
본 논문은 공감각의 한 부분인 색청(colored-hearing) 공감각을 이용한 사운드-컬러 신호 변환에 관한 연구로서, 인간이 인지 할 수 있는 오감 중 공감각적 변환이 가장 많이 일어나는 청각과 시각을 이용한 실시간 변환 시스템의 구축을 목표로 한다. 본 논문에서 제안하는 음-색 실시간 변환 방법으로서, 입력으로 사용하는 MIDI(Musical Instrument Digital Interface) 신호에서 음계(scale), 옥타브(octave) 및 음의 세기(velocity)를 추출한 후 HSI 컬러모델의 기본 요소인 색상(hue), 명도(intensity) 및 채도(saturation)에 각각 대응하여 변환하는 방법으로 단순하지만 직관적인 방법을 사용한다. 변환된 HSI 컬러 모델은 모니터 출력을 위해 RGB 컬러 모델로 최종 변환하여 출력한다. 실험에서, MIDI 입력신호 전송 H/W 시스템과 VC++ 기반 해당 사운드-컬러 변환 입 출력 S/W 모니터링 시스템을 구축하여 사운드에서 컬러로의 출력이 제안한 방식에 따라 값이 출력됨을 확인하였다.
This paper presents a sound into color signal conversion using a colored-hearing synesthesia. The aim of the present paper is to implement a real-time conversion system which focuses on both hearing and sight which account for a great part of bodily senses. The proposed method of the real-time conve...
This paper presents a sound into color signal conversion using a colored-hearing synesthesia. The aim of the present paper is to implement a real-time conversion system which focuses on both hearing and sight which account for a great part of bodily senses. The proposed method of the real-time conversion of color into sound, in this paper, was simple and intuitive where scale, octave and velocity were extracted from MIDI input signals, which were converted into hue, intensity and saturation, respectively, as basic elements of HSI color model. In experiments, we implemented both the hardware system for delivering MIDI signals to PC and the VC++ based software system for monitoring both input and output signals, so we made certain that the conversion was correctly performed by the proposed method.
This paper presents a sound into color signal conversion using a colored-hearing synesthesia. The aim of the present paper is to implement a real-time conversion system which focuses on both hearing and sight which account for a great part of bodily senses. The proposed method of the real-time conversion of color into sound, in this paper, was simple and intuitive where scale, octave and velocity were extracted from MIDI input signals, which were converted into hue, intensity and saturation, respectively, as basic elements of HSI color model. In experiments, we implemented both the hardware system for delivering MIDI signals to PC and the VC++ based software system for monitoring both input and output signals, so we made certain that the conversion was correctly performed by the proposed method.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 색청 공감각을 이용한 음에서 색으로의 변환 관계를 설명하고 실제 실시간 시스템으로의 구현을 시도하였다. 음의 요소인 음계(scale), 옥타브 (octave) 및 음의 세기(velocity)를 색의 요소인 색상(hue), 명도(intensity) 및 채도(saturation)로 대응하여 변환한다.
본 논문은 공감각의 주요한 감각으로서 음과 색의 유사성을 기초로 색-청 공감각을 이용한 실시간 변환 방법을 제시하고, 실제 변환 시스템을 구축하여 테스트하였다. 본 논문에서 제안한 변환 방법을 토대로, 입력된 MIDI 신호에 따라 출력 색상으로의 변환이 바르게 이루어짐을 입력신호의 주파수 분석과 중간 단계의 HSI 컬러모델의 각 요소의 출력 색상으로 확인하였다.
본 논문은 실시간 임베디드 시스템의 구현을 최선의 목표로 하였기 때문에 음과 색의 단순한 속성을 기반으로 상호 대응하여 변환하는 것에 초점을 맞추었다. 그러므로 화음, 멜로디 및 하모니 등 음악의 복잡한 속성과 색상, 질감 및 형태 등의 컬러영상의 속성 등 상호 다양한 특징 요소들을 사용하지 못하였다.
인간의 복잡한 공감각적 기능 구현을 최종 목표로, 본 논문은 주파수 변환공식 또는 사운드 신호에서 피치 성분을 추출하는 방법 대신 음계와 옥타브로의 변환이용이한 MIDI 신호를 입력으로 채용함과 동시에 실시간 변환 임베디드 시스템의 구현을 타 연구들과의 차이점으로 두고 있다. 즉, MIDI 입력 신호에서 음계와 옥타브를 추출하고 이를 HSI 컬러 모델의 요소인 색상과 명도에 균등 대응시켜 컬러신호를 생성하는 비교적 단순하지만 직관적인 방법을 제안한다.
제안 방법
각각의 음의 시작 및 음의 끝 명령은 두 바이트의 상태 바이트로 0∼127 범위의 음의 높이와 음 속력 정보를 가진다[17][18]. MIDI 프로토콜을 사용하면 다른 입력장치를 사용하더라도 적은 데이터를 사용하여 어느 장치에서나 동일한 출력을 나타낼 수 있으므로 본 논문에서도 MIDI 프로토콜을 입력으로 사용하였다. [그림 1]에나타나 있는 MIDI 번호(0∼127)를 이용하면 옥타브와 음계 및 음의 세기를 쉽게 추출하여 사용할 수 있기 때문에 사용하기 편리하다는 장점도 있다.
음-색 변환 출력이 올바르게 작동되는지 확인하기 위하여, 12음계, 10옥타브 및 음의 세기를 각각 변화시켜가면서 전체 시스템을 테스트하였다. [그림 10]에서 보여 지는 바와 같이 12음계 출력을 확인하기 위해 4옥타브 음을 차례대로 눌러서 변환 과정을 표시하였고, 미디 음을 녹음하여 사운드 분석 도구인 praat[21]을 이용해 주파수를 확인하였다.
즉, MIDI 입력 신호에서 음계와 옥타브를 추출하고 이를 HSI 컬러 모델의 요소인 색상과 명도에 균등 대응시켜 컬러신호를 생성하는 비교적 단순하지만 직관적인 방법을 제안한다. 또한 Cortex-m4 기반 마이크로컨트롤러를 이용함으로써 실시간 변환 임베디드 시스템을 구현하였다.
본 논문은 공감각의 주요한 감각으로서 음과 색의 유사성을 기초로 색-청 공감각을 이용한 실시간 변환 방법을 제시하고, 실제 변환 시스템을 구축하여 테스트하였다. 본 논문에서 제안한 변환 방법을 토대로, 입력된 MIDI 신호에 따라 출력 색상으로의 변환이 바르게 이루어짐을 입력신호의 주파수 분석과 중간 단계의 HSI 컬러모델의 각 요소의 출력 색상으로 확인하였다.
MIDI 번호는 0에서부터 12개씩 증가해 127까지총 10개의 옥타브로 구분한다. 옥타브로 구분한 MIDI 번호에 음계를 대응하여 12개의 음계를 확인한다. 마지막으로 세 번째 바이트는 음의 세기로 0∼127 사이의 값을 가진다.
음-색 변환 입·출력 모니터링 시스템에 음계, 옥타브 및 색의 변환 과정을 실시간 표시하도록 제작하였다.
음-색 변환 출력이 올바르게 작동되는지 확인하기 위하여, 12음계, 10옥타브 및 음의 세기를 각각 변화시켜가면서 전체 시스템을 테스트하였다. [그림 10]에서 보여 지는 바와 같이 12음계 출력을 확인하기 위해 4옥타브 음을 차례대로 눌러서 변환 과정을 표시하였고, 미디 음을 녹음하여 사운드 분석 도구인 praat[21]을 이용해 주파수를 확인하였다.
전송받은 MIDI 데이터를 VC++ 로 제작한 음-색 변환 입·출력 모니터링 시스템을 통하여 컬러신호로 변환된 결과를 출력하고 분석하였다.
인간의 복잡한 공감각적 기능 구현을 최종 목표로, 본 논문은 주파수 변환공식 또는 사운드 신호에서 피치 성분을 추출하는 방법 대신 음계와 옥타브로의 변환이용이한 MIDI 신호를 입력으로 채용함과 동시에 실시간 변환 임베디드 시스템의 구현을 타 연구들과의 차이점으로 두고 있다. 즉, MIDI 입력 신호에서 음계와 옥타브를 추출하고 이를 HSI 컬러 모델의 요소인 색상과 명도에 균등 대응시켜 컬러신호를 생성하는 비교적 단순하지만 직관적인 방법을 제안한다. 또한 Cortex-m4 기반 마이크로컨트롤러를 이용함으로써 실시간 변환 임베디드 시스템을 구현하였다.
피아노 스위치 입력장치로부터 MIDI 신호를 전송받아 해당 컬러 이미지로의 변환을 표시하고(모니터링 시스템의 오른쪽) MIDI 번호에 해당하는 건반에 최종 변환된 컬러신호를 동시 표시(모니터링 시스템의 왼쪽)하여 직관적으로 결과를 알 수 있도록 하였다. [그림 9]은 전체 시스템의 동작 예를 보여 주고 있다.
이 피아노 스위치는 디코더인 74hc154를 이용하여 적은 I/O(Input/Output)핀을 사용한 제어가 가능하게 설계[20]되었다. 피아노 스위치의 제어는 ST사의 Cortex-M4 Discovery를 사용하여 I/O 핀으로 스위치의 입력을 받고, 타이머 카운터를 이용해 누르는 속도를 측정하였다. 옥타브 조절은 두 개의 버튼을 사용하여 위 또는 아래의 옥타브로 이동할 수 있도록 하였다.
이론/모형
본 논문과 관련이 있는 음-색 변환의 주제로서, 가시 주파수를 기준주파수에 근거한 주파수 변환공식에 의해 가청주파수로 변환 출력하는 연구[11][12] 및 입력 소리의 피치 성분에 기초하여 기본주파수를 추출하고 이에 해당하는 음계와 옥타브를 계산한 후 각각 색상과 명도 성분으로 균등 매칭하는 방법[13]을 사용하였다. 지금까지의 음-색 변환에 관한 연구 성과들은 사운드와 영상 신호 사이의 단순한 변환공식 또는 매칭에 그치고 있으며 사운드와 컬러 신호의 결합을 통한 새로운 정보의 창출, 연상 작용 등과 같은 복잡한 인간의 공감각적 기능을 가지기에는 아직 갈 길이 멀다고 할 수 있다.
성능/효과
5Hz로 서서히 증가하여 4옥타브 라(A)음의 주파수가 440Hz인 것을 확인할 수 있었다. [그림 10(b)] 와 같이 12음계가 입력되었을 때 12색상이 비교적 정확하게 출력된 결과를 확인할 수 있었고, 입력 시의 누르는 강도에 따른 음의 세기 값이 일정하지 않아 채도 값에 약간의 변화가 있었음을 알 수 있었다.
음의 세기가 변하거나 음색이 변하더라도 음계는 고유한 속성을 유지하는 절대적인 속성으로 색에서의 색상과 많은 공통점이 있다. 두 번째로, 채도는 색의 순수한 정도를 나타내는 용어로 순색에 가까울수록 채도가 가장 높고, 순색에서 멀어질수록 채도가 낮아진다. 음에서도 음의 세기는 음을 연주할 때, 강약을 의미하는 것으로 음의 강조나 리듬의 다이내믹을 조절할 수 있는 요소로 음의 본질적인 순수한 특성을 명확하게 느낄 수 있다는 의미에서 채도와 비슷하다.
음악적 요소로 연결될 수 있는 시각요소에 관한 설문조사에서 응답자의 대다수가 색상, 명도, 채도라고 답하였다[19]. 첫 번째로, 색상은 서로를 구분할 수 있도록 하는 가장 중요한 요소로서 채도와 명도의 변화에 상관없이 유지되는 고유한 속성이다. 또한 음에서도 음을 구별 하는 가장 큰 요소는 음계이다.
후속연구
이러한 요구와 더불어 공감각을 이용한 감각 상호 간의 변환에 대한 공학적인 기초 및 응용 연구[6-13]가 부족한 환경에서 본 논문과 같이 색청 공감각에 기반한 공학적 응용 연구 또한 의미 있는 시도 중 하나라고 생각한다. 관련 연구의 응용분야로서, 시각장애인 또는 청각장애인을 위한 편의장비의 개발, 모바일 및 웨어러블 기기에서의 다양한 응용 애플리케이션 개발, 광고, 게임 산업 등 시각과 청각의 영역을 포괄하는 분야에서도 광범위하게 응용 발전될 수 있을 것으로 기대한다.
그러므로 화음, 멜로디 및 하모니 등 음악의 복잡한 속성과 색상, 질감 및 형태 등의 컬러영상의 속성 등 상호 다양한 특징 요소들을 사용하지 못하였다. 향후 연구 과제로서, 음과 색의 다양한 속성들의 특징 파라미터를 정의하고 각각 대응되는 공통점을 찾아 적용한다면 보다 자연스러운 음-색 변환 또는 상호 변환 시스템이 될 것으로 기대한다.
질의응답
핵심어
질문
논문에서 추출한 답변
색청 공감각이란?
공감각은 사람에 따라 정도의 차이는 있지만 모든 사람이 경험하는 분명한 현상[1]이다. 오감 요소들의 지각은 습관과 기억으로 연결, 혼합되어 인지되고각 감각의 단편적인 경계를 넘는 이차적 감각현상으로 그 중 음파가 귀에 자극될 때 소리를 들을 뿐 아니라 색상을 느끼는 현상을 색청(coloured hearing)[2] 공감각이라 한다. 즉, 사람들의 청각적 지각발달은 단순히 소리를 듣고 그림으로 표현하는 것뿐만 아니라 음악적 경험에 대해 시각화하여 나타낼 수 있는 능력을 포함한다.
음악적 요소로 연결될 수 있는 시각요소 중 채도의 특징은 무엇인가?
음의 세기가 변하거나 음색이 변하더라도 음계는 고유한 속성을 유지하는 절대적인 속성으로 색에서의 색상과 많은 공통점이 있다. 두 번째로, 채도는 색의 순수한 정도를 나타내는 용어로 순색에 가까울수록 채도가 가장 높고, 순색에서 멀어질수록 채도가 낮아진다. 음에서도 음의 세기는 음을 연주할 때, 강약을 의미하는 것으로 음의 강조나 리듬의 다이내믹을 조절할 수 있는 요소로 음의 본질적인 순수한 특성을 명확하게 느낄 수 있다는 의미에서 채도와 비슷하다.
MIDI란?
MIDI는 시장에서 유통되는 음악 신시사이저, 시퀀서, 샘플러, 키보드, 워크스테이션 대부분이 사용하는 프로토콜이다. 시리얼 통신, 하드웨어, 신시사이저 메모리에 있는 음향 모음의 구성 등을 포괄하며, MIDI 메시지가 실제로 음악을 연주하지는 않지만, 신시사이저에서 어떻게 연주되어야 하는지에 대한 정보를 담고 있다[16].
참고문헌 (21)
김용철, 공감각의 형성요인에 관한 연구, 홍익대학교 대학원 박사학위논문, 2005.
유혜영, 색채의 공감각에 의한 색채인지 연구, 이화여자대학교 대학원 석사학위논문, 2010.
전가영, 음과 색의 공감각적 표현, 이화여자대학교 대학원 석사학위논문, 2003.
전한영, 공감각을 활용한 중학교 음악 감상 수업 지도방안 연구, 연세대학교 석사학위논문, 2014.
N. Osmanovic, N. Hrustemovic, and H. R. Myler, "A testbed for auralization of graphic art," IEEE Region 5, 2003 Annual Technical Conference, pp.45-49, 2003.
S. Matta, D. K. Kumar, and X. H. Yu, "Discriminative analysis for image to sound mapping," Intelligent Sensing and Information Processing, pp.119-122, 2004.
http://www.seeingwithsound.com/
Peter B. L. Meijer, "An experimental system for auditory image representations," IEEE trans. on bio-medical engineering, Vol.39, No.2, pp.112-121, 1992.
Evan Briggs, FPGA Digital Music Synthesizer, Diss. Worcester Polytechnic Institute, 2015.
Guoming Zhao, "The Study on the Performance Characteristics of the Violin Tone in the Computer Music," International Conference on Education Technology, Management and Humanities Science, pp.44-47, 2015.
http://www.midi.org
황태영, 이미지 색상 정보 분석을 통한 음악적 정보 추출에 관한 연구, 중앙대학교 첨단영상 대학원 석사학위논문, 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.