음악은 사람의 감성, 감정에 영향을 끼치며, 최근 음악의 정서적인 힘은 여러 분야에 응용되고 있다. 특히, 음악을 듣는 것뿐만 아니라 시각적으로 가시화하여 여러 분위기를 연출할 수 있다. 본 논문에서는 음악과 조명을 연계하여 사람과의 상호작용을 위한 감성 제어 시스템을 제안한다. 기존의 FT(Fourier Transform)는 시간에 대한 정보를 가지고 있지 않기 때문에 시간에 따라 주파수 성분이 변하는 신호의 정보를 효율적으로 분석하기 어렵다. 이와 같은 문제점을 해결하기 위해 음악 신호 분석은 STFT(Short Time Fourier Transform)을 사용하였고, 세 가지의 장르로 음악을 분류하여 장르에 따른 주파수 특성을 비교해 보았으며, 분석된 범위내의 주파수 성분을 바탕으로 컬러 LED조명의 색상과 밝기 제어를 하였다. 기존의 음악을 이용한 LED조명 제어 연구와 다르게 감성적인 조명의 색 제어와 음악 신호의 변화량을 이용하여 밝기 제어를 하였으며, 제안된 조명 제어 방식은 감성 조명뿐만 아니라 여러 산업분야로 활용 될 수 있을 것이다.
음악은 사람의 감성, 감정에 영향을 끼치며, 최근 음악의 정서적인 힘은 여러 분야에 응용되고 있다. 특히, 음악을 듣는 것뿐만 아니라 시각적으로 가시화하여 여러 분위기를 연출할 수 있다. 본 논문에서는 음악과 조명을 연계하여 사람과의 상호작용을 위한 감성 제어 시스템을 제안한다. 기존의 FT(Fourier Transform)는 시간에 대한 정보를 가지고 있지 않기 때문에 시간에 따라 주파수 성분이 변하는 신호의 정보를 효율적으로 분석하기 어렵다. 이와 같은 문제점을 해결하기 위해 음악 신호 분석은 STFT(Short Time Fourier Transform)을 사용하였고, 세 가지의 장르로 음악을 분류하여 장르에 따른 주파수 특성을 비교해 보았으며, 분석된 범위내의 주파수 성분을 바탕으로 컬러 LED조명의 색상과 밝기 제어를 하였다. 기존의 음악을 이용한 LED조명 제어 연구와 다르게 감성적인 조명의 색 제어와 음악 신호의 변화량을 이용하여 밝기 제어를 하였으며, 제안된 조명 제어 방식은 감성 조명뿐만 아니라 여러 산업분야로 활용 될 수 있을 것이다.
Music affects sensitivity and emotion of human, emotional power of the music has been applied to various fields. Especially, to visualize as well as listen to music is able to create various atmosphere. In this paper, we proposed sensitivity control system for interaction with people to merge music ...
Music affects sensitivity and emotion of human, emotional power of the music has been applied to various fields. Especially, to visualize as well as listen to music is able to create various atmosphere. In this paper, we proposed sensitivity control system for interaction with people to merge music and lighting. Because existing FT(Fourier Transform) has not information about the time, to analyze information of changed signal according to the time is difficult. In order to solve such a problem, we use STFT(Short Time Fourier Transform) method to analyze music signal. and also, we classified music for three genre and compared the frequency characteristics according to genre, and control the color, brightness of LED light based on the frequency components within analysis range. Unlike existing LED lighting control study using music, we had color control of emotional lighting and brightness control using variation amount of music signal in this paper. Proposed lighting control system will be able to utilize various industry fields as well as emotional lighting.
Music affects sensitivity and emotion of human, emotional power of the music has been applied to various fields. Especially, to visualize as well as listen to music is able to create various atmosphere. In this paper, we proposed sensitivity control system for interaction with people to merge music and lighting. Because existing FT(Fourier Transform) has not information about the time, to analyze information of changed signal according to the time is difficult. In order to solve such a problem, we use STFT(Short Time Fourier Transform) method to analyze music signal. and also, we classified music for three genre and compared the frequency characteristics according to genre, and control the color, brightness of LED light based on the frequency components within analysis range. Unlike existing LED lighting control study using music, we had color control of emotional lighting and brightness control using variation amount of music signal in this paper. Proposed lighting control system will be able to utilize various industry fields as well as emotional lighting.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
발라드, 재즈, 팝, 락 등의 장르를 분류할 수 있으며, 감성을 기준으로 신나고 우울하고 시끄러운 느낌의 음악으로 분류되기도 한다. 본 논문에서는 간단하게 세 가지의 장르로 음악을 분류하고 장르에 따른 주파수 특성을 비교해 보았으며, 이를 조명 제어에 응용해 보았다. 잔잔한 음악은 비교적 낮은 주파수에서 amplitude의 변화폭이 작은 경향을 나타냈고, 신나는 음악은 낮은 주파수 대역에서 반복되는 빠른 비트들이 보이면서 대부분의 주파수대역에 신호가 고르게 분포하는 경향을 나타냈으며, 락 음악은 다른 두 장르에 비해 아주 높은 대역의 주파수에서 신호가 많이 존재하는 경향을 나타냈다.
본 논문에서는 음악을 듣는 것뿐만 아니라 사람에게 시각적으로도 적합한 분위기를 제공할 수 있는 방법에 대해서 연구하였다. 이전에 음악과 조명을 연동하기 위한 많은 연구가 있었다.
제안 방법
그림 10은 잔잔한 음악에 대한 분석 결과이며, 그림 11은 신나는 음악에 대한 분석 결과, 마지막으로 그림 12는 락 음악에 대한 분석 결과이다. STFT (Short Time Fourier Transform) 분석 결과 데이터는 음악의 일부분으로 설정하였다.
각 LED는 조명 컨트롤러에 연결하여 DMX512 프로토콜의 1∼4번 어드레스에 할당하였고, Green, Blue, White, Red 순으로 어드레스를 부여하였다.
각 색상에서 선정된 주파수에 대해 밝기 정보를 생성하기 위해 입력 받을 수 있는 최대 amplitude를 기준으로 입력된 amplitude의 변화량을 정규화 하였다. 여기서 정규화는 8비트 PWM 값의 범위를 가질 수 있도록 [0,255]의 값으로 정규화 하였으며, 정규화된 신호를 조명 제어 신호로 바로 사용하면 조명의 변화가 너무 심하기 때문에 이를 감쇄시키기 위해 1차 저역 통과 필터(low pass filter)를 사용하여 서서히 변하도록 조절하였다.
각 LED는 조명 컨트롤러에 연결하여 DMX512 프로토콜의 1∼4번 어드레스에 할당하였고, Green, Blue, White, Red 순으로 어드레스를 부여하였다. 결과적으로 오디오 캡처 보드에서 생성된 조명 신호는 DMX512 프로토콜을 통해 조명 컨트롤러에 의해 해당 LED를 제어하도록 하였다.
하지만 이렇게 다양한 장르를 모두 구분하기 위해서는 매우 복잡하고, 고차원의 특징들을 이용한 음악에 대한 분석이 필요하며 실시간으로 조명을 제어해야 하는 상황에서는 사용하기가 쉽지 않다. 따라서 본 논문에서는 크게 세 가지 범주로 장르를 분류하였다. 음악의 장르는 박자의 빠르기, 사용된 악기, 지역에 따라 구분이 되는데, 이를 고려하여 박자의 빠르기가 느리고, 사용된 악기의 소리와 목소리가 강하지 않은 음악을 잔잔한 음악으로 분류했으며, 박자의 빠르기가 빠르고, 사용된 악기의 소리와 목소리가 아주 강한 음악을 락 음악으로 분류했고, 잔잔한 음악과 락 음악으로 분류하기에 어려운 음악을 신나는 음악으로 분류하였다.
먼저 잔잔한 음악인 “어반자카파-river”의 도입부분을 분석해 보았다.
본 논문에서는 시간영역의 소리(Audio Signal)를 주파수영역으로 변환하기 위해 STFT(Short Time Fourier Transform)를 이용하여 음악을 분석하고, 분석된 음악을 바탕으로 LED 조명 제어방법을 제안 ㅇ하여 이를 조명 제어(Control Signal)에 적용해 보았다. 본 논문에서 제안된 시스템의 구성은 소리(Audio Signal)를 STFT(Short Time Fourier Transform) 를 통해 주파수 분석을 하고, 이를 바탕으로 조명을 제어하는 시스템으로 그림 1에 전체 시스템의 다이어그램을 나타냈다.
본 논문에서 제안한 조명 제어 시스템을 이용하여 음악을 세 가지 장르로 분류하고, 각 장르별로 열 가지의 음악에 대해 조명을 제어를 해 보았다. 표 2는 실험에 사용한 음악이며, M사의 음원(bit rate :320Kbps)을 다운로드 받아서 사용하였다.
조명의 밝기는 음악 장르에 따른 amplitude 변화 특성을 이용하여 제어하였는데, 기존의 조명제어 관련 연구는 필터링 된 신호의 RMS값을 계산하여 세기를 나타내거나[8], 단순히 입력된 음악 신호의 세기를 그대로 사용하였고[11], 조명의 밝기 제어를 하지 않은 것도 있다[9,10]. 본 논문에서는 선행 연구와는 다르게 amplitude의 변화량을 이용하여 조명의 밝기를 조절하는 방법을 적용하였다.
본 논문에서는 시간영역의 소리(Audio Signal)를 주파수영역으로 변환하기 위해 STFT(Short Time Fourier Transform)를 이용하여 음악을 분석하고, 분석된 음악을 바탕으로 LED 조명 제어방법을 제안 ㅇ하여 이를 조명 제어(Control Signal)에 적용해 보았다. 본 논문에서 제안된 시스템의 구성은 소리(Audio Signal)를 STFT(Short Time Fourier Transform) 를 통해 주파수 분석을 하고, 이를 바탕으로 조명을 제어하는 시스템으로 그림 1에 전체 시스템의 다이어그램을 나타냈다.
본 논문에서는 음악을 세 가지 장르로 분류하고 각 장르의 특징을 분석하기 위해서 STFT(Short Time Fourier Transform)을 이용하여 시간에 따른 주파수 성분의 변화에 대해 분석하였고, 이를 바탕으로 컬러 LED에 적용하여 음악 장르에 따라 감성적인 측면을 고려해 조명을 제어하였다. 본 논문의 2장에서는 조명 제어 전체 시스템의 구성 및 하드웨어 구성을 소개하며, 3장에서는 음악 분석을 위한 방법을 제안하고, 4장에서는 조명 제어 방법을 소개한다.
하지만, 이와 같은 조명의 색 표현은 인간의 감성, 감정과는 무관한 방법이 대부분이다. 본 논문에서는 인간의 감성을 고려하여 조명의 색을 표현하는 방법을 참고하여 사용하였다.
이러한 특성을 활용하여 각 시간구간에서 amplitude가 가장 큰 주파수 성분과 현재와 이전 시간구간 사이의 amplitude의 변화량에 주목하여 RGBW 조명을 제어하기로 하였다. 본 연구에서 사용한 조명은 네 가지 색상의 LED(RGBW)를 사용하여 음악을 조명과 연동하도록 하였으며, 조명 제어는 DMX512 프로토콜을 이용하여 조명을 제어하였고, 8비트 PWM(Pulse Width Modulation)을 이용하여 밝기 제어를 하며 음악에서 생성된 신호를 DMX512 프로토콜로 변환하여 제어하도록 하였다. 그림 8은 제작된 조명에 대한 제어 예를 보여준다.
그림 2는 실시간으로 오디오 신호를 푸리에 변환하고, 주파수 분석을 통해 조명 제어 신호를 생성하기 위해 제작한 오디오 신호 캡처 보드이며, 그림 3은 3채널의 8비트 PWM(Pulse Width Modulation)을 이용하여 DMX512 프로토콜에 의해 제어 되는 조명 컨트롤러이다. 본 연구에서는 네 종류의 색상을 제어 하기 위해 두 개의 조명 컨트롤러를 사용하였다.
사람이 들을 수 있는 가청 주파수 대역은 50Hz∼20kHz이나 사람의 목소리, 악기 등은 낮은 주파수에서만 존재하기 때문에 음악의 주파수 대역 중 50Hz∼1.2kHz의 구간에서 10Hz 단위로 샘플링 하여 분석하였고, 분석 구간은 20초로 설정하였다.
각 색상에서 선정된 주파수에 대해 밝기 정보를 생성하기 위해 입력 받을 수 있는 최대 amplitude를 기준으로 입력된 amplitude의 변화량을 정규화 하였다. 여기서 정규화는 8비트 PWM 값의 범위를 가질 수 있도록 [0,255]의 값으로 정규화 하였으며, 정규화된 신호를 조명 제어 신호로 바로 사용하면 조명의 변화가 너무 심하기 때문에 이를 감쇄시키기 위해 1차 저역 통과 필터(low pass filter)를 사용하여 서서히 변하도록 조절하였다. 각 LED는 조명 컨트롤러에 연결하여 DMX512 프로토콜의 1∼4번 어드레스에 할당하였고, Green, Blue, White, Red 순으로 어드레스를 부여하였다.
음악을 분석하기 위해 먼저 음악을 세 가지 장르(잔잔한 음악, 신나는 음악, 락 음악)으로 분류하여 6가지 곡을 표 1과 같이 선정하였고, 이를 Matlab Toolbox중 Signal Processing Toolbox를 이용하여 STFT(Short Time Fourier Transform)을 하였으며, 시간에 따른 주파수 변화를 분석하였다. 사람이 들을 수 있는 가청 주파수 대역은 50Hz∼20kHz이나 사람의 목소리, 악기 등은 낮은 주파수에서만 존재하기 때문에 음악의 주파수 대역 중 50Hz∼1.
따라서 본 논문에서는 크게 세 가지 범주로 장르를 분류하였다. 음악의 장르는 박자의 빠르기, 사용된 악기, 지역에 따라 구분이 되는데, 이를 고려하여 박자의 빠르기가 느리고, 사용된 악기의 소리와 목소리가 강하지 않은 음악을 잔잔한 음악으로 분류했으며, 박자의 빠르기가 빠르고, 사용된 악기의 소리와 목소리가 아주 강한 음악을 락 음악으로 분류했고, 잔잔한 음악과 락 음악으로 분류하기에 어려운 음악을 신나는 음악으로 분류하였다.
잔잔한 음악과 신나고 경쾌한 음악은 서로 다른 주파수 대역과 amplitude 변화 특성을 가진다. 이러한 특성을 활용하여 각 시간구간에서 amplitude가 가장 큰 주파수 성분과 현재와 이전 시간구간 사이의 amplitude의 변화량에 주목하여 RGBW 조명을 제어하기로 하였다. 본 연구에서 사용한 조명은 네 가지 색상의 LED(RGBW)를 사용하여 음악을 조명과 연동하도록 하였으며, 조명 제어는 DMX512 프로토콜을 이용하여 조명을 제어하였고, 8비트 PWM(Pulse Width Modulation)을 이용하여 밝기 제어를 하며 음악에서 생성된 신호를 DMX512 프로토콜로 변환하여 제어하도록 하였다.
잔잔한 음악은 비교적 낮은 주파수에서 amplitude의 변화폭이 작은 경향을 나타냈고, 신나는 음악은 낮은 주파수 대역에서 반복되는 빠른 비트들이 보이면서 대부분의 주파수대역에 신호가 고르게 분포하는 경향을 나타냈으며, 락 음악은 다른 두 장르에 비해 아주 높은 대역의 주파수에서 신호가 많이 존재하는 경향을 나타냈다. 이를 바탕으로 조명의 색상과 밝기를 제어하고, 각 음악 장르에 대한 조명의 반응도 확인하였다. 또한, 음악 장르에 따른 조명의 반응이 감성적으로 나타나 음악과 조명이 어울리는 느낌을 받을 수 있었다.
대상 데이터
본 논문에 제안된 조명 제어 시스템에 사용된 프로토콜은 DMX512 프로토콜이다. DMX512(Digital MultipleX 512)는 디지털 통신 네트워크의 시초로 1986년 USITT(U.
본 논문에서 제안한 조명 제어 시스템을 이용하여 음악을 세 가지 장르로 분류하고, 각 장르별로 열 가지의 음악에 대해 조명을 제어를 해 보았다. 표 2는 실험에 사용한 음악이며, M사의 음원(bit rate :320Kbps)을 다운로드 받아서 사용하였다.
성능/효과
마지막으로 락 음악인 ‘김경호-shout’, ‘박완규-천년의 사랑’, 외 8곡의 시간에 따른 주파수 변화를 분석한 결과 다른 두 장르의 음악에 비해 1kHz 이상에서 많은 신호들이 존재하고, amplitude 변화의 폭이 아주 큰것을 확인할 수 있었다.
먼저, 잔잔한 음악인 ‘허각-한사람’, ‘이승철-서쪽 하늘’ 외 8곡을 STFT를 이용해 시간에 따른 주파수 변화를 분석한 결과로 잔잔한 음악 대부분이 200Hz 의 낮은 주파수에 신호가 대부분 존재하는 것을 확인할 수 있었고, 동일한 시간대에 신호가 반복적으로 나타남을 확인 할 수 있었으며, amplitude 변화의 폭이 아주 작은 경향을 나타냈다.
분석 결과 그림 5와 같이 1kHz 이상의 신호는 거의 존재하지 않고 200∼500Hz 대역에서 amplitude가 큰 신호가 대부분 존재하였으며, 동일한 시간대에 신호가 분포하는 경향을 보이면서 시간에 따른 주파수의 변화도 크지 않는 것을 확인할 수 있었다.
그림 4의 (a)는 ‘어반자카파river’를 시간-주파수-크기의 축으로 나누어 50Hz∼5kHz까지 분석한 결과이다. 시간-주파수-크기의 축 그래프에서 보듯이 1.2kHz의 이상의 주파수에서는 신호가 존재하지 않음을 알 수 있었다. 사람의 목소리나 리듬을 만들어주는 악기들은 대체로 50Hz∼1.
신나는 음악인 “Sistar-loving you”와 “빅뱅-high high”의 경우에는 그림 6과 같이 잔잔한 음악에 비해 넓은 주파수 대역에서 신호가 분포함을 알 수 있었고, 잔잔한 음악과는 다르게 50∼100Hz의 낮은 주파수 대역에서 빠른 비트들이 일정하게 나타나는 경향을 보였다.
신나는 음악인 ‘싸이-We are the one’, ‘신화-Brand New’, 외 8곡의 경우 잔잔한 음악에 비해 대부분의 주파수 대역에 신호가 존재하며, 비교적 amplitude 변화의 폭이 큰 것으로 확인되었고, 50∼100Hz의 낮은 주파수 대역에서 빠른 비트들이 일정하게 나타나는 경향을 보였다.
실험을 통해 제안한 방법으로 장르별로 테스트 음악에 대해 조명 제어 실험을 해 보았을 때, 잔잔한 음악은 Green, Blue LED가 주로 점등 되고 White와 Red는 간혹 발생하는 경향을 보였으며, 신나는 음악과 락음악의 경우에는 네 가지 색상이 모두 점등되었으나 락음악의 경우에는 신나는 음악에 비해 amplitude 변화의 크기가 더 크기 때문에 더 밝은 색으로 강하게 점등되는 경향을 보였고 Red가 더 자주 점등 되는 경향을 보였다. 그림 13, 그림 14, 그림 15는 테스트 음악에 대한 조명의 반응에 대한 사진이다.
본 논문에서는 간단하게 세 가지의 장르로 음악을 분류하고 장르에 따른 주파수 특성을 비교해 보았으며, 이를 조명 제어에 응용해 보았다. 잔잔한 음악은 비교적 낮은 주파수에서 amplitude의 변화폭이 작은 경향을 나타냈고, 신나는 음악은 낮은 주파수 대역에서 반복되는 빠른 비트들이 보이면서 대부분의 주파수대역에 신호가 고르게 분포하는 경향을 나타냈으며, 락 음악은 다른 두 장르에 비해 아주 높은 대역의 주파수에서 신호가 많이 존재하는 경향을 나타냈다. 이를 바탕으로 조명의 색상과 밝기를 제어하고, 각 음악 장르에 대한 조명의 반응도 확인하였다.
후속연구
향후에 보다 많은 음악을 바탕으로 장르에 따른 특성을 분석을 해서 자동 장르분류를 바탕으로 장르별로 다른 조명 제어 방법을 적용할 계획이다. 또한 음악의 감성 분석을 통하여 감성에 적합한 조명 제어 방법에 대한 연구가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
FT(Fourier Transform)은 무엇인가?
FT(Fourier Transform)는 시간영역의 신호를 주파수영역의 신호로 변환해주는 방법이다. 하지만, 기존의 FT는 시간에 대한 정보를 가지고 있지 않기 때문에 음악, 지진, 뇌파 데이터와 같이 시간에 따라 주파수 성분이 변하는 신호의 정보를 효율적으로 분석하기가 어렵게 된다.
DMX512 프로토콜의 데이터 전송 단위는?
DMX512 프로토콜은 프레임 단위로 데이터를 전송하며, 단순하게 ON-OFF 식의 제어가 아닌 조광, 프로그램 제어, 팬(pan), 틸트(tilt), 셔터, 타이머 등의 다양한 효과를 낼 수 있기 때문에 컬러 조명 제어에 많이 사용되고 있다[17]. 그림 9는 DMX512 프로토콜의 프레임 형태를 나타낸다.
기존의 FT(Fourier Transform)가 주파수 성분이 변하는 신호의 정보를, 효율적으로 분석하기 어려운 이유는?
FT(Fourier Transform)는 시간영역의 신호를 주파수영역의 신호로 변환해주는 방법이다. 하지만, 기존의 FT는 시간에 대한 정보를 가지고 있지 않기 때문에 음악, 지진, 뇌파 데이터와 같이 시간에 따라 주파수 성분이 변하는 신호의 정보를 효율적으로 분석하기가 어렵게 된다. 따라서 이와 같은 문제점을 해결할 수 있는 방법이 필요하다.
참고문헌 (19)
A. Klapuri and M. Davy, Signal Processing Methods for Music Transcription, Springer-Verlag New York Inc., New York, 2007.
M. Muller and D.P.W. Ellis, "Signal Processing for Music Analysis," IEEE Journal of Selected Topics in Signal Processing, Vol. 5, No. 6, pp. 1088-1110, 2011.
M. Goto, "Active Music Listening Interfaces Based on Signal Processing," Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2007) , pp. 1441-1444, 2007.
K.W. Chung, "A Study on the Interactive Lighting Methods by LED Light Module & Sensor," Journal of KIIEE, Vol. 18, No. 3, pp. 1-6, 2004.
N. Oi, "Preferred Combinations between Illuminance and Color Temperature in Several Setting for Daily Living Activities," Proceedings of the 2nd International Sympiosium on Design of Artificial Environments, pp. 214-215, 2007.
장영범, 석상철, "오디오 스펙트럼을 이용한 LED 감성 조명 알고리즘과 응용," 한국통신학회논문지, 제36권, 제10호, pp. 1252-1257, 2011.
Z. Fu, G. Lu, K.M. Ting, and D. Zhang, "A Survey of Audio-Based Music Classification and Annotation," IEEE Transactions on Multimedia, Vol. 13, No. 2, pp. 303- 319, 2011.
박근한, 박상용, 강석중, "부분 정보에 기반한 효과적인 음악 무드 분류 방법," 멀티미디어학회논문지, 제10권, 제3호, pp. 391-400, 2007.
Entertainment Services and Technology Association, Entertainment Technology USITT DMX512-A Asynchronous Serial Digital Data Transmission Standard for Controlling Lighting Equipment and Accessories, American National Standard Institute E1.11, USA, 2004.
S. Chuang and H. Min-xian, "Wireless Landscape Lighting Control System Based on ARM-Linux," 2nd ICETC, Vol. 4, pp. 195- 198, 2010.
서복일, 김재인, 황부현, "DMX512 프로토콜을 이용한 LED 무선 제어 시스템 설계," 한국컴퓨터종합학술대회 논문집, 제37권, 제1호, pp. 442-445, 2010.
진혜련, "컬러모드의 인체 영향 평가를 통한 감성조명 시스템 개발," 한국디자인학회, 제23권, 제5호, pp. 59-68, 2010.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.