선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 발라드, 재즈, 팝, 락 등의 장르를 분류할 수 있으며, 감성을 기준으로 신나고 우울하고 시끄러운 느낌의 음악으로 분류되기도 한다. 본 논문에서는 간단하게 세 가지의 장르로 음악을 분류하고 장르에 따른 주파수 특성을 비교해 보았으며, 이를 조명 제어에 응용해 보았다. 잔잔한 음악은 비교적 낮은 주파수에서 amplitude의 변화폭이 작은 경향을 나타냈고, 신나는 음악은 낮은 주파수 대역에서 반복되는 빠른 비트들이 보이면서 대부분의 주파수대역에 신호가 고르게 분포하는 경향을 나타냈으며, 락 음악은 다른 두 장르에 비해 아주 높은 대역의 주파수에서 신호가 많이 존재하는 경향을 나타냈다.
- 본 논문에서는 음악을 듣는 것뿐만 아니라 사람에게 시각적으로도 적합한 분위기를 제공할 수 있는 방법에 대해서 연구하였다. 이전에 음악과 조명을 연동하기 위한 많은 연구가 있었다.
제안 방법
- 그림 10은 잔잔한 음악에 대한 분석 결과이며, 그림 11은 신나는 음악에 대한 분석 결과, 마지막으로 그림 12는 락 음악에 대한 분석 결과이다. STFT (Short Time Fourier Transform) 분석 결과 데이터는 음악의 일부분으로 설정하였다.
- 각 LED는 조명 컨트롤러에 연결하여 DMX512 프로토콜의 1∼4번 어드레스에 할당하였고, Green, Blue, White, Red 순으로 어드레스를 부여하였다.
- 각 색상에서 선정된 주파수에 대해 밝기 정보를 생성하기 위해 입력 받을 수 있는 최대 amplitude를 기준으로 입력된 amplitude의 변화량을 정규화 하였다. 여기서 정규화는 8비트 PWM 값의 범위를 가질 수 있도록 [0,255]의 값으로 정규화 하였으며, 정규화된 신호를 조명 제어 신호로 바로 사용하면 조명의 변화가 너무 심하기 때문에 이를 감쇄시키기 위해 1차 저역 통과 필터(low pass filter)를 사용하여 서서히 변하도록 조절하였다.
- 각 LED는 조명 컨트롤러에 연결하여 DMX512 프로토콜의 1∼4번 어드레스에 할당하였고, Green, Blue, White, Red 순으로 어드레스를 부여하였다. 결과적으로 오디오 캡처 보드에서 생성된 조명 신호는 DMX512 프로토콜을 통해 조명 컨트롤러에 의해 해당 LED를 제어하도록 하였다.
- 하지만 이렇게 다양한 장르를 모두 구분하기 위해서는 매우 복잡하고, 고차원의 특징들을 이용한 음악에 대한 분석이 필요하며 실시간으로 조명을 제어해야 하는 상황에서는 사용하기가 쉽지 않다. 따라서 본 논문에서는 크게 세 가지 범주로 장르를 분류하였다. 음악의 장르는 박자의 빠르기, 사용된 악기, 지역에 따라 구분이 되는데, 이를 고려하여 박자의 빠르기가 느리고, 사용된 악기의 소리와 목소리가 강하지 않은 음악을 잔잔한 음악으로 분류했으며, 박자의 빠르기가 빠르고, 사용된 악기의 소리와 목소리가 아주 강한 음악을 락 음악으로 분류했고, 잔잔한 음악과 락 음악으로 분류하기에 어려운 음악을 신나는 음악으로 분류하였다.
- 먼저 잔잔한 음악인 “어반자카파-river”의 도입부분을 분석해 보았다.
- 본 논문에서는 시간영역의 소리(Audio Signal)를 주파수영역으로 변환하기 위해 STFT(Short Time Fourier Transform)를 이용하여 음악을 분석하고, 분석된 음악을 바탕으로 LED 조명 제어방법을 제안 ㅇ하여 이를 조명 제어(Control Signal)에 적용해 보았다. 본 논문에서 제안된 시스템의 구성은 소리(Audio Signal)를 STFT(Short Time Fourier Transform) 를 통해 주파수 분석을 하고, 이를 바탕으로 조명을 제어하는 시스템으로 그림 1에 전체 시스템의 다이어그램을 나타냈다.
- 본 논문에서 제안한 조명 제어 시스템을 이용하여 음악을 세 가지 장르로 분류하고, 각 장르별로 열 가지의 음악에 대해 조명을 제어를 해 보았다. 표 2는 실험에 사용한 음악이며, M사의 음원(bit rate :320Kbps)을 다운로드 받아서 사용하였다.
- 조명의 밝기는 음악 장르에 따른 amplitude 변화 특성을 이용하여 제어하였는데, 기존의 조명제어 관련 연구는 필터링 된 신호의 RMS값을 계산하여 세기를 나타내거나[8], 단순히 입력된 음악 신호의 세기를 그대로 사용하였고[11], 조명의 밝기 제어를 하지 않은 것도 있다[9,10]. 본 논문에서는 선행 연구와는 다르게 amplitude의 변화량을 이용하여 조명의 밝기를 조절하는 방법을 적용하였다.
- 본 논문에서는 시간영역의 소리(Audio Signal)를 주파수영역으로 변환하기 위해 STFT(Short Time Fourier Transform)를 이용하여 음악을 분석하고, 분석된 음악을 바탕으로 LED 조명 제어방법을 제안 ㅇ하여 이를 조명 제어(Control Signal)에 적용해 보았다. 본 논문에서 제안된 시스템의 구성은 소리(Audio Signal)를 STFT(Short Time Fourier Transform) 를 통해 주파수 분석을 하고, 이를 바탕으로 조명을 제어하는 시스템으로 그림 1에 전체 시스템의 다이어그램을 나타냈다.
- 본 논문에서는 음악을 세 가지 장르로 분류하고 각 장르의 특징을 분석하기 위해서 STFT(Short Time Fourier Transform)을 이용하여 시간에 따른 주파수 성분의 변화에 대해 분석하였고, 이를 바탕으로 컬러 LED에 적용하여 음악 장르에 따라 감성적인 측면을 고려해 조명을 제어하였다. 본 논문의 2장에서는 조명 제어 전체 시스템의 구성 및 하드웨어 구성을 소개하며, 3장에서는 음악 분석을 위한 방법을 제안하고, 4장에서는 조명 제어 방법을 소개한다.
- 하지만, 이와 같은 조명의 색 표현은 인간의 감성, 감정과는 무관한 방법이 대부분이다. 본 논문에서는 인간의 감성을 고려하여 조명의 색을 표현하는 방법을 참고하여 사용하였다.
- 이러한 특성을 활용하여 각 시간구간에서 amplitude가 가장 큰 주파수 성분과 현재와 이전 시간구간 사이의 amplitude의 변화량에 주목하여 RGBW 조명을 제어하기로 하였다. 본 연구에서 사용한 조명은 네 가지 색상의 LED(RGBW)를 사용하여 음악을 조명과 연동하도록 하였으며, 조명 제어는 DMX512 프로토콜을 이용하여 조명을 제어하였고, 8비트 PWM(Pulse Width Modulation)을 이용하여 밝기 제어를 하며 음악에서 생성된 신호를 DMX512 프로토콜로 변환하여 제어하도록 하였다. 그림 8은 제작된 조명에 대한 제어 예를 보여준다.
- 그림 2는 실시간으로 오디오 신호를 푸리에 변환하고, 주파수 분석을 통해 조명 제어 신호를 생성하기 위해 제작한 오디오 신호 캡처 보드이며, 그림 3은 3채널의 8비트 PWM(Pulse Width Modulation)을 이용하여 DMX512 프로토콜에 의해 제어 되는 조명 컨트롤러이다. 본 연구에서는 네 종류의 색상을 제어 하기 위해 두 개의 조명 컨트롤러를 사용하였다.
- 사람이 들을 수 있는 가청 주파수 대역은 50Hz∼20kHz이나 사람의 목소리, 악기 등은 낮은 주파수에서만 존재하기 때문에 음악의 주파수 대역 중 50Hz∼1.2kHz의 구간에서 10Hz 단위로 샘플링 하여 분석하였고, 분석 구간은 20초로 설정하였다.
- 각 색상에서 선정된 주파수에 대해 밝기 정보를 생성하기 위해 입력 받을 수 있는 최대 amplitude를 기준으로 입력된 amplitude의 변화량을 정규화 하였다. 여기서 정규화는 8비트 PWM 값의 범위를 가질 수 있도록 [0,255]의 값으로 정규화 하였으며, 정규화된 신호를 조명 제어 신호로 바로 사용하면 조명의 변화가 너무 심하기 때문에 이를 감쇄시키기 위해 1차 저역 통과 필터(low pass filter)를 사용하여 서서히 변하도록 조절하였다. 각 LED는 조명 컨트롤러에 연결하여 DMX512 프로토콜의 1∼4번 어드레스에 할당하였고, Green, Blue, White, Red 순으로 어드레스를 부여하였다.
- 음악을 분석하기 위해 먼저 음악을 세 가지 장르(잔잔한 음악, 신나는 음악, 락 음악)으로 분류하여 6가지 곡을 표 1과 같이 선정하였고, 이를 Matlab Toolbox중 Signal Processing Toolbox를 이용하여 STFT(Short Time Fourier Transform)을 하였으며, 시간에 따른 주파수 변화를 분석하였다. 사람이 들을 수 있는 가청 주파수 대역은 50Hz∼20kHz이나 사람의 목소리, 악기 등은 낮은 주파수에서만 존재하기 때문에 음악의 주파수 대역 중 50Hz∼1.
- 따라서 본 논문에서는 크게 세 가지 범주로 장르를 분류하였다. 음악의 장르는 박자의 빠르기, 사용된 악기, 지역에 따라 구분이 되는데, 이를 고려하여 박자의 빠르기가 느리고, 사용된 악기의 소리와 목소리가 강하지 않은 음악을 잔잔한 음악으로 분류했으며, 박자의 빠르기가 빠르고, 사용된 악기의 소리와 목소리가 아주 강한 음악을 락 음악으로 분류했고, 잔잔한 음악과 락 음악으로 분류하기에 어려운 음악을 신나는 음악으로 분류하였다.
- 잔잔한 음악과 신나고 경쾌한 음악은 서로 다른 주파수 대역과 amplitude 변화 특성을 가진다. 이러한 특성을 활용하여 각 시간구간에서 amplitude가 가장 큰 주파수 성분과 현재와 이전 시간구간 사이의 amplitude의 변화량에 주목하여 RGBW 조명을 제어하기로 하였다. 본 연구에서 사용한 조명은 네 가지 색상의 LED(RGBW)를 사용하여 음악을 조명과 연동하도록 하였으며, 조명 제어는 DMX512 프로토콜을 이용하여 조명을 제어하였고, 8비트 PWM(Pulse Width Modulation)을 이용하여 밝기 제어를 하며 음악에서 생성된 신호를 DMX512 프로토콜로 변환하여 제어하도록 하였다.
- 잔잔한 음악은 비교적 낮은 주파수에서 amplitude의 변화폭이 작은 경향을 나타냈고, 신나는 음악은 낮은 주파수 대역에서 반복되는 빠른 비트들이 보이면서 대부분의 주파수대역에 신호가 고르게 분포하는 경향을 나타냈으며, 락 음악은 다른 두 장르에 비해 아주 높은 대역의 주파수에서 신호가 많이 존재하는 경향을 나타냈다. 이를 바탕으로 조명의 색상과 밝기를 제어하고, 각 음악 장르에 대한 조명의 반응도 확인하였다. 또한, 음악 장르에 따른 조명의 반응이 감성적으로 나타나 음악과 조명이 어울리는 느낌을 받을 수 있었다.
대상 데이터
- 본 논문에 제안된 조명 제어 시스템에 사용된 프로토콜은 DMX512 프로토콜이다. DMX512(Digital MultipleX 512)는 디지털 통신 네트워크의 시초로 1986년 USITT(U.
- 본 논문에서 제안한 조명 제어 시스템을 이용하여 음악을 세 가지 장르로 분류하고, 각 장르별로 열 가지의 음악에 대해 조명을 제어를 해 보았다. 표 2는 실험에 사용한 음악이며, M사의 음원(bit rate :320Kbps)을 다운로드 받아서 사용하였다.
성능/효과
- 마지막으로 락 음악인 ‘김경호-shout’, ‘박완규-천년의 사랑’, 외 8곡의 시간에 따른 주파수 변화를 분석한 결과 다른 두 장르의 음악에 비해 1kHz 이상에서 많은 신호들이 존재하고, amplitude 변화의 폭이 아주 큰것을 확인할 수 있었다.
- 먼저, 잔잔한 음악인 ‘허각-한사람’, ‘이승철-서쪽 하늘’ 외 8곡을 STFT를 이용해 시간에 따른 주파수 변화를 분석한 결과로 잔잔한 음악 대부분이 200Hz 의 낮은 주파수에 신호가 대부분 존재하는 것을 확인할 수 있었고, 동일한 시간대에 신호가 반복적으로 나타남을 확인 할 수 있었으며, amplitude 변화의 폭이 아주 작은 경향을 나타냈다.
- 분석 결과 그림 5와 같이 1kHz 이상의 신호는 거의 존재하지 않고 200∼500Hz 대역에서 amplitude가 큰 신호가 대부분 존재하였으며, 동일한 시간대에 신호가 분포하는 경향을 보이면서 시간에 따른 주파수의 변화도 크지 않는 것을 확인할 수 있었다.
- 그림 4의 (a)는 ‘어반자카파river’를 시간-주파수-크기의 축으로 나누어 50Hz∼5kHz까지 분석한 결과이다. 시간-주파수-크기의 축 그래프에서 보듯이 1.2kHz의 이상의 주파수에서는 신호가 존재하지 않음을 알 수 있었다. 사람의 목소리나 리듬을 만들어주는 악기들은 대체로 50Hz∼1.
- 신나는 음악인 “Sistar-loving you”와 “빅뱅-high high”의 경우에는 그림 6과 같이 잔잔한 음악에 비해 넓은 주파수 대역에서 신호가 분포함을 알 수 있었고, 잔잔한 음악과는 다르게 50∼100Hz의 낮은 주파수 대역에서 빠른 비트들이 일정하게 나타나는 경향을 보였다.
- 신나는 음악인 ‘싸이-We are the one’, ‘신화-Brand New’, 외 8곡의 경우 잔잔한 음악에 비해 대부분의 주파수 대역에 신호가 존재하며, 비교적 amplitude 변화의 폭이 큰 것으로 확인되었고, 50∼100Hz의 낮은 주파수 대역에서 빠른 비트들이 일정하게 나타나는 경향을 보였다.
- 실험을 통해 제안한 방법으로 장르별로 테스트 음악에 대해 조명 제어 실험을 해 보았을 때, 잔잔한 음악은 Green, Blue LED가 주로 점등 되고 White와 Red는 간혹 발생하는 경향을 보였으며, 신나는 음악과 락음악의 경우에는 네 가지 색상이 모두 점등되었으나 락음악의 경우에는 신나는 음악에 비해 amplitude 변화의 크기가 더 크기 때문에 더 밝은 색으로 강하게 점등되는 경향을 보였고 Red가 더 자주 점등 되는 경향을 보였다. 그림 13, 그림 14, 그림 15는 테스트 음악에 대한 조명의 반응에 대한 사진이다.
- 본 논문에서는 간단하게 세 가지의 장르로 음악을 분류하고 장르에 따른 주파수 특성을 비교해 보았으며, 이를 조명 제어에 응용해 보았다. 잔잔한 음악은 비교적 낮은 주파수에서 amplitude의 변화폭이 작은 경향을 나타냈고, 신나는 음악은 낮은 주파수 대역에서 반복되는 빠른 비트들이 보이면서 대부분의 주파수대역에 신호가 고르게 분포하는 경향을 나타냈으며, 락 음악은 다른 두 장르에 비해 아주 높은 대역의 주파수에서 신호가 많이 존재하는 경향을 나타냈다. 이를 바탕으로 조명의 색상과 밝기를 제어하고, 각 음악 장르에 대한 조명의 반응도 확인하였다.
후속연구
- 향후에 보다 많은 음악을 바탕으로 장르에 따른 특성을 분석을 해서 자동 장르분류를 바탕으로 장르별로 다른 조명 제어 방법을 적용할 계획이다. 또한 음악의 감성 분석을 통하여 감성에 적합한 조명 제어 방법에 대한 연구가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.