본 논문에서는 기존에 연구되었던 Thayer의 인간의 감성 모델을 바탕으로 음악을 듣고 느끼는 감성을 8가지 감성으로 정의한 음악 감성모델로 제시하였다. 감성에 영향을 주는 음악의 요소는 음악의 템포, 역동성, 진폭변화, 밝기, 잡음 등 5가지로 선택하였다. 8가지 감성으로 이루어진 감성 모델에 따라서 8가지 감성으로 분류된 160곡의 노래를 선곡하여 실제 데이터를 추출하여 분석하였다. 실제 데이터의 분석을 통해 5가지 요소의 가중치로 이루어진 감성 수식을 도출하였고 임의의 음악에 대하여 감성 수식을 통해서 2차원 감성 좌표계에 매핑 하여 감성을 예측할 수 있도록 알고리즘을 설계하였다. 또한 2차원 감성 좌표계에서의 좌표 값을 이동시켜 감성을 제어할 수 있는 방법을 제시하였다.
본 논문에서는 기존에 연구되었던 Thayer의 인간의 감성 모델을 바탕으로 음악을 듣고 느끼는 감성을 8가지 감성으로 정의한 음악 감성모델로 제시하였다. 감성에 영향을 주는 음악의 요소는 음악의 템포, 역동성, 진폭변화, 밝기, 잡음 등 5가지로 선택하였다. 8가지 감성으로 이루어진 감성 모델에 따라서 8가지 감성으로 분류된 160곡의 노래를 선곡하여 실제 데이터를 추출하여 분석하였다. 실제 데이터의 분석을 통해 5가지 요소의 가중치로 이루어진 감성 수식을 도출하였고 임의의 음악에 대하여 감성 수식을 통해서 2차원 감성 좌표계에 매핑 하여 감성을 예측할 수 있도록 알고리즘을 설계하였다. 또한 2차원 감성 좌표계에서의 좌표 값을 이동시켜 감성을 제어할 수 있는 방법을 제시하였다.
This thesis proposes the emotions acquired after listening to the music as an emotion model composed of 8 types of emotions, based on the emotion model studied previously. The 5 musical factors selected, that affect the emotion, are tempo, dynamics, amplitude change, brightness, and noise. According...
This thesis proposes the emotions acquired after listening to the music as an emotion model composed of 8 types of emotions, based on the emotion model studied previously. The 5 musical factors selected, that affect the emotion, are tempo, dynamics, amplitude change, brightness, and noise. According to the emotion model composed of 8 types of emotions, 160 songs categorized into the 8 types of emotions were selected, and the actual data was extracted and analyzed. Through the analysis of actual data, an emotion equation made of weighted value of 5 factors was derived, and an algorithm that can predict the emotion by mapping on the 2-dimensional emotion coordinate system through the emotion equation was designed. Also, a way of controlling emotion by moving the coordinates on the 2-dimensional emotion coordinate system was suggested.
This thesis proposes the emotions acquired after listening to the music as an emotion model composed of 8 types of emotions, based on the emotion model studied previously. The 5 musical factors selected, that affect the emotion, are tempo, dynamics, amplitude change, brightness, and noise. According to the emotion model composed of 8 types of emotions, 160 songs categorized into the 8 types of emotions were selected, and the actual data was extracted and analyzed. Through the analysis of actual data, an emotion equation made of weighted value of 5 factors was derived, and an algorithm that can predict the emotion by mapping on the 2-dimensional emotion coordinate system through the emotion equation was designed. Also, a way of controlling emotion by moving the coordinates on the 2-dimensional emotion coordinate system was suggested.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
Thayer 모델에 따라 음악에서 느껴지는 감정을 분석하면 임의의 음악을 Arousal과 Valance 두 축에서 12가지의 감정으로 나타낼 수 있다. 따라서 모든 음악을 2차원 상의 좌표로 나타낼 수 있는데 본 논문에서는 템포, 역 동성, 음색의 가중치로부터 얻어지는 감성 수식과 음악을 듣고 느끼는 감성사이의 관계를 재정립하여 감성트리를 구성해 음악의 특색을 고려한 음악 감성 분류가 가능하도록 하였다. 이러한 감성트리를 사용하여 임의의 음악이 주는 감성이 무엇인지를 예측하고 나아가서 음악 요소의 값을 변화시켜 감성을 원하는 방향으로 변화시키는 것을 목적으로 연구가 진행된다.
본 논문에서는 감성에 영향을 미치는 음악의 요소에는 어떤 것들이 있는지를 찾고 실제적인 데이터를 추출하고자 한다. 본 논문에서 사용하는 방법은 Thayer의 감성 모델, 즉 Arousal-Valance 모델을 사용한다.
본 논문에서는 음악과 감성의 연결고리를 찾고자 음악을 듣고 느끼는 8가지 감성 모델을 제시하고 감성에 영향 주는 음악의 요소를 찾았다. 오픈소스 툴인 MirToolBox를 사용하여 기존에 감성에 따라 분류해놓은 160곡의 샘플 음악들에서 5가지 요소의 데이터 값을 추출하였다.
일반적으로 감성인식 및 감성평가를 할 때 주관적 감성 평가를 사용하는데 주관적 감성평가는 개인적 편차가 크고 자신의 감성을 정확히 판단하지 못한다는 단점이 있다. 본 연구에서는 이전 연구들에 기반으로 음악이라는 대표적인 감성 인식체계를 주제로 범위를 좁혀 더욱 높은 수준의 감성을 계산하는 모델을 제안한다. 우선 (1)감성의 정의에 대해 살펴보고 음악을 듣고 느끼는 감성에 대해 연구하고 기존의 감성 모델에 근거하여 8가지 감성으로 이루어진 음악의 감성모델을 제시함으로써 가장 근접한 감성수치를 제안하며 그러한 (2)감성에 영향을 미치는 음악의 요소를 찾고 오픈소스인 MirToolBox를 사용하여 샘플 음악의 각 요소들을 실제적인 데이터로 추출 함으로써 수치화한다.
예제 음악에 대한 감성 좌표계 및 8가지 감성 확률을 구하고 도출된 음악 감성이 실제 사용자의 감성과 어느 정도 일치 하는지에 대한 실험을 진행하였다.
따라서 모든 음악을 2차원 상의 좌표로 나타낼 수 있는데 본 논문에서는 템포, 역 동성, 음색의 가중치로부터 얻어지는 감성 수식과 음악을 듣고 느끼는 감성사이의 관계를 재정립하여 감성트리를 구성해 음악의 특색을 고려한 음악 감성 분류가 가능하도록 하였다. 이러한 감성트리를 사용하여 임의의 음악이 주는 감성이 무엇인지를 예측하고 나아가서 음악 요소의 값을 변화시켜 감성을 원하는 방향으로 변화시키는 것을 목적으로 연구가 진행된다.
같은 높이의 음을 같은 크기로 올려도 발음체의 차이나 진동방법에 따라 음이 지니는 감각적인 성질에 차이가 생긴다[13]. 이러한 음색의 차이를 결정짓는 중요한 요소들 중에서 본 논문에서는 주파수 대역의 에너지 분포의 평균 지점을 나타내는 Centroid 값, 주파수의 진폭변화를 나타내는 Roll Off 값, 그리고 잡음의 양을 나타내는 Zero Crossing 세 가지 값을 통해서 음색의 특징을 잡아내고자 한다.
임의의 한 노래를 선택하고 감성 트리를 사용하여 그 노래의 감성을 예측하는 과정을 보여주고자 한다. 선택한 곡은 클래지콰이라는 가수가 부른 "함께라면" 이라는 곡이다.
제안 방법
160곡의 샘플데이터에서 비교적 감성 판단이 용이하도록 음악의 특성이 뚜렷한 약 70가지의 샘플데이터를 선별하여 행복도와 흥분도의 가중치를 구하는 실험을 진행하였는데 이는 감성 추측 정확도가 가장 높은 조합을 추출해내는 것을 목표로 하여 행복도 X, 흥분도 Y의 요소별 실험으로 추출하였다. 예를 들면 어떤 음악의 템포, 역동성, 잡음, 진폭, 밝기 등 요소에 대한 정규 분포 확률값이 각각 0.
Thayer의 감성 모델의 기초 상에서 음악의 특성을 고려하여 새로운 감성 모델[그림 4]을 제시한다.
우광혁(1998)은 각 음계는 저마다의 다른 정서를 가지고 있다고 하면서 장음계로 된 노래는 밝고 명랑하며 신나는 정서를 띠고 있고 단음계로 된 노래는 어둡고 슬프며 침울하게 가라앉음의 정서를 띠고 있다고 언급하였다[11]. 그러나 요즘의 현대 음악들은 단조이면서도 밝고 신나는 음악들이 많은 관계로 본 논문에서는 조성이라는 요소를 음악의 추출 요소에서 빼기로 하였다.
감성의 수치들은 (3)실제적인 데이터의 분석을 통해 음악과 감성을 연결시켜 증명할 수 있는 감성 수식을 완성하였다. 또한 (4)감성 수식을 사용하여 2차원 감성 좌표계에 데이터 값을 매핑하여 감성 예측이 가능하도록 하였으며 (5)2차원 감성 좌표계에서의 좌표의 이동을 통해 자신의 감성을 원하는 방향으로 변화가 용이 하도록 감성 제어 방법을 제시한다.
감성에 영향 주는 음악의 요소에는 여러 가지가 있다. 본 논문에서는 템포, 역동성, 음색 등을 음악의 요소로 추출하였다. 세부적으로 들어가서 음색에서는 3가지 요소를 측정하는데 Centroid라는 음악의 밝기, Roll off라는 주파수의 진폭변화, Zero Crossing 이라는 잡음의 양을 측정하게 된다.
이러한 개념적 차이로 심리학 분야에서는 인간의 반응에 초점을 두어 감성이란 단어를 주로 사용하고, 음악 정보 검색 분야에서는 음악에 초점을 둔 메타데이터를 위한 무드라는 단어를 주로 사용한다. 본 논문은 음악의 영향으로 사람이 받는 감성에 초점을 맞추어 감성이란 단어를 사용한다.
데이터 값을 분석하여 5가지 음악의 요소와 8가지 감성을 연결시켜주는 감성 수식을 완성하였다. 새로운 음악에 대하여 감성 수식을 사용하여 X(행복도), Y(흥분도)의 값을 구하고 감성 좌표계에 대입하여 원점을 구하고 원점을 중심으로 원을 그려서 원에 의해 가려진 면적의 백분비를 통해 각각의 감성 확률을 구할 수 있음을 제시하였다. 또한 감성 좌표계에서 원점을 이동시켜 감성 확률을 제어할 수 있음을 제시하였고 이동시킨 좌표 값에 따라서 각각의 음악 요소의 가중치에 근거하여 음악의 각 요소를 변화시켜 원하는 감성의 음악을 얻을 수 있는 가능성을 제시하였다.
실험 진행 방법은 미디어공학 연구원 6명에게 예제 음악을 들려주고 8가지 감성에 어느 정도 공감하는지 각각의 감성에 대한 확률값을 기록하도록 하여 평균값을 사용자 확률로 정의하였다. 결과는 [표 11]과 같다.
선택한 곡은 클래지콰이라는 가수가 부른 "함께라면" 이라는 곡이다. 아래 표와 같이 MirToolBox를 사용하여 템포, 역동성, 잡음, 진폭변화, 밝기에 대한 데이터를 추출하였다. 평균값과 표준편차는 160곡의 샘플 음악 데이터를 분석하여 추출한 값이다.
앞서 선택 한 약 70가지 샘플데이터를 피실험자들에게 들려주고 행복도, 흥분도에 영향을 미치는 5가지 요소별 영향도를 평가하도록 하였다. 실험한 결과 행복도 X는 요소의 가중치가 템포 20%, 역동성 10%, 잡음 20%, 진폭변화 40%, 밝기 10% 일 때 감성 추측 정확도가 가장 높았고 흥분도 Y는 요소의 가중치가 템포40%, 역동성 10%, 잡음 10%, 진폭변화 20%, 밝기 20% 일 때 감성 추측 정확도가 가장 높았다.
본 연구에서는 이전 연구들에 기반으로 음악이라는 대표적인 감성 인식체계를 주제로 범위를 좁혀 더욱 높은 수준의 감성을 계산하는 모델을 제안한다. 우선 (1)감성의 정의에 대해 살펴보고 음악을 듣고 느끼는 감성에 대해 연구하고 기존의 감성 모델에 근거하여 8가지 감성으로 이루어진 음악의 감성모델을 제시함으로써 가장 근접한 감성수치를 제안하며 그러한 (2)감성에 영향을 미치는 음악의 요소를 찾고 오픈소스인 MirToolBox를 사용하여 샘플 음악의 각 요소들을 실제적인 데이터로 추출 함으로써 수치화한다. 감성의 수치들은 (3)실제적인 데이터의 분석을 통해 음악과 감성을 연결시켜 증명할 수 있는 감성 수식을 완성하였다.
추출한 음악 각각의 요소에 대한 데이터의 단위와 범위가 다르기 때문에 각각의 요소의 데이터를 조합하여 사용하기가 어렵다[14]. 이에 대한 해결방안으로 정규 분포를 사용하기로 하였다. 정규분포는 [그림 5]와 같이 연속 확률 분포의 하나이다.
이와 같이 8가지 감성에 따른 음악들을 선곡하고 분석 작업을 진행하였다. 분석 툴은 Matlab 기반에서 오픈 소스인 MIRToolBox를 사용하였고 추출한 음악의 요소는 Tempo(곡의빠르기), RMS(파워), ZeroCross(잡음), RollOff(진폭의 변화), Centroid(주파수의 밝기) 등 5가지이다.
대상 데이터
160곡의 음악으로부터 5가지 요소에 대한 데이터를 [표 3]과 같이 추출하였다.
본 논문에서는 음악과 감성의 연결고리를 찾고자 음악을 듣고 느끼는 8가지 감성 모델을 제시하고 감성에 영향 주는 음악의 요소를 찾았다. 오픈소스 툴인 MirToolBox를 사용하여 기존에 감성에 따라 분류해놓은 160곡의 샘플 음악들에서 5가지 요소의 데이터 값을 추출하였다. 데이터 값을 분석하여 5가지 음악의 요소와 8가지 감성을 연결시켜주는 감성 수식을 완성하였다.
샘플 음악들은 올레 뮤직의 감성 추천 서비스와 브금 저장소라는 음악 공유 커뮤니티에서 감성에 따라 분류한 음악들을 참고하여 선곡하였다. 이번 장에서 새롭게 정의한 음악 감성 모델에서 8가지 감성에 해당되는 음악을 각각 20개 정도씩 선곡하였다. 아래 [표 2]는 8가지 감성에 의해 선곡한 곡들의 일부분이다.
데이터처리
이와 같이 8가지 감성에 따른 음악들을 선곡하고 분석 작업을 진행하였다. 분석 툴은 Matlab 기반에서 오픈 소스인 MIRToolBox를 사용하였고 추출한 음악의 요소는 Tempo(곡의빠르기), RMS(파워), ZeroCross(잡음), RollOff(진폭의 변화), Centroid(주파수의 밝기) 등 5가지이다.
정규 분포를 사용하기 위해서는 모집단의 평균과 표준편차를 알아야 한다. 아래 [표 4]와 같이 160곡의 샘플 음악들에 대한 각 요소의 평균과 표준편차를 분석하였다.
이제 8가지 감성에 대해서 추출한 데이터 값을 가지고 평균과 표준편차의 값을 사용하여 정규분포의 확률값을 구한다. 정규분포를 사용한 확률 계산은 java환경에서 apache에서 제공하는 정규분포 관련 라이브러리를 사용하여 [그림 6]과 같이 구현하였다.
이론/모형
본 논문에서는 감성에 영향을 미치는 음악의 요소에는 어떤 것들이 있는지를 찾고 실제적인 데이터를 추출하고자 한다. 본 논문에서 사용하는 방법은 Thayer의 감성 모델, 즉 Arousal-Valance 모델을 사용한다. Thayer 모델에 따라 음악에서 느껴지는 감정을 분석하면 임의의 음악을 Arousal과 Valance 두 축에서 12가지의 감정으로 나타낼 수 있다.
성능/효과
감성 트리로 예제 음악의 감성을 추측했을 때 이 음악의 가장 높은 예측 감성은 32%를 차지한 “행복한”이라는 감성이었고 "편안한", “경쾌한” 이라는 감성이 각각 24%, 23%로 두 번째, 세 번째 예측 감성 순위를 차지하였다.
Thayer[8]가 제시한 감성 모델[그림 2]는 이러한 단점을 보완한 모습을 보인다. 단순화되고 정리된 감성분포를 보이며 감성 간의 경계가 비교적 확실하여 감성을 수치화하여 감성 위치를 표현하는데 용이함을 보인다.
오픈소스 툴인 MirToolBox를 사용하여 기존에 감성에 따라 분류해놓은 160곡의 샘플 음악들에서 5가지 요소의 데이터 값을 추출하였다. 데이터 값을 분석하여 5가지 음악의 요소와 8가지 감성을 연결시켜주는 감성 수식을 완성하였다. 새로운 음악에 대하여 감성 수식을 사용하여 X(행복도), Y(흥분도)의 값을 구하고 감성 좌표계에 대입하여 원점을 구하고 원점을 중심으로 원을 그려서 원에 의해 가려진 면적의 백분비를 통해 각각의 감성 확률을 구할 수 있음을 제시하였다.
다시 말하면 Y(흥분도)의 값을 30만큼 감소시켰다. 따라서 이론적으로 템포, 역동성, 잡음, 진폭변화, 밝기가 Y흥분도에 영향을 주는 가중치를 참고하여 총합이 30이 되게끔 각각의 요소의 값을 감소시키면 원하는 감성의 음악을 얻을 수 있다.
X의 값이 클수록 행복도가 높음을 의미하며 Y의 값이 클수록 흥분도가 높음을 의미한다. 또한 5가지 요소에 각각의 가중치를 부여하여 X,Y값의 정확도를 높여 본 논문에서 제시한 2차원 감성모델의 좌표계에 대입하여 해당되는 감성을 얻는다.
새로운 음악에 대하여 감성 수식을 사용하여 X(행복도), Y(흥분도)의 값을 구하고 감성 좌표계에 대입하여 원점을 구하고 원점을 중심으로 원을 그려서 원에 의해 가려진 면적의 백분비를 통해 각각의 감성 확률을 구할 수 있음을 제시하였다. 또한 감성 좌표계에서 원점을 이동시켜 감성 확률을 제어할 수 있음을 제시하였고 이동시킨 좌표 값에 따라서 각각의 음악 요소의 가중치에 근거하여 음악의 각 요소를 변화시켜 원하는 감성의 음악을 얻을 수 있는 가능성을 제시하였다.
6) * 20 = 48 이 되는 것이다. 또한 감성추측 정확도란 정규분포를 이용한 감성 확률값과 실제 사용자가 음악을 들으며 느끼는 감성의 확률값의 차이가 적을수록 정확도가 높다고 판단하며 확률값의 차이가 높을수록 정확도가 낮다고 판단한다.
실험결과 감성계산에 의한 감성 확률과 실제 사용자가 느낀 감성 확률의 평균 오차 범위는 4.2% 정도로 같은 음악에 대한 감성의 차이는 미미하지만 경쾌하거나 무서운 감성 등 비교적 확실한 감성에서는 눈에 띄는 차이를 보였다. 이는 사람이 음악을 들으며 느끼는 감성의 가중치를 좀 더 정확하고 세밀하게 연구해야하는 부분이다.
앞서 선택 한 약 70가지 샘플데이터를 피실험자들에게 들려주고 행복도, 흥분도에 영향을 미치는 5가지 요소별 영향도를 평가하도록 하였다. 실험한 결과 행복도 X는 요소의 가중치가 템포 20%, 역동성 10%, 잡음 20%, 진폭변화 40%, 밝기 10% 일 때 감성 추측 정확도가 가장 높았고 흥분도 Y는 요소의 가중치가 템포40%, 역동성 10%, 잡음 10%, 진폭변화 20%, 밝기 20% 일 때 감성 추측 정확도가 가장 높았다. 이 조합은 [표 6]와 같다.
후속연구
감성 좌표계에 감성을 매핑 시키고 원을 그려서 감성 확률을 구했다면 이제는 그 원을 이동시켜서 감성 확률을 제어하는 것도 가능할 것이다. [그림 8]에서 X, Y의 값이 각각 65.
향후 과제는 음악이라는 특정 콘텐츠에 부합하는 다양한 감성을 정의하고 감성모델을 설계하는 것을 1차 목표로 두고 인간의 감성의 판단 오류 및 복잡성을 전제로 하는 가중치에 대한 연구 및 오차 범위 등 감성 정확도를 높이는 연구를 2차 목표로 하여 음악 감성 제어에 따른 음악의 변화와 실제 사용자가 느끼는 감성의 변화의 일치성, 만족감 등 감성 제어에 대한 검증이 계속 되어야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
주관적 감성평가의 단점은 무엇인가?
일반적으로 감성인식 및 감성평가를 할 때 주관적 감성 평가를 사용하는데 주관적 감성평가는 개인적 편차가 크고 자신의 감성을 정확히 판단하지 못한다는 단점이 있다. 본 연구에서는 이전 연구들에 기반으로 음악이라는 대표적인 감성 인식체계를 주제로 범위를 좁혀 더욱 높은 수준의 감성을 계산하는 모델을 제안한다.
감성인식의 만족도가 떨어지는 이유는 무엇인가?
사람이 느끼는 감성을 컴퓨터로 분석하려는 다양한 연구가 진행되어 왔고 기술과 감성의 연결고리를 찾고자 많은 노력을 기울여 왔다. 하지만 감성인식은 결과에 미치는 다양한 영향이 존재함으로서 특정 순간의 감성이 맞는지에 대한 정확한 판단과 도출이 힘들고 감성 변화에 대한 추적이나 추이를 파악하기 힘들기 때문에 감성인식의 만족도가 떨어질 수 있다. 감성인식에 대한 개개인의 만족도를 높이기 위해서는 가장 적합한 인식체계를 찾는 것이 급선무인데 보편적인 감성인식이 아닌 개인의 특화된 요소를 인용하는 것이 바람직하다.
지금까지의 감성 기반 음악 검색 방법은 어떻게 분류할 수 있는가?
감성 기반 음악 검색 방법은 지금까지 여러 형태로 연구되어 왔다. 크게 오디오 속성값을 이용하여 음악의 물리적인 수치를 분석하여 음악의 감성을 분류하는 방식과 오디오 속성을 이용하지 않고 설문조사나 웹 검색 결과를 이용하는 방법으로 나뉜다. 오디오 속성 값을 이용한 감성기반 음악 검색으로 다음과 같은 방법이 연구되었다.
참고문헌 (18)
Yi-Hsuan, YangYu-Ching, LinYa-Fan, SuHomer, and H. Chen, A Regression Approach to Music Emotion Recognition, Grad. Inst. of Commun. Eng., Nat. Taiwan Univ., Taipei, 2008.
Yazhong Feng, Yueting Zhuang, and Yunhe Pan, "Popular music retrieval by detecting mood," ACM SIGIR conference on Research and development in informaion retrieval, 2003.
박근한, 박상용, 강석중, "부분 정보에 기반한 효과적인 음악 무드 분류 방법", 멀티미디어학회논문지, Vol.10, No.3, 2007.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.