선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 어떤 사건이나 현상 등으로 인하여 발생하는 감정의 변화를 ‘감정 전이(emotion transition)'라 정의하고, 음악에 의한 감정 전이의 정도를 정량적으로 표현하고자 한다.
- 본 논문에서는 음악의 분류나 질의 및 추천을 위한 방법으로 기존의 무드나 장르와 같은 정적 분류자 대신 음악을 통해 사람이 느끼게 되는 감정의 전이 효과를 이용하고자 하였다. 이를 위해 음악에 의한 인간 감정 전이의 정도를 정량적으로 표현하기 위한 감정 상태 전이 모델 (ESTM)을 제안하고 이를 기반으로 새로운 음악 분류 및 추천 기법을 제안하였다.
- 심리 상태 전이 네트워크는 각각의 감정을 개별적인 것으로 보고, 감정 간의 전이를 확률을 통해 직관적으로 나타낸다는 장점이 있지만, 어떤 시점에서의 감정과 감정 간의 상호 효과를 고려하지 않았으며, 어떤 사건으로 인해 현재 감정으로부터 다른 감정으로의 전이에 오히려 부정적 효과가 나타낼 수 있음을 고려하지 않았다. 본 논문에서는 이러한 심리 상태 전이 네트워크에서의 문제점을 다른 방식으로 해결하고자 한다.
- 본 장에서는 앞에서 제안한 감정 상태 전이 모델을 구축하기 위한 기초 데이터로 사용되는 다양한 음악의 저수준 특징들과 그들을 추출하는 방법을 제시한다.
가설 설정
- 감정 상태의 전이를 수학적으로 정의하면, 우선 n개의 감정 형용사를 사용해서 사람의 감정을 표현한다고 가정하고, 현재의 감정 상태는 구성 감정 형용사의 정도를 나타내는 행렬 벡터 수식을 사용하여 다음과 같이 표현할 수 있다.
제안 방법
- 특징 분류를 위해서는 SVM을 사용하였다. 그러나 SVM은 한 번에 한 가지 클래스만 분류할 수 있으므로, 본 논문의 감정 상태 전이 행렬을 분류하기 위해서는 감정 상태 전이 행렬 요소 별로 SVM을 훈련하여 대응시켰다[17].
- 이를 위하여 본 논문에서는 우선 음악에 의한 인간의 감정 전이를 기술하기 위한 감정 상태 전이 모델(ESTM)을 제안하고, 특정 음악이 감정의 전이에 미치는 긍정적/부정적 효과를 정량적으로 표현한다. 둘째, 음악의 특성을 표현하는 다양한 특징 추출 기법 및 이를 기반으로 하는 음악 분류 기법을 제안한다. 특징 추출을 위해 음악 문맥을 고려하는 프레임화(framing) 방법[4]을 사용하여 각 프레임으로부터 다양한 음악적, 통계적 특징들을 추출하고 NMF와 같은 차원 감쇄 방법을 사용하였다.
- 하지만 데이터의 모든 요소가 양수여야 한다는 제약 조건을 가진다. 따라서 본 연구에서는 특징 데이터를 모두 양수로 변환하여 NMF를 적용하였다.
- 특징 추출을 위해 음악 문맥을 고려하는 프레임화(framing) 방법[4]을 사용하여 각 프레임으로부터 다양한 음악적, 통계적 특징들을 추출하고 NMF와 같은 차원 감쇄 방법을 사용하였다. 또한, Original SVM과 One class SVM를 사용하여 분류 성능을 측정하였다.
- 많은 수의 감정 형용사가 존재하기에, 참가자들은 적은 수의 감정 형용사를 사용하여 자신의 감정을 기술하였다. 본 실험에서는 하나의 노래에 대해 적어도 121개의 감정 상태 전이에 대한 데이터가 수집되어야 하므로, 참가자가 다양한 감정 상태로부터 음악을 듣고 전이되는 효과를 측정하였다. 최종적으로 모든 참가자들은 32,573 건의 실험 데이터를 입력하였으며, 이들을 이용하여 분류 데이터로 활용하였다.
- 몇몇 잘 알려진 통계적 특징들은 효과적으로 프레임의 특징을 나타낸다고 알려져 있다[10,12]. 본 연구에서는 이들 중에서 Spectral Centroid(SC), Spectral Flatness(SF), Spectral Spread(SS), Spectral Flux(SFX) 등을 활용하여 특징을 추출하였다.
- SVM 구동을 위해서는 LIBSVM[20]을 활용하였는 데 LIBSVM은 다양한 종류의 인터페이스와 커널 함수들을 제공하고 있다. 분류를 위해서 Original SVM[21,22]과 One-Class SVM[23]을 대상으로 그들의 분류 성능을 비교하였다.
- 성능 평가를 위한 평가지료로는 전체 분류 정확도, 정확도 표준편차, 그리고 최대 정확도 등을 사용하였다. 전체 분류 정확도는 모든 클래스에 대한 분류기의 분류 정확도를 나타내는 지표이며, 다음과 같이 정의된다.
- 본 논문에서 음악 분류는 다음과 같은 단계로 진행된다. 우선 음악 데이터로부터 비트 검출 기반의 프레임화를 통한 특징을 추출한 다음, NMF를 이용한 차원 축소 및 SVM를 이용한 분류 과정을 거친다. 마지막으로 사용자가 표현할 수 있는 감정 형용사를 기반으로 감정 표현을 수집하여, 분류기의 분류 데이터로 활용한다.
- 이러한 문제를 해결하기 위한 다양한 시도의 하나로 Russel[6]의 circumflex 모델을 꼽을 수 있다. 이 모델에서는 대상 감정을 2 차원의 양방향 축에 표현하고 각 차원 내의 상반된 감정은 서로 멀리 표현하는 방식으로, 20가지 이상의 감정을 표현하였다. 한편, Thayer[7]는 Russel의 모델을 음악에 적용한 무드 모델(mood model)을 제안하였다.
- 음악 분석(musical analysis)에 기반하는 특징 추출은 음악의 주요 요소인 리듬, 멜로디, 하모니 등을 분석하여 활용한다. 이러한 요소를 분석하기 위한 방법에는 여러 가지가 있는데, 가령 멜로디를 표현하는 특징의 일부인 조(key)나 화음(chord) 등을 추출하기 위해 크로마그램(chromagram)을 분석하여 단위 시퀀스 또는 프레임 내의 음의 주요 배치를 분석한다. Müller는 크로마그램을 변형한 CENS를 사용하여 기존 방식에 비해 음간 노이즈 등을 경감시키기도 하였다[9].
- 이를 위하여 본 논문에서는 우선 음악에 의한 인간의 감정 전이를 기술하기 위한 감정 상태 전이 모델(ESTM)을 제안하고, 특정 음악이 감정의 전이에 미치는 긍정적/부정적 효과를 정량적으로 표현한다. 둘째, 음악의 특성을 표현하는 다양한 특징 추출 기법 및 이를 기반으로 하는 음악 분류 기법을 제안한다.
- 이러한 감정 상태 전이 모델은 개인화 서비스나 소규모 음악 커뮤니티 등 다양한 범위의 사용자 그룹에 대하여 정의가 가능하며 동질의 사용자 그룹일수록 정확하고 효과적인 감정 상태 전이를 표현할 수 있다. 이를 위해 우선 사람의 복잡한 감정을 표현하는 방법을 정의하고 이를 바탕으로 감정의 전이 효과를 표현하는 방법을 정의한다.
- 본 논문에서는 음악의 분류나 질의 및 추천을 위한 방법으로 기존의 무드나 장르와 같은 정적 분류자 대신 음악을 통해 사람이 느끼게 되는 감정의 전이 효과를 이용하고자 하였다. 이를 위해 음악에 의한 인간 감정 전이의 정도를 정량적으로 표현하기 위한 감정 상태 전이 모델 (ESTM)을 제안하고 이를 기반으로 새로운 음악 분류 및 추천 기법을 제안하였다. 제안하는 모델의 유용성을 보이기 위하여 다양한 음악 클립에서 다수의 특징을 추출하였으며, 고차원 특징 벡터의 차원 감쇄를 위하여 NMF를 사용하였다.
- 자신의 감정을 기술하기 위한 감정 형용사로는 분노(angry), 흥분(excited), 행복(happy), 기쁨(pleased),이완(relaxed), 평화로움(peaceful), 졸림(sleepy), 슬픔(sad), 지루함(bored), 짜증남(nervous), 그리고 고요함(calm)의 11가지 형용사를 사용하였다.
- 이를 위해 음악에 의한 인간 감정 전이의 정도를 정량적으로 표현하기 위한 감정 상태 전이 모델 (ESTM)을 제안하고 이를 기반으로 새로운 음악 분류 및 추천 기법을 제안하였다. 제안하는 모델의 유용성을 보이기 위하여 다양한 음악 클립에서 다수의 특징을 추출하였으며, 고차원 특징 벡터의 차원 감쇄를 위하여 NMF를 사용하였다. 성능 분석을 위한 실험에서 두 가지 유형의 SVM을 분류기로 사용하여 다양한 실험을 수행하였으며 결과적으로 평균 67.
- 서양 음악의 화성은 주로 한 마디의 음조 구성을 결정하는 코드에 의해 결정된다. 코드 추출을 위해서 우선 서양 음조의 대표 화음인 C~B♭의 강도를 표현하는 크로마그램을 추출한다. 이에 Key Profile Matrix[14]를 적용하여 해당 프레임의 주된 코드를 추출한다.
대상 데이터
- 실험을 위해 20대에서 50대에 이르는 다양한 연령층의 자발적 참가자 30명을 선정하였다. 선정된 참가자들에게는 웹 기반의 감정 수집 프로그램을 통해 준비된 120곡의 다양한 음악을 듣고 체험한 감정 전이 정도를 기입하게 하였다. 음악은 팝송의 경우, allmusic.
- 시스템 구현을 위해 MATLAB과 Matweb의 연동 인터페이스를 사용하였다. SVM 구동을 위해서는 LIBSVM[20]을 활용하였는 데 LIBSVM은 다양한 종류의 인터페이스와 커널 함수들을 제공하고 있다.
- 감정의 표현은 매우 주관적이기에 사용자로부터 하나의 음악에 대한 다양한 감정 데이터를 수집하는 것이 중요하다. 실험을 위해 20대에서 50대에 이르는 다양한 연령층의 자발적 참가자 30명을 선정하였다. 선정된 참가자들에게는 웹 기반의 감정 수집 프로그램을 통해 준비된 120곡의 다양한 음악을 듣고 체험한 감정 전이 정도를 기입하게 하였다.
- 본 실험에서는 하나의 노래에 대해 적어도 121개의 감정 상태 전이에 대한 데이터가 수집되어야 하므로, 참가자가 다양한 감정 상태로부터 음악을 듣고 전이되는 효과를 측정하였다. 최종적으로 모든 참가자들은 32,573 건의 실험 데이터를 입력하였으며, 이들을 이용하여 분류 데이터로 활용하였다.
이론/모형
- 즉, 음악의 내용과 관계없이 동일한 길이의 프레임으로 분할한다는 단점이 발생한다. 따라서 본 연구에서 음악 비트에 기반하는 프레임화 방법[4]을 사용하였다.
- 그들은 입력된 음악 신호로부터 분석된 주파수 도메인의 데이터를 구획화하고, 이들을 NMF를 사용하여 차원 축소하였다. 또한, GMM을 분류기로 사용하였고, EM 알고리즘을 훈련 알고리즘으로 사용하였다. 그러나 이들의 목적도 무드/장르와 같은 정적 분류자를 검출하고자 하는 것이다.
- 음색(timbre)은 사람의 인지에서 파생된 주관적 특성으로, 물리적 특징과 일대일로 연결하기 어려운 특성이다. 본 연구에서는 음색의 측정을 위해 주로 사용되는 MFCC[11]를 추출하였다. MFCC는 인간의 청각 구조에 맞게 기존 주파수 도메인을 멜-스케일 도메인으로 변환하여 특정 계수를 추출한다.
- 선정된 참가자들에게는 웹 기반의 감정 수집 프로그램을 통해 준비된 120곡의 다양한 음악을 듣고 체험한 감정 전이 정도를 기입하게 하였다. 음악은 팝송의 경우, allmusic.com[18]에 제시된 무드 분류에 균일하도록 선정되었으며, 한국/일본 음악의 경우 멜론[19]을 활용하였다.
- 코드 추출을 위해서 우선 서양 음조의 대표 화음인 C~B♭의 강도를 표현하는 크로마그램을 추출한다. 이에 Key Profile Matrix[14]를 적용하여 해당 프레임의 주된 코드를 추출한다.
- 특징 분류를 위해서는 SVM을 사용하였다. 그러나 SVM은 한 번에 한 가지 클래스만 분류할 수 있으므로, 본 논문의 감정 상태 전이 행렬을 분류하기 위해서는 감정 상태 전이 행렬 요소 별로 SVM을 훈련하여 대응시켰다[17].
- 둘째, 음악의 특성을 표현하는 다양한 특징 추출 기법 및 이를 기반으로 하는 음악 분류 기법을 제안한다. 특징 추출을 위해 음악 문맥을 고려하는 프레임화(framing) 방법[4]을 사용하여 각 프레임으로부터 다양한 음악적, 통계적 특징들을 추출하고 NMF와 같은 차원 감쇄 방법을 사용하였다. 또한, Original SVM과 One class SVM를 사용하여 분류 성능을 측정하였다.
성능/효과
- 그림에서 점선은 Original SVM과 One-Class SVM의 우세를 가늠하기 위한 경계선이다. 결과적으로 전체 분류 정확도에서 Original SVM이 그리고 최대 정확도에서 One-Class SVM이 더 나은 성능을 보이고 있다. 다시 말해서, Original SVM은 평균적으로 좋은 분류 정확도를 보여주지만, 특정한 음악에서는 정확도가 떨어지는 반면, One-Class SVM은 특정한 음악에서 좋은 결과를 낼 수 있다.
- 결과적으로 전체 분류 정확도에서 Original SVM이 그리고 최대 정확도에서 One-Class SVM이 더 나은 성능을 보이고 있다. 다시 말해서, Original SVM은 평균적으로 좋은 분류 정확도를 보여주지만, 특정한 음악에서는 정확도가 떨어지는 반면, One-Class SVM은 특정한 음악에서 좋은 결과를 낼 수 있다.
- 첫째, 사용자의 보편적인 음악 기호를 분석하고 이에 따라 음악을 분류하는 데에 활용될 수 있다. 둘째, 비슷한 성향을 가진 사용자끼리 군집 분류를 하여, 개인별 차별화 서비스를 제공할 수 있다. 셋째, 음악 치료나 유비쿼터스 상황 인지 등 감정의 변화가 수반되거나 예상되는 서비스 분야에 효과적으로 대처할 수 있다.
- 따라서, 감정 상태 전이 기반의 음악 추천에 있어, 만일 청취자의 음악 취향이 어느 특정 영역에 편중되어 있는 경우, One-Class SVM에 기반한 분류가 좀 더 정확한 결과를 보여주며, 일반적인 대중 취향의 평균적 분류를 위해서는 Original SVM이 더 정확한 결과를 보여줌을 알 수 있다.
- 마지막으로, 동일한 사건에 대한 감정 전이의 결과는 현재의 감정 상태에 따라 달라질 수 있다는 것이다. 따라서 이전 상태의 단일 감정 혹은 복수 감정의 조합과 사건에 의한 다음 상태의 감정 조합의 구성을 정량적으로 표현할 수 있다면 사건에 의한 감정 전이 결과를 계산하는 것이 가능하다.
- 제안하는 모델의 유용성을 보이기 위하여 다양한 음악 클립에서 다수의 특징을 추출하였으며, 고차원 특징 벡터의 차원 감쇄를 위하여 NMF를 사용하였다. 성능 분석을 위한 실험에서 두 가지 유형의 SVM을 분류기로 사용하여 다양한 실험을 수행하였으며 결과적으로 평균 67.54%, 최대 87.78%의 분류 정확도를 달성하였으며 이를 바탕으로 특정 응용에 적합한 분류기를 선정하는 가이드라인을 제시하였다.
- 둘째, 비슷한 성향을 가진 사용자끼리 군집 분류를 하여, 개인별 차별화 서비스를 제공할 수 있다. 셋째, 음악 치료나 유비쿼터스 상황 인지 등 감정의 변화가 수반되거나 예상되는 서비스 분야에 효과적으로 대처할 수 있다. 마지막으로, 음악 아티스트가 역으로 자신의 아트 성향을 분석하는 데에도 활용될 수 있다.
후속연구
- 셋째, 음악 치료나 유비쿼터스 상황 인지 등 감정의 변화가 수반되거나 예상되는 서비스 분야에 효과적으로 대처할 수 있다. 마지막으로, 음악 아티스트가 역으로 자신의 아트 성향을 분석하는 데에도 활용될 수 있다.
- 장르/무드 등의 정적인 기술자를 벗어나, 실제 사람이 음악을 들으면서 느끼게 되는 감정 변화의 정도를 분류의 기준으로 사용할 수 있다면 기존의 방법과는 다른 직관적이고 정서적인 음악적 분류가 가능할 것이다. 즉, 특정 음악이 사람에게 미치는 감정적 정서적 영향을 정량적으로 기술하고 표현할 수 있다면 사용자가 현재 원하는 유형의 노래를 좀 더 정확하게 표현할 수 있게 된다.
- 일반 사용자가 음악을 들을 때 발생하는 감정 전이 효과에 대한 연구는 다음과 같은 많은 분야에서 활용될 수 있다. 첫째, 사용자의 보편적인 음악 기호를 분석하고 이에 따라 음악을 분류하는 데에 활용될 수 있다. 둘째, 비슷한 성향을 가진 사용자끼리 군집 분류를 하여, 개인별 차별화 서비스를 제공할 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.