선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에는 이러한 단점들을 보완하고자 MPEG-7에서 제안한 오디오 서술자들(Audio Descriptors)만을 사용하여 기존의 내용기반, 감성기반 음악 검색 방법들의 확장 및 통합이 용이하도록 한다. 또한 검색하고자 하는 감성 형용사마다 그 형용사를 가장 잘 표현해주는 서술자를 사전에 미리 결정하고 서술자마다 검색에 이용되는 가중치를 다르게 하여 최적의 검색결과를 얻는 방법을 제안한다.
제안 방법
- (그림 1)에서 옵 라인의 전처리부분의 감성형용사별 대표 질의 음악선택은 설문조사를 통하여 선정하였고, 감성 형용사선택은 Thayer의 감성모델을 기반으로 하였다[8]. 또한 감성형용사별 오디오 서술자 및 가중치 선택은 Mercer Kernel-Based Clustering in Feature space(MKBC) 알고리즘을 이용한 포함정도(Inclusion Degree)를 사용하여 선택하였다.
- 셋째, 유사성 기반의 러프집합 이론을 이용한 방법을 개선한 감성별 사람이 나눈 군집과 서술자의 유사성을 이용하여 분류한 군집들을 비교하여 사람이 분류한 집합과 비슷할 경우에는 소속정도를 크게 하고 결과가 다를 경우 소속정도를 작게 하여 각 감성을 검색하는데 서술자의 중요성을 다르게 적용하여 사용한 것이다. 넷째, 적합성 피드백(relevance feedback)이 실제 검색방법과 다른 점을 착안, 일관성 원리와 다중질의 방법을 피드백에 적용하여 사용자의 검색결과를 기반으로 재검색을 하는 것이다.
- 기본적인 내용기반 음악 검색 방법은 질의 음악의 속성들을 사전에 미리 결정하고 결정된 속성들을 추출한다. 또한 DB에 있는 모든 후보 음악들에 대해서도 동일하게 속성들을 추출하고 사용자의 질의 음악 입력 시 질의 음악의 속성과 DB에 있는 후보 음악들의 속성들의 유사성 측도를 이용하여 계산하게 된다. 계산된 척도 값 중에서 질의 음악과 가장 유사한 n개의 후보 음악을 사용자에게 보여줌으로써 사용자가 원하는 음악을 찾아낼 수 있었다.
- 본 논문에는 이러한 단점들을 보완하고자 MPEG-7에서 제안한 오디오 서술자들(Audio Descriptors)만을 사용하여 기존의 내용기반, 감성기반 음악 검색 방법들의 확장 및 통합이 용이하도록 한다. 또한 검색하고자 하는 감성 형용사마다 그 형용사를 가장 잘 표현해주는 서술자를 사전에 미리 결정하고 서술자마다 검색에 이용되는 가중치를 다르게 하여 최적의 검색결과를 얻는 방법을 제안한다. 마지막으로 일관성 원리와 다중질의 방법을 이용한 피드백을 사용하여 사용자에게 ‘부적합’판정을 받은 음악들은 검색되지 않고, ‘적합’판정을 받은 음악들은 계속 검색되어지며, ‘적합’ 판정을 받은 음악들의 서술자를 사용하여 재검색하는 방법을 제안한다.
- 마지막으로 일관성 원리와 다중질의 방법을 이용한 피드백을 사용하여 사용자에게 ‘부적합’판정을 받은 음악들은 검색되지 않고, ‘적합’판정을 받은 음악들은 계속 검색되어지며, ‘적합’ 판정을 받은 음악들의 서술자를 사용하여 재검색하는 방법을 제안한다.
- 본 논문에서는 사람이 형용사별로 분류된 음악과 이들 음악의 MPEG-7 서술자의 유사성을 기반으로 한 군집화 결과의 포함정도를 비교분석하여 해당 형용사의 음악 선택 시 서술자의 가중치를 다르게 적용하였다. 본 연구에서의 가중치 결정과정에는 어떤 서술자 관점에서 음악 상호간의 유사성을 기반으로 하는 군집화 알고리즘은 모두 사용이 가능하다.
- 본 논문의 가중치 결정방법은 사람이 분류한 결과(# 또는 #)와 어떤 서술자 관점에서의 작은 수의 부류로 유사성을 기반으로 한 군집화결과의 일치도가 크면 큰 가중치를 가지며 일치도가 떨어지거나, 많은 수의 부류로 분류한 결과와 일치도가 크면 작은 가중치 값을 가지게 하는 결과를 제공한다[13].
- 본 연구는 Thayer의 감성모델을 이용하여 감성형용사를 선택하고, MPEG-7에서 제공하는 오디오 서술자만을 검색에 이용하였으며, MKBC 알고리즘을 이용한 포함정도(Inclusion Degree)를 사용하여 검색하는 감성마다 사용하는 서술자와 서술자의 가중치를 달리하고, 최종적으로 일관성 원리와 다중질의 방법을 이용하는 피드백을 사용하여 검색능력의 향상방법을 제안하였다.
- 다양한 장르의 음악에 대하여 사람들의 감성을 설문조사를 통하여 각 음악에 대한 Arousal 값과 Valence 값을 추출한 후, 이를 각 음악에서 계산된 오디오 특징들과 연관시켜 음악에 대한 감성 모델을 수립하는 방법으로 연구되어졌다. 본 연구에서는 (그림 2)에 보이는 12가지 형용사를 모두 사용하며 이들은 서로 대립을 이루는 6개의 쌍을 구성한다.
- 즉 감성마다 서술자들의 가중치를 다르게 설정하여 검색하는 것이 계산량 관점이나 검색성능관점에서 보다 효율적일 수 있다. 본 연구에서는 검색성능을 개선하기 위하여 감성마다 사용되는 서술자를 다르게 하고, 또한 사용되는 서술자마다 중요도에 따른 가중치를 다르게 사용한다.
- 여기서 MPEG-7 오디오 서술자는 음원 파일의 형태와는 관련이 없으며, 어떤 형태의 파일이 재현되는 과정에서 전기적인 음원신호로부터 추출해내는 서술자를 의미한다. 셋째, 유사성 기반의 러프집합 이론을 이용한 방법을 개선한 감성별 사람이 나눈 군집과 서술자의 유사성을 이용하여 분류한 군집들을 비교하여 사람이 분류한 집합과 비슷할 경우에는 소속정도를 크게 하고 결과가 다를 경우 소속정도를 작게 하여 각 감성을 검색하는데 서술자의 중요성을 다르게 적용하여 사용한 것이다. 넷째, 적합성 피드백(relevance feedback)이 실제 검색방법과 다른 점을 착안, 일관성 원리와 다중질의 방법을 피드백에 적용하여 사용자의 검색결과를 기반으로 재검색을 하는 것이다.
- 형용사 별로 사람이 분류한 각 감성의 곡의 수는 “Angry”는 89곡, “Annoying” 은 16곡, “Board”는 26곡, “Calm”은 96곡, “Excited”는 126곡, “Happy”는 41곡 “Nervous”는 25곡, “Peaceful”는 32곡, “Pleased”는 37곡, “Relaxed”는 35곡, “Sad”는 99곡, “Sleepy” 는 16곡이었다. 실험에 사용된 노래의 부분은 곡의 감성을 잘 표현하는 각각의 절정(Climax)부분을 10초가량을 사용하였으며, MPEG-7 오디오 서술자들은 MPEG-7에서 제공하는 오픈소스를 사용하여 추출하였고, 나머지 MKBC 알고리즘, 포함정도를 이용한 가중치 계산, 검색시스템은 Visual c++를 사용하여 구현하였다.
- 이들 부류의 음악을 어떤 서술자 Dj 관점에서의 상호 유사성을 이용하여, MKBC 알고리즘이 c개의 부류로 군집화 했다고 하자.
- 제안하는 전체적인 감성기반 음악검색 시스템은 (그림 1)과 같이 감성형용사 선택, 음악검색, 적합/부적합 판정, 피드백 과정을 거친다. 즉 사용자는 원하는 감성의 음악검색을 형용사를 선택함으로 시작하며, 선택된 형용사에 부합하는 미리 평가된 대표 음악들을 제시하며, 사용자는 대표음악 중에 ‘적합하다’라고 판정한 음악을 선택하여 유사한 감성의 음악검색을 시작하게 된다.
- 제안한 시스템의 특징은 크게 4가지로 정리할 수 있다. 첫째, 내용기반 검색과 감성기반 검색의 두 가지 검색 방법을 모두 적용하였다. 기본적으로 내용기반 검색의 방법을 취하고 감성기반 검색 인터페이스를 추가, 즉 감성별 대표 음원을 제공하며 이를 통하여 내용기반 검색을 함으로써 감성기반 검색을 완성하였다는 것이다.
대상 데이터
- 단 “Angry, Peaceful” 의 경우 “AudioFundamentalFrequency”와 “HarmonicSpectral Centroid”의 중요도가 “1”로 같기 때문에 두 개의 특징모두 사용하였다.
- <표 2>에서 볼 수 있듯이 “Angry, Peaceful , Happy, Board, Nervous”는 서술자 사용 개수에 관계없이 검색된 결과가 같은 것을 알 수 있다. 따라서 사용하는 서술자의 수가 적을수록 수렴속도가 빠르기 때문에 가장 적은 수의 서술자를 사용하였다. 단 “Angry, Peaceful” 의 경우 “AudioFundamentalFrequency”와 “HarmonicSpectral Centroid”의 중요도가 “1”로 같기 때문에 두 개의 특징모두 사용하였다.
- 실험에 사용한 노래는 360곡으로 MPEG-7에서 제공하는 wav형식의 음악파일을 사용하였다. 또한 실험결과를 검증하기 위해 미리 사람이 360곡을 각 형용사 느낌이 나는 곡으로 분류하였고, 이 분류로 시스템이 검색한 결과와 비교분석하였다.
데이터처리
- 실험에 사용한 노래는 360곡으로 MPEG-7에서 제공하는 wav형식의 음악파일을 사용하였다. 또한 실험결과를 검증하기 위해 미리 사람이 360곡을 각 형용사 느낌이 나는 곡으로 분류하였고, 이 분류로 시스템이 검색한 결과와 비교분석하였다. 음악은 하나의 감성만 느껴지는 것이 아니므로 분류 시 형용사의 중복을 허용하였다.
이론/모형
- (그림 1)에서 옵 라인의 전처리부분의 감성형용사별 대표 질의 음악선택은 설문조사를 통하여 선정하였고, 감성 형용사선택은 Thayer의 감성모델을 기반으로 하였다[8]. 또한 감성형용사별 오디오 서술자 및 가중치 선택은 Mercer Kernel-Based Clustering in Feature space(MKBC) 알고리즘을 이용한 포함정도(Inclusion Degree)를 사용하여 선택하였다. 마지막 적합성 피드백(Relevance Feedback)은 일관성 원리와 다중질의 방법을 이용하였다.
- 또한 감성형용사별 오디오 서술자 및 가중치 선택은 Mercer Kernel-Based Clustering in Feature space(MKBC) 알고리즘을 이용한 포함정도(Inclusion Degree)를 사용하여 선택하였다. 마지막 적합성 피드백(Relevance Feedback)은 일관성 원리와 다중질의 방법을 이용하였다.
- 본 연구에서의 가중치 결정과정에는 어떤 서술자 관점에서 음악 상호간의 유사성을 기반으로 하는 군집화 알고리즘은 모두 사용이 가능하다. 본 연구에서는 MKBC(Mercer kernel-based clustering) 알고리즘을 적용하였다[12]. MKBC 알고리즘은 원래 커널(kernel)을 기반으로 유사도를 산출하여 군집화하는 알고리즘이기 때문에 본 논문에서 제안한 MPEG-7 오디오 서술자 관점에서 음악 상호간의 유사도를 이용한 분류에 적합하다.
- Thayer의 감성모델은 이런 어렵고 모호한 문제를 해결한 하나의 모델이며 감성을 연구하는데 주로 채택되어 사용되어 왔다. 이에 본 논문에서도 임의의 음악에 대하여 사람이 느끼는 감정을 추출하는 방법으로 Thayer의 감성모델을 사용하였다.
성능/효과
- 3절의 <표 2>를 통하여 알 수 있으며, 제안한 일관성 원리와 다중질의 방법을 적용한 적합성 피드백 후의 검색결과는 <표 3>에 나타냈다. 1차 검색 시 10곡을 만족시키지 못하였던 검색결과가 일관성원리를 이용한 피드백과 다중질의 방법을 이용한 2차 검색에서는 모두 만족함을 볼 수 있었으며, 검색결과는 최대 10곡으로 제한하였다. 이는 1차 검색에서 일관성 원리에 의해 만족스런 검색결과는 계속되는 검색에서 검색결과에 반드시 포함되게 하며, 만족스럽지 못한 검색결과는 포함되지 않게 하기 때문이다.
- 본 연구에서는 MKBC(Mercer kernel-based clustering) 알고리즘을 적용하였다[12]. MKBC 알고리즘은 원래 커널(kernel)을 기반으로 유사도를 산출하여 군집화하는 알고리즘이기 때문에 본 논문에서 제안한 MPEG-7 오디오 서술자 관점에서 음악 상호간의 유사도를 이용한 분류에 적합하다.
- 또한 DB에 있는 모든 후보 음악들에 대해서도 동일하게 속성들을 추출하고 사용자의 질의 음악 입력 시 질의 음악의 속성과 DB에 있는 후보 음악들의 속성들의 유사성 측도를 이용하여 계산하게 된다. 계산된 척도 값 중에서 질의 음악과 가장 유사한 n개의 후보 음악을 사용자에게 보여줌으로써 사용자가 원하는 음악을 찾아낼 수 있었다. 그러나 사용자의 개성이 중시되는 가치관의 변화에 따라 같은 질의 음악에 대해 나만의 음악을 찾고자 하는 요구가 늘어나면서 내용기반 음악 검색방법보다 보다 진보적인 검색방법인 감성기반 음악 검색방법이 연구되어 왔다.
- 기본적으로 내용기반 검색의 방법을 취하고 감성기반 검색 인터페이스를 추가, 즉 감성별 대표 음원을 제공하며 이를 통하여 내용기반 검색을 함으로써 감성기반 검색을 완성하였다는 것이다. 둘째, 내용기반 검색의 국제표준인 MPEG-7 오디오 서술자를 사용하여 표준화가 용이하다는 것이다. 여기서 MPEG-7 오디오 서술자는 음원 파일의 형태와는 관련이 없으며, 어떤 형태의 파일이 재현되는 과정에서 전기적인 음원신호로부터 추출해내는 서술자를 의미한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.