선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 DFB와 OSC 특징 벡터를 결합하여 장르 분류 시스템의 성능을 개선하였다. DFB만을 사용하여 장르를 분류한 결과, MFCC와 OSC보다 개선된 성능을 보였다.
- 하지만, 방대한 디지털 음원들을 분류하기 위해서는 작곡가, 가수, 장르 별로 자동 분류하는 알고리즘이 필요하다. 본 논문에서는 장르별 음원 자동 분류 알고리즘을 제안하고자 한다.
제안 방법
- 먼저 음악 데이터베이스에서 특징을 추출한다. 그 특징들을 모델링하여 모델을 생성한다. 그 후, 입력 음악에서 추출된 특징이 들어오면 생성된 모델을 이용한 분류기를 걸쳐 장르를 분류하게 된다.
- IGS 모델은 먼저 각 장르별 모델을 학습하고, 학습된 모델과 학습데이터를 이용하여 mismatch 되는 데이터를 만든다. 그 후, 각 프레임별로 IGS 모델과 각 장르별 모델의 확률을 측정하고, 각 장르별 모델에 대한 확률이 IGS 모델에 대한 확률보다 큰 프레임만 장르 분류에 사용한다 [3]. Tzanetakis는 10개의 음악 장르에 대하여 Spectral 특징 벡터로 Roll-off, Flux, Centroid, 그리고 MFCC 등 다양한 특징 벡터를 사용하였다 [4].
- 본 논문은 화자 인식에 사용하는 Decorrelate Filter Bank (DFB)를 장르 분류를 위한 특징 벡터로 사용하였다 [10-11]. 또한, MFCC, DFB 외에 Octave-based Spectral Contrast (OSC)를 멀티 특징 벡터로 이용하여 장르 분류 시스템을 구성하였다.
- 장르 분류기로는 선형 커널 함수를 적용한 SVM을 사용하였다. 또한, 각 특징 벡터들을 정규화하여 장르를 분류하였다. 장르 당 90개의 파일을 학습 데이터로 쓰고, 10개를 장르 분류에 사용하여 총 10번의 crossvalidation 실험을 하였다.
- 이 값에 log를 적용하여 LWS(b)(1 ≤ b ≤ B)를 만든다. 마지막으로, 다음과 같은 Discrete Cosine Transform (DCT)을 적용하여 K 차원의 MFCC 특징 벡터를 구한다.
- 본 논문에서는 14개 Mel-scale band-pass filter를 사용하여 MFCC와 DFB를 추출하였다.
- 특징 추출 방법은 다양한 방법들이 있다. 본 논문에서는 기존 시스템에서 기본적으로 사용하는 MFCC 이외에 화자 인식에 주로 사용되는 DFB와 음악관련 특징으로 사용되는 OSC를 적용하였다.
- }를 특징 벡터로 사용하게 된다. 본 논문에서는, 8개의 밴드를 사용하기 때문에 16차 OSC 특징 벡터를 사용하게 된다.
- 본 논문은 다양한 분류기 중 SVM을 사용하였다. SVM은 1979년 Vapnik와 AT&T Bell연구소에서 제안한 방법이다.
- 본 실험에서는 기존 알고리즘으로서 Marsyas toolbox를 이용하여 성능을 비교하였다. Marsyas는 다양한 특징을 추출할 수 있고, 다양한 패턴 인식 방법을 이용해서 장르 분류를 할 수 있다.
- 윈도우가 씌워진 입력 신호는 Fast Fourier Transform (FFT)을 하고, 밴드가 B개인 Mel-scale band-pass filter로 스펙트럼을 스케일링 후 각 밴드별 스케일링된 값들을 더해준다. 이 값에 log를 적용하여 LWS(b)(1 ≤ b ≤ B)를 만든다.
- 음악 데이터는 박 (beat), 리듬, 박자 (Meter), 멜로디, 화음 (Chord) 등 다양한 분석 방법이 있다. 음악 데이터 분석 후에는 Gaussian Mixture Model (GMM)을 비롯하여 Hidden Marcov Model (HMM), Nearest Neighbor (NN), K-Nearest Neighbor (KNN), Super Vector Machine (SVM)와 같은 다양한 분류기로 장르를 분류한다. Foote는 음악의 12차 Mel-Frequency Cepstral Coefficient (MFCC)의 히스토그램을 만들고, 분류기로 NN을 사용하여 장르를 분류하였다 [2].
- 또한, 각 특징 벡터들을 정규화하여 장르를 분류하였다. 장르 당 90개의 파일을 학습 데이터로 쓰고, 10개를 장르 분류에 사용하여 총 10번의 crossvalidation 실험을 하였다.
- 그림 4에서는 총 길이가 30초인 음악 데이터에 대하여 질의 (query) 길이별 분류 성능을 테스트하였다. 즉, 질의 길이를 3초씩 증가시키면서 각 질의 길이에 따른 장르 분류 성공률을 보여준다. 예를 들어, 질의 길이가 3초인 경우에는 총 30초 중 처음 3초를 이용하여 학습 및 분류를 시행하였다.
- 최종적으로, 하나의 음악 파일 내의 T개의 texture window로 부터 구한 {Mt, Vt}t=1,2,...,T을 이용하여 다음과 평균과 분산을 계산한 후, 이 값을 특징 벡터로 하여 장르를 분류한다.
대상 데이터
- 또한, 약 1 초의 texture window (20480 samples 또는 40개의 analysis window를 포함)에 대해서 1개의 analysis window만큼 overlap하면서 {Mt,Vt}을 구한 후, (9)- (12)을 이용해서 총 31*4 즉 124차의 특징 벡터를 추출한다. [15]에 발표된 Marsyas 시스템의 기본 세팅에 따라서, 본 논문에서도 1000개의 texture window를 사용하였다. 또한, 제안하는 특징벡터의 총 차수는 42차이며, 추출방법은 Marsyas와 동일하게 사용되었다.
- 표 5는 표 3과 표 4에서 MFCC + DFB + OSC를 이용한 경우의 각 장르별 분류 성공률을 나타낸다. 각 장르별 테스트로 10개의 파일을 쉬프트하면서 10번의 실험으로 총 100개의 파일을 분류하였다. Classical music이 가장 분류 성공률이 뛰어나며, rock music이 가장 분류 성공률이 저조하였다.
- 음악 데이터베이스는 GTZAN을 사용하였다. GTZAN은 classical, country, disco, hiphop, jazz, rock, blues, reggae, pop, metal로 총 10개의 장르를 포함하며, 각 장르당 100곡, 한 곡당 30초로 16bit, 22050Hz, 모노, AU 파일 포맷으로 구성되어있다 [14].
이론/모형
- 그 후, 각 프레임별로 IGS 모델과 각 장르별 모델의 확률을 측정하고, 각 장르별 모델에 대한 확률이 IGS 모델에 대한 확률보다 큰 프레임만 장르 분류에 사용한다 [3]. Tzanetakis는 10개의 음악 장르에 대하여 Spectral 특징 벡터로 Roll-off, Flux, Centroid, 그리고 MFCC 등 다양한 특징 벡터를 사용하였다 [4]. 분류기는 SVM을 사용하였다.
- 그림 2 (c)에 보듯이, OSC는 MFCC나 DFB와 다르게 mel-scale band-pass filter를 사용하지 않고, Octavescale band-pass filter를 사용한다. 본 논문에서는 표 1과 같이 8개의 octave-scale band-pass filter를 이용하였다.
- 기존 음악 장르 분류 시스템은 MFCC를 이용하고 있다. 본 논문은 화자 인식에 사용하는 Decorrelate Filter Bank (DFB)를 장르 분류를 위한 특징 벡터로 사용하였다 [10-11]. 또한, MFCC, DFB 외에 Octave-based Spectral Contrast (OSC)를 멀티 특징 벡터로 이용하여 장르 분류 시스템을 구성하였다.
- Tzanetakis는 10개의 음악 장르에 대하여 Spectral 특징 벡터로 Roll-off, Flux, Centroid, 그리고 MFCC 등 다양한 특징 벡터를 사용하였다 [4]. 분류기는 SVM을 사용하였다. Jiang은 음악의 Octave를 고려하여, MFCC와 다른 특징인 Octave-based Spectral Contrast (OSC)를 제안하여 장르 분류 성공률을 향상시켰다 [5].
- SVM은 1979년 Vapnik와 AT&T Bell연구소에서 제안한 방법이다. 이 방법은 구조적인 위험 최소화 (Structural Risk Minimization)을 사용한다. 분류함수의 선이 데이터와 만날 때까지 확장한 폭을 마진 (Margin)이라고 하며, SVM은 이 마진이 최대가 되는 최적 분류 초평면 (Optimal Separating Hyperplane)을 다음과 같이 구한다.
- 장르 분류기로는 선형 커널 함수를 적용한 SVM을 사용하였다. 또한, 각 특징 벡터들을 정규화하여 장르를 분류하였다.
성능/효과
- 본 논문에서는 DFB와 OSC 특징 벡터를 결합하여 장르 분류 시스템의 성능을 개선하였다. DFB만을 사용하여 장르를 분류한 결과, MFCC와 OSC보다 개선된 성능을 보였다. OSC와 복합 특징 벡터로 구성할 경우 MFCC보다는 DFB의 경우가 성능이 더 좋은 것을 확인하였다.
- 2 %의 높은 성능 향상과 8차의 특징 벡터 차수 이득을 얻을 수 있었다. MFCC + DFB + OSC는 DFB + OSC 시스템보다 52차만큼 특징 벡터의 차수 증가가 있었지만 0.1 %의 근소한 성능 개선만을 얻을 수 있었다.
- 특징 벡터 차수는 Marsyas보다 제안한 알고리즘이 8차의 이득을 보았다. MFCC + OSC의 경우 2.4 %의 성능이 증가 하였으나 DFB + OSC보단 1.8 % 낮은 성능 결과를 보였다. 모든 특징 벡터의 조합인 MFCC + DFB + OSC를 사용할 경우, Marsyas보다 4.
- Marsyas는 분류 성공률이 73.1 %인 반면, 본 논문에서 제안한 DFB + OSC는 77.3 %로 4.2 %의 인식율 향상을 나타내었다. 특징 벡터 차수는 Marsyas보다 제안한 알고리즘이 8차의 이득을 보았다.
- DFB만을 사용하여 장르를 분류한 결과, MFCC와 OSC보다 개선된 성능을 보였다. OSC와 복합 특징 벡터로 구성할 경우 MFCC보다는 DFB의 경우가 성능이 더 좋은 것을 확인하였다. 또한, Marsyas 시스템보다 4.
- OSC와 복합 특징 벡터로 구성할 경우 MFCC보다는 DFB의 경우가 성능이 더 좋은 것을 확인하였다. 또한, Marsyas 시스템보다 4.2 %의 높은 성능 향상과 8차의 특징 벡터 차수 이득을 얻을 수 있었다. MFCC + DFB + OSC는 DFB + OSC 시스템보다 52차만큼 특징 벡터의 차수 증가가 있었지만 0.
- 또한, {μM, σM, μV, σV}를 모두 이용한 경우가 {μM, μV}만을 이용한 경우보다 성능이 우수함을 알 수 있었다.
- 8 % 낮은 성능 결과를 보였다. 모든 특징 벡터의 조합인 MFCC + DFB + OSC를 사용할 경우, Marsyas보다 4.3 % 성능 향상이 있었다. 하지만 특징 벡터 차수에서 44차의 증가가 있었고, DFB + OSC와 성능차가 0.
- Jiang은 음악의 Octave를 고려하여, MFCC와 다른 특징인 Octave-based Spectral Contrast (OSC)를 제안하여 장르 분류 성공률을 향상시켰다 [5]. 분류기로 GMM을 사용하여 Jazz, Pop, Romantic, Baroque, Rock의 5가지 장르에 대해서 약 82 % 장르 분류 성공률을 얻었다.
- MFCC가 밴드 별 진폭 자체를 특징으로 사용함에 비교해서, DFB는 밴드 간 진폭의 차를 살펴보는데 보다 적합한 특징이다. 실험을 통해 관찰한 결과, 밴드 간 진폭의 변화도를 고려한 DFB가 MFCC보다 2.1 % 향상된 인식율을 보임을 알 수 있었다. 즉, 음악 장르 분류를 위해서는 밴드 자체의 진폭보다는 밴드 간 진폭의 차가 더 적합한 특징임을 알 수 있다.
- 특징 벡터의 차수를 감소한 경우 급격한 성능 저하를 보이지 않았고, 차수를 증가시켜도 성능이 항상 향상되지 않았다. 즉, 장르 분류 성능에는 특징 벡터의 차수보다 특징 벡터의 종류와 조합이 더 많은 영향을 주는 것을 확인하였다. 향후에는 장르 분류에 보다 적합한 특징 벡터와 분류기를 제안할 예정이다.
- 예를 들어, 질의 길이가 3초인 경우에는 총 30초 중 처음 3초를 이용하여 학습 및 분류를 시행하였다. 질의의 길이가 길어질수록 학습 데이터와 테스트 데이터가 증가하여 분류 성공률도 증가하였다. 즉, 안정적으로 장르를 분류하기 위해서는 21초 이상의 데이터를 이용해야 하는 것을 보여준다.
- 즉, 음악 장르 분류를 위해서는 밴드 자체의 진폭보다는 밴드 간 진폭의 차가 더 적합한 특징임을 알 수 있다. 특징 벡터 각각을 사용한 경우에는 DFB가 가장 우수하였고, OSC, MFCC 순으로 성능이 좋았다.
- 2 %의 인식율 향상을 나타내었다. 특징 벡터 차수는 Marsyas보다 제안한 알고리즘이 8차의 이득을 보았다. MFCC + OSC의 경우 2.
- 음악 데이터의 질이 길이를 많이 볼수록 성능이 증가하지만, 일정 이상을 볼 경우 성능의 큰 차이가 없었다. 특징 벡터의 차수를 감소한 경우 급격한 성능 저하를 보이지 않았고, 차수를 증가시켜도 성능이 항상 향상되지 않았다. 즉, 장르 분류 성능에는 특징 벡터의 차수보다 특징 벡터의 종류와 조합이 더 많은 영향을 주는 것을 확인하였다.
- 6 % 분류 성공률이 낮지만, 특징 벡터의 차수에서 절반인 84차의 이득을 볼 수 있었다. 표 3과 표 4에서 분류 성공률 대비 특징 벡터 차수를 비교해본 결과, 특징 벡터 차수가 많이 줄어 들어도 성능이 많이 저하 되지 않음을 알 수 있었다.
- }만을 사용하여 특징 벡터의 차수를 줄이는 실험을 한 결과이다. 표 4의 MFCC + DFB + OSC는 75.8 %로 표 3의 MFCC + DFB + OSC보다 1.6 % 분류 성공률이 낮지만, 특징 벡터의 차수에서 절반인 84차의 이득을 볼 수 있었다. 표 3과 표 4에서 분류 성공률 대비 특징 벡터 차수를 비교해본 결과, 특징 벡터 차수가 많이 줄어 들어도 성능이 많이 저하 되지 않음을 알 수 있었다.
- 3 % 성능 향상이 있었다. 하지만 특징 벡터 차수에서 44차의 증가가 있었고, DFB + OSC와 성능차가 0.1 %로 거의 차이가 없었다.
후속연구
- 즉, 장르 분류 성능에는 특징 벡터의 차수보다 특징 벡터의 종류와 조합이 더 많은 영향을 주는 것을 확인하였다. 향후에는 장르 분류에 보다 적합한 특징 벡터와 분류기를 제안할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.