선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문은 논문[1이에서 제안된 MFC(Multi-Feature Clustering)기법과 기존 Subramanya의 논문[3]에서의 시스템의 성능과 검색속도를 향상 시킬 수 있는 방법을 적용한 시스템을 제안한다.
- 본 논문에서는 내용 기반 음악 장르 분류를 통한 음악 검색 시스템을 제안한다. 그러나, 단순히 장르 분류 결과를 이용하여 Query가 분류된 장르에서만 검색을 한다는 것은 상당한 리스크를 감수해야 한다.
- 본 논문에서는 기존의 MFC 기법으로 구축된 DB를 이용하여 높은 검색 성능을 유지하면서도 검색 시간을 단축할 수 있는 SuperClass개념을 이용한 내용기반 음악 검색 시스템을 구축하였다. 본 논문에서는 5초 길이의 음악을 질의로 간단한 장르 분류를 한 후, 장르 분류 결과를 이용하여 상위 30%의 장르는 SuperClassl으로, 그 다음 상위 30%의 장르는 SuperClass2 그리고, 마지막 40%의 장르는 SuperClass3로 분류하여 해당 SuperClass마다 특징 벡터의 차수를 차등 적용하여 검색 시간을 단축하였다.
제안 방법
- Subramanya는 (3)에서 각 장르별 Centroid를 구하여 장르를 대표하는 표준 벡터를 생성하고, 표준 벡터와 질의 음악의 Euclidean Distance(ED)를 측정하여 질의 음악의 장르를 결정하였다. 이 결과를 이용하여 각 장르를 몇 개의 sub-class로 구분하고 각 sub-class의 특징 벡터의 차수를 차등 적용하는 방법을 사용하여 검색 속도를 향상시켰다. 그러나, 사용하는 특징 벡터의 차수가 높고, 질의 음악의 길이가 20초 정도로 상당히 길어 300곡의 DB를 검색하는데 약 40초의 시간이 걸려 실제 시스템 구현에는 문제가 있다.
- 먼저 음악 신호는 22050Hz, 16bits, mono로 샘플링 되었으며 실험에 사용된 음악 클립은 20초 분량에 해당한다. 다음으로는 각 음악 신호에 23ms 크기의 Hamming window를 인접한 프레임과 25%씩 중복되게 이동하면서 각 23ms 프레임으로부터 음악 신호의 음색 특징들과 계수 영역 특징 등 2가지 형태의 특징들을 추출하였다. 음색 특징들로는 spectral centroid, spectral rolloff, spectral flux 그리고 zero crossing rates를 추출하였으며 계수 영역 특징들로는 13차의 Mel-frequency cepstral coefficients(MFCC) 와 10차의 linear predictive coefficients(LPC)를 사용하였다.
- 다음으로는 각 음악 신호에 23ms 크기의 Hamming window를 인접한 프레임과 25%씩 중복되게 이동하면서 각 23ms 프레임으로부터 음악 신호의 음색 특징들과 계수 영역 특징 등 2가지 형태의 특징들을 추출하였다. 음색 특징들로는 spectral centroid, spectral rolloff, spectral flux 그리고 zero crossing rates를 추출하였으며 계수 영역 특징들로는 13차의 Mel-frequency cepstral coefficients(MFCC) 와 10차의 linear predictive coefficients(LPC)를 사용하였다. 음악 파일의 각 프레임에서 이상의 6가지 특징들을 추출하여 평균과 분산을 구하면 총 54차의 특징 벡터가 구해진다.
- 각 특징 벡터를 구한 후 전체 특징 벡터를 평균이 0, 분산이 1이 되도록 정규화시켜 사용하였는데, 이는 각 특징 값들의 편차로 인한 실제 음악 장르 분류의 오동작을 방지하기 위함이다. 본 논문에서 사용된 특징 벡터들은 일반적인 신호 처리 분야에서 잘 알려진 것들이므로 상세한 설명은 배제하고 다음의 표 1에 간략한 정의만 소개하였다.
- 본 연구에서는 본 연구팀이 [1 이에서 제안한 sequential forward selection(SFS) 기법과 k-means clustering 알고리즘에 기반한 multi-feature clustering (MFC)기법을 사용하여 10차의 특징 벡터를 이용하여 DB를 구축하였다. MFC 알고리즘의 기본 동작은 다음과 같다.
- MFC 알고리즘의 기본 동작은 다음과 같다. 먼저 DB로 구축될 각 음악 신호 전체 길이에 대해 20초 단위의 큰 윈도우를 씌워가면서 각 윈도우에 SFS를 적용하여 최적의 특징 벡터 열을 추출한다. 다음으로는 이 결과로 얻어진 특징 벡터 열들을 k-means clustering 기법을 이용하여 최종 4개의 특징 벡터 열로 분류한다.
- 변환한다. 이렇게 변환된 확률을 이용하여 해당 확률이 상위 30% 내에 있는 장르들을 SupeiClassl, 다음 30%의 장르들을 SuperClass2 그리고, 나머지 확률의 장르들을 SuperClass3으로 우선순위를 결정짓는다. 다음으로 결정된 우선순위에 대하여 검색에 사용될 특징 벡터의 차수를 결정한다.
- 경우에 대한 검색 시간을 비교해보면, . 한 곡당 모든 특징 벡터를 사용하여 구한 ED 계산 시간을 B, DB 의 곡 수를 N, 장르의 수를 M이라고 하면, 장르 분류를 하지 않고 모든 특징 벡터를 사용하여 검색을 하였을경우 8.N의 시간이 걸리게 된다.
- 찾기 위한 실험의 결과이다. 본 논문에서는 4개 음악 장르에 대하여 실험을 하였기 때문에 SuperClassi, SupeiClass2로 구분을 하였다. 같은 음악 파일에서 5초의 질의를 총 8개의 다른 구간 - 음악 파일의 시작 부분, 음악 파일 전체 길이의 10%, 20%, 30%, 40%, 45%, 50% 그리고 80% 지점 - 에서 추출하였다.
- 본 논문에서는 4개 음악 장르에 대하여 실험을 하였기 때문에 SuperClassi, SupeiClass2로 구분을 하였다. 같은 음악 파일에서 5초의 질의를 총 8개의 다른 구간 - 음악 파일의 시작 부분, 음악 파일 전체 길이의 10%, 20%, 30%, 40%, 45%, 50% 그리고 80% 지점 - 에서 추출하였다.
- 검색 성공률이 현저히 낮아졌다. 처음의 가정은 우선순위를 낮추면서 특징 벡터의 차수를 1/2로 줄이는 것이었으나, 시스템의 성능이 현저히 악화되어 SuperClass2에서의 특징의 차수를 60%로 낮추어 사용하기로 결정하였다.
- 결과이다. DB를 240곡에서 1200곡까지 단계별로 늘려가면서 측정해보았다. DB size가 작을 경우에는 SuperClass를 적용한 시스템이나 SuperClass를 적용하지 않은 시스템이나 검색 시간의 큰 차이가 없으나 DB size가 커질수록 선형적으로 검색 시간이 단축되는 결과를 볼 수 있다.
- 검색 시스템을 구축하였다. 본 논문에서는 5초 길이의 음악을 질의로 간단한 장르 분류를 한 후, 장르 분류 결과를 이용하여 상위 30%의 장르는 SuperClassl으로, 그 다음 상위 30%의 장르는 SuperClass2 그리고, 마지막 40%의 장르는 SuperClass3로 분류하여 해당 SuperClass마다 특징 벡터의 차수를 차등 적용하여 검색 시간을 단축하였다. SuperClass를 사용하지 않은 시스템에 비하여 약 20%~40%의 검색 시간을 단축할 수 있었다.
대상 데이터
- 제안된 알고리즘의 실험을 위해 사용된 음악 DB는 인터넷 전문 음악 사이트의 MP3 파일, 음악 CD 그리고 라디오로부터 Classic, Hiphop, Jazz 그리고 Rock의 4개 음악 장르에 대해 각 장르별로.300곡을 선정하여 총 1200곡을 사용하였다. 실험에 사용된 음악 파일은 22050Hz, 16bits, mono의 wave 파일로 변환하여 사용하였다.
- 1200곡의 음악 파일들은 각 장르별로 무작위로 270곡씩 총 1080개(90%)의 학습 데이터를 수집하여 표준 벡터를 추출하였으며, 추출된 표준 벡터와의 거리를 기반으로 SuperClass들을 구성하였다. 검색을 위해서 음악 질의는 전체 DB 내의 음악 파일의 4개의 특징 벡터 세트들과 단순 Euclidean 거리를 측정하여 비교하며, 검색 성공률은 검색 결과 상위 10곡 안에 질의 음악이 포함되어 있다면 검색이 성공한 것으로 간주하였다.
- 300곡을 선정하여 총 1200곡을 사용하였다. 실험에 사용된 음악 파일은 22050Hz, 16bits, mono의 wave 파일로 변환하여 사용하였다.
데이터처리
- 또한,제한된 DB에서 신뢰성 있는 결과를 도출하기 위해서 100번 반복하여 실험결과를 도출하였으며 최종 성공률은. 각 반복 실험의 성공률의 평균을 통해 얻었다.
이론/모형
- 먼저 DB로 구축될 각 음악 신호 전체 길이에 대해 20초 단위의 큰 윈도우를 씌워가면서 각 윈도우에 SFS를 적용하여 최적의 특징 벡터 열을 추출한다. 다음으로는 이 결과로 얻어진 특징 벡터 열들을 k-means clustering 기법을 이용하여 최종 4개의 특징 벡터 열로 분류한다. MFC기법을 이용하여 DB를 구죽하는 이유는 시스템 질의 구간이나 질의 길이에 따른 시스템 불안정성 문제를 해결할 수 있기 때문이다.
성능/효과
- 정보에 . 해당하는 특징 벡터를 추출 조합하여 ' 약 74%의 성공률을 보였다. Guo 와 Li[2] 는 SVM (Support Vector Machine) 기반의 이진트리 기법을 이용하여 검색 오류율을 줄일 수 있는 방법을 제안하였다.
- SuperClass들을 구성하였다. 검색을 위해서 음악 질의는 전체 DB 내의 음악 파일의 4개의 특징 벡터 세트들과 단순 Euclidean 거리를 측정하여 비교하며, 검색 성공률은 검색 결과 상위 10곡 안에 질의 음악이 포함되어 있다면 검색이 성공한 것으로 간주하였다. 또한,제한된 DB에서 신뢰성 있는 결과를 도출하기 위해서 100번 반복하여 실험결과를 도출하였으며 최종 성공률은.
- 검색을 위해서 음악 질의는 전체 DB 내의 음악 파일의 4개의 특징 벡터 세트들과 단순 Euclidean 거리를 측정하여 비교하며, 검색 성공률은 검색 결과 상위 10곡 안에 질의 음악이 포함되어 있다면 검색이 성공한 것으로 간주하였다. 또한,제한된 DB에서 신뢰성 있는 결과를 도출하기 위해서 100번 반복하여 실험결과를 도출하였으며 최종 성공률은. 각 반복 실험의 성공률의 평균을 통해 얻었다.
- 실험 결과 SuperClass를 적용하여 SuperClass2에서특징 벡터의 차수를 6차까지 낮췄을 경우의 검색 성공률은 SuperClass를 적용하지 않고 모든 장르에서 10차의 특징 벡터를 사용하여 검색한 성공률과 차이가 없었으나, SupeiClass2의 특징 벡터의 차수를 5차로 낮출 경우는 검색 성공률이 현저히 낮아졌다. 처음의 가정은 우선순위를 낮추면서 특징 벡터의 차수를 1/2로 줄이는 것이었으나, 시스템의 성능이 현저히 악화되어 SuperClass2에서의 특징의 차수를 60%로 낮추어 사용하기로 결정하였다.
- 본 논문에서 구현한 시스템은 음악의 곡명과 장르만을 이용한 내용기반 음악 정보 검색 시스템으로 Precisione 검색 결과 중의 동일 장르 음악의 비율을 나타낸다고 할 수 있다.
- 있다. Precision을 통한 비교 실험에서도 SuperClass를 적용한 시스템의 성능이 SuperClass를적용하지 않은 시스템의 성능과 큰 차이가 없음을 확인할 수 있다.
후속연구
- 그러나, 단순히 장르 분류 결과를 이용하여 Query가 분류된 장르에서만 검색을 한다는 것은 상당한 리스크를 감수해야 한다. 만약, Query에 대한 장르 분류가 잘 못 되었다면, 시스템은 전혀 상관이 없는 장르의 DB만을 검색하여 쓸모없는 검색 결과를 사용자들에게 제공하게 될 것이다. 본 논문에서는 이러한 문제점을 해결하고자 다음의 방법을 사용한다.
- SuperClass를 사용하지 않은 시스템에 비하여 약 20%~40%의 검색 시간을 단축할 수 있었다. 향후 본 연구결과를 이용하여 잡음 환경의 모바일 기기에 적용 가능한 내용기반 음악 검색 시스템구현을 위한 연구를 진행할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.