[논문]커버곡 검색을 위한 코드 기반 크로마그램 유사도

서진수

doi:10.7776/ask.2019.38.3.314

초록
AI-Helper

음악 커버곡 검색 시스템 구현에 있어서 크로마그램 간 유사도 계산은 필수적인 구성 요소이다. 본 논문은 크로마그램 비교에 소요되는 저장공간 및 계산량을 줄이기 위한 크로마그램 코딩 방법을 제안한다. 음악별로 코드북을 학습하여 크로마그램 수열을 코드 수열로 변환하여 저장 공간을 줄이게 된다. 얻어진 코드 간 거리를 룩업 테이블에 저장하여 크로마그램 비교의 속도를 개선하였다. 두 가지 커버곡 실험 데이터셋에서 성능 비교를 수행하여, 제안된 코드 기반 방법과 기존 방법 간의 커버곡 검색 정확도, 저장 공간, 계산량을 비교하였다.

Abstract ▼ AI-Helper

Computing chromagram similarity is indispensable in constructing cover song identification system. This paper proposes a code-based chromagram similarity to reduce the computational and the storage costs for cover song identification. By learning a song-specific codebook, a chromagram sequence is co...

Computing chromagram similarity is indispensable in constructing cover song identification system. This paper proposes a code-based chromagram similarity to reduce the computational and the storage costs for cover song identification. By learning a song-specific codebook, a chromagram sequence is converted into a code sequence, which results in the reduction of the feature storage cost. We build a lookup table over the learned codebooks to compute chromagram similarity efficiently. Experiments on two music datasets were performed to compare the proposed code-based similarity with the conventional one in terms of cover song search accuracy, feature storage, and computational cost.

주제어

표/그림 (5)

그림 Fig. 1. The music-similarity computation for the cover song identification based on the optimal transposition index and sequence alignment.
그림 Fig. 2. Computation of the pairwise similarity matrix SC by using the lookup table obtained from the learned codebooks.
그림 Fig. 3. The pairwise similarity matrix between the original song (“More t han w ords”) and its cover version. (a) S from OTI. (b) SC with K = 16. (c) SC with K = 48. (d) SC with K = 80.
표 Table 1. Identification performance of the covers80 dataset. Accuracy measures are precision at one, P@1, and the mean of average precision, MAP. RP, RC, and RS refer to relative precision, relative computational cost, and relative storage cost respectively.
표 Table 2. Identification performance of the covers330 dataset. Accuracy measures are the mean number of covers identified within the ten first answers, MNCI₁₀, and the mean of average precision, MAP. RP, RC, and RS refer to relative precision, relative computational cost, and relative storage cost respectively.

AI 본문요약
AI-Helper

문제 정의

다양한 음악 정보 처리 기술들 중에서 본 논문은 라이브 버전, 편집, 리메이크 등을 통해서 재녹음된 음악인 커버곡을 검색하는 방법에 관해서 다룬다. 커버곡 검색 기술은 웹하드 및 유튜브 등 데이터 공유 서비스에서 저작권 보호 및 음악 아카이브 정리 등에 활용될 수 있을 것으로 기대된다.

제안 방법

본 논문에서는 커버곡 검색 방법들 중에서 음악 신호로부터 얻어지는 크로마그램 수열을 직접 비교하여 시간축 상에서 정합하는 수열 직접 비교 방법에 대해서 다룬다. ^[4,7,8] 이런 수열 직접 비교 방법은 음성 인식과 DNA 수열 분석에서 사용해왔던 dynamic time warping이나 SW(Smith-Waterman) 알고리즘^[9] 등을 활용한다.
크로마그램 수열 직접 비교 방법 중 SW 알고리즘을 이용한 방법을 살펴보고, 코드북 학습을 통해서 계산량 및 특징 저장 공간을 줄이는 방법을 제안한다.

대상 데이터

본 장에서는 제안한 코드 기반 OTI 유사도와 기존 OTI 유사도의 커버곡 검색 성능을 비교하였다. 커버곡 성능 비교를 위해서 음원 및 성능이 공개되어 있는 covers80 데이터셋과 자체적으로 수집한 covers330 데이터셋을 사용하였다. 미국콜롬비아 대학에서 커버곡 실험을 위해서 수집된 covers80 데이터셋은 원본곡과 커버곡 쌍80개로 이루어진 것으로 모두 160곡으로 구성되어있다.

데이터처리

나머지 670곡은 검색 성능을 평가하기 위해서 사칭자(imposter)로 삽입되었다. 커버곡 검색 성능 지표로 covers80 데이터셋에서는 각 커버곡을 80곡의 원곡 데이터셋과 비교하여 가장 거리가 가까운 것이 입력 커버곡의 원곡이 맞을 경우의 확률인 P@1과 MAP(Mean of Average Precision)를 구하였다. covers330 데이터셋에 대해서는 커버곡 실험용 330곡 각각을 1000곡 데이터셋 전체에 대해서 비교를 수행하여 자신을 제외하고 거리가 가까운 10곡 중 커버곡이 맞는 곡의 개수인 MNCI₁₀과 MAP를 구하였다.

이론/모형

실험대상 음악들로부터 크로마 수열을 얻기 위해서 메트랩 기반의 Chroma Toolbox^[6]를 사용하였으며, 크로마를 얻는 방법 중 음색에 대한 불변성을 개선한 CRP(Chroma DCT-Reduced log Pitch)를 크로마그램으로 사용하였다.^[14]실험에 사용되는 음악 파일들을 모노로 바꾸고 22050 Hz로 샘플링 주파수를 맞춘 후, 4410길이의 윈도우를 50 %씩겹쳐 가면서 프레임의 피치를 구해서 옥타브 단위로 나누고 각 옥타브에서 12개의 크로마에 해당하는 값들을 구한다.
이런 수열 직접 비교 방법은 음성 인식과 DNA 수열 분석에서 사용해왔던 dynamic time warping이나 SW(Smith-Waterman) 알고리즘^[9] 등을 활용한다. 수열 직접 비교 방법들은 커버곡 검색에서 우수한 성능을 보였지만, 수열 비교에 많은 계산량이 요구되고 전곡의 크로마그램을 모두 저장해야하므로 저장 공간이 많이 필요하다.

성능/효과

Tables 1과 2에서 크로마그램 벡터 수열을 코드 비트 수열로 변환함으로써 저장 공간도 크게 줄인다. 실험 결과로부터 제안된 방법이 기존 방법과 유사한 커버곡 검색 성능을 유지하면서 계산량과 특징 저장 공간을 크게 줄일 수 있음을 알 수 있다. 실제 대용량 음악 아카이브 상에서 커버곡 검색 서비스를 구현할 때 계산량 및 저장 공간 등의 시스템 비용과 커버곡 검색 정확도 간의 균형을 조정할 필요가 있으며, 제안된 방법에서는 코드북 사이즈를 가변하여 시스템 비용과 검색 정확도를 조정할 수 있다.
또한 코드북간의 OTI 거리를 미리 계산하여 LUT 형태로 저장하여, 수열 간 유사도 행렬을 만드는 과정의 계산량을 크게 줄였다. 실험을 통해서 코드북 사이즈를 줄이더라도 커버곡 검색 성능이 크게 열화되지 않음을 확인하였다.
코드북을 학습하여 크로마그램을 코드 비트로 변환하는 방법을 제안하였다. 코드로 변환함으로써 실제 검색 서비스 적용 시에 필요한 특징 저장 공간을 줄일 수 있다. 또한 코드북간의 OTI 거리를 미리 계산하여 LUT 형태로 저장하여, 수열 간 유사도 행렬을 만드는 과정의 계산량을 크게 줄였다.

후속연구

실험 결과로부터 제안된 방법이 기존 방법과 유사한 커버곡 검색 성능을 유지하면서 계산량과 특징 저장 공간을 크게 줄일 수 있음을 알 수 있다. 실제 대용량 음악 아카이브 상에서 커버곡 검색 서비스를 구현할 때 계산량 및 저장 공간 등의 시스템 비용과 커버곡 검색 정확도 간의 균형을 조정할 필요가 있으며, 제안된 방법에서는 코드북 사이즈를 가변하여 시스템 비용과 검색 정확도를 조정할 수 있다.

참고문헌 (14)

M. A. Casey, R. Veltkamp, M. Goto, M. Leman, C. Rhodes, and M. Slaney, "Content-based music information retrieval: Current directions and future challenges," Proc. the IEEE 96, 668-696 (2008).

상세보기
J. -Y. Lee and H. -G. Kim, "Audio fingerprinting using a robust hash function based on the MCLT peak-pair" (in Korean), J. Acoust. Soc. Kr. 34, 157-162 (2015).

원문보기 상세보기
J. S. Seo, J. Kim, and J. Park, "Centroid-model based music similarity with alpha divergence" (in Korean), J. Acoust. Soc. Kr. 35, 83-91 (2016).

원문보기 상세보기
J. Serra, E. Gomez, P. Herrera, and X. Serra, "Chroma binary similarity and local alignment applied to cover song identification," IEEE Trans. Audio Speech Lang Process. 16, 1138-1151 (2008).

상세보기
J. S. Seo, "Cover song search based on magnitude and phase of the 2D Fourier transform" (in Korean), J. Acoust. Soc. Kr. 37, 518-524 (2018).
M. Muller and S. Ewert, "Chroma Toolbox: MATLAB implementations for extracting variants of chroma-based audio features," Proc. ISMIR-2011, 215-220 (2011).
P. Foster, S. Dixon, and A. Klapuri, "Identifying cover songs using information-theoretic measures of similarity," IEEE Trans. Audio Speech Lang. Process. 23, 993-1005 (2015).

상세보기
D. F. Silva, C. -C. Yeh, G. E. A. P. A. Batista, and E. Keogh, "SIMPle: Assessing music similarity using subsequences joins," Proc. ISMIR-2016, 23-29 (2016).
T. F. Smith and M. S. Waterman, "Identification of common molecular subsequences," J. Molecular Biology 147, 195-197 (1981).

상세보기
E. Nowak, F. Jurie, and B. Triggs, "Sampling strategies for bag-of-features image classification," Proc. ECCV-2006, 490-503 (2006).
L. Wu, S. C. H. Hoi, and N. Yu, "Semantics-preserving bag-of-words models and applications," IEEE Trans. Image Process. 19, 1908-1920 (2010).

상세보기
D. P. W. Ellis and G. E. Poliner, "Identifying cover songs with chroma features and dynamic programming beat tracking," Proc. ICASSP-2007, 1429-1432 (2007).
Covers80 Cover Song Data Set, Available, https://labrosa.ee.columbia.edu/projects/coversongs/covers80/, 2007.
M. Muller and S. Ewert, "Towards timbre-invariant audio features for harmony-based music," IEEE Trans. Audio Speech Lang. Process. 18, 649-662 (2010).

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

커버곡 검색을 위한 코드 기반 크로마그램 유사도
A code-based chromagram similarity for cover song identification 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (5)

표/그림 (5)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

커버곡 검색을 위한 코드 기반 크로마그램 유사도 A code-based chromagram similarity for cover song identification 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (5) 모든 표/그림 보기

표/그림 (5) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

서진수 (18)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

커버곡 검색을 위한 코드 기반 크로마그램 유사도
A code-based chromagram similarity for cover song identification 원문보기

초록
AI-Helper

표/그림 (5)

표/그림 (5)

AI 본문요약
AI-Helper