[논문]크로마 레벨 표현, 동적 시간 왜곡, 꺾인 거리함수에 기반한 멜로디 사이의 유사도 개발

장달원; 박성주; 장세진; 이석필

크로마 레벨 표현, 동적 시간 왜곡, 꺾인 거리함수에 기반한 멜로디 사이의 유사도 개발
Development of melody similarity based on chroma representation, dynamic time warping, and hinge distance 원문보기

장달원 (전자부품연구원) , 박성주 (전자부품연구원) , 장세진 (전자부품연구원) , 이석필 (전자부품연구원)

이 논문에서는 쿼리-바이-싱잉/허밍 (Query-by-singing/humming, QbSH) 시스템 또는 커버 노래 인식 (cover song identification) 시스템에서 사용 가능한 멜로디 유사도를 제안한다. QbSH 또는 커버 노래 인식은 디지털 음악의 사용이 보편화되면서 음악 검색의 방법으로 많은 연구가 진행되어 오고 있다. 멜로디 유사도는 이런 시스템을 구현하는데 필수적인 요소이며, 두 개의 음악에서 멜로디가 추출되었다고 가정하고, 추출된 멜로디 사이의 유사한 정도를 수치로 표현한다. QbSh 시스템이나 커버 노래 인식 시스템은 멜로디 유사도에 기반하여 입력 노래와 유사한 노래를 데이터베이스에서 검색하는 작업을 수행한다. 이 논문에서 제안하는 멜로디 유사도 방식은 기존의 많이 연구되던 동적 시간 왜곡 (dynamic time warping, DTW) 방법과 크로마 표현 방법 (chroma representation)을 사용하였다. DTW방법은 비대칭적으로 사용하고 미디 노트 영역에서 표현된 멜로디 특징은 0이상 12 미만의 크로마 레벨로 표현하였다. 기존의 방법에서는 정수값을 많이 사용하였으나 이 논문에서는 실수값을 사용한다. DTW 에 사용하는 거리 함수를 기존에 사용하던 차이의 절대값 대신 꺾인 함수 형태를 사용함으로써 성능을 높였다. QbSH 시스템에서의 실험을 통해서 성능을 검증하였다. 본 논문에서는 10-12초 길이의 1000번의 쿼리(Query)에 대해서 28시간 정도의 데이터베이스에서 실험한 결과, 순위 역의 평균 (Mean reciprocal rank, MRR) 값이 0.713을 보였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 QbSH 시스템이나 커버 노래 인식 시스템에서 사용 가능한 멜로디 유사도를 제안하였다. DTW와 크로마 표현에 기반하여 멜로디 사이의 거리를 측정하고, 거리가 가까운 멜로디가 서로 유사한 것이라고 판단한다.

가설 설정

멜로디는 미디 노트 영역의 값을 가지고 있다고 가정한다. 일반적으로 미디 노트값을 정수값을 가지나 이 논문에서는 실수값도 인정한다.

제안 방법

멜로디 유사도를 검증하기 위해서 QbSH 시스템에서 이를 실험하였다. 실험에 사용한 QbSH 시스템은 MIDI가 아닌 MP3와 같은 음악에 기반으로 하고 있으며, 신호로부터 64ms 프레임당 하나의 피치 값을 구하여 피치 시퀀스를 추출하였다.
이 논문에서 제안하는 멜로디 유사도는 크로마 표현, 동적 시간 왜곡 (dynamic time warping, DTW), 그리고 꺾인 거리 함수에 기반을 두고 있다. 멜로디 유사도는 미디 노트 영역에서 표현된 두 개의 멜로디를 입력으로 받고, 두 가지의 유사한 정도를 수치로 표현한다.
멜로디 유사도는 미디 노트 영역에서 표현된 두 개의 멜로디를 입력으로 받고, 두 가지의 유사한 정도를 수치로 표현한다. 입력된 두 개의 멜로디를 크로마 레벨로 표현하고[12], 그 값을 DTW를 사용해서 거리를 구한다. 거리를 구할 때 사용하는 거리 함수는 기존의 차이의 절대값이 아닌 특정값 이상의 거리가 나오면 그 특정값으로 거리를 설정하는 꺾인 거리 함수를 사용하였다 [5,6,8].
)는 크로마 레벨로 표현하는 역할을 한다. 즉 두 멜로디 벡터에 대해서 음의 높낮이에 대한 보정을 c라는 보정 상수를 더해서 보정한 후에 크로마 레벨로 표현하고, 그것을 DTW를 이용해서 거리를 구하는 것이다. 하지만, 여기서 정확한 c 값을 해석적으로 구하지 못 하고 여러 후보값들을 사용하여 최저의 거리를 찾는 방법을 사용한다.

대상 데이터

실험에 사용한 DB에는 28시간 분량의 총 450곡의 노래가 들어가 있다. 여기에는 동요, 댄스, 팝, 트로트 등 다양한 장르의 노래가 들어가 있으며, 노래에 따라서 약 34초에서 396초 길이의 다양한 노래가 들어있다.
멜로디 유사도를 검증하기 위해서 QbSH 시스템에서 이를 실험하였다. 실험에 사용한 QbSH 시스템은 MIDI가 아닌 MP3와 같은 음악에 기반으로 하고 있으며, 신호로부터 64ms 프레임당 하나의 피치 값을 구하여 피치 시퀀스를 추출하였다. 사용자 입력으로부터 피치 추출은 시간과 주파수 조합영역에서의 선형 보간법을 이용해서 구해진다[13].
우리는 노래의 제목을 찾는 것을 목표로 하였으며, 오디오 인식에서와 같이 노래에서의 위치를 찾는 것은 목표로 하지 않았다 [11]. 테스트 데이터에는 총 1000개의 쿼리 입력이 들어가 있으며 각각은 약 10초에서 12초 정도의 길이를 가진다. 이 입력은 32명의 지원자에게서 모은 것이며 지원자는 14명의 여자와 18명의 남자로 구성된다.

데이터처리

성능측정은 4가지 요소를 사용하였다. 먼저 1개의 노래제목을 결과로 냈을 때 정답이 검출되는 확률, 10개에서 검출되는 확률, 20개에서 검출되는 확률, 그리고 순위 역의 평균 (Mean reciprocal rank, MRR)을 사용하였다. MRR은 QbSH 시스템의 성능을 평가하기 위해서 많이 사용되는 지표이다.

이론/모형

사용자 입력으로부터 피치 추출은 시간과 주파수 조합영역에서의 선형 보간법을 이용해서 구해진다[13]. 다음 음악으로부터 피치를 추출하는 방법은 평균 하모닉 구조 (average harmonic structure, AHS)에 기반을 두었다 [14,15].
본 논문에서는 DTW를 기반으로 한 거리를 멜로디 유사도의 척도로 사용한다. 즉, 거리가 큰 두 개의 멜로디는 유사도가 적은 것이고, 반대로 거리가 작은 두 개의 멜로디는 유사도가 큰 것이다.

성능/효과

DTW와 크로마 표현에 기반하여 멜로디 사이의 거리를 측정하고, 거리가 가까운 멜로디가 서로 유사한 것이라고 판단한다. 본 논문에서 제안한 멜로디 유사도를 450곡 데이터베이스를 사용하는 QbSH 시스템에 적용해 본 결과, 약 0.713의 MRR 값을 얻을 수 있었다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

크로마 레벨 표현, 동적 시간 왜곡, 꺾인 거리함수에 기반한 멜로디 사이의 유사도 개발
Development of melody similarity based on chroma representation, dynamic time warping, and hinge distance 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

크로마 레벨 표현, 동적 시간 왜곡, 꺾인 거리함수에 기반한 멜로디 사이의 유사도 개발 Development of melody similarity based on chroma representation, dynamic time warping, and hinge distance 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

크로마 레벨 표현, 동적 시간 왜곡, 꺾인 거리함수에 기반한 멜로디 사이의 유사도 개발
Development of melody similarity based on chroma representation, dynamic time warping, and hinge distance 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper