[논문]오디오의 파형과 FFT 분석을 이용한 대표 선율 검색

정명범; 고일주

오디오의 파형과 FFT 분석을 이용한 대표 선율 검색
Representative Melodies Retrieval using Waveform and FFT Analysis of Audio 원문보기

정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용, v.34 no.12, 2007년, pp.1037 - 1044

초록
AI-Helper

최근 내용 기반 음악 검색 시스템에서는 사용자의 응답 시간을 단축시키기 위해 음악의 대표성을 갖는 선율을 추출하여 색인하고, 검색 시 이를 사용한다. 기존 연구에서는 미디(midi) 데이타를 이용하여 대표 선율을 추출하는 방법이 제안되었으나, 미디 데이타에 한정되는 단점이 있었다. 따라서 본 논문에서는 디지털 신호처리를 이용하여 모든 오디오 파일 포맷에 적용 가능한 대표 선율 검색을 제안한다. 대표 선율 검색을 위해 FFT(Fast Fourier Transform)을 이용하여 박자와 마디를 찾고 각 마디들의 PCM 데이타로부터 높은 수치가 나타나는 빈도를 측정한다. 이때 높은 수치들이 가장 많이 뭉쳐 있는 영역에서 여덟 마디 간격이 오디오 데이타의 대표 선율 영역이다. 제안 방법의 유효성을 검증하기 위한 실험으로 총 1000곡을 선택하여 대표 선율을 추출하였고, 그 결과 템포를 찾아낸 737곡 중 79.5%의 정확성을 보였다.

Abstract ▼ AI-Helper

Recently, we extract the representative melody of the music and index the music to reduce searching time at the content-based music retrieval system. The existing study has used MIDI data to extract a representative melody but it has a weak point that can use only MIDI data. Therefore, this paper proposes a representative melody retrieval method that can be use at all audio file format and uses digital signal processing. First, we use Fast Fourier Transform (FFT) and find the tempo and node for the representative melody retrieval. And we measure the frequency of high value that appears from PCM Data of each node. The point which the high value is gathering most is the starting point of a representative melody and an eight node from the starting point is a representative melody section of the audio data. To verity the performance of the method, we chose a thousand of the song and did the experiment to extract a representative melody from the song. In result, the accuracy of the extractive representative melody was 79.5% among the 737 songs which was found tempo.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 결과는 템포를 기반으로 한 대표 선율 검색에도 영향을 미쳐 대표 선율 검색에 대한 결과 값도 가장 낮은 정확성을 보이는 것으로 예상된다. 게다가 대표 선율 검출은 노래 전 구간에서 높은 파형들이 집중된 구간을 찾는 것을 목적으로 하였다. 이러한 조건을 적용할 때 Rock 장르의 간주부분에서 연주되는 기타 소리는 종종 가장 크게 강조되어 그 부분을 대표 선율 영역으로 검색하는 오류가 발생하기도 하였다.
따라서 본 논문에서는 오디오 데이타의 특징 벡터 추출을 위한 대표선율 부분의 자동 추출 방법을 제안한다. 대표선율은 오디오 데이타가 나타내는 가장 특징적 인부분이며, 사람들이 가장 잘 기억하는 부분이다.
이때 마디를 찾기 위한 방법은 음악의 멜로디와 리듬 중 리듬의 규칙성을 근거하여 추출한다[13]. 본 논문에서는 드럼 중에서도 가장 주기적이며 음색이 뚜렷한 스네어 드럼 소리를 기준으로 마디를 추출한다. 첫 번째 단계 오디오데이타의 FFT 변환 값을 이용한 마디와 마디 시작점 찾기는 간략히 소개한다.
본 논문에서는 오디오의 파형과 FFT 분석을 이용한 대표 선율 검색 방법을 제안하였다. 앞서 관련 논문에 관하여 언급하였듯이, 미디를 사용한 방식에서 대표 선율을 추출하는 연구는 많이 이루어진 반면, 웨이브 데이타로부터 대표 선율을 추출하는 연구는 미비한 실정이다.

제안 방법

U(높음), 。(낮음), S(같음)로 표현하여 데이타베이스 내에 곡들과 UDS 문자열을 비교하여 검색한다. 그러나 이 경우 문자열 매칭을 위한 검색 속도에 대한 문제점이 있어 이를 개선하기 위한 다양한 연구가 발표되고 있다.
각 주파수별로 남겨진 후보들을 다른 주파수 후보들과 비교하여, 시간 위치 차이가 ±10이하인 위치 값들을 찾아서 투표한 후, 위치 값들의 평균값을 구한다. 투표 결과가 6 이상인 후보들만을 추출한 후 시간 순서대로 나열하여, 후보들 사이의 시간 간격을 구한 후, 이들 중 가장 큰 값과 가장 작은 값을 뺀 나머지 값들의 평균을 구한다.
찾는다. 그 후 전 단계에서 찾은 마디의 시작 지점에서부터 각각의 마디별로 최대 파형의 90% 이상 되는 파형들의 집중도를 구한다. 이때 가장 최대 파형의 집중도가 가장 높은 마디가 찾고자 하는 대표 선율 영역의 시작 지점이다.
이는 Midi 분야의 대표선율 추출 방법을 오디오 데이타에 적용하기 어렵기 때문이다. 따라서 본 논문에서는 여러 가지의 대표 선율 특징들 중 절정 선율을 포함한다는 것을 이용하여 오디오 데이타의 대표 선율을 추출하였다[4].
또한 대표 선율 검색의 결과에 대한 정확성 여부는 논문[4, 5]에서 정의하고 있는 반복 선율이 세 번 이상으로 나타나는 부분이 포함되는 경우 검색이 된 것으로 결과를 측정하였다. 표 1, 표 2, 표 3, 표 4는 각 장르별 실험 데이타와 결과 값을 각각 장르에 대하여 간략히 적은 것이다.
본 논문에서는 3.1 에서 찾은 마디와 마디 시작점, 템포를 이용하여 대표 선율을 검색한다. 오디오 데이타는도입부분과 진행부분, 클라이맥스 부분으로 나뉜다.
따라서 오차율을 고려하여 오디오 데이타의 마디 구간이 점점 후반부로 감에 따라 각 마디별로 집중도의 가중치를 낮추어 주어야 한다. 본 논문에서는 마디 시작점으로부터 네 마디갸 지날 때마다 집중도 수치를 하나씩 감소시켜 오차율을 낮춘다.
그리고 리듬을 구성하는 부분이 규칙성을 가진다. 여기서는 마디의 시작점과 마디를 찾기 위해 드럼파트를 구성하고 있는 스네어 드럼이라는 악기에 초첨을 맞추었다. 이 악기는 대부분 곡의 리듬에서 2번째와 4번째 박자에 규칙적으로 나타나며, 표현되는 주파수가 거의 일정하다는 특성을 가진다.
대부분의 오디오 데이타는 대표 선율이 여덟 마디의 영역으로 이루어져 있으므로, 찾아낸 위치로부터 여덟 마디의 영역이 대표 선율 부분이라 할 수 있다. 연구는 오디오 데이타의 템포(Tempo) 와 마디를 추출하고, 추출된 마디로부터 그 오디오 데이타의 가장 높은 파형의 90% 이상 되는 값들을 마디별로 측정하여 그 영역을 찾음으로부터 대표 선율을 검색할 수 있음을 제안한다.
연구에서 사용된 장르 분류 구분은 국내 오디오 데이타 서비스 업체 중 하나인 벅스 뮤직(Bugs Music) 의국내 가요 분류를 따랐으며, 찾아낸 대표 선율의 검증을 위해 논문[5]에서 정의하고 있는 반복 선율이 3번 이상 나타나는 부분이 포함된 경우 검색이 되는 것으로 결과를 즉정하였다.
연구에서는 대표 선율의 검색을 위한 방법으로 PCM 데이타의 높은 수치를 갖는 파형의 집중도만을 사용하였다. 대표 선율의 검색에 있어 PCM 데이타의 파형 집중도 외에 음조, RMS(Root-Mean-Square) 등과 같은 요소를 추가함으로 보다 나은 결과를 얻을 수 있을 것으로 예상된다.
연구에서는 파형별 집중도를 마디로 나누어 측정하며, 집중도가 가장 높은 곳을 오디오 데이타의 대표 선율영역 시작 지점으로 한다. 그리고 시작 지점으로부터 템포에 8을 곱한 여덟 마디가 우리가 찾아낸 대표 선율영역이다[5丄

대상 데이터

그리고 그림 6의 b 부분은 앞서 언급한 템포, 마디를 추출한 값과 그로부터 실제 대표 선율 검색을 한 값을 얻은 그림이다. 실험 예로 사용된 음악은 SG 워너비의 "내 사람”이라는 곡이며, 대표 선율 검색 프로그램에 의해 얻은 결과 값은 3분 9초에서부터 3분 32초이다.
Ballad, Dance, Hiphop, Rock 각각의 장르로 분류되는 오디오 데이타 250곡씩 총 1000곡을 사용하였으며, 분류 구분은 국내 오디오 데이타 서비스 업체 중 하나인 벅스 뮤직의 국내 가요 분류를 따랐다.

이론/모형

마디와 마디 시작점을 찾는 방법은 논문[13] 에서 제안한 방법을 이용하며, 다음은 그 방법을 간략히 설명한다. CD 음질의 웨이브 파일은 대부분이 44.

성능/효과

그러나 제안 방법에 대한 효율성은 실험 결과를 통해 확인할 수 있다. 실험 데이타 중 템포를 찾은 곡은 74.7%이며, 이러한 템포를 찾은 곡에 대한 대표 선율 추출의 정확도는 79.5%로써 제안 방법이 효과가 있음을 알 수 있다. 하지만, Rock과 같은 특정 장르에 있어 높은 오류율을 나타냄을 볼 수 있다.
5%의 정답률을 나타내었다. 장르별로 실험 결과를 보면 템포를 찾을 수 있는 장르는 Hip-hop 이 가장 큰 정확도를 나타냄을 알 수 있다. Ballad와 Dance는 비교적 높은 정확도를 나타냈으며, Rock의 경우 Tempo 를 찾지 못하여 많은 오차율을 나타내었다’
그러한 음향 효과들의 구분으로부터 점차 연구는 오디오 데이타의 장르 분류를 하기 시작하였다. 특히 논문 ⑻에서 G. Tzanetakis는 음악 장르의 자동 분류를 위해 STFT (Short Time Fourier Transform) 기반의 오디오 특성과 Wavelet Transform 기반의 리듬(Rhythm), 음조 등의 오디오 특성을 추출하여 Blues, Classical, Country, Disco, Hiphop, Jazz등 10가지의 음악 장르 분류에서 약 70% 정도의 성공률을 보였다.

후속연구

대표 선율의 검색에 있어 PCM 데이타의 파형 집중도 외에 음조, RMS(Root-Mean-Square) 등과 같은 요소를 추가함으로 보다 나은 결과를 얻을 수 있을 것으로 예상된다. 앞으로의 연구는 대표 선율 검색을 위한 추가 요소를 찾을 것이며, 데이타 추적을 위한 효과적인 방법의 모색이 향후 연구 과제이다.
대표 선율의 검색에 있어 PCM 데이타의 파형 집중도 외에 음조, RMS(Root-Mean-Square) 등과 같은 요소를 추가함으로 보다 나은 결과를 얻을 수 있을 것으로 예상된다. 앞으로의 연구는 대표 선율 검색을 위한 추가 요소를 찾을 것이며, 데이타 추적을 위한 효과적인 방법의 모색이 향후 연구 과제이다.
이를 해결하기 위해 오디오 데이타의 템포 추적에 있어 효과적인 방법을 찾아냄으로, 보다 나은 추적을 할 수 있을 것이다.

참고문헌 (13)

윤원중, 이강규, 박규식, '내용기반 오디오 장르 분류를 위한 신호 처리 연구', 전자공학회논문지, pp. 271-278, 2004
김성탁, 김상호, 김회린, 최지훈, 이한규, 홍진우, '음악 요약 생성에 관한 연구', 방송공학회논문지, pp. 3-14, 2006
윤원중, 이강규, 박규식, 'Multi-feature Clustering을 이용한 강인한 내용 기반 음악 장르 분류 시스템에 관한 연구', 전자공학회논문지, pp. 115-120, 2005

원문보기 상세보기
구경이, 임상혁, 이재헌, 김유성, '내용 기반 음악 정보 검색을 위한 음악 구성 형식을 고려한 대표 선율의 추출 및 색인', 정보처리학회논문지, 제11-D권, 제3호, 2004
김정양, 이종록, 김유성, '누구나 작곡할 수 있는 작곡법', 엘맨출판사, 2000
박상준, '기계 학습을 이용한 내용 기반의 음악 장르 분류', 공학석사학위논문, 서울대학교, 2002
E. Wold, T. Blum, D. Keislar, and J. Wheaton, 'Content-based classification, search and retrieval of audio,' IEEE Multimedia, 3(2), 1996
George Tzanetakis and Perry Cook, 'Musical genre classification of audio signals,' IEEE Transaction on Speech and Audio Processing 10, no.5, 293-302, 2002

상세보기
A. Ghias, J. Logan, D. Chamberlin, and B. Smith, 'Query by Humming: Musical Information Retrieval in and Audio Database,' ACM Multimedia, pp. 213-236, 1995
구경이, 신창환, 김유성, '내용 기반 음악 정보 검색에서 주제 선율의 변화 패턴을 이용한 색인 및 검색 기법', 정보과학회논문지, pp. 507-520, 2003
C.Liu, J, Hsu, and A.L.P.chen, 'Efficient Theme and Non-trivial Repeating Pattern Discovering in Music Databases,' The Proceedings of the 15th International Conference on Data Engineering, pp. 14-21, 1999
Yong-Kyoon Kang, Kyong-I Ku, and Yoo-Sung Kim, 'Extracting Theme Melodies by Using a Graphical Clustering Algorithm for Content-based Music Information Retrieval,' Lecture Notes in Computer Science, Springer-Verlag, pp. 84-97, 2001

상세보기
이재원, 조찬윤, 김상균, '시간 지연 신경망을 이용한 음악 장르 분류', 멀티미디어학회논문지, 제4권, 제5호, pp. 414-422, 2001

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증