[논문]내용기반 질의법을 이용한 디지털 오디오 콘텐츠 검색 시스템

허성필; 임우영; 한평희

문제 정의

그러나 아무리 성능이 뛰어난 피치 추출 알고리즘이라도 옥타브의 변화가 존재하는 허밍에 대해서 실제 기본 주파수가 아닌 배음을 검출하는 경우가 있다 〔5〕, 〔6〕. 따라서 이러한 문제점을 해결하기 위하여 본 논문에서는 복수 피치 후보 (Multiple Pitch Candidates: MPC) 를 검색의키로써 사용하는 것을 제안한다.본 절에서는 음장, 음고 정보 및 MPC 와 신뢰도 (Confidential Measure: CM) 를 얻는 방법과 피치 성능 추출 평가에 대한 내용에 대해서 기술한다.
본 논문에서는 사용자의 입력 허밍의 오류 및 신호처리 시 발생되는 오류 등에 강인한 검색 방법을 제안하였다. 실제 사용자의 입력 허밍은 개인차에 의한 템포, 장조의 변화와 애매한 기억에 의한 음표의 삽입/탈락 등의 여러 가지 요인으로 인해 데이터베이스 곡과 다른 입력이 들어오게 된다.
따라서 이러한 문제점을 해결하기 위하여 본 논문에서는 복수 피치 후보 (Multiple Pitch Candidates: MPC) 를 검색의키로써 사용하는 것을 제안한다.본 절에서는 음장, 음고 정보 및 MPC 와 신뢰도 (Confidential Measure: CM) 를 얻는 방법과 피치 성능 추출 평가에 대한 내용에 대해서 기술한다.

제안 방법

고정도의 구간 검출을 위해 진폭의 차분에 주목하여 차분필터를 도입한다. 또한 마이크로부터 들어오는 호흡음을 하나의 음표로 판단하여 추출하는 케이스가 있는데 이것을 제거하기 위해 대역통과 필터를 도입한다. 그림 3은 필터 처리에 의한 고정도의 구간 검출 방법의 예를 보여주고 있다.
7%의 검출 성능을 보였다. 또한 유사도 측정 알고리 즘에 있어서 제안된 특징량을 효율적으로 사용하고 피치 추출 오류에도, 강한 매칭을 위해 DP평면의 공간을 3차원으로 확장하였다.
기본 주파수 영역에 존재하는 켚스트럴피크 (cepstral peak)를 피치로서 선택한다. 마지막으로, 피크의 큐프런시 (quefrency)를 주파수 영역으로 변환하여 기본주파수를 구한다.
먼저 각각의 유저가 부른 곡에 대해 실제 허밍 된 부분에 대응되는 오디오 DB와의 음장 관계를 분석한다. 이때 허밍 템포(동일 곡에 대해 유저별로 빠르게 노래를 부르거나, 느리게 노래를 부름)가 유저별로 다르므로 오디오 DB에서 허밍되어진 구간의 길이를 기준으로 식(1)을 이용하여 정규화 (normalization)를 취한다.
사용자가 기억하고 있는 일부분만의 멜로디를 자유로운 템포, 장조로 허밍함으로써 찾고자 하는 오디오에 대한정보의 검색이 가능한 오류에 강인한 실질적인 내용 기반 질의법을 이용한 오디오 콘텐츠 검색시스템을 구현하였다.
자유롭게 허밍한다. 시스템은 입력된 허밍으로부터 구간 검출 모듈에서 음표(note)를 검출한 후 검색에 필요한 특징량을 추출한다. 멜로디 표현 모듈에서는 상 대화된 특징값을 생성한다.
실제 GUI (Graphic User Interface)에 기초한 QBH (Query-By-Humming) 시스템인 Muse Find er 를 구현하였다. 본 시스템은 MS 윈도우 플랫폼에서 Microsoft Visual C++를 이용하여 크게 5가지의 클래스로 나누어져 있다.
실제 사용자의 입력 허밍은 개인차에 의한 템포, 장조의 변화와 애매한 기억에 의한 음표의 삽입/탈락 등의 여러 가지 요인으로 인해 데이터베이스 곡과 다른 입력이 들어오게 된다. 이러한 문제점을 해결하기 위해서 최적의 상대값을 DP 패스에 따라 다이내믹하게 취하는 방법을 제안하였다. 한편 입력 허밍이 완벽하다고 할지라도, 허밍으로부터 정확한 피치 정보를 얻기가 어렵다.
한편 입력 허밍이 완벽하다고 할지라도, 허밍으로부터 정확한 피치 정보를 얻기가 어렵다. 이러한 피치 추출 오류를 고려하여 복수피치 추출 방법을 제안하였다. 제안된 방법은 3개까지의 복수피치 후보를 사용할 경우 99.
허밍과 데이터베이스와의 매칭을 살펴보면.제안된 알고리즘은 피치후보 점의 모든 후보 점과의 조합을 계산하고 최적의 후보 점과 패스를 선택 결정한다.
제안하는 오디오 정보 검색시스템은 그림 1과 같이 몇 개의 주요 구성 요소(구간검 출 모듈, 특징량추출 모듈, 멜로디 표현 모듈, 검색 모듈 등)로 이루어져 있다.
제안한 구간 검출 방법의 정확도를 조사하였다. 세그먼테이션의 오류율은 식(5)와 같이 정의한다.
행하였다. 즉, 검색키로써 음장 정보만을 사용한 경우, 음고 정보만을 사용한 경우, 음고와 음장 정보를 동시에 사용한 경우, 복수피치후보 점을 사용한 경우 등 검색 결과에 어떠한 파라메타가 유효한지를 살펴 보였다.
특징추출에서 얻어진 피치는 하나가 아닌 복수 피치 후보를 질의 엔진 (query engine) 으로 보내며, 각 켚스트럼피크의 에너지로부터 신뢰도를 계산한다. 여기서의 신뢰도는 제일 후보(first candidate) 의 에너지값으로 정규화 한 값이다.
평가실험에는 음표의 구간 검출의 정확도에 대한 평가 실험과, 검색에 사용되는 특징량의 조합에 따른 성능평가를 행하였다. 즉, 검색키로써 음장 정보만을 사용한 경우, 음고 정보만을 사용한 경우, 음고와 음장 정보를 동시에 사용한 경우, 복수피치후보 점을 사용한 경우 등 검색 결과에 어떠한 파라메타가 유효한지를 살펴 보였다.
허밍시 가창방법은 곡명만 제시하고 유저는 마이크로폰이 있는 헤드셋을 이용하여 자신이 알고 있는 임의의 부분(곡의 중간 부분도 가능)의 멜로디를 자유로운 템포, 자유로운 음조로 노래를 부르게 하였다. 그림 8은 유저가 허밍한 데이터의 음표 수 분포를 보여준다.

대상 데이터

실험에 사용된 오디오 데이터베이스는 주로 동요로 구성되어 있으며 전체 155곡을 사용하였다. 이것은 멜로디 라인을 가진 MIDI (Musical Instrument Digital Interface)로부터 구축하였다.
이것은 멜로디 라인을 가진 MIDI (Musical Instrument Digital Interface)로부터 구축하였다. 허밍 데이터는 음악에 대해 전문적인 교육을 받지 않은 5명의 이용자가 2번씩 허밍한 320곡을 사용하였다.

데이터처리

제안한 방법의 성능을 비교평가하기 위해 종래의 악곡 검색시스템을 구현하여 서로의 성능을 비교하였다. 악곡 검색의 실험 결과는 그림 9와 같다.

이론/모형

먼저 FFT + SQR을 이용하여 입력 신호로부터 파워 스펙트럼을 구한다. 다음으로 켚스트럼을 구하기 위해 로가리즘 (logarithm)과 IFFT를 적용한다. 기본 주파수 영역에 존재하는 켚스트럴피크 (cepstral peak)를 피치로서 선택한다.
6초였다. 성능평가의 척도로써 검색 정도 (retrieval accuracy)를 사용하였다.
피치 추출방법은 켚스트럼 분석 (cepstrum analysis)에 의한 방법을 사용한다 〔5〕. 그림5는 피치 추출의 기본적인 흐름을 보여준다.

성능/효과

6%였다. 그러나 제안한 특징 량을 사용한 경우 "IOI+ Pitch (3) + CM"A 종래의 "Category 27'의 결과보다 검색 정도는 1위 랭크 곡에 대해서 약 5%의 높은 검색 결과를 얻었다. 따라서 제안한 다이내믹 멜로디 표현과 복수 피치 후보 방법을 동시에 사용한 경우 종래의 방법보다 좋은 결과를 얻은 것을 알 수가 있다.
가장 짧게 노래를 부른 경우 네개의 음표부터 가장 길게 노래를 부른 경우는 30개의 음표까지 다양한 분포를 보였다. 7개의 음표부터 15개의 음표까지 출현빈도가 많았으며, 평균적으로 11.6 음표로 허밍을 하였다.
그러나 제안한 특징 량을 사용한 경우 "IOI+ Pitch (3) + CM"A 종래의 "Category 27'의 결과보다 검색 정도는 1위 랭크 곡에 대해서 약 5%의 높은 검색 결과를 얻었다. 따라서 제안한 다이내믹 멜로디 표현과 복수 피치 후보 방법을 동시에 사용한 경우 종래의 방법보다 좋은 결과를 얻은 것을 알 수가 있다.
검색 정도를 얻었다. 또한 복수피치 후보를 사용함으로써 검색 정도는 73.9%에서 86.5%로 향상 이 되었다. 또한 종래 AIR 시스템의 "Coarse~to~Fine' 과 "Category 27 경우 1위에 랭크된 곡의 결과가 각각 78.
대부분의 유저에 있어 세그멘테이션 오류가 거의 없었으나, 유저 D의 경우 다른 유저와 비교해 보았을 때 검출 오류가 컸다. 분석 결과, 유저 D의 경우 단음절/ 타/ 로 허밍을 하지 않은 것이 오류의 주원인이었다.
위의 결과로부터, 제안한 다이내믹 멜로디 표현 방법이 정적 멜로디 표현 방법보다 3-7포인 터 더 높은 검색 정도를 얻었다. 또한 복수피치 후보를 사용함으로써 검색 정도는 73.
이러한 피치 추출 오류를 고려하여 복수피치 추출 방법을 제안하였다. 제안된 방법은 3개까지의 복수피치 후보를 사용할 경우 99.7%의 검출 성능을 보였다. 또한 유사도 측정 알고리 즘에 있어서 제안된 특징량을 효율적으로 사용하고 피치 추출 오류에도, 강한 매칭을 위해 DP평면의 공간을 3차원으로 확장하였다.
평가실험에서 제안된 방법의 경우 top-10의 검색 정도는 94.1%의 결과를 얻었다. 이것은 종래 AIR 시스템보다 우수한 성능의 결과를 보였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

내용기반 질의법을 이용한 디지털 오디오 콘텐츠 검색 시스템
Digital Audio Contents Retrieval System Using a Content-based Query Method 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

내용기반 질의법을 이용한 디지털 오디오 콘텐츠 검색 시스템 Digital Audio Contents Retrieval System Using a Content-based Query Method 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

내용기반 질의법을 이용한 디지털 오디오 콘텐츠 검색 시스템
Digital Audio Contents Retrieval System Using a Content-based Query Method 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper