$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

오디오 멜로디 추출 기반 특징 분석을 이용한 음악검색 방법에 관한 연구
A Study on Music Retrieval method based on Audio Contents Feature Analysis 원문보기

한국정보처리학회 2011년도 제35회 춘계학술발표대회, 2011 Apr. 30, 2011년, pp.441 - 443  

송재종 (전자부품연구원 디지털미디어 연구센터) ,  이석필 (전자부품연구원 디지털미디어 연구센터)

초록
AI-Helper 아이콘AI-Helper

본 논문은 오디오 특징 분석을 기반으로 한 음악검색 방법에 대한 기술과 연구에 대한 내용이다. 본 연구에서는 크게 3가지의 주요 알고리즘을 이용하여 다 성음에서의 오디오 특징을 추출하고 3가지의 각자 다른 방식의 매칭 알고리즘을 기반으로 한 퓨전 매칭 방식을 제안한다. 오디오 특징으로는 메인 멜로디, 음악 구조를 분석한 세그먼테이션 정보를 이용한다. 본 연구에서 사용된 음악 DB는 음악 포털 서비스에서 제공하는 장르를 기반으로 한 8가지 장르에서 다양한 범위에서 2000곡을 선곡하였다. 오디오 특징 추출을 위한 알고리즘 개발과 매칭 알고리즘 개발을 위하여 음악 DB 2000곡 중 장르의 비율을 고려하여 100곡을 선정하고, 24명으로부터 1200개의 허밍을 녹음하였다. 24명중 3명은 대학에서 음악을 전공하고 나머지는 음악적 교육을 받은 경험이 없는 사람들이다. 1200개의 허밍을 분석한 결과 전체 허밍 중 60%정도가 노래의 시작 부분을 허밍하거나 노래를 불렀고, 30%정도는 하이라이트 부분을 허밍 하였다. 나머지 10%정도는 자신이 가장 자신 있는 부분을 불렀다. 이러한 분석 결과를 기반으로 가장 중요한 부분은 노래가 시작되는 부분에서의 멜로디를 정확하게 찾아내는 것이 무엇보다 중요하다는 것이다. 본 연구에서 검색결과의 평가는 MRR를 이용하여 측정하였다. MIDI DB를 사용한 경우가 다 성음에서 직접 멜로디를 추출한 경우보다 약간 성능이 우수하게 나왔으나 그 차이는 미미했다. 본 연구에서는 개발된 알고리즘을 이용하여 PC상에서 사용할 수 있는 클라이언트 프로그램과 Android app를 개발하였다.

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

제안 방법

  • 표1은 평가결과를 나타낸다. 개발된 알고리즘과 시스템을 이용하여 PC상에서 사용가능한 어플리케이션과 Andriod 폰에서 사용가능한 App를 개발 하였다.
  • 하모닉 프레임이라고 판변된 프레임에 한하여 다중 피치를 검사한다. 다중 피치는 주파수 영역의 피크를 이용하여 F0를 검출하고 이를 이용한 하모닉 구조를 판별한다. 하모닉 구조를 이용한 다중피치가 검출되면 이전 프레임의 피치와의 연관성을 조사하여 해당 프레임의 피치를 추출하게 된다.
  • 반면 오디오 특징 DB구현과 사용자 추천엔진은 좀더 많은 보완이 요구된다. 본 연구에서 개발된 검색 알고리즘을 검증하기 위하여 입력신호를 32ms 단위와 64ms 단위로 측정하였고 검색된 결과를 Top1, Top10, Top20를 MRR 기준으로 측정하였다. 평가에 사용된 시스템은 인텔 i7 973 코어로 8MB 메모리를 가진다.
  • 본 연구에서는 오디오 특징 기반 오디오 검색 시스템을 구현하기 위한 polyphonic 음원에서 오디오 특징 추출 알고리즘, 허밍신호에서 오디오 특징 추출 알고리즘을 구현하고, 추출된 오디오 특징을 기반으로 한 다차원 오디오 특징 DB를 구축하고, 배경잡음을 제거하기 위한 알고리즘을 구현하였고, 입력된 신호에서 추출한 오디오 특징과 구축된 오디오 특징 DB사이의 다차원 인덱싱을 이용한 매칭엔진을 구현하였으며, 매칭 유사도를 이용한 사용자 추천 엔진을 구현한다. 오디오 특징 추출 알고리즘, 배경잡음 제거 알고리즘, 매칭 엔진의 구현은 상당한 수준까지 이루어 졌지만 앞으로도 더 많은 연구와 보완이 필요하다.
  • 사용자가 정확한 정보를 모르고 노래 한 소절을 흥얼거리면 허밍으로부터 멜로디와 박자를 추출하여 이를 기반으로 DB를 검색하게 된다. 이 시스템의 전체 블럭도를 살펴보면 데이터를 PCM형태로 입력받아 최적의 오디오 특징을 추출하기 위해 노이즈를 제거하고 입력된 신호가 허밍인지 폴리포닉 신호인지를 판별하게 된다. 이렇게 판별된 신호는 각 신호에 알맞은 오디오 특징 추출 알고리즘을 이용해 멜로디와 박자를 추출하게 된다.
  • 또한, 서로 다른 길이를 가지는 입력 패턴과 참조 패턴간의 전 구간에 걸친 허용 가능한 영역을 제한하고, 마지막으로 국부 경로의 비용 계산 시 모두 동일한 가중치를 주지 않고 기울기에 따라서 서로 다른 가중치를 주어 시간에 비해 비합리적으로 변하는 것을 방지해야만 한다. 이렇게 정확 매칭과 유사 매칭 기법에서의 매칭 결과를 이용하여 추천엔진은 사용자 정보를 입력 받아 이를 바탕으로 사용자에게 적합한 켄텐츠 리스트를 제공하게 된다. 본 연구에서 제안하는 매칭 엔진은 DTW 방식, Linear Scale (LS), Quantized Binary Code (QBcode)방식을 이용한 퓨전 방식을 사용하였다.
  • 음악 신호를 효율적으로 분석하고 검색하기 위해 다양한 연구가 이루어지고 있다. 입력된 다중 합성 음악 신호를 전처리 과정을 통하여 다중 피치 추출에 적합한 신호로 변화한 후 Vocal 영역과 non-Vocal 영역으로 구분하여 처리한다. 음악에서의 vocal은 상대적으로 길기 때문에 이를 고려하여 프레임 사이즈를 음성압축기의 프레임 사이즈보다 길게 잡아야 한다.

대상 데이터

  • 본 연구에서 개발된 검색 알고리즘을 검증하기 위하여 입력신호를 32ms 단위와 64ms 단위로 측정하였고 검색된 결과를 Top1, Top10, Top20를 MRR 기준으로 측정하였다. 평가에 사용된 시스템은 인텔 i7 973 코어로 8MB 메모리를 가진다. 표1은 평가결과를 나타낸다.

이론/모형

  • 추출된 특징들은 여러 가지 방법으로 표현 된다. 멜로디는 피치를 추적하는 멜로디 컨투어 방식을 사용한다. 정확한 노트나 스코어가 아닌 상대적인 값으로 표현함으로써 콘텐츠 기반 검색에서는 상당한 이점을 가진다.
  • 이렇게 정확 매칭과 유사 매칭 기법에서의 매칭 결과를 이용하여 추천엔진은 사용자 정보를 입력 받아 이를 바탕으로 사용자에게 적합한 켄텐츠 리스트를 제공하게 된다. 본 연구에서 제안하는 매칭 엔진은 DTW 방식, Linear Scale (LS), Quantized Binary Code (QBcode)방식을 이용한 퓨전 방식을 사용하였다. 각각의 알고리즘에서 최상의 매칭 결과를 가지고 세 가지의 결과를 바탕으로 최적의 결과를 찾는 방식이다.
  • 검색엔진은 DB내의 복수개의 후보를 검색해 추천엔진에게 보낸다. 오디오 특징의 Description은 오디오의 고수준 특징을 기술하는 MP-QF기술표준을 이용한다. 전체 시스템은 크게 3 블록으로 나누어진다.
  • 각각의 알고리즘에서 최상의 매칭 결과를 가지고 세 가지의 결과를 바탕으로 최적의 결과를 찾는 방식이다. 이때 사용된 유사도 판별법은 유클리디언 디스턴스 방식을 사용하였고 선형 차이가 아닌 로그방식을 이용하여 좀 더 유사한 패턴을 찾았다.
본문요약 정보가 도움이 되었나요?
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로