선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 2005년부터 매년 개최된 MIREX의 다양한 발자취를 년도 별로 살펴보면 음악분석 기술 연구의 변화를 짚어볼 수 있다. 본 고에서는 2005년 처음 열린 MIREX의 결과부터 본 고의 집필 당시를 기준으로 가장 최근에 개최되어 결과가 발표된 2010년도까지 결과를 기반으로 분석하여 음악 분석 기술의 현황을 둘러보도록 한다. <표 1>은 2005년도의 가장 처음 개최되었던 MIREX에서부터 가장 최근에 결과가 발표된 2010년 MIREX까지의 몇 가지 통계 정보를 통하여 MIREX의 규모 변화를 보여준다.
- 본 고에서는 음악 분석 시스템들을 평가하는 매년 열리는 음악 검색 시스템 평가 대회인 MIREX의 소개와 현황을 설명하면서 최근 음악 분석 기술의 대표적인 요소기술들과 연구 동향을 짚어보고자 한다. 이로써 국내의 음악 관련 서비스 종사자들과 유관분야 연구자들이 향후의 서비스 기획과 연구에 도움이 되기를 바란다.
제안 방법
- ABT task는 160개의 오디오 클립으로 구성된 MIREX 2006 Tempo & Beat 데이터집합과 367개의 마주르카 춤곡으로 구성된 Sapp’s Mazurka 데이터 집합의 beat 정보가 기록된 평가데이터를 기반으로 f-measure3) 기반으로 시스템들의 평가를 수행하였다.
- 다중 기반 주파수 예측 및 추적(Multiple Fundamental Frequency Estimation & Tracking) 기술은 복잡한 다성 음악신호에서 각각의 연속적인 주파수들을 예측하고(악기/파트 별 멜로디 추출), 이들에 대한 음색정보 및 음표를 추적하는 기술이다. MFN task의 진행을 위해 클래식 및 재즈 장르의 40개 음악 샘플과 이에 정답이 제공되는 평가 집합을 토대로 평가를 수행하였다. 40개의 음악 샘플에는 다양한 클래식 악기들을 포함하여 녹음 단계에서부터 다성으로 녹음된 34개의 음원과 개별 녹음 후 인위적으로 합성한 6곡이 포함되어 있다.
- 음악의 음표 인식은 오디오 시그널을 정보화하는 가장 기본 단위의 인식이기 때문에 역시 음악 정보 처리에 기본이 되는 중요한 이슈이다. 본 task에서는 드럼 단독 연주로 이루어진 오디오 클립과 관악기, 금관악기, 현악기, 타악기, 음성 등을 포함하는 다양한 다성악기 연주곡이 포함된 다양한 난이도의 85개의 오디오 클립을 포함한 평가 집합을 통하여 제출된 시스템의 평가를 수행하였다. 그 결과, 7개 팀에서 제출한 18개의 시스템을 통하여 최고 0.
- 본 장에서는 MIREX의 task 중에 다른 task들의 성능 향상에 기반이 되는 low-level 특성 정보를 추출하는 기본적인 task들과 최근에 높은 참여율과 상대적으로 다양한 평가 집합이 선보이고 있는 주요 task들의 자세한 내용을 살펴보면서, 음악 정보처리 기술의 전반에 대하여 검토해 보도록 한다.
- KETI와 세종대는 음악검색 기술을 기반으로 감성 기반 음악 추천 엔진개발에 대한 연구를 진행하고 있다. 음원의 시그널 분석을 통하여 음악의 감성과 장르 등의 정보들을 추출하여 사용자의 감성과 취향에 적합한 음악을 추천한다. 추천엔진의 개발을 위한 요소기술로 음원의 신호분석을 총한 장르 정보와 감성정보를 추출하는 AMC와 AGC 기술의 개발을 수행중이다.
- <그림 1>은 개발한 QBSH 시스템의 구성을 보여준다. 이를 위해 한국 가요를 중심으로 2,000곡의 실제 한국 다성 음원을 포함하는 KPOP QBSH 평가 집합을 구축하였다. 이 데이터는 비현실적이라는 기존의 MIREX QBSH 평가집합의 한계를 넘어서 전곡 길이의 한국 가요를 다양한 장르 별로 2,000곡을 포함하고 있으며, 검색을 위한 20명의 사용자들이 직접 녹음한 10초 길이의 허밍질의도 1,000개 포함하고 있다[6].
대상 데이터
- 이를 위해 한국 가요를 중심으로 2,000곡의 실제 한국 다성 음원을 포함하는 KPOP QBSH 평가 집합을 구축하였다. 이 데이터는 비현실적이라는 기존의 MIREX QBSH 평가집합의 한계를 넘어서 전곡 길이의 한국 가요를 다양한 장르 별로 2,000곡을 포함하고 있으며, 검색을 위한 20명의 사용자들이 직접 녹음한 10초 길이의 허밍질의도 1,000개 포함하고 있다[6]. 이러한 현실적인 데이터를 기반으로 하는 음악 분석 기술의 연구를 통하여 짧은 시간 안에 MIREX의 세계적인 수준에 부합하는 QBSH, AME 기술 개발을 수행하여 2011년 MIREX에 국내 기술로 구축한 음악 분석 시스템 들을 출품하였다.
- 이 데이터는 비현실적이라는 기존의 MIREX QBSH 평가집합의 한계를 넘어서 전곡 길이의 한국 가요를 다양한 장르 별로 2,000곡을 포함하고 있으며, 검색을 위한 20명의 사용자들이 직접 녹음한 10초 길이의 허밍질의도 1,000개 포함하고 있다[6]. 이러한 현실적인 데이터를 기반으로 하는 음악 분석 기술의 연구를 통하여 짧은 시간 안에 MIREX의 세계적인 수준에 부합하는 QBSH, AME 기술 개발을 수행하여 2011년 MIREX에 국내 기술로 구축한 음악 분석 시스템 들을 출품하였다. 이 연구에서 개발한 다성 음원 데이터를 대상으로 하는 QBSH 검색 기술의 경우 기존 MIREX task에서도 논의된 바 없는 앞서가는 기술이다.
- 이 기술은 음원과 미워드 기반 검색 기술의 연동을 가능하게 하여, 웹 상에서 상용화되고 있는 음악 검색 및 추천 시스템에 응용 가능한 중요한 기술이다. 평가를 위해 3종류의 평가 집합이 공개되었는데, 음악 태깅 게임(MajorMinor4))에서 웹 사용자들에 의해 구축된 MajorMiner 평가집합과, 대용량 음악 포털인 last.fm5) 의 사용자 태그에서 추출한 Mood 데이터를 통하여 평가를 수행하였 다 . 8개 팀 이 제출한 13개 시스템에서 MajorMiner 데이터의 평가결과는 0.
이론/모형
- 개발한 매칭엔진에는 다성음원에서 특성추출시 발생하는 오류를 줄이고, 매칭성능을 향상시키기 위해 크로마-스케일 표현기법(Chroma-Scale Representation), 보상기법(Compensation) 및 비대칭적 DTW(Asynmmetric Dynamic Time Warping) 알고리즘을 적용하였다. 다성음원의 멜로디 특성 추출을 위해 개발한 배음구조 (Harmonic Structure) 기반 멜로디 추출 방법은 하모닉 분석을 통해 실제 시그널의 peak pitch들을 검출한 후, 이 데이터를 하모닉 분석값을 최대로 하는 contour로 예측하여 다성음원에서 주멜로디 시그널을 추출해낸다.
성능/효과
- fm5) 의 사용자 태그에서 추출한 Mood 데이터를 통하여 평가를 수행하였 다 . 8개 팀 이 제출한 13개 시스템에서 MajorMiner 데이터의 평가결과는 0.48, Mood 데이터는 0.47의 최고 f-measure를 기록하였다[2].
- 여기에서 각 task 별로 제출된 시스템들의 수를 살펴 보아도 전체 310개의 시스템 중 기호 수준의 음악 정보 추출 시스템을 위한 2개의 task에 제출된 시스템은 전체의 약 6% 수준이고, 94%의 시스템이 오디오 음원을 신호 레벨에서 처리하는 기술을 구현하였다. 결과적으로, 현재 음악정보 추출 기술들은 오디오 샘플의 신호 레벨의 분석을 통한 정보 추출 방법이 주류를 이룬다고 말 할 수 있다.
- 2010년 MIREX에서는 미국 팝 장르 구분을 위한 7,000개의 오디오 클립을 포함하는 데이터집합 (Mixed set), 라틴 음악의 장르 구분 데이터 두 가지 평가 데이터(Latin set)를 기반으로 task를 수행하였다. 그 결과, 10개 팀이 23개 시스템을 제출하였고, 최고 성능은 Mixed set은 0.74, Latin Set 0.71의 정확도를 보여주었다[2].
- 본 task에서는 드럼 단독 연주로 이루어진 오디오 클립과 관악기, 금관악기, 현악기, 타악기, 음성 등을 포함하는 다양한 다성악기 연주곡이 포함된 다양한 난이도의 85개의 오디오 클립을 포함한 평가 집합을 통하여 제출된 시스템의 평가를 수행하였다. 그 결과, 7개 팀에서 제출한 18개의 시스템을 통하여 최고 0.79의 fmeasure를 기록하였다[2].
- 전체 19개의 task들 중 단 2개의 task(약 11%)만이 음악을 기호적 수준(Symbolic level)으로 분석하는 task이고 - SMS와 AKF, 나머지 17개의 task(약 89%)들은 신호처리 기술을 적용하여 음악을 신호적(Signalspectrum) 수준으로 분석하여 처리하는 기술임을 볼 수 있다. 여기에서 각 task 별로 제출된 시스템들의 수를 살펴 보아도 전체 310개의 시스템 중 기호 수준의 음악 정보 추출 시스템을 위한 2개의 task에 제출된 시스템은 전체의 약 6% 수준이고, 94%의 시스템이 오디오 음원을 신호 레벨에서 처리하는 기술을 구현하였다. 결과적으로, 현재 음악정보 추출 기술들은 오디오 샘플의 신호 레벨의 분석을 통한 정보 추출 방법이 주류를 이룬다고 말 할 수 있다.
- 위의 표에 나열된 MIREX task들의 목록과 각각의 task마다 출품된 시스템들의 규모를 분석해 보면 다음과 같은 현상을 볼 수 있다. 전체 19개의 task들 중 단 2개의 task(약 11%)만이 음악을 기호적 수준(Symbolic level)으로 분석하는 task이고 - SMS와 AKF, 나머지 17개의 task(약 89%)들은 신호처리 기술을 적용하여 음악을 신호적(Signalspectrum) 수준으로 분석하여 처리하는 기술임을 볼 수 있다. 여기에서 각 task 별로 제출된 시스템들의 수를 살펴 보아도 전체 310개의 시스템 중 기호 수준의 음악 정보 추출 시스템을 위한 2개의 task에 제출된 시스템은 전체의 약 6% 수준이고, 94%의 시스템이 오디오 음원을 신호 레벨에서 처리하는 기술을 구현하였다.
후속연구
- 이와 같은 QBSH와 AME 기술은 2011년 MIREX의 해당 task에 제출되어 결과가 공개될 예정이다. 이 기술은 음악 정보추출 기술의 기반이 되는 핵심 low-level 특성정보 추출 및 응용 기술의 핵심이므로 향후 국내 음악분석 기술 개발의 정착에 중요한 역할을 할 것이다.
- 본 고에서는 음악 분석 시스템들을 평가하는 매년 열리는 음악 검색 시스템 평가 대회인 MIREX의 소개와 현황을 설명하면서 최근 음악 분석 기술의 대표적인 요소기술들과 연구 동향을 짚어보고자 한다. 이로써 국내의 음악 관련 서비스 종사자들과 유관분야 연구자들이 향후의 서비스 기획과 연구에 도움이 되기를 바란다.
- 다성음원의 멜로디 특성 추출을 위해 개발한 배음구조 (Harmonic Structure) 기반 멜로디 추출 방법은 하모닉 분석을 통해 실제 시그널의 peak pitch들을 검출한 후, 이 데이터를 하모닉 분석값을 최대로 하는 contour로 예측하여 다성음원에서 주멜로디 시그널을 추출해낸다. 이와 같은 QBSH와 AME 기술은 2011년 MIREX의 해당 task에 제출되어 결과가 공개될 예정이다. 이 기술은 음악 정보추출 기술의 기반이 되는 핵심 low-level 특성정보 추출 및 응용 기술의 핵심이므로 향후 국내 음악분석 기술 개발의 정착에 중요한 역할을 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.