초록 ▼

□ 연구개요
본 연구는 대량의 음악 데이터로부터 음색, 창법 등 노래 목소리 (singing voice) 의 특징을 정량적으로 분석하여 목소리 유사도 기반의 음악 검색 및 음악과 관련된 메타 데이터 분석에 응용하는 것을 목표로 한다. 노래 목소리에 대한 정량적 모델은, 다양한 신호 처리 및 기계 학습을 바탕으로, 음악 오디오 신호로터 노래 목소리 분리하고, 음량, 음고, 음색 등 음향학적인 특징 추출하며, 그 패턴을 가수별로 모델링하는 순서로 구성된다. 이러한 정량적 모델은 노래 목소리의 유사성 측정하거나 목소리의 유형을 분류

□ 연구개요
본 연구는 대량의 음악 데이터로부터 음색, 창법 등 노래 목소리 (singing voice) 의 특징을 정량적으로 분석하여 목소리 유사도 기반의 음악 검색 및 음악과 관련된 메타 데이터 분석에 응용하는 것을 목표로 한다. 노래 목소리에 대한 정량적 모델은, 다양한 신호 처리 및 기계 학습을 바탕으로, 음악 오디오 신호로터 노래 목소리 분리하고, 음량, 음고, 음색 등 음향학적인 특징 추출하며, 그 패턴을 가수별로 모델링하는 순서로 구성된다. 이러한 정량적 모델은 노래 목소리의 유사성 측정하거나 목소리의 유형을 분류하는데 응용될 수 있다. 구체적으로는, 가수의 목소리 유사도 분포를 시각화하여 음악 브라우징을 위한 인터페이스로 사용되거나 선호하는 음악과 비슷한 목소리를 가지는 가수의 곡을 검색하는데 활용될 수 있다. 또한, 다양한 메타데이터를 이용하여, 노래 목소리의 시대별 특성이나, 인기도와의 관계 등 다학제적인 관점에서의 분석에도 응용될 수 있다.

□ 연구 목표대비 연구결과
초기 연구 목표는 노래 목소리에 집중하고 낮은 레벨에서 높은 레벨로 여러 가지 소리의 특징을 순차적으로 분석하는 알고리즘을 기초 연구 성격으로 개발하는 것이 목표였으나, 음악 검색 및 추천 등 실용화를 고려한 응용 연구 성격으로 개발하는 것이 더 적합한 것으로 판단하였고, 이를 위해 노래 목소리뿐만 아니라 보다 일반적으로 음악 특징을 추출하는 방향으로 확장하였음. 연구 성과는 크게 세 가지의 카테고리로 나누어서 정리할 수 있음. 첫째는 일반 음원에서 노래 목소리 구간 검출 및 노래 멜로디 추출 등 낮은 레벨의 노래 목소리 분석, 둘째는 아티스트 레이블을 활용한 특징 학습 및 이를 이용한 가수 특징 및 인식, 마지막은 노래 목소리 및 음악 전반적인 태깅 (장르, 무드, 음색, 창법) 등 음악을 표현하는 다양한 단어 분석임. 본 연구 과제 수행을 통해, 총 2편의 저널 논문, 12편의 국제 학술대회 논문, 4편의 국내 저널 및 학술대회 논문 등 연구 성과를 거두었고, 현재 2편의 추가적인 저널 논문 작업이 진행 중임. 특히, 최근 매우 발전되고 있는 딥러닝을 바탕으로 많은 task에서 우수한 성능의 결과를 달성하였고, 지금까지 연구가 많이 이루어지지 않은 노래 목소리의 고차원적 분석을 주제를 다루어, 향후 많은 후속 연구가 이루어질 것으로 예상됨.

□ 연구개발결과의 중요성
본 연구개발의 중요성은 연구 결과의 우수성을 통해 산업체 과제로 연결되고, 이를 실제 음악 서비스에 적용한 점임. 특히, 아티스트 레이블 기반의 학습 모델은 네이버에서 최근 출시된 VIBE라는 인공지능 기반 음악 스트리밍 앱에 음악 추천 모델로 사용되어 사용자들이 보다 쉽게 취향에 맞는 곡을 찾을 수도 있도록 함. 또한, 본 연구에서 제안된 SampleCNN 모델은 해외 음악 스트리밍 서비스인 Pandora에 오디오 기반 음악 태깅 모델에 적용되어, 수천만 곡 이상의 큰 데이터로 학습되는 큰 모델에서 사용되고 있음. 이러한 산업적 성과뿐만 아니라 학문적으로도 본 연구 과제에서 수행된 논문은 Google Scholar기준 현재까지 80회 이상 인용 수를 기록중임. 향후 산업체와의 지속적인 협력을 통해서, 학교에서 접근할 수 없는 대량의 데이터와 컴퓨팅 환경을 활용하여 보다 임팩트있는 연구로 발전시킬 계획임.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 3
• □ 연구 개발 필요성 ... 3
• □ 연구 목표 및 범위 ... 3
• 2. 연구수행내용 및 연구결과 ... 4
• □ 개요 ... 4
• □ 노래 목소리 멜로디 추출 알고리즘 (Singing Melody Extraction) ... 4
• □ 노래 목소리 검출 (Singing Voice Detection) ... 5
• □ 아티스트 레이블을 이용한 특징 학습 ... 6
• □ 아티스트 레이블을 이용한 가수 목소리 인식 ... 7
• □ 노래 목소리 태그 수집 및 자동 태깅 모델 (music auto-tagging) ... 7
• □ 음악 자동 태깅 모델: Multi-Level and Multi-Scale Feature Aggregation ... 9
• □ 음악 자동 태깅 모델: SampleCNN ... 10
• □ 음악 시각화 및 인터페이스 ... 12
• 3. 연구개발결과의 중요성 ... 13
• □ 학문적 성과 ... 13
• □ 산업적 성과 ... 13
• 4. 참고문헌 ... 14
• 5. 연구성과 ... 15
• 대표적 연구실적 ... 16
• 끝페이지 ... 21