[논문]딥러닝 기반의 음원검색 및 분류 시스템

이세훈; 정의중

딥러닝 기반의 음원검색 및 분류 시스템
Deep Learning based Music Classification System 원문보기

이세훈 (인하공업전문대학 컴퓨터시스템공학과) , 정의중 (인하공업전문대학 컴퓨터시스템공학과)

본 논문에서는 음악을 듣고 어떤 음악인지 인식하고 판별하는 음원분류 시스템과 해당 기술 구현을 딥러닝을 통해 적용하도록 제안하였다. 제안한 시스템은 인공심층신경망을 통해 음원파일을 여러 음원 특징 추출 모델에 따라 검출된 특징들을 학습하여 해당 음원의 고유한 보컬이나 반주의 특색 등을 찾아내어 이를 인식할 수 있도록 구현하였다. 이를 통해, 기존의 Fingerprint 방식의 데이터베이스 검색 시스템과는 다른 접근방식으로 보다 사람이 음악을 기억하는 방법에 가깝도록 구현하여 능동성과 유연성을 개선하고 다양한 응용분야로 활용할 수 있는 시스템을 제안하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이런 인공지능 형태의 학습 방식은 기존의 Fingerprint 방식이 사운드를 주파수의 특징 점을 데이터베이스에서 검색 하는 구조에서 인간이 소리파형을 그보다는 복잡하고 다양한 연관 작용을 해내는 것과 같이 음원을 인식하거나 특징을 파악하는 분야로 발전할 수 있다. 따라서 음악을 듣고 어떤 노래인지를 넘어 가수나 반주의 특정 부분이 어떤 특징을 가지는지를 사람이 무의식적으로 인지하듯, 본 논문에서는 이를 찾아내는 방식을 인공신경망이 음악을 듣고 구분하는 음원 분류 시스템을 제안한다.

제안 방법

본 시스템은 음악을 선율에 따라 검색하여 찾는 방법이 아닌 음원파일의 고유 특징들과 음색을 학습하여 스스로 해당 음원의 특징을 찾아내는 데에 중점을 두었다. 이를 위해 CNN기반에 Relu, Hyperbolic tangent함수로 이루어진 3차 히든레이어를 각각 300, 300, 100개로 튜닝 하여 98%의 Accuracy를 보일 때 까지 학습된 10개의 음원 중 가장 그러한 특징이 많이 포함된 노래를 분류할 수 있도록 한다.
원곡 청취 시 Fingerprint 방식과 비슷하게 정답률과 정확도는 월등하게 나타났으며, 본 시스템에서는 노래에 노이즈, 이펙트, 필터 또는 BPM을 조정하거나, 학습되지 않은 가수의 목소리 등 원곡에서 변형되어도 해당 음원의 특징을 판단하여 이를 비슷하다고 인식하거나 장르가 비슷한 음악들의 유사성을 인지하며 연관 있는 곡을 정답으로 표시하였다. 또한 여성 가수 10곡만을 학습한 데이터 셋의 실험 결과에서는 여성 목소리 특성들을 보다 중점적으로 특징하여 해당 특징을 더 잘 분류하였다.
음악을 들려줄 때 학습한 음악을 인식하는 시나리오를 실험에 사용한 노트북의 내장 외부 마이크를 사용한 방법 외에도 실시간 스트리밍 미디어 소스에서 배경음악을 검출하는 use-case 모두 실험할 수 있도록 하였다. 녹음 변환한 음성 파일을 학습한 각각의 모델에 테스트해서 반환된 결과를 최적화하여[3] Fig.
본 시스템은 음악을 선율에 따라 검색하여 찾는 방법이 아닌 음원파일의 고유 특징들과 음색을 학습하여 스스로 해당 음원의 특징을 찾아내는 데에 중점을 두었다. 이를 위해 CNN기반에 Relu, Hyperbolic tangent함수로 이루어진 3차 히든레이어를 각각 300, 300, 100개로 튜닝 하여 98%의 Accuracy를 보일 때 까지 학습된 10개의 음원 중 가장 그러한 특징이 많이 포함된 노래를 분류할 수 있도록 한다.
먼저 각각 노래는 무작위로 선정한 노래 5개와 그 노래와 장르, 가수가 같거나 비슷한 노래 5개, 총 10곡을 선정하였다. 이후 두 가지 음원 특징 추출 알고리즘을 사용하여 두 개의 딥러닝 모델을 제작하며 화성정보를 표현하는 Chroma 특성 벡터와 음색을 표현하는 Mfcc[2]를 사용하여 각각 44100Khz 샘플링 데이터의 전체 음원파일에서 초당 100개의 데이터로 분할하여 사용한다.

대상 데이터

1과 같이 본 시스템에서는 wav파일을 학습시키기 위해 특징 추출 알고리즘으로 특징을 추출한다. 먼저 각각 노래는 무작위로 선정한 노래 5개와 그 노래와 장르, 가수가 같거나 비슷한 노래 5개, 총 10곡을 선정하였다. 이후 두 가지 음원 특징 추출 알고리즘을 사용하여 두 개의 딥러닝 모델을 제작하며 화성정보를 표현하는 Chroma 특성 벡터와 음색을 표현하는 Mfcc[2]를 사용하여 각각 44100Khz 샘플링 데이터의 전체 음원파일에서 초당 100개의 데이터로 분할하여 사용한다.

성능/효과

원곡 청취 시 Fingerprint 방식과 비슷하게 정답률과 정확도는 월등하게 나타났으며, 본 시스템에서는 노래에 노이즈, 이펙트, 필터 또는 BPM을 조정하거나, 학습되지 않은 가수의 목소리 등 원곡에서 변형되어도 해당 음원의 특징을 판단하여 이를 비슷하다고 인식하거나 장르가 비슷한 음악들의 유사성을 인지하며 연관 있는 곡을 정답으로 표시하였다. 또한 여성 가수 10곡만을 학습한 데이터 셋의 실험 결과에서는 여성 목소리 특성들을 보다 중점적으로 특징하여 해당 특징을 더 잘 분류하였다. 즉, 학습 단계에서 초당 100개로 나눠진 샘플링 데이터들을 학습할 때 음원 고유의 특징들과 공통점을 찾아낸 것이다.
본 논문에서는 기존 내용기반의 음악 검색 애플리케이션보다 오차 범위가 유연하며 음악을 특정 구간을 기억하는 게 아닌, 선율과 상관없이 그 속의 특징을 기억하기 때문에 짧게 인식하여도 정확도가 높으며 이는 기존 Fingerprint방식과는 다르게, 노래의 음색과 음계, 목소리 특색 등에 더 유연하게 대처하는 점을 확인하였다. 이러한 설계를 통해 향후 더 많은 곡들의 특징분류기나 정확도를 개선하여 음원인식 분야와 응용 사운드 처리 분야 등에서 본 논문에서 제안한 인공지능 방식의 개선된 시스템의 방향성을 제시할 것으로 기대된다.

후속연구

본 논문에서는 기존 내용기반의 음악 검색 애플리케이션보다 오차 범위가 유연하며 음악을 특정 구간을 기억하는 게 아닌, 선율과 상관없이 그 속의 특징을 기억하기 때문에 짧게 인식하여도 정확도가 높으며 이는 기존 Fingerprint방식과는 다르게, 노래의 음색과 음계, 목소리 특색 등에 더 유연하게 대처하는 점을 확인하였다. 이러한 설계를 통해 향후 더 많은 곡들의 특징분류기나 정확도를 개선하여 음원인식 분야와 응용 사운드 처리 분야 등에서 본 논문에서 제안한 인공지능 방식의 개선된 시스템의 방향성을 제시할 것으로 기대된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝 기반의 음원검색 및 분류 시스템
Deep Learning based Music Classification System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝 기반의 음원검색 및 분류 시스템 Deep Learning based Music Classification System 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥러닝 기반의 음원검색 및 분류 시스템
Deep Learning based Music Classification System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper