선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 기존에 널리 사용되는 음악 검색 시스템과 데이터베이스를 활용하여 음악 요약 기법 으로 사용하는 방법에 대하여 다루었다. 검색 시스템은 이미 오래전부터 존재하였고 이를 위한 수십만에서 수백만곡의 핑거프린트 데이터베이스 역시 존재 하고 있다는 점에 착안하여, 기존 알고리즘을 색다른 목적으로 구현한 것이다. 이는 핑거프린트 데이터베 이스를 활용하는 다양한 알고리즘의 가능성을 보여 주었을 뿐만 아니라 요약 성능 또한 매우 좋음을 실험을 통해 알 수 있었다.
- 본 논문에서는 기존에 널리 사용되는 음악 검색 시스템과 데이터베이스를 활용하여 음악 요약 기법 으로 사용하는 방법에 대하여 다루었다. 검색 시스템은 이미 오래전부터 존재하였고 이를 위한 수십만에서 수백만곡의 핑거프린트 데이터베이스 역시 존재 하고 있다는 점에 착안하여, 기존 알고리즘을 색다른 목적으로 구현한 것이다.
- 본 논문에서는 음악의 코러스 부분을 자동 추출하는 기법 및 시스템을 제안하였다. 기존에 이차원 유사도 행렬, 확률모델, 오디오 핑거프린트, 템포(tempo) 특징, 머신러닝, 클러스터링 기법 등을 이용하는 방법과 달리 본 논문에서는 비트에러율을 이용함으로써 간단한 스킴(scheme)을 가지면서도 우수한 성능을 보여줌을 알 수 있었다.
- 이렇듯 사용 목적과 음악 특성에 따라 음악 요약의 길이나 형태는 달라질 수 있는데 본 논문에서는 코러스나 사비같은 단일 구간만을 포함하는 단시간 음악 요약(short-time music summary)을 추출하는 것을 목적으로 한다. 그림 4에서 나타나듯이 코러스 구간은 곡 내에서 최소 2번 이상 반복되며 동일 가사, 동일 반주 및 동일 멜로디로 구성되는 경향이 매우 강하다.
- 특히, 데이터베이스를 활용한 기술은 새로운 서비스를 가능하게 하고 비즈 니스 모델을 다양화할 수 있을 것[2]이라는 점에서 텍스트 기반의 기술뿐만 아니라 디지털 음악 분야도 이런 맥락에서 연구될 수 있을 것이다. 이에 본 논문은 음악 신호처리 기술 중 음악의 코러스(chorus)나 사비(sabi)같은 구간을 자동 추출하는 음악 요약 기술을 새로운 방법으로 제안했다.
제안 방법
- 또 다른 실험을 위해 공연 실황을 녹음한 라이브 (live) 음악 50곡을 선별하여 동일한 방식으로 비교 평가를 하였다. 라이브 음악의 경우 동일 후렴구일지 라도 관객들의 함성, 반주, 음색, 음량, 멜로디, 전조 (modulation) 등의 다양한 변화요인들로 인해 코러 스나 사비 등의 구간이 곡 내에서 음향학적으로 동일 하지 않을 가능성이 높음을 쉽게 예상할 수 있다.
- 모든 곡들은 MP3파일로서 16bit, 16khz, mono format 웨이 브(wav) 파일로 변환되어 처리되었다. 또한, 성능 비교를 위해 기존에 개발된 VQ를 이용한 요약 기법 (VQ)[6]과 비교 평가를 하였다. 제안된 기법과 비교된 VQ 기법은 유사도 행렬과 템포 특징을 조합하여 이용한 기법[4], HMM을 이용한 기법[5]과 비교평가 에서 비슷하거나 우수한 성능을 보이는 것으로 나타 났다[6].
- 그러나 제안된 요약 검색 시스 템에서는 주어진 검색 범위 내에서 곡 내의 핑거프린트 블록 쌍의 비트에러율을 모두 구하고 그 중 최솟 값을 찾는다. 마지막으로, 제안된 요약 시스템의 핑거프린팅 방식은 필립스 방식에 국한되지 않고 기저장된 핑거프린트 데이터베이스에 적용된 핑거프 린팅 방식을 따르게 된다. 본 논문에서는 필립스 방식으로 해싱된 핑거프린트를 대상으로 요약기법을 사용하였지만 핑거프린트 추출 공식, 핑거프린트 비트 수 등이 차이가 나더라도 제안된 요약기법을 적용할 수 있다.
- 실험에 쓰인 음악은 가요, 팝, 록 등이 포함된 1000여곡 중에서 랜덤하게 100곡을 선별하였다. 모든 곡들은 MP3파일로서 16bit, 16khz, mono format 웨이 브(wav) 파일로 변환되어 처리되었다. 또한, 성능 비교를 위해 기존에 개발된 VQ를 이용한 요약 기법 (VQ)[6]과 비교 평가를 하였다.
- 본 논문에서는 2장 1절에서 설명된 검색 구조를 이용하여 음악 요약을 추출하게 된다. 다만 필립스 검색 시스템에서는 룩업테이블로 로딩되는 검색 데이터베이스가 보유하고 있는 수십만에서 수백만 곡의 전체 오디오 핑거프린트 데이터베이스이지만 요약 시스템에서는 요약 대상이 되는 한 곡의 오디오 핑거프린트들만 로딩이 된다.
- 본 논문에서는 사전에 음악의 코러스와 사비 부분 등을 파악하여 지정한 후, 자동 추출된 음악 요약이 Voiced Title/코러스/사비일 경우 5점, 기타 반복되는 구간(verse 등)이면 3점, 그 외에 반복되지 않는 구간(intro, bridge등)이면 0점을 각각의 음악 요약 결과마다 점수를 주었다. 그리고 전체 점수의 산술평 균을 평가지표로 사용하였다.
- 마지막으로, 제안된 요약 시스템의 핑거프린팅 방식은 필립스 방식에 국한되지 않고 기저장된 핑거프린트 데이터베이스에 적용된 핑거프 린팅 방식을 따르게 된다. 본 논문에서는 필립스 방식으로 해싱된 핑거프린트를 대상으로 요약기법을 사용하였지만 핑거프린트 추출 공식, 핑거프린트 비트 수 등이 차이가 나더라도 제안된 요약기법을 적용할 수 있다.
- 이런 다양한 응용성이 있는 자동 음악 요약 기법을 위해 기존에 수행된 방법들은 이차원 유사도 행렬 [3], 유사도 행렬과 템포 특징벡터[4], 확률 모델[5], 클러스터링 기법[6]을 적절히 사용하거나 핑거프린 트와 에너지 특징(energy feature)등을 조합[7]하여 사용하기도 하였다. 하지만 본 논문에서는 음악의 오디오 핑거프린트를 추출한 후 핑거프린트 블록간의 비트에러율을 계산하여 음악 요약을 추출한다. 이런 방식은 기존의 방식과 달리 기존 음악 검색 솔루션에서 사용된 이미 저장된 방대한 오디오 핑거프린트 데이터베이스를 변형 없이 그대로 활용할 수 있음을 의미한다.
대상 데이터
- W와 S는 오디오 핑거프린트 데이터베이스 추출을 위해 윈도우 분석에서 사용했던 값들을 그대로 사용한다. 본 논문 에서는 W는 370msec, S는 11.6msec를 사용하였다.
- 실험에 쓰인 음악은 가요, 팝, 록 등이 포함된 1000여곡 중에서 랜덤하게 100곡을 선별하였다. 모든 곡들은 MP3파일로서 16bit, 16khz, mono format 웨이 브(wav) 파일로 변환되어 처리되었다.
이론/모형
- 본 논문에서는 사전에 음악의 코러스와 사비 부분 등을 파악하여 지정한 후, 자동 추출된 음악 요약이 Voiced Title/코러스/사비일 경우 5점, 기타 반복되는 구간(verse 등)이면 3점, 그 외에 반복되지 않는 구간(intro, bridge등)이면 0점을 각각의 음악 요약 결과마다 점수를 주었다. 그리고 전체 점수의 산술평 균을 평가지표로 사용하였다. 여기서 Voiced Title, 코러스, 사비 등은 대체로 동일한 구간을 의미하나 곡에 따라서 약간 씩 달라질 수가 있다.
- 이런 음악 검색 서비스는 예전에는 통신사를 통해 제공되었으나 지금은 스마트폰의 대중화로 인해 스마트폰 어플 리케이션으로도 개발되어 현재 서비스되고 있는 실정이다. 이런 음악 검색 솔루션을 위한 알고리즘에는 여러 종류가 있으나 본 논문에서 사용한 핑거프린트 데이터베이스는 필립스 社가 고안한 방식[9]으로 생성되었던 것을 사용하였다.
성능/효과
- 이런 연유로 2장 2절에서 설명한대로 원곡에서 추출된 쿼리의 해시코드와의 해밍 거리가 1인 해시코드도 추가로 검색하여 실험한 결과 표 3과 같은 결과를 얻을 수 있었다. 그러나 이렇게 검색 영역을 확장하 였음에도 불구하고 스튜디오에서 녹음된 음악들에 비해서 요약 결과 성능이 떨어짐을 알 수 있었다. 이런 문제를 해결하기 위해서는 단순히 검색영역을 무한정 계속해서 확장하기보다는 핑거프린팅 방식의 변화를 주는 것도 고려해 볼 수 있을 것이다.
- 본 논문에서는 음악의 코러스 부분을 자동 추출하는 기법 및 시스템을 제안하였다. 기존에 이차원 유사도 행렬, 확률모델, 오디오 핑거프린트, 템포(tempo) 특징, 머신러닝, 클러스터링 기법 등을 이용하는 방법과 달리 본 논문에서는 비트에러율을 이용함으로써 간단한 스킴(scheme)을 가지면서도 우수한 성능을 보여줌을 알 수 있었다.
- 이렇게 원래 해시 코드와의 해밍 거리(hamming distance)가 1인 코드 들을 검색 후보군으로 추가하여 검색하는 이유는 외부로부터 녹음된 쿼리에는 검색 성능에 악영향을 미칠 수준의 잡음이 혼입될 수 있기 때문이다. 따라서 쿼리의 해시코드들의 각 비트를 한 개씩만 반전하여 생성된 해시코드들을 추가적으로 검색함으로써 검색 정확도를 높일 수 있다. 그러나 제안된 요약 시스템에서는 쿼리를 외부로부터 녹음하지 않고 원곡에서 지정하여 사용하기 때문에 잡음이 혼입될 여지가 없다.
- 다만 반복성이 떨어지는 곡의 경우 검색범위를 해밍거리 1 인 해시코드까지 넓혀 사용할 수 있다. 또한, 필립스 검색 시스템과 달리 제안된 음악 요약 시스템에서는 안전마진이라는 개념을 도입하여 원곡에서 지정된 쿼리의 원래 위치를 정답으로 찾아내는 오류를 없앨수 있었다. 그리고 필립스 검색 시스템의 경우, 특정 임계값을 설정하여 모든 검색이 완료되지 않더라도 임계값 이하의 비트에러율에 도달했을 경우 바로 검색을 중지할 수 있다.
- 연구 초기에는 특징추출단계를 제거할 수있음으로써 처리시간을 줄일 수 있다는 생각이 주된 동기가 되었으나 연구를 진행하면서 처리시간보다는 이미 존재하는 데이터베이스를 변형 없이 사용하여 다양한 솔루션을 기획해 볼 수 있겠다는 생각이강해졌다. 물론, 제안된 기법은 처리시간 면에서도 강점이 있지만 점점 더 빠른 속도로 컴퓨팅 파워와 스토리지(storage)가 증대되는 시점에서 처리시간의 감소나 제거 측면보다는 음악 데이터베이스만을 이용한 기술과 어플리케이션을 통해 cold data[12]의 활용가능성을 보여주었다는 점에서 연구의 의미를 주고 싶다. cold data란 특정기간동안 거의 질의되지 않고 저장되어 있는 데이터를 의미하는데, 음악 데이 터베이스나 오디오 핑거프린트 데이터베이스에서도 이런 개념이 적용될 수 있을 것이다.
- 단, 필립스 검색 방식은 변형 없이 사용할 경우 요약 추출 기능을 전혀 발휘할 수 없기 때문에 비교 대상에서 제외하였다. 실험 결과는 표 2에 나타 나듯이 비트에러율을 이용한 요약 기법(BER)이 기존 방식보다 뛰어난 성능을 보임을 알 수 있었고 절대적 성능 또한 상당히 우수함을 알 수 있었다.
- 만약 핑거프린트 데이터베이스에 요약하고 싶은 곡이 존재할 경우, 해당 핑거프린트를 로딩한 후 오디오 핑거프린트 블록간의 비트에러율(BER: Bit Error Rate)을 계산하여 음악 요약을 추출하게 된다. 실험결과 제안된 기법은 코러스 부분을 기존 방법보다 매우 잘 찾아냄을 알 수 있었다. 또한 핑거 프린트가 데이터베이스에 존재할 경우에는 기존 데이터베이스를 그대로 변형 없이 사용할 수 있다.
- 6msec이므로 100프레임으로 안전마진을 두게 되면, 원곡에서 쿼리로 지정된 첫프레임부터 약 1초 이상 전(before)이 되는 시점부터, 쿼리가 지정된 첫 프레임에 쿼리의 길이를 더하고 다시 안전마진 1초 이상을 더한 시점까지를 검색 대상에서 제외하는 것이다. 실험적으로 100프레임 정도의 안전마진을 두었을 때 쿼리와 매우 근접한 구간을 음악 요약으로 추출하는 결과는 발생하지 않았다. 이런 개념을 식으로 표현한 것이 식 (4)에서 L list 의 범위를 제한한 것이다.
- 검색 시스템은 이미 오래전부터 존재하였고 이를 위한 수십만에서 수백만곡의 핑거프린트 데이터베이스 역시 존재 하고 있다는 점에 착안하여, 기존 알고리즘을 색다른 목적으로 구현한 것이다. 이는 핑거프린트 데이터베 이스를 활용하는 다양한 알고리즘의 가능성을 보여 주었을 뿐만 아니라 요약 성능 또한 매우 좋음을 실험을 통해 알 수 있었다.
- 또한, 성능 비교를 위해 기존에 개발된 VQ를 이용한 요약 기법 (VQ)[6]과 비교 평가를 하였다. 제안된 기법과 비교된 VQ 기법은 유사도 행렬과 템포 특징을 조합하여 이용한 기법[4], HMM을 이용한 기법[5]과 비교평가 에서 비슷하거나 우수한 성능을 보이는 것으로 나타 났다[6]. 단, 필립스 검색 방식은 변형 없이 사용할 경우 요약 추출 기능을 전혀 발휘할 수 없기 때문에 비교 대상에서 제외하였다.
- 제안된 기법의 경우, 요약 길이를 20초로 설정했을 때 100곡 중 87곡의 코러스 파트를 정확히 추출하 였다. 특히, 가요나 팝 장르에서 성능이 매우 뛰어남을 알 수 있었다.
- 제안된 자동 음악 요약 기법과 시스템은 핑거프린트 데이터베이스가 존재할 경우에는, 특징추출 (feature extraction) 단계나 클러스터링, 머신 러닝 등의 단계 없이도 검색 솔루션에 널리 이용되는 핑거 프린트 데이터베이스를 변형 없이 그대로 사용함으 로써 다양한 어플리케이션으로의 적용 가능성을 보여주었다. 연구 초기에는 특징추출단계를 제거할 수있음으로써 처리시간을 줄일 수 있다는 생각이 주된 동기가 되었으나 연구를 진행하면서 처리시간보다는 이미 존재하는 데이터베이스를 변형 없이 사용하여 다양한 솔루션을 기획해 볼 수 있겠다는 생각이강해졌다.
- 제안된 기법의 경우, 요약 길이를 20초로 설정했을 때 100곡 중 87곡의 코러스 파트를 정확히 추출하 였다. 특히, 가요나 팝 장르에서 성능이 매우 뛰어남을 알 수 있었다. 이렇게 가요나 팝 같은 장르에서 성능이 뛰어난 이유는 대중들에게 기억시킬 자극적인 동일한 후렴구를 여러 번 반복하여 작곡하는 상당 수의 대중가요나 팝 등의 작법과 직접적인 연관이 있을 것이다.
- 특히, 제안된 기법은 가요나 팝 등 반복성이 명료한 구조의 음악에서 기존 기법보다 매우 뛰어난 성능을 보임을 알 수 있었다. 다만, 추후에는 더욱 장르를 세분화하여 각 장르마다 1000여곡 이상의 음원을 확보하여 더 많은 곡들을 실험할 필요가 있을 것이다.
후속연구
- 특히, 제안된 기법은 가요나 팝 등 반복성이 명료한 구조의 음악에서 기존 기법보다 매우 뛰어난 성능을 보임을 알 수 있었다. 다만, 추후에는 더욱 장르를 세분화하여 각 장르마다 1000여곡 이상의 음원을 확보하여 더 많은 곡들을 실험할 필요가 있을 것이다. 또한, 단일 구간 추출에서 그치지 않고 단계별 비트 에러율 계산을 통해 여러 구간을 추출하는 방식 등도 추후 연구 대상에 포함될 수 있을 것이다.
- 두 번째 사용 용도로서 음악 데이터베이스에서 브라우징(browsing)을 손쉽게 하는데도 활용될 수 있 다. 개인 사용자가 보유한 방대한 음악 중에서 특정 곡을 검색할 때, 그 곡의 일부분만을 듣고 싶은 경우가 있다.
- 다만, 추후에는 더욱 장르를 세분화하여 각 장르마다 1000여곡 이상의 음원을 확보하여 더 많은 곡들을 실험할 필요가 있을 것이다. 또한, 단일 구간 추출에서 그치지 않고 단계별 비트 에러율 계산을 통해 여러 구간을 추출하는 방식 등도 추후 연구 대상에 포함될 수 있을 것이다.
- 본 논문에서는 단지 한 곡의 핑거프린트 데이터베 이스만을 이용하였지만 추후 방대한 핑거프린트 데이터베이스를 모두 또는 일부 이용하는 다른 어플리 케이션을 고려할 수 있을 것이다. 이렇게 동일 데이 터베이스를 다양하게 이용하는 원 소스 멀티 유즈 (One Source Multi-Use) 차원의 연구뿐만 아니라 이미 언급했듯이 다양한 솔루션에 공통적으로 최적의 성능을 얻을 수 있는 핑거프린팅 기법 및 오디오 신호처리 기법 역시 추후 연구 대상이 될 수 있을 것이다.
- cold data란 특정기간동안 거의 질의되지 않고 저장되어 있는 데이터를 의미하는데, 음악 데이 터베이스나 오디오 핑거프린트 데이터베이스에서도 이런 개념이 적용될 수 있을 것이다. 사용자의 쿼리나 요청이 없을 때에도 이런 데이터들을 이용해 시스 템의 백그라운드(back ground)에서 분석 기술 솔루 션을 통해 사용자에게 능동적인 서비스를 제공하는 것을 고려해 볼 수 있을 것이다.
- 본 논문에서는 단지 한 곡의 핑거프린트 데이터베 이스만을 이용하였지만 추후 방대한 핑거프린트 데이터베이스를 모두 또는 일부 이용하는 다른 어플리 케이션을 고려할 수 있을 것이다. 이렇게 동일 데이 터베이스를 다양하게 이용하는 원 소스 멀티 유즈 (One Source Multi-Use) 차원의 연구뿐만 아니라 이미 언급했듯이 다양한 솔루션에 공통적으로 최적의 성능을 얻을 수 있는 핑거프린팅 기법 및 오디오 신호처리 기법 역시 추후 연구 대상이 될 수 있을 것이다.
- 그런 장르의 음악은 단일 코러스 또는 단일 구간을 추출하기보다는 다양한 구간들을 추출하여 취합하는 것이 더 적합할수 있을 것이다. 이를 위해 비트에러율을 여러 단계 (multi-stage)로 계산하여 추출하는 단계를 추가로 고안해 볼 수도 있을 것이다.
- 이런 문제를 해결하기 위해서는 단순히 검색영역을 무한정 계속해서 확장하기보다는 핑거프린팅 방식의 변화를 주는 것도 고려해 볼 수 있을 것이다. 이를 위해서는 청각 인지 특성을 고려한 음향 레벨의 특징 추출 패턴에서 벗어나 인간이 인지하는 음악 레벨의 정보를 담고 있는 핑거프린팅 추출 기법도 연구주제가 될 수 있을 것이다. 여기서 말하는 음향 레벨이란 주파수 영역에서의 에너지의 크기에 치중하는 차원을 말하고, 음악 레벨은 파워 스펙트럼을 통해 음악의 조성(tonality), 멜로디, 템포(tempo), 코드(chord) 등을 추출하는 것을 의미한다.
- 이에 따라, 최근 빅데이터가 이슈가 되는 시점에서 음악 신호처리 분야도 기존에 연구되던 기술 또는 연구 주제를 시대 흐름에 발맞추어 색다른 시각으로 접근할 필요성이 있을 것이다. 특히, 데이터베이스를 활용한 기술은 새로운 서비스를 가능하게 하고 비즈 니스 모델을 다양화할 수 있을 것[2]이라는 점에서 텍스트 기반의 기술뿐만 아니라 디지털 음악 분야도 이런 맥락에서 연구될 수 있을 것이다. 이에 본 논문은 음악 신호처리 기술 중 음악의 코러스(chorus)나 사비(sabi)같은 구간을 자동 추출하는 음악 요약 기술을 새로운 방법으로 제안했다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.