선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 논문에서는 다성 음악 신호를 보컬 신호와 음성 이외의 모든 악기들의 소리가 하나로 결합된 반주 신호로 이분화하고, 입력 신호를 분석하여 반주 신호를 예측하여 반주 복사본 (replica) 신호를 생성하고, 이를 입력 다성 음악 신호에서 제거함으로써 보컬 신호를 정확히 검출할 수 있게 하는 보컬 강화 기술을 제안한다. 제안한 보컬 강화 기술은 입력된 다성 음악 신호의 다섯 프레임 중에서 반주 신호의 크기가 가장 큰 프레임을 선택하고, 미리 결정된 방법을 통해 반주 복사본 신호를 생성한다.
- 본 논문에서는 다성 음악 신호의 보컬 피치 검출의 성능 향상을 위한 보컬 강화 기술을 제안하였다. 제안한 기술은 잡음 억제 알고리즘을 기반으로 입력된 다성 음악 신호에서 반주 신호를 예측하고, 가공하여 원래 다성 음악 신호에서 제거한다.
가설 설정
- 3) 반주 에너지 예측 동작에서는 입력 신호로부터 반주 에너지를 예측한다. 이 때 반주 에너지는 슈퍼 프레임 단위로 결정된다.
- 제안한 보컬 강화 기술에서 입력 신호는 샘플링 주파수가 8 kHz이고 모노 (mono) 신호로 가정하고, 만일 다른 규격의 신호가 입력되면 전처리 단계에서 규격을 변환시켜 입력한다. 제안한 기술의 기본 동작은 10 ms 프레임 단위로 이루어지고, 반주 신호 분석을 위하여 다섯 프레임을 하나의 슈퍼 프레임 (super frame)으로 묶어 처리한다.
제안 방법
- 1) 전처리 동작에서는 입력된 다성 음악 신호의 샘플링 주파수를 8 kHz로 변환하고, 입력 신호가 스테레오일 경우에는 모노로 변환하고, DFT (discrete Fourier transform)를 이용하여 입력 신호를 10 ms 프레임 단위로 스펙트럼으로 변환한다. 대부분의 보컬 성분은 4 kHz 이하의 저대역에 집중되므로 일반적인 보컬 피치 검출 방법은 다운 샘플링을 통하여 불필요한 고대역을 제거하는 단계를 거친다.
- 다양한 방법을 이용하여 제안한 기술의 보컬 강화 성능을 객관적으로 검증하였다. 먼저 제안한 기술을 이용한 보컬 강화 이전과 이후 신호에 대하여 자기 상관 계수를 비교하였고, 실제 보컬 신호의 피치 주파수를 측정하여 검출 정확도 향상 정도를 측정하였다.
- 다양한 방법을 이용하여 제안한 기술의 보컬 강화 성능을 객관적으로 검증하였다. 먼저 제안한 기술을 이용한 보컬 강화 이전과 이후 신호에 대하여 자기 상관 계수를 비교하였고, 실제 보컬 신호의 피치 주파수를 측정하여 검출 정확도 향상 정도를 측정하였다. 또한 보컬 프레임 판별 실험을 함께 진행하여 제안한 보컬 강화 기술이 보컬 피치 검출 성능 향상에 기여하는 것을 검증하였다.
- 이러한 결과는 보컬 피치 검출의 정확도 향상에 기여한다. 제안한 기술은 슈퍼 프레임 단위로 반주 성분이 강한 프레임을 선정하고, 이를 기준으로 반주 복사본 신호를 결정하고, 신호의 특성에 따라 미세 조정을 거쳐 프레임 단위로 입력 신호에서 반주를 제거한다.
- 본 논문에서는 다성 음악 신호의 보컬 피치 검출의 성능 향상을 위한 보컬 강화 기술을 제안하였다. 제안한 기술은 잡음 억제 알고리즘을 기반으로 입력된 다성 음악 신호에서 반주 신호를 예측하고, 가공하여 원래 다성 음악 신호에서 제거한다. 이 때 제거되는 반주 신호에 의해 잔여 반주 신호의 하모닉 특성은 손상되고, 좀 더 잡음 특성을 갖게 된다.
- 제안한 보컬 강화 기술에서 입력 신호는 샘플링 주파수가 8 kHz이고 모노 (mono) 신호로 가정하고, 만일 다른 규격의 신호가 입력되면 전처리 단계에서 규격을 변환시켜 입력한다. 제안한 기술의 기본 동작은 10 ms 프레임 단위로 이루어지고, 반주 신호 분석을 위하여 다섯 프레임을 하나의 슈퍼 프레임 (super frame)으로 묶어 처리한다. 제안한 보컬 강화 기술은 실시간 처리를 위한 것이 아니므로 다섯 프레임에 의한 동작 지연은 문제가 되지 않는다.
- 따라서 본 논문에서는 다성 음악 신호를 보컬 신호와 음성 이외의 모든 악기들의 소리가 하나로 결합된 반주 신호로 이분화하고, 입력 신호를 분석하여 반주 신호를 예측하여 반주 복사본 (replica) 신호를 생성하고, 이를 입력 다성 음악 신호에서 제거함으로써 보컬 신호를 정확히 검출할 수 있게 하는 보컬 강화 기술을 제안한다. 제안한 보컬 강화 기술은 입력된 다성 음악 신호의 다섯 프레임 중에서 반주 신호의 크기가 가장 큰 프레임을 선택하고, 미리 결정된 방법을 통해 반주 복사본 신호를 생성한다. 이렇게 결정된 반주 복사본 신호를 원래 다성 음악 신호에서 제거해 보컬이 강화된 신호를 얻는다.
- 제안한 보컬 강화 기술을 사용하여 실제 보컬 피치 검출의 정확도가 향상되는지를 검사하였다. 보컬 피치를 검출하는 실험에서는 일반적으로 많이 사용되는 자기 상관 계수를 이용한 피치 주파수 측정 방식과 Li와 Wang 기술 [10]을 사용하는 피치 주파수 측정 방법을 각각 이용하였다.
대상 데이터
- 또한 보컬 프레임 판별 실험을 함께 진행하여 제안한 보컬 강화 기술이 보컬 피치 검출 성능 향상에 기여하는 것을 검증하였다. 실험 결과의 보편성을 위해 MIREX (music information retrieval evaluation exchange)에서 사용하는 train01 부터 train09 까지 9개의 음악 신호를 이용하여 성능을 측정하였고 [9], 모두 샘플링 주파수는 8 kHz, 모노 사운드로 고정하였다.
이론/모형
- 기존의 보컬 신호 검출 기술들은 일반적으로 다성 음악 신호를 구성하는 여러 소리 신호들의 기본 주파수 (fundamental frequency)들을 먼저 찾고, HMM (Hidden Markov Model) 또는 GMM (Gaussian Mixture Model)과 같은 수학적 모델링을 이용하여 보컬 신호를 검출하는 방법을 사용하였다 [1-4]. 특히 보컬 신호의 특성을 고려하여 기존의 수학적 확률 모델이 아닌 인간의 청각 모델 (auditory model)을 이용한 연구는 향상된 보컬 신호 검출 성능을 보여주기도 하였다 [5].
- Li와 Wang 기술은 다중 피치 검출 기술을 기반으로 보컬 피치를 검출하며, 자기 상관 함수와는 무관한 방법이다. 보컬 프레임과 반주 프레임을 구별하는 실험에서는 다성 음악 신호의 단기간 에너지 (short-term energy) 특성을 이용한 측정 방식을 사용하였다 [11]. 성능 검증에서 사용한 항목은 다음과 같다.
- 제안한 보컬 강화 기술을 사용하여 실제 보컬 피치 검출의 정확도가 향상되는지를 검사하였다. 보컬 피치를 검출하는 실험에서는 일반적으로 많이 사용되는 자기 상관 계수를 이용한 피치 주파수 측정 방식과 Li와 Wang 기술 [10]을 사용하는 피치 주파수 측정 방법을 각각 이용하였다. Li와 Wang 기술은 다중 피치 검출 기술을 기반으로 보컬 피치를 검출하며, 자기 상관 함수와는 무관한 방법이다.
- 이 때 반주 복사본 신호는 보컬 강화 과정이 반복될 때마다 슈퍼 프레임 단위로 갱신된다. 제안한 보컬 강화 기술에서 반주 신호를 예측하고 이를 제거하는 방법은 음성 신호에서의 잡음제거에 가장 많이 사용되는 스펙트럼 감산법 (spectral subtraction)을 이용하였다 [7-8].
성능/효과
- 1) 반주 복사본 생성 동작에서는 선택된 반주 프레임의 신호 (스펙트럼)에 이득 값을 곱하여 반주 복사본 신호 AR(m)를 결정한다. 이 때 사용되는 이득 값 β의 크기는 0.
- 2) 반주 복사본 신호 비교 동작에서는 현재 슈퍼 프레임에서 결정된 반주 복사본 신호 AR(m)과 이전 슈퍼 프레임에서 생성되어 미리 저장해놨던 최종 반주 복사본 신호 ARfianl(m -1)의 상관관계를 측정하여 최종 반주 복사본 신호 ARfinal(m)을 결정한다. 두 신호의 상관관계가 크다고 판단되면 현재 슈퍼 프레임의 처리 과정에서 생성한 반주 복사본 신호 AR(m)을 최종 반주 복사본 신호 ARfinal(m)으로 결정한다.
- 2) 프레임 에너지 계산 동작에서는 16개의 주파수 밴드 단위로 에너지를 계산하고, 대역별 가중치를 적용하여 모두 더하여 프레임의 전체 에너지 FE(n)를 구한다. n은 프레임 인덱스를 의미한다.
- 3) 반주 복사본 신호 갱신에서는 생성된 최종 반주 복사본 신호 ARfinal(m)을 저장하여 다음 슈퍼 프레임을 위한 보컬 강화 과정에서 사용할 수 있게 한다.
- 29 Hz의 피치 주파수 값이 결정된다. train01 데이터의 360번째 프레임에 대한 레퍼런스 피치 값은 294.03 Hz이기 때문에 제안한 보컬 강화 기술을 이용하여 전처리를 했을 경우에만 정확한 보컬 피치를 검출되었음을 확인할 수 있다. 실제 train01 신호의 360번째 프레임에는 여성의 음성이 피아노 반주와 함께 섞여있기 때문에 제안한 강화 기술로 전처리를 하지 않을 경우, 보컬 신호보다 좀 더 하모닉 특성이 뚜렷한 피아노 소리의 피치 값이 검출된다.
- 즉 제안한 보컬 강화 기술에 의해 음악 신호에서 반주 신호가 정확히 제거되기 때문에 보컬 프레임을 좀 더 정확히 찾게 되고, 결과적으로 보컬 신호가 있는 것으로 잘못 판단된 프레임의 숫자가 확연히 줄어들 뿐만 아니라 보컬 피치 검출의 정확도 향상에도 도움을 주게 된다. 따라서 제안한 보컬 강화 기술은 보컬 피치를 정확히 찾는데 기여할 뿐만 아니라 보컬 프레임과 반주 프레임을 판정하는 성능도 향상시키는 것을 확인 할 수 있다.
- 먼저 제안한 기술을 이용한 보컬 강화 이전과 이후 신호에 대하여 자기 상관 계수를 비교하였고, 실제 보컬 신호의 피치 주파수를 측정하여 검출 정확도 향상 정도를 측정하였다. 또한 보컬 프레임 판별 실험을 함께 진행하여 제안한 보컬 강화 기술이 보컬 피치 검출 성능 향상에 기여하는 것을 검증하였다. 실험 결과의 보편성을 위해 MIREX (music information retrieval evaluation exchange)에서 사용하는 train01 부터 train09 까지 9개의 음악 신호를 이용하여 성능을 측정하였고 [9], 모두 샘플링 주파수는 8 kHz, 모노 사운드로 고정하였다.
- 1 % 포인트 향상되었음을 확인하였다. 또한 전혀 다른 두 개의 보컬 피치 검출 기술을 이용하여 보컬 피치 정확도를 평가한 결과, 두 경우 모두 제안한 기술에 의해 보컬 피치 검출의 정확도가 향상되었음을 확인할 수 있었다. 이를 통하여 제안한 보컬 강화 기술에 의해 반주 신호가 효과적으로 제거 되고, 기존의 다양한 보컬 피치 검출 방법을 그대로 사용하여도 보컬 피치 검출 성능 향상에 기여할 수있다는 것을 검증하였다.
- 표 1과 표 2는 MIREX에서 사용하는 9개의 다성 음악 신호에 대해서 위의 네 가지 항목을 측정한 실험의 결과를 보여준다. 먼저 표 1의 Vocal Pitch Accuracy (overall) 항목을 보면 오리지널 신호에 대한 보컬 피치 정확도보다 제안한 보컬 강화 기술을 이용해 전처리된 신호에서 검출한 보컬 피치의 정확도가 ACF 방법과 Li 와 Wang 방법에서 각각 평균 7.1 % 포인트와 6.1 % 포인트 향상되었음을 알 수 있다. 특히 Vocal Pitch Accuracy (only vocal frame) 항목의 결과는 보컬 프레임에서 보컬 프레임의 피치 값을 정확히 검출했음을 보여주는 결과이다.
- 보컬 피치 검출 실험과 보컬 프레임 판별 실험을 통해 제안한 보컬 강화 기술에 의하여 보컬 신호 검출과 보컬 프레임 판정의 정확도가 향상되는지를 분석하였고, 제안한 기술에 의하여 보컬 피치의 정확도가 평균 7.1 % 포인트 향상되었음을 확인하였다. 또한 전혀 다른 두 개의 보컬 피치 검출 기술을 이용하여 보컬 피치 정확도를 평가한 결과, 두 경우 모두 제안한 기술에 의해 보컬 피치 검출의 정확도가 향상되었음을 확인할 수 있었다.
- 전처리를 해준 train01 데이터의 360번째 프레임에 대한 자기 상관 계수를 나타낸 그림 5 (b)에서는 27번째 인덱스에서 가장 큰 자기 상관계수 값을 갖는 것을 알 수 있다. 이렇게 측정된 두 개의 자기 상관 계수 결과를 이용하여 360번째 프레임의 피치 주파수 값을 계산하면 오리지널 신호의 경우는 약 142.85 Hz, 전처리된 신호의 경우는 약 296.29 Hz의 피치 주파수 값이 결정된다. train01 데이터의 360번째 프레임에 대한 레퍼런스 피치 값은 294.
- 또한 전혀 다른 두 개의 보컬 피치 검출 기술을 이용하여 보컬 피치 정확도를 평가한 결과, 두 경우 모두 제안한 기술에 의해 보컬 피치 검출의 정확도가 향상되었음을 확인할 수 있었다. 이를 통하여 제안한 보컬 강화 기술에 의해 반주 신호가 효과적으로 제거 되고, 기존의 다양한 보컬 피치 검출 방법을 그대로 사용하여도 보컬 피치 검출 성능 향상에 기여할 수있다는 것을 검증하였다. 단, 제안한 보컬 강화 기술은 다성 음악 신호에 포함된 반주 신호를 제거하여 보컬 신호를 강화하는 기술이므로 보컬 신호가 없는 다성 음악 신호에 적용하면 오히려 반주 신호를 훼손하여 정확한 반주 피치를 찾는 것이 어려워진다.
- 이상의 성능 평가 결과를 통하여 제안한 보컬 강화 기술에 의하여 입력 신호의 보컬 신호가 실제로 강화되었고, 그 결과 보컬 피치 검출의 정확도와 보컬 프레임 판정의 정확도가 향상된 것을 검증하였다. 특히 제안한 기술을 활용하면 기존의 다양한 방법으로 개발된 보컬 피치 검출 방법과 보컬 프레임 판정 방법들을 그대로 사용하면서 각각의 성능을 향상시킬 수 있으므로, 제안 기술은 보컬 신호를 검출하는 다양한 응용 분야에 적용될 수 있을 것이다.
- 이렇게 결정된 반주 복사본 신호를 원래 다성 음악 신호에서 제거해 보컬이 강화된 신호를 얻는다. 제안한 기술에 의하여 보컬이 강화된 신호에 기존의 보컬 피치 검출 방법을 적용하여 보컬 피치 검출의 정확도를 측정하였으며, 제안한 기술에 의하여 검출의 정확도가 평균 7.1 % 포인트 향상된 것으로 확인하였다. 즉, 기존의 보컬 피치 검출 방법을 그대로 사용하고 전처리 기술만을 적용하여 뚜렷한 성능 향상을 얻을 수 있는 것을 검증하였다.
- 이러한 결과는 보컬 프레임 판별 시 발생하는 오차의 원인이 되는 반주 신호가 제안한 보컬 강화 기술에 의해 효과적으로 제거되었음을 의미한다. 즉 제안한 보컬 강화 기술에 의해 음악 신호에서 반주 신호가 정확히 제거되기 때문에 보컬 프레임을 좀 더 정확히 찾게 되고, 결과적으로 보컬 신호가 있는 것으로 잘못 판단된 프레임의 숫자가 확연히 줄어들 뿐만 아니라 보컬 피치 검출의 정확도 향상에도 도움을 주게 된다. 따라서 제안한 보컬 강화 기술은 보컬 피치를 정확히 찾는데 기여할 뿐만 아니라 보컬 프레임과 반주 프레임을 판정하는 성능도 향상시키는 것을 확인 할 수 있다.
- 1 % 포인트 향상된 것으로 확인하였다. 즉, 기존의 보컬 피치 검출 방법을 그대로 사용하고 전처리 기술만을 적용하여 뚜렷한 성능 향상을 얻을 수 있는 것을 검증하였다.
- 1 % 포인트 향상되었음을 알 수 있다. 특히 Vocal Pitch Accuracy (only vocal frame) 항목의 결과는 보컬 프레임에서 보컬 프레임의 피치 값을 정확히 검출했음을 보여주는 결과이다. 다만 ACF 방법에서 train03 데이터의 경우 Vocal Pitch Accuracy (only vocal frame) 값이 Vocal Pitch Accuracy (overall) 값보다 작게 나타난다.
- 즉 반주 프레임에서 보컬 프레임으로 넘어가는 부분과 반대로 보컬 프레임에 반주 프레임으로 넘어가는 부분에서 일반적으로 보컬 피치 검출의 오류가 많이 발생하는데, 이러한 부분들이 다른 데이터에 비해 train03에 많기 때문이다. 표 1을 통하여 오리지널 신호보다 제안한 보컬 강화 기술을 이용해 전처리된 신호에서 보컬 피치 검출의 정확도가 더 높은 것을 검증하였고, 특히 기존의 보컬 피치 검출 방법을 그대로 사용하고 제안한 보컬 강화 기술만을 통하여 보컬 피치 검출의 정확도가 크게 향상되는 것을 확인할 수 있다.
- 보컬 프레임 판정의 정확도는 실제 보컬 피치 검출의 정확도 향상과 밀접한 관계를 갖고 있기 때문에 매우 중요한 항목이다. 표 2를 통하여 제안한 보컬 강화 기술에 의하여 Vocal Frame Detection 평균값이 약간 증가하고, 특히 Vocal False Alarm 평균값이 많이 작아졌음을 알 수 있다. 이러한 결과는 보컬 프레임 판별 시 발생하는 오차의 원인이 되는 반주 신호가 제안한 보컬 강화 기술에 의해 효과적으로 제거되었음을 의미한다.
후속연구
- 단, 제안한 보컬 강화 기술은 다성 음악 신호에 포함된 반주 신호를 제거하여 보컬 신호를 강화하는 기술이므로 보컬 신호가 없는 다성 음악 신호에 적용하면 오히려 반주 신호를 훼손하여 정확한 반주 피치를 찾는 것이 어려워진다. 보컬 신호가 없는 다성 음악 신호의 경우에도 메인 멜로디의 피치를 정확히 찾을 수 있는 연구가 추가 진행될 예정이다.
- 본 논문에서는 이득 값 α의 크기를 실험을 통해 결정한 0.89로 사용했지만, 향후 입력 신호의 종류에 적응적으로 (adaptive) 값을 결정할 수 있도록 연구할 예정이다.
- 이상의 성능 평가 결과를 통하여 제안한 보컬 강화 기술에 의하여 입력 신호의 보컬 신호가 실제로 강화되었고, 그 결과 보컬 피치 검출의 정확도와 보컬 프레임 판정의 정확도가 향상된 것을 검증하였다. 특히 제안한 기술을 활용하면 기존의 다양한 방법으로 개발된 보컬 피치 검출 방법과 보컬 프레임 판정 방법들을 그대로 사용하면서 각각의 성능을 향상시킬 수 있으므로, 제안 기술은 보컬 신호를 검출하는 다양한 응용 분야에 적용될 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.