선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 폴리포닉 음과 같은 복잡한 스펙트럼을 갖는 오디오 신호를 정현파 모델링하고, 고음질의 시간축 변화된 음을 얻는 방법을 제안하였다. 본 논문에서 사용된 방법을 정리하면 다음과 같다.
- 본 논문에서는 폴리포닉 음과 같은 복잡한 스펙트럼을 갖는 오디오 신호를 정현파 모델링하고, 고음질의 시간축 변화된 음을 얻는 방법을 제안하였다. 본 논문에서 사용된 방법을 정리하면 다음과 같다.
- 본 논문은 폴리포닉 음과 같은 복잡한 스펙트럼을 갖는 오디오 신호의 시간축 변화 방법에 대한 연구로 기존의 정현파 모델링을 바탕으로 하고 있다. 2장에서는 본 논문의 앞 단계로서 ［8］번 논문에서 제안하고 있는 동적 세그멘테이션을 적용한 다중 해상도 정현파 분석 방법에 대해서 간략하게 설명한다.
가설 설정
- 는 이 전개 함수와 관련된 전개 계수를 나타낸다. 첫 번째 반복 과정에서 ri[n]은 x[n] 이 될 것이다. 표기를 간략하게 하기 위해 gi[n] = #[n]이라 할 때 gi[n]은 다음과 같이 나타낼 수 있다.
제안 방법
- 본 연구에서는 다중 해상도 필터 뱅크에서 나오는 각 서브밴드 신호에 대해 matching pursuit을 적용하여 정현파성분을 추출한다. 각 서브밴드 신호는 동적 세그멘테이션에의해 신호 구간별로 정현파 분석을 위한 최적의 프레임 크기가 결정되고, 이 분석 프레임에 matching pursuit을 적용하여 ,실제로 신호를 구성하는 가장 중요한 정현파성분부터 차례로 추출한다. 여러가지 음악 신호에 대해 실험한 결과, 각 서브밴드 신호의 하나의 분석 프레임에서 15~20개 정도의 정현파 성분을 추출하면 원래 신호와 거의 구별할 수 없는 음질의 신호를 합성할 수 있음을 확인하였다.
- 심리 음향 모델에서는 주파수 대역을 사람 귀의 특성에 따라 나누어 놓은 임계 대역 (critical band)별로 마스킹 임계치가 계산된다. 그러나 정현파 분석을 위해서는 개개의 주파수에 대한 마스킹 임계치를 구하는 것이 더 정확하므5, 본 논문에서는 FFT결과에서 나오는 개개의 주파수에서 마스킹 임계치를 구하는 것으로 알고리즘을 변형하였다.
- 다중 해상도 필터 뱅크를 통과해서 나온 서브밴드 신호에 대해 동적 세그멘테이션을 이용하여 정현파 분석과 합성을 위한 구간별 프레임 크기를 결정한다. 그림 3은 하나의 서브밴드 신호에 대한 동적 세그멘테이션 결과를 나타낸다.
- 둘째, 합성되는 신호의 어택 부분을 최대한 살리기 위해각 서브 밴드 신호에 대해 동적 세그멘테이션을 적용하여 정현파 합성시 인터폴레이션에 의해 일어나는 파형의 퍼짐 현상을 개선하였다.
- 0배로 하였다. 먼저 원래 음을 들려준 다음, 각 변화율에 대해세가지 알고리즘으로 변화된 음을 임의의 순서로 들려주고, 그 중 가장 나은 것을 선택하게 하였다’ 만약 음질을 구별할 수 없으면 구별할 수 없는 음의 번호들을 복수로 기입하게 하였다. 표 3에는 이에 대한 결과를 나타내었다.
- 0배로 하였다. 먼저 원래 음을 들려준 다음, 각 변화율에 대해세가지 알고리즘으로 변화된 음을 임의의 순서로 들려주고, 그 중 가장 나은 것을 선택하게 하였다’ 만약 음질을 구별할 수 없으면 구별할 수 없는 음의 번호들을 복수로 기입하게 하였다. 표 3에는 이에 대한 결과를 나타내었다.
- 본 논문에서 제안된 알고리즘이 실제로 얼마나 우수한 음질을 나타내는가를 살펴보기 위해 주관적인 음질 평가를 수행하였다. 음질 평가는 표 1에 나타난 테스트 음으로 부산대학교 전자공학과 대학원생 10명을 상대로 수행하였다.
- 본 논문에서는 MPEG-AAC (Advanced Audio Coding)[11]에서 사용하는 심리 음향 모델을 정현파 분석에 적합하도록 변형시켜 마스킹 임계치를 구하였다. 심리 음향 모델에서는 주파수 대역을 사람 귀의 특성에 따라 나누어 놓은 임계 대역 (critical band)별로 마스킹 임계치가 계산된다.
- 본 논문에서는 MPEG-AAC (Advanced Audio Coding)[11]에서 사용하는 심리 음향 모델을 정현파 분석에 적합하도록 변형시켜 마스킹 임계치를 구하였다. 심리 음향 모델에서는 주파수 대역을 사람 귀의 특성에 따라 나누어 놓은 임계 대역 (critical band)별로 마스킹 임계치가 계산된다.
- Goodwin 이 제안한 동적 세그멘테이션 방법들은 분석 및 합성 프레임 크기를 결정하기 위해 정현파 모델링의 전 과정을 통해 원래 신호를 복원해야 하므로 계산량이 많고, 폴리 포닉 음에는 잘 적용이 되지 않는다. 본 논문에서는 역퓨리에 변환 (IFFT)을 이용한 정현파 합성으로 계산량을 줄이고, 원래 신호와 합성 신호와의 오차 에너지를 정의하는 방법을 다르게 함으로써 천이 구간 근처에서만 프레임 크기를 작게 하고 나머지 부분에서는 주파수 해상도를 높일 수 있도록 프레임 크기를 크게 하는 동적 세그 멘테이션 방법[8]을 적용하였다.
- Goodwin 이 제안한 동적 세그멘테이션 방법들은 분석 및 합성 프레임 크기를 결정하기 위해 정현파 모델링의 전 과정을 통해 원래 신호를 복원해야 하므로 계산량이 많고, 폴리 포닉 음에는 잘 적용이 되지 않는다. 본 논문에서는 역퓨리에 변환 (IFFT)을 이용한 정현파 합성으로 계산량을 줄이고, 원래 신호와 합성 신호와의 오차 에너지를 정의하는 방법을 다르게 함으로써 천이 구간 근처에서만 프레임 크기를 작게 하고 나머지 부분에서는 주파수 해상도를 높일 수 있도록 프레임 크기를 크게 하는 동적 세그 멘테이션 방법[8]을 적용하였다.
- 필터 뱅크를 이용한 정현파 모델링 방법은 Levine［6］을 비롯한 몇 사람에 의해 소개되었는데, 그 중 Levine이 제안한 방법이 폴리포닉 오디오 신호를 분석하기에 적합하다고 알려져 있다. 본 논문에서는 이것을 바탕으로 그림 1과 같이 신호의 주파수 영역을 서로 다른 대역폭을 가지는 6개의 서브밴드로 나누었다. 각 서브밴드는 저주파수 대역으로 갈수록 상위 서브밴드의 대역폭보다 크기가 1/2인 옥타브 밴드 구조를 갖는다.
- 본 연구에서는 다중 해상도 필터 뱅크에서 나오는 각 서브밴드 신호에 대해 matching pursuit을 적용하여 정현파성분을 추출한다. 각 서브밴드 신호는 동적 세그멘테이션에의해 신호 구간별로 정현파 분석을 위한 최적의 프레임 크기가 결정되고, 이 분석 프레임에 matching pursuit을 적용하여 ,실제로 신호를 구성하는 가장 중요한 정현파성분부터 차례로 추출한다.
- 본 연구에서는 다중 해상도 필터 뱅크에서 나오는 각 서브밴드 신호에 대해 matching pursuit을 적용하여 정현파성분을 추출한다. 각 서브밴드 신호는 동적 세그멘테이션에의해 신호 구간별로 정현파 분석을 위한 최적의 프레임 크기가 결정되고, 이 분석 프레임에 matching pursuit을 적용하여 ,실제로 신호를 구성하는 가장 중요한 정현파성분부터 차례로 추출한다.
- 셋째, 동적 세그멘테이션에 의해 나누어진 프레임들로부터 정현파 성분의 파라메터들을 추출하기 위해 심리 음향 모델에 의한 각 주파수 성분에 대한 마스킹 임계치를 구하고 이를 이용하여 프레임 신호에 포함된 가장 큰 진폭을 가지는 정현파 성분부터 차례로 추출하는 방법을 사용하였다. 다중 해상도 필터 뱅크를 통과한 서브밴드 신호는 주파수 영역에서 확장되어 있으므로 이러한 matching pursuit 알고리즘을 적용함으로서 폴리포닉 오디오 신호에 포함된 다양한 악기음들의 정현파 성분을 효과적으로 추출할 수 있었다.
- 셋째, 동적 세그멘테이션에 의해 나누어진 프레임들로부터 정현파 성분의 파라메터들을 추출하기 위해 심리 음향 모델에 의한 각 주파수 성분에 대한 마스킹 임계치를 구하고 이를 이용하여 프레임 신호에 포함된 가장 큰 진폭을 가지는 정현파 성분부터 차례로 추출하는 방법을 사용하였다. 다중 해상도 필터 뱅크를 통과한 서브밴드 신호는 주파수 영역에서 확장되어 있으므로 이러한 matching pursuit 알고리즘을 적용함으로서 폴리포닉 오디오 신호에 포함된 다양한 악기음들의 정현파 성분을 효과적으로 추출할 수 있었다.
- 첫째, 입력 신호를 다중 해상도 필터 뱅크를 통과시켜 서로 대역폭을 가지는 6개의 서브 밴드 신호로 나누고각 서브 밴드 신호에 대해 정현파 분석을 행하였다. 이렇게 하면 광대역 오디오 신호에 대해 정현파 파라메터를좀 더 정확하게 분석할 수 있고, 시간-주파수 해상도를 향상시키는 결과를 얻을 수 있다.
- 첫째, 입력 신호를 다중 해상도 필터 뱅크를 통과시켜 서로 대역폭을 가지는 6개의 서브 밴드 신호로 나누고각 서브 밴드 신호에 대해 정현파 분석을 행하였다. 이렇게 하면 광대역 오디오 신호에 대해 정현파 파라메터를좀 더 정확하게 분석할 수 있고, 시간-주파수 해상도를 향상시키는 결과를 얻을 수 있다.
- 음질 평가는 표 1에 나타난 테스트 음으로 부산대학교 전자공학과 대학원생 10명을 상대로 수행하였다. 평가 방법은 하나의 음에 대해 시간축 변화의 시간 영역 방법인 SOLA, 주파수 영역 알고리즘인 phase vocoder, 그리고 본 논문에서 제안된 알고리즘으로 시간축 변화를 수행했을 때 원래 음질과 비교해 가장 음질이 뛰어난 것을 선택하는 것이다. 시간축 변화율은 0.
대상 데이터
- 본 논문의 알고리즘을 검증하기 위해 실험에 사용된 오디오 데이터는 표 1과 같이 음성 신호에서 연주 음악에 이르기까지 다양한 종류의 음악 신호를 포함한다. 모든 신호의 샘플링 주파수는 44JKHz이고 16비트로 표현된다.
- 본 논문에서 제안된 알고리즘이 실제로 얼마나 우수한 음질을 나타내는가를 살펴보기 위해 주관적인 음질 평가를 수행하였다. 음질 평가는 표 1에 나타난 테스트 음으로 부산대학교 전자공학과 대학원생 10명을 상대로 수행하였다. 평가 방법은 하나의 음에 대해 시간축 변화의 시간 영역 방법인 SOLA, 주파수 영역 알고리즘인 phase vocoder, 그리고 본 논문에서 제안된 알고리즘으로 시간축 변화를 수행했을 때 원래 음질과 비교해 가장 음질이 뛰어난 것을 선택하는 것이다.
이론/모형
- 각 서브밴드 신호에 대해 신호 구간마다 프레임 크기가 결정되면, 다음 단계는 각 프레임에서 스펙트럼 분석을 통해 정현파 성분을 찾아내고 정현파 성분에 대한 파라 메터를 추출하는 것이다. 본 논문에서는 정현파 추출을 위한 스펙트럼 분석 도구로 matching pursuit[9-10]을 사용한다. Matching pursuit은 반복 과정을 통해서 스펙트럼 상에서 가장 중요한 정현파 성분만을 차례로 찾아냄으로써, 단순한 피크 선택 방법보다 여러 개의 음의 주파수 성분이 섞여 있는 폴리포닉 음의 정현파 분석에 유리하다.
- 본 논문에서는 정현파 추출을 위한 스펙트럼 분석 도구로 matching pursuit[9-l이을 사용한다.
성능/효과
- Matching pursuite 반복 과정을 통해서 스펙트럼상에서 가장 중요한 정현파 성분만을 차례로 찾아냄으로써, 단순한 피크 선택 방법보다 여러 개의 음의 주파수 성분이 섞여 있는 폴리포닉 음의 정현파 분석에 유리하다.
- 그리고 시간축 축소인 경우에는 폴리포닉 음에 대해서도 비교적 좋은 결과를 얻을 수 있음을 보여준다. 그러나 폴리포닉 음의 시간축 확장이나 음성 신호의 시간축 확장시 변화율이 1.5 이상인 경우에는 음질이 매우 떨어지는 것을 확인하였다.
- 그리고 시간축 축소인 경우에는 폴리포닉 음에 대해서도 비교적 좋은 결과를 얻을 수 있음을 보여준다. 그러나 폴리포닉 음의 시간축 확장이나 음성 신호의 시간축 확장시 변화율이 1.5 이상인 경우에는 음질이 매우 떨어지는 것을 확인하였다.
- 그림 6은 'origl'음의 정현파 성분의 합성 산호 잡음성분의 합성 신호, 그리고 이 두 개의 신호를 더한 원래 신호의 추정 신호를 나타내고 있다 청취 실험 결과 본 논문에서 제안한 정현파 모델링으로부터 합성된 신호는 원래 신호의 음질을 그대로 복원할 수 있음을 확인할 수 있었다.
- 셋째, 동적 세그멘테이션에 의해 나누어진 프레임들로부터 정현파 성분의 파라메터들을 추출하기 위해 심리 음향 모델에 의한 각 주파수 성분에 대한 마스킹 임계치를 구하고 이를 이용하여 프레임 신호에 포함된 가장 큰 진폭을 가지는 정현파 성분부터 차례로 추출하는 방법을 사용하였다. 다중 해상도 필터 뱅크를 통과한 서브밴드 신호는 주파수 영역에서 확장되어 있으므로 이러한 matching pursuit 알고리즘을 적용함으로서 폴리포닉 오디오 신호에 포함된 다양한 악기음들의 정현파 성분을 효과적으로 추출할 수 있었다.
- 셋째, 동적 세그멘테이션에 의해 나누어진 프레임들로부터 정현파 성분의 파라메터들을 추출하기 위해 심리 음향 모델에 의한 각 주파수 성분에 대한 마스킹 임계치를 구하고 이를 이용하여 프레임 신호에 포함된 가장 큰 진폭을 가지는 정현파 성분부터 차례로 추출하는 방법을 사용하였다. 다중 해상도 필터 뱅크를 통과한 서브밴드 신호는 주파수 영역에서 확장되어 있으므로 이러한 matching pursuit 알고리즘을 적용함으로서 폴리포닉 오디오 신호에 포함된 다양한 악기음들의 정현파 성분을 효과적으로 추출할 수 있었다.
- 둘째, 정현파 모델링의 분석/합성 과정에서 일정한 크기의 파형 구간에서 분석/합성이 이루어짐에 따라 짧은 시간 내에 급격하게 신호의 특성이 변화하는 어택(attack)과 같은 천이 구간(transients)을 잘 표현할 수 없다. 이를 해결하기 위해 천이 구간만을 따로 분리시켜 파형을 그대로 복원할 수 있는 다른 방법을 사용해 모델링하는 방법이 있다［5-6］.
- 둘째, 정현파 모델링의 분석/합성 과정에서 일정한 크기의 파형 구간에서 분석/합성이 이루어짐에 따라 짧은 시간 내에 급격하게 신호의 특성이 변화하는 어택(attack)과 같은 천이 구간(transients)을 잘 표현할 수 없다. 이를 해결하기 위해 천이 구간만을 따로 분리시켜 파형을 그대로 복원할 수 있는 다른 방법을 사용해 모델링하는 방법이 있다［5-6］.
- 본 논문의 알고리즘을 이용해 다양한 폴리포닉 음을 실험한 결과 제안한 정현파 모델링 방법이 원해 신호의음질을 잘 복원할 수 있고, 시간축 변화율의 큰 경우에도 신호의 천이 구간을 잘 표현할 수 있음을 확인하였다. 주관적인 음질 평가를 통해 여러 가지 시간축 알고리즘을 비교한 결과 폴리포닉 음에 대해 본 논문의 알고리즘이 기존의 방법보다 우中한 음질을 내는 것을 확인하였다.
- 본 논문의 알고리즘을 이용해 다양한 폴리포닉 음을 실험한 결과 제안한 정현파 모델링 방법이 원해 신호의음질을 잘 복원할 수 있고, 시간축 변화율의 큰 경우에도 신호의 천이 구간을 잘 표현할 수 있음을 확인하였다. 주관적인 음질 평가를 통해 여러 가지 시간축 알고리즘을 비교한 결과 폴리포닉 음에 대해 본 논문의 알고리즘이 기존의 방법보다 우中한 음질을 내는 것을 확인하였다.
- 셋째, 지금까지 정현파 모델링에 대해 연구되어 온 것은 주로 음성 신호나 단일 악기음에 대한 것으로 이것을 여러 가지 악기음이 복잡하게 섞여 있는 폴리포닉 음에는 적용하기 어럽다 음성 신호나 단일 악기음의 경우 정현파 분석 과정에서 필요한 윈도우의 크기, FFT 크기, 그리고 윈도우 적용 간격 등의 분석 파라메터들은 주로 신호의 피치 주파수로부터 결정되지만, 폴리포닉 음은 단일 피치 주파수를 정의할 수 없으므로 일정한 분석 파라메터를 결정하기 어럽다.
- 셋째, 지금까지 정현파 모델링에 대해 연구되어 온 것은 주로 음성 신호나 단일 악기음에 대한 것으로 이것을 여러 가지 악기음이 복잡하게 섞여 있는 폴리포닉 음에는 적용하기 어럽다 음성 신호나 단일 악기음의 경우 정현파 분석 과정에서 필요한 윈도우의 크기, FFT 크기, 그리고 윈도우 적용 간격 등의 분석 파라메터들은 주로 신호의 피치 주파수로부터 결정되지만, 폴리포닉 음은 단일 피치 주파수를 정의할 수 없으므로 일정한 분석 파라메터를 결정하기 어럽다.
- 각 서브밴드 신호는 동적 세그멘테이션에의해 신호 구간별로 정현파 분석을 위한 최적의 프레임 크기가 결정되고, 이 분석 프레임에 matching pursuit을 적용하여 ,실제로 신호를 구성하는 가장 중요한 정현파성분부터 차례로 추출한다. 여러가지 음악 신호에 대해 실험한 결과, 각 서브밴드 신호의 하나의 분석 프레임에서 15~20개 정도의 정현파 성분을 추출하면 원래 신호와 거의 구별할 수 없는 음질의 신호를 합성할 수 있음을 확인하였다.
- 각 서브밴드 신호는 동적 세그멘테이션에의해 신호 구간별로 정현파 분석을 위한 최적의 프레임 크기가 결정되고, 이 분석 프레임에 matching pursuit을 적용하여 ,실제로 신호를 구성하는 가장 중요한 정현파성분부터 차례로 추출한다. 여러가지 음악 신호에 대해 실험한 결과, 각 서브밴드 신호의 하나의 분석 프레임에서 15~20개 정도의 정현파 성분을 추출하면 원래 신호와 거의 구별할 수 없는 음질의 신호를 합성할 수 있음을 확인하였다.
- 본 논문의 알고리즘을 이용해 다양한 폴리포닉 음을 실험한 결과 제안한 정현파 모델링 방법이 원해 신호의음질을 잘 복원할 수 있고, 시간축 변화율의 큰 경우에도 신호의 천이 구간을 잘 표현할 수 있음을 확인하였다. 주관적인 음질 평가를 통해 여러 가지 시간축 알고리즘을 비교한 결과 폴리포닉 음에 대해 본 논문의 알고리즘이 기존의 방법보다 우中한 음질을 내는 것을 확인하였다.
- 본 논문의 알고리즘을 이용해 다양한 폴리포닉 음을 실험한 결과 제안한 정현파 모델링 방법이 원해 신호의음질을 잘 복원할 수 있고, 시간축 변화율의 큰 경우에도 신호의 천이 구간을 잘 표현할 수 있음을 확인하였다. 주관적인 음질 평가를 통해 여러 가지 시간축 알고리즘을 비교한 결과 폴리포닉 음에 대해 본 논문의 알고리즘이 기존의 방법보다 우中한 음질을 내는 것을 확인하였다.
- 첫째, 정현파 모델은 신호의 특성이 안정적이고 주기적이라는 전제하에서 신호를 잘 모델링한다. 이것은 스펙트럼이 랜덤하게 변화하는 잡음과 같은 신호에는 잘 적용이 되지 않는다는 것을 의미한다.
- 그림 6은 'origl'음의 정현파 성분의 합성 산호 잡음성분의 합성 신호, 그리고 이 두 개의 신호를 더한 원래 신호의 추정 신호를 나타내고 있다 청취 실험 결과 본 논문에서 제안한 정현파 모델링으로부터 합성된 신호는 원래 신호의 음질을 그대로 복원할 수 있음을 확인할 수 있었다.
- 한편, 본 논문에서 제안된 알고리즘은 음성 신호를 제외한 대부분의 폴리포닉 음에서 시간축 변화시킨 음이 우수한 음질을 내는 것을 확인할 수 있다. 그리고 음성 신호와 같이 주기성이 높은 신호의 경우 시간축 변화된 신호의 음질은 SOLA 방법이 정현파 모델링 방법보다 좀 더 우수한 결과를 나타내는 것을 알 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.