2채널에서는 전방의 상향 45 도 위치에 고도채널(LH, RH)을 배치한 것이다. 10.2 채널에서의 고도채널은 콘서트 홀이나 공연무대에서 상향 반사판과 같이 관객의 위치에서 위쪽에서 전해오는 천장 반사판과 같은 역할을 하고, 본 논문에서 는 천장 조기 반사음(ceiling early reflection)의 이용을 제안한다. 천장 조기 반사음은 콘서트홀의 천장 반사판과 같은 역할을 만족시키고 풍성한 사운드를 전달한다.

그리고 두 채널간의 상호 상관도를 줄이기 위해 비상관기를 적용하는 일련의 과정을 통해서 만들어 진다.

따라서 본 논문에서는 앞 장에서 주요성분의 분리 분석을 위해 사용했던 PCA알고리즘을 기반으로 고유 값의 비율인 γ을 이용하여, 후방 채널의 이득을 조절한다.

전방 3채널에 대한 패닝 알고리즘은 정면 C채널을 기본으로 좌･우로 패닝 된 경우 C채널과 FL 또는 FR채널을 두 쌍의 스피커(pairwise)를 묶어 패닝게인을 계산하는 Amplitude Panning방법이 일반적이나 pair-wise 패닝 방법은 전방 C채널을 기준으로 좌･우 두 채널 가운데 하나의 채널만을 이용하기 때문에 청자가 전방 음상을 지각할 때 정면 혹은 좌･우의 측면 스피커 쪽으로 음원이 몰리는 현상이나, 음상의 불연속적인 느낌을 초래하는 문제점이 있다. 따라서 전방의 세 채널에 패닝게인을 적용하여 세 채널을 모두 이용하면서 Vector Base Amplitude Panning(VBAP)과 같은 간단한 연산이 가능한 패닝 방법을 적용하였다^[9,17]. 다음의 그림 4는 전방 세 채널에 해당하는 음원 합성과 렌더링 과정을 보여주고 있다.

1채널용 스피커와 rx-v 리시버 두 대를 이용했는데, 실험에 쓰인 리시버는 멀티채널 입력을 지원하기 때문에 앞에서 제안한 채널별 모듈을 통해 생성된 각 채널별 음원이 그대로 증폭되어 비교 성능 평가가 가능하다. 또한 비교 업믹싱 방법은 실험에 쓰인 리시버에서 제공되는 정보를 이용하여 업믹싱 기법간의 성능 평가가 가능하도록 하였다. 실험을 진행할 때에는 비교 대상이 되는 업믹싱 방법을 피 실험자에게 알려주지 않고 임의로 들려주는 비교 평가를 하게 하였다.

이를 통해 청자의 몰입도를 높이고 청자가 음장감에 둘러싸이는 듯한 포위감을 높일 수 있다. 또한 전방 채널과 후방 써라운드 채널 사이에 생기는 넓은 공간을 보상하고 음원의 방향성을 넓히기 위해 측면채널(WL, WR)을 추가로 배치하였다. 측면채널은 사운드의 방향성을 넓히고 풍성함의 극대화를 위해 고도채널과 마찬가지로 측면 초기 반사음(wide early reflection) 사용을 제안하다.

스테레오에서 임의의 멀티채널 오디오 시스템으로 변환하는 업믹싱 기술의 목적은 기존의 스테레오 입력이 가지고 있는 공간정보의 왜곡을 최소화 하면서 임의의 멀티채널 포맷을 통해 더 실감나는 입체음향효과와 풍부한 음장감을 재생시키는 것이라고 할 수 있다. 본 논문의 채널 업믹스 알고리즘의 입력 신호로는 가장 범용적으로 사용되고 있는 2채널의 스테레오 신호를 가정하였고 출력신호는 USC 10.2채널을 목표로 스테레오 신호를 멀티채널로 변환하는 업믹스 알고리즘을 기본 구조로 하고 있다^[8]. 식 (2)에 해당되는 패닝게인의 추정으로 입력 스테레오가 가지고 있는 평면상의 음원 방향각도(azimuth)를 추정할 수 있고, 추정된 패닝게인은 음원 재합성 과정에 해당되는 스테레오에서 임의의 배치의 멀티채널 신호로 재합성하는 과정에서 방향성 있는 음원을 만들어낼 수 있다.

2채널을 기존의 상용화된 업믹싱 알고리즘들과 비교하는 주관적 음질 평가 실험을 실시하였다. 실험 방법으로는 10 ~ 30초의 길이를 가지는 각기 다른 특징을 가지는 5가지 샘플에 대해 스테레오 입력 음원을 기준으로 5가지의 업믹싱 방법을 그림 11에 나와 있는 것처럼 입체 공간적 성능(spatial quality)와 음색적 성능(timbral quality)으로 나누어 평가하도록 하였으며 피실험자는 표 1에 나와 있는 기준과 같이 -3 ~ +3점의 상대적인 선호도를 평가하도록 하였다 ^[27].

5 m로 통일 하였다. 실험은 총 10명의 피 실험자가 참가하였고, 비교 업믹싱 방법으로는 Dolby PrologicII(5.1채널) ^[1], Dolby PrologicIIx(7.1채널) ^[1,28], 그리고 본 논문에서 제안한 채널별 모듈을 통해 생성된 5.1, 7.1, 10.2채널에 대해서 USC 10.2채널에 정의된 배치를 준수한 멀티채널 오디오 시스템들을 비교하였다. 실험에 쓰인 장비는 Yamaha의 NS-M125 5.

또한 비교 업믹싱 방법은 실험에 쓰인 리시버에서 제공되는 정보를 이용하여 업믹싱 기법간의 성능 평가가 가능하도록 하였다. 실험을 진행할 때에는 비교 대상이 되는 업믹싱 방법을 피 실험자에게 알려주지 않고 임의로 들려주는 비교 평가를 하게 하였다.

본 논문에서는 스테레오를 이용해 멀티채널 포맷변환을 위한 업믹싱 기법을 제안하고 있다. 음원 재합성 과정에서는 본 논문에서 제안하고 있는 채널별 모듈을 이용해 실험적으로 스테레오와 기존의 업믹싱 기법들을 주관적 음질 평가를 통해 비교하였다. 그 결과, 본 논문에서 제안된 채널 모듈을 이용한 업믹싱 기법은 현재 가장 많이 사용되고 있는 Dolby PrologicII, Dolby PrologicIIx에 비해 기존의 스테레오가 가지고 있는 공간정보의 유지와 전체적인 음질면에서 좋은 평가를 받았으며, 입체 음향적 측면에서도 좋은 평가의 점수를 받았다.

성분이 좌･우 채널에 각각 섞여 있다. 이 신호모델을 바탕으로 음원 분리 과정에서는 음원 S와 N_L, N_R성분을 분리하고 공간정보에 해당되는 패닝게인 a_L, a_R을 분리해 낸다. 이때 분리된 패닝게인은 음향공간에서 음원이 가지고 있는 방향에 해당되고 음원 재합성 과정에서도 왜곡 없이 재현되어야 한다.

또한 전방 채널과 후방 써라운드 채널 사이에 생기는 넓은 공간을 보상하고 음원의 방향성을 넓히기 위해 측면채널(WL, WR)을 추가로 배치하였다. 측면채널은 사운드의 방향성을 넓히고 풍성함의 극대화를 위해 고도채널과 마찬가지로 측면 초기 반사음(wide early reflection) 사용을 제안하다. 후방 써라운드 채널 간의 유격현상을 보상을 위해 후방 센터 채널(BS)이 추가되었고 저주파 사운드를 보강하기 위해 우퍼 채널(Lsub, Rsub)을 좌･우에 배치함으로써 보다 풍부한 저주파 사운드를 제공한다.

측면채널은 사운드의 방향성을 넓히고 풍성함의 극대화를 위해 고도채널과 마찬가지로 측면 초기 반사음(wide early reflection) 사용을 제안하다. 후방 써라운드 채널 간의 유격현상을 보상을 위해 후방 센터 채널(BS)이 추가되었고 저주파 사운드를 보강하기 위해 우퍼 채널(Lsub, Rsub)을 좌･우에 배치함으로써 보다 풍부한 저주파 사운드를 제공한다. ITU 3/2 채널은 평면상의 2차원적인 음향효과를 극대화시켰다면 USC 10.

제안된 채널별 모듈을 이용하여 생성된 10.2채널을 기존의 상용화된 업믹싱 알고리즘들과 비교하는 주관적 음질 평가 실험을 실시하였다. 실험 방법으로는 10 ~ 30초의 길이를 가지는 각기 다른 특징을 가지는 5가지 샘플에 대해 스테레오 입력 음원을 기준으로 5가지의 업믹싱 방법을 그림 11에 나와 있는 것처럼 입체 공간적 성능(spatial quality)와 음색적 성능(timbral quality)으로 나누어 평가하도록 하였으며 피실험자는 표 1에 나와 있는 기준과 같이 -3 ~ +3점의 상대적인 선호도를 평가하도록 하였다 ^[27].

여러 음원분리 알고리즘 중 스테레오 채널 간의 교차 채널 예측 방법(crosschannel prediction)은 상관도를 이용하여 주요잔향성분을 분리하는 것이 아니라 상호 채널간의 교차 추정방식을 이용하기 때문에 주요성분이 한쪽으로 치우쳐서 패닝된 경우에도 주요성분을 잘 분리해 낼 수 있다. 그렇기 때문에 본 논문에서는 음원분리 성능과 채널 변환 성능을 극대화시키기 위해 상호 교차 채널 추정 방법을 잔향분리 알고리즘으로 사용하였다. 잔향성분 분리를 위해 사용되는 교차 채널 예측방법 블록도는 그림 2에 나타나 있다.

하지만 잔향 및 기타 다른 성분들이 함께 존재하면서 좌ㆍ우의 채널의 상호 상관도를 떨어뜨리게 된다. 본 연구에서는 이러한 특성을 이용하여, 주요성분을 분리하기 위해 Principal Component Analysis(PCA)알고리즘을 이용하였다^[13]. PCA알고리즘을 이용하여 스테레오 신호의 고유 값(eigen value)과 고유 벡터(eigen vector)를 얻을 수 있고, 이를 이용해 스테레오의 패닝게인, 최종적으로 스테레오의 공간정보에 해당되는 방향 각도(θ)를 얻을 수 있다.

식 (2)에 해당되는 패닝게인의 추정으로 입력 스테레오가 가지고 있는 평면상의 음원 방향각도(azimuth)를 추정할 수 있고, 추정된 패닝게인은 음원 재합성 과정에 해당되는 스테레오에서 임의의 배치의 멀티채널 신호로 재합성하는 과정에서 방향성 있는 음원을 만들어낼 수 있다. 패닝 알고리즘은 기본적인 레벨 패닝(amplitude panning)방법^[9]을 적용하였다.

스테레오 신호에서 주요 성분인 S를 분리하기 위해서는 식 (3)에서 A에 대한 역행렬(inverse matrix)이 필요하다. 하지만 수식 (3)에서 A의 행렬은 under-determined, degenerate경우에 해당되기 때문에 이러한 음원을 분리하기 위해서 유사역행렬(pseudoinverse matrix)방법을 이용하였다. 이때 A성분은 모두 양의 실수 값을 가지기 때문에 식 (4)와 같이 전치 행렬(transpose matrix)로 대치될 수 있다.

이는 제안된 알고리즘인 음원 분석과정에서 실험적으로 가장 좋은 음원 분리 분석 알고리즘을 평가, 사용하고 스테레오가 가지는 공간감을 유지시키기 위한 음원 합성 과정으로 인해, 상대적으로 스테레오에 가까운 공간감을 유지하고 입체 음향효과를 극대화시켰기 때문이라고 할 수 있다. 각 비교 군에 대해 5가지 샘플의 실험결과의 평균을 비교해 보았을 때 제안된 5.1채널과 Dolby5.1은 거의 거의 비슷한 성능을 보이고 있고, 제안된 7.1채널은 Dolby7.1과 비교해 상대적으로 조금 더 좋은 성능의 점수를 받았다. 특히 본 논문에서 제안한 채널 별 생성 모듈을 이용한 10.

음원 재합성 과정에서는 본 논문에서 제안하고 있는 채널별 모듈을 이용해 실험적으로 스테레오와 기존의 업믹싱 기법들을 주관적 음질 평가를 통해 비교하였다. 그 결과, 본 논문에서 제안된 채널 모듈을 이용한 업믹싱 기법은 현재 가장 많이 사용되고 있는 Dolby PrologicII, Dolby PrologicIIx에 비해 기존의 스테레오가 가지고 있는 공간정보의 유지와 전체적인 음질면에서 좋은 평가를 받았으며, 입체 음향적 측면에서도 좋은 평가의 점수를 받았다. 특히 본 논문에서 최종적으로 제안하고 있는 10.

추가된 채널로 인해 스테레오가 가지고 있지 않은 음원들의 입체감이 증가하고 음장감이 확대되면서 업믹싱 기법들은 전체적으로 스테레오보다 써라운드 효과 및 입체적인 음향효과가 향상되었음을 알 수 있다. 그러나 기준이 되는 스테레오와 업믹싱 기법들을 비교했을 때, 음질의 열화(degradation)를 비교한 청취 실험 결과를 보게 되면 0 ~ -3점의 성능 점수로 평가 된것을 볼 수 있는데, 이는 업믹싱 기법들은 기준이 되는 스테레오가 가지는 방향감이나, 공간감을 유지하는 것과 추가 채널생성 과정에서 음질의 열화를 평가하는 것으로 0 ~ -3점으로 평가 되었다. 음질의 열화의 성능 평가 결과를 보게 되면, Dolby5.

하지만 본 연구와 같은 입체음향 신호처리에서는 음원 분리 성능의 극대화보다 방향정보의 유지가 우선이 되어야 한다. 따라서 제안된 음원 분리 알고리즘의 장점은 이전 방법과 달리, 음원의 에너지 정보에 영향 받지 않고 공간상에서의 방향정보만을 반영하여 음원을 분리할 수 있다는 점이다. 잔향 성분 분리 알고리즘에서도 주요성분 분리 알고리즘에서 나타나는 문제점이 나타나는데, 여러 음원분리 알고리즘을 적용하더라도 완벽하게 원하는 음원만을 분리할 수 없고 원치 않은 음원들 또는 주요성분들이 포함된다.

제안된 전･후방 채널 게인은 γ값을 이용하기 때문에 패닝 된 신호의 패닝 각도에 상관없이 일정한 이득을 얻을 수 있다. 또한 기존의 PCA 분석 시 사용하였던 파라미터를 그대도 사용하고 편향 추정기를 사용하지 않게 됨으로써 추가적인 계산을 필요로 하지 않으며 하드 패닝 된 신호에 대해 Soft한 이득을 구할수 있어 제안한 전･후방 채널 이득 조절은 간단한 계산량으로 하드 패닝된 신호에 대한 여러 문제점을 개선해주는 장점이 있다.

2채널에 정의된 배치를 준수한 멀티채널 오디오 시스템들을 비교하였다. 실험에 쓰인 장비는 Yamaha의 NS-M125 5.1채널용 스피커와 rx-v 리시버 두 대를 이용했는데, 실험에 쓰인 리시버는 멀티채널 입력을 지원하기 때문에 앞에서 제안한 채널별 모듈을 통해 생성된 각 채널별 음원이 그대로 증폭되어 비교 성능 평가가 가능하다. 또한 비교 업믹싱 방법은 실험에 쓰인 리시버에서 제공되는 정보를 이용하여 업믹싱 기법간의 성능 평가가 가능하도록 하였다.

그러나 기준이 되는 스테레오와 업믹싱 기법들을 비교했을 때, 음질의 열화(degradation)를 비교한 청취 실험 결과를 보게 되면 0 ~ -3점의 성능 점수로 평가 된것을 볼 수 있는데, 이는 업믹싱 기법들은 기준이 되는 스테레오가 가지는 방향감이나, 공간감을 유지하는 것과 추가 채널생성 과정에서 음질의 열화를 평가하는 것으로 0 ~ -3점으로 평가 되었다. 음질의 열화의 성능 평가 결과를 보게 되면, Dolby5.1, Dolby7.1보다 본 논문에서 제안된 채널 별 모듈로 생성된 업믹싱 기법들이 좋은 평가를 받은 것을 볼 수 있다. 이는 제안된 알고리즘인 음원 분석과정에서 실험적으로 가장 좋은 음원 분리 분석 알고리즘을 평가, 사용하고 스테레오가 가지는 공간감을 유지시키기 위한 음원 합성 과정으로 인해, 상대적으로 스테레오에 가까운 공간감을 유지하고 입체 음향효과를 극대화시켰기 때문이라고 할 수 있다.

을 이용하고 이를 기반으로 효과적인 입체음향과 풍부한 음장 효과를 극대화하기 위한 업믹스 알고리즘을 제안한다. 제안된 알고리즘들은 목표로 하고 있는 USC 10.2채널 외에도 다양한 채널 포맷과 채널 추가 과정에서도 이용될 수 있는 호환성을 지니고 있다. 식 (1)과 같은 스테레오 신호모델은 기존의 많은 채널변환 연구에서 공통적으로 가정하고 있으며, 이 신호모델을 기반으로 단 구간 퓨리에 변환(short time Fourier transform)에 의해 얻어진 주파수 신호를 청각특성을 기반으로 하는 서브밴드단위인 임계대역(critical band)^[11]으로 나누어서 입력 신호모델을 분석 하였다.

제안된 전･후방 채널 게인은 γ값을 이용하기 때문에 패닝 된 신호의 패닝 각도에 상관없이 일정한 이득을 얻을 수 있다.

5가지 샘플을 이용한 주관적 음질 평가 실험의 결과가 그림 12에 나타나 있고 실험 결과에 색인된 업믹스 알고리즘은 표 2에 설명되어있다. 청취 실험 결과, 제안된 모든 업믹싱 기법들은 기준인 스테레오에 비해 모두 높은 성능의 점수를 받았다. 추가된 채널로 인해 스테레오가 가지고 있지 않은 음원들의 입체감이 증가하고 음장감이 확대되면서 업믹싱 기법들은 전체적으로 스테레오보다 써라운드 효과 및 입체적인 음향효과가 향상되었음을 알 수 있다.

청취 실험 결과, 제안된 모든 업믹싱 기법들은 기준인 스테레오에 비해 모두 높은 성능의 점수를 받았다. 추가된 채널로 인해 스테레오가 가지고 있지 않은 음원들의 입체감이 증가하고 음장감이 확대되면서 업믹싱 기법들은 전체적으로 스테레오보다 써라운드 효과 및 입체적인 음향효과가 향상되었음을 알 수 있다. 그러나 기준이 되는 스테레오와 업믹싱 기법들을 비교했을 때, 음질의 열화(degradation)를 비교한 청취 실험 결과를 보게 되면 0 ~ -3점의 성능 점수로 평가 된것을 볼 수 있는데, 이는 업믹싱 기법들은 기준이 되는 스테레오가 가지는 방향감이나, 공간감을 유지하는 것과 추가 채널생성 과정에서 음질의 열화를 평가하는 것으로 0 ~ -3점으로 평가 되었다.

1과 비교해 상대적으로 조금 더 좋은 성능의 점수를 받았다. 특히 본 논문에서 제안한 채널 별 생성 모듈을 이용한 10.2채널 업믹싱 기법은 비교 대상이 되는 다른 업믹싱 기법들 보다 좋은 성능의 평가를 받았다. 이는7.

그 결과, 본 논문에서 제안된 채널 모듈을 이용한 업믹싱 기법은 현재 가장 많이 사용되고 있는 Dolby PrologicII, Dolby PrologicIIx에 비해 기존의 스테레오가 가지고 있는 공간정보의 유지와 전체적인 음질면에서 좋은 평가를 받았으며, 입체 음향적 측면에서도 좋은 평가의 점수를 받았다. 특히 본 논문에서 최종적으로 제안하고 있는 10.2채널 업믹싱 기법은 5.1, 7.1채널과 비교해서 크게 향상된 성능을 보이는 것으로 보여 졌다.