초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문은 가상현실 음향 구현을 위한 심층신경망 기반 사운드 보간 방법에 관한 것으로서, 이를 통해 두 지점에서 취득한 음향 신호들을 사용하여 두 지점 사이의 음향을 생성한다. 산술평균이나 기하평균 같은 통계적 방법으로 사운드 보간을 수행할 수 있지만 이는 실제 비선형 음향 특성을 반영하기에 미흡하다. 이러한 문제를 해결하기 위해서 본 연구에서는 두 지점들과 목표 지점의 음향신호를 기반으로 심층신경망을 훈련하여 사운드 보간을 시도하였으며, 실험결과 통계적 방법에 비해 심층신경망 기반 사운드 보간 방법의 성능이 우수함을 보였다.

본 논문은 가상현실 음향 구현을 위한 심층신경망 기반 사운드 보간 방법에 관한 것으로서, 이를 통해 두 지점에서 취득한 음향 신호들을 사용하여 두 지점 사이의 음향을 생성한다. 산술평균이나 기하평균 같은 통계적 방법으로 사운드 보간을 수행할 수 있지만 이는 실제 비선형 음향 특성을 반영하기에 미흡하다. 이러한 문제를 해결하기 위해서 본 연구에서는 두 지점들과 목표 지점의 음향신호를 기반으로 심층신경망을 훈련하여 사운드 보간을 시도하였으며, 실험결과 통계적 방법에 비해 심층신경망 기반 사운드 보간 방법의 성능이 우수함을 보였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 연구는 UCC(User Create Contents)를 이용한 시청자 이동형 자유시점 360VR 실감미디어 제공과 관련된 연구이다. 현재 VR 미디어를 취득하기 위해서 주로 특수한 장비를 사용하며, 이러한 방법은 제한된 사용자만이 VR(Virtual Reality) 콘텐츠를 제작할 수 있다는 한계를갖는다.
• 본 연구에서는 실제 음향환경의 비선형 특성을 반영하여 성능을 개선하기 위해 심층신경망을 이용한 사운드 보간 방법을 개발하였다. 두지점에서 받은 음향 신호의 단구간 스펙트럼(short-time spectrum)을 구한 뒤 이 두 지점의 데이터를 입력으로 사용하고 목표 지점의 단구간 스펙트럼이 출력되도록 심층신경망을 훈련시킨다.
• 통계적 방법을 이용해 사운드 보간을진행할 수 있으나 실제 음향환경의 비선형 특성을 잘 반영할 수 없다. 이러한 문제를 해결하기 위하여 본 논문에서는 심층신경망(deep neural network, DNN)을 이용한 사운드 보간 기법을 제안한다.

제안 방법

• UCC를 이용한 시청자 이동형 VR 음향구현에 있어서 두 지점 사이의 음향 신호를 생성할 때 심층신경망을 이용한 사운드 보간법에 대한 연구를 수행하였다.
• 이를 위해 MARDY 데이터베이스의 실내임펄스응답(room impulse response) [6]을 활용하였으며, 이를 16,000 Hz로 다운샘플링 후 VCTK 데이터와의 콘볼루션을 통해 잔향환경 음원을 생성하였다. 그림 3과 같은 배치에서 L-speaker의 출력 음향을Mic1과 Mic5로 취득한 후 이를 통해 Mic3의 음향 신호를 생성하는 실험을 진행했다.
• 본 연구에서는 실제 음향환경의 비선형 특성을 반영하여 성능을 개선하기 위해 심층신경망을 이용한 사운드 보간 방법을 개발하였다. 두지점에서 받은 음향 신호의 단구간 스펙트럼(short-time spectrum)을 구한 뒤 이 두 지점의 데이터를 입력으로 사용하고 목표 지점의 단구간 스펙트럼이 출력되도록 심층신경망을 훈련시킨다. 이러한 과정을 통해서 제한된 음향 데이터만을 이용해 두 지점 사이의 취득하지 못한 좌표지점의 음향 데이터를 얻어낼 수 있다.
• 머리전달함수(head related transfer function, HRTF)는 정면을 0도 오른쪽이 90도 왼쪽을 270도로 정의한다. 실험을 위해 두 데이터는 16,000 Hz로 다운샘플링 하였으며, 모노 사운드인VCTK 데이터와 각각 0도와 45도 그리고 90도에 해당하는 HRIR(head related impulse response)을 콘볼루션하여 스테레오 음향 신호를 생성했다. 그림 2는 통계적 방법과 기준 신호 그리고 심층신경망을 이용해 구한 스펙트럼의 크기를 비교한 것으로서, 0에서 4,000 Hz에 해당하는 부분을 확대하여 도시한 것이다.
• 또한 학습시 최적화 알고리즘은ADAM(ADAptive Moment estimation) [3]을 사용하였다. 이렇게 훈련된 심층신경망을 통해 목표 지점에 해당하는 스펙트럼 크기를 추정한다.
• 우선, 두 지점에서 받은 음향 신호의 단구간 스펙트럼으로부터 통계적 방법인 산술평균과 기하평균을 이용해 사운드 보간을 진행해보았으나 실제 비선형 음향특성을 반영하지 못해 성능이 미흡함을 확인하였다. 이를 개선하기 위해 심층신경망을 이용한 사운드 보간 기법을 개발하였다. 머리전달함수 기반 실험과 잔향환경 실험을 통해 심층신경망 기반 사운드 보간 기법이 통계적 방법에 비해 성능이 우수함을 확인할 수 있었다.
• 잔향 환경에서 유효함을 확인하기 위해 sound beamforming 데이터를 이용해 실험해 보았다. 이를 위해 MARDY 데이터베이스의 실내임펄스응답(room impulse response) [6]을 활용하였으며, 이를 16,000 Hz로 다운샘플링 후 VCTK 데이터와의 콘볼루션을 통해 잔향환경 음원을 생성하였다. 그림 3과 같은 배치에서 L-speaker의 출력 음향을Mic1과 Mic5로 취득한 후 이를 통해 Mic3의 음향 신호를 생성하는 실험을 진행했다.
• 잔향 환경에서 유효함을 확인하기 위해 sound beamforming 데이터를 이용해 실험해 보았다. 이를 위해 MARDY 데이터베이스의 실내임펄스응답(room impulse response) [6]을 활용하였으며, 이를 16,000 Hz로 다운샘플링 후 VCTK 데이터와의 콘볼루션을 통해 잔향환경 음원을 생성하였다.

대상 데이터

• 실험에 사용한 데이터는 VCTK 음성 [4]과 PKU-IOA HRTF 데이터베이스 [5]이다. 머리전달함수(head related transfer function, HRTF)는 정면을 0도 오른쪽이 90도 왼쪽을 270도로 정의한다.
• 실험에 사용한 심층신경망의 은닉층 개수는 3이며 입력 노드는 A와B지점의 각각 주파수 해상도(Frequency bin) 257개를 더한 514개이고 출력노드는 목표 지점인 45도에 해당하는 주파수 해상도 257개로 구성했다. 활성함수 (activation function)로는 노드의 입력 x에 노드 출력이 max(0, x)인 ReLU(Rectified Linear Units) [1]를 사용하였으며 활성함수 이후에 drop out [2]도 사용하였다.
• 앞선 실험과 동일한 방법으로 단구간 스펙트럼을 구하였다. 입력 노드는 Mic1의 주파수 해상도 257차와 Mic5의 주파수 해상도 257차를 합한 514개로 구성했고, 출력 노드는 Mic3의 주파수 해상도인 257차로 훈련을 진행했다. 이후 과정은 전 실험과 동일하게 진행하였다.

데이터처리

• 이에 반해 심층신경망(범례의 DNN)을 이용해 얻은 추정치는 실제 값과 거의 일치함을 알 수 있다. 객관적 성능 비교를 위해 RMSE(Root Mean Square Error)를 사용하였다. 표 1은 머리전달함수 기반 합성음원에 대한 사운드 보간 기법의 RMSE 결과이다.

이론/모형

• 활성함수 (activation function)로는 노드의 입력 x에 노드 출력이 max(0, x)인 ReLU(Rectified Linear Units) [1]를 사용하였으며 활성함수 이후에 drop out [2]도 사용하였다. 또한 학습시 최적화 알고리즘은ADAM(ADAptive Moment estimation) [3]을 사용하였다. 이렇게 훈련된 심층신경망을 통해 목표 지점에 해당하는 스펙트럼 크기를 추정한다.
• 실험에 사용한 심층신경망의 은닉층 개수는 3이며 입력 노드는 A와B지점의 각각 주파수 해상도(Frequency bin) 257개를 더한 514개이고 출력노드는 목표 지점인 45도에 해당하는 주파수 해상도 257개로 구성했다. 활성함수 (activation function)로는 노드의 입력 x에 노드 출력이 max(0, x)인 ReLU(Rectified Linear Units) [1]를 사용하였으며 활성함수 이후에 drop out [2]도 사용하였다. 또한 학습시 최적화 알고리즘은ADAM(ADAptive Moment estimation) [3]을 사용하였다.

성능/효과

• 이를 개선하기 위해 심층신경망을 이용한 사운드 보간 기법을 개발하였다. 머리전달함수 기반 실험과 잔향환경 실험을 통해 심층신경망 기반 사운드 보간 기법이 통계적 방법에 비해 성능이 우수함을 확인할 수 있었다.
• 산술 및 기하 평균으로 구한 추정치와 비교했을 때 심층신경망을 이용하여 구한 추정치의 RMSE가 큰 폭으로 감소한 것을 확인할 수 있다.
• UCC를 이용한 시청자 이동형 VR 음향구현에 있어서 두 지점 사이의 음향 신호를 생성할 때 심층신경망을 이용한 사운드 보간법에 대한 연구를 수행하였다. 우선, 두 지점에서 받은 음향 신호의 단구간 스펙트럼으로부터 통계적 방법인 산술평균과 기하평균을 이용해 사운드 보간을 진행해보았으나 실제 비선형 음향특성을 반영하지 못해 성능이 미흡함을 확인하였다. 이를 개선하기 위해 심층신경망을 이용한 사운드 보간 기법을 개발하였다.
• 표 2는 객관적 수치 비교를 위해 기준 되는 신호와 RMSE를 구한 것이다. 표에서 심층신경망을 이용해 구한 추정치의 RMSE가 가장 작음을 확인할 수 있다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기