선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 다채널 오디오 특징값 및 GRNN을 사용한 다성 사운드 이벤트 검출 방식을 제안하였다. 제안한 방식은 기존의 사운드 이벤트 검출에서 널리 사용되던 단일 채널 기반의 특징값 대신 다채널 기반의 결합된 특징값을 사용하였으며, 분류기로서 시간적인 정보를 학습할 수 있는 순환 신경망의 변형 된 형태인 GRNN을 사용하였다.
제안 방법
- 먼저 학습 단계에서는 스테레오 오디오 신호가 입력되면 해당되는 레이블을 적용한다. 그리고 신호 각각을 프레임 단위로 분할한 뒤 다채널 특징값을 추출하고 GRNN에 입력하여 학습을 진행한다. 학습 후 인식 과정에서는 스테레오 오디오 신호가 입력되면 신호를 프레임 단위로 분할한 뒤, 다채널 특징값을 추출한다.
- TDOA 특징값은 이러한 사운드 이벤트의 주파수 대역에 따른시간차 특성에 기반하며, 추출 단계는 다음과 같다. 먼저 각 프레임으로 나눈 신호의 스펙트로그램을 5개의 멜 밴드로 나누고 각 밴드에 대한 TDOA를 계산한다. 같은 종류의 사운드의 경우에는 각 멜 밴드 대역에서 비슷한 TDOA 값을 가지고 반대로 다른 두 개의 중첩 된 사운드가 있는 경우에는 각 사운드에 대해서로 다른 TDOA 값이 계산되므로 신경망은 이들을 구분하여 개별적인 소리 이벤트로 식별할 수 있다.
- 본 논문에서 제안하는 사운드 이벤트 검출 시스템의 입력 특징값으로는 사람의 청각적인 특성을 고려하여 스테레오 오디오 신호로부터 Mel2, TDOA(Time Difference Of Arrival), Pitch 범위 특징값의 세 가지 특징값을 추출해 사용한다.
- 실험에 사용된 분류기는 GMM, LSTM, GRNN 세 가지를 사용하였으며 특징값은 MFCC+∆+∆2, Mel energy, 3Sets(Mel2+TDOA+Pitch 범위 특징값)를 사용하여 측정하였다. 실험에서 LSTM은 3개의 히든 레이어를 사용했으며 각 레이어의 뉴런은 16개를 사용하였다.
- 하지만 LSTM은 내부 매개변수가 많아 복잡하며 학습 시간이 오래 걸린다는 단점이 있다. 이에 본 논문에서는 LSTM의 변형된 구조로써 내부 구조가 더욱 단순하며 변수가 적어 LSTM보다 학습시간이 짧게 걸리고 과적합이 덜 일어난다는 장점을 가진 게이트형 순환 신경망(Gated Recurrent Neural Networks, GRNN) 모델을 다성 사운드 이벤트 검출에 적용하여 다채널 오디오 특징값과 결합 된 사용을 제안한다.
- 본 논문에서는 다채널 오디오 특징값 및 GRNN을 사용한 다성 사운드 이벤트 검출 방식을 제안하였다. 제안한 방식은 기존의 사운드 이벤트 검출에서 널리 사용되던 단일 채널 기반의 특징값 대신 다채널 기반의 결합된 특징값을 사용하였으며, 분류기로서 시간적인 정보를 학습할 수 있는 순환 신경망의 변형 된 형태인 GRNN을 사용하였다. 실험 결과 제안한 방식의 성능이 기존의 분류 방식의 성능보다 뛰어남을 확인할 수 있었다.
대상 데이터
- 실험에서 LSTM은 3개의 히든 레이어를 사용했으며 각 레이어의 뉴런은 16개를 사용하였다. 그리고 GRNN은 3개의 히든 레이어를 사용했으며 각 레이어의 뉴런 수는 200개를 사용하였다. 입력 레이어 뉴런의 수는 사용한 오디오 신호의 길이에 따라 달라지고 출력 레이어 뉴런의 수는 클래스마다 한 개씩으로 사용하였다.
- 1 kHz, 24비트의 깊이로 구성되어 있다. 데이터베이스는 천장소리, 식탁 식기류 소리, 씻는 소리 등 실내 집(home)에서 발생하는 소리와 새 소리, 자동차 지나가는 소리, 아이들 뛰어노는 소리와 같은 실외 주택가(residential area)에서 발생하는 소리들로 이루어져 있다. 집으로 분류된 소리 데이터는 10개의 녹음 파일과 11개의 클래스로 구성되어 있고, 실외 주택가의 데이터는 12개의 녹음 파일과 7개의 클래스로 구성 되어있다.
- , Mel energy, 3Sets(Mel2+TDOA+Pitch 범위 특징값)를 사용하여 측정하였다. 실험에서 LSTM은 3개의 히든 레이어를 사용했으며 각 레이어의 뉴런은 16개를 사용하였다. 그리고 GRNN은 3개의 히든 레이어를 사용했으며 각 레이어의 뉴런 수는 200개를 사용하였다.
- 실험에서는 DCASE(Detection and Classification of Acoustic Scenes and Events) 2016에서 제공된 오디오 데이터베이스[8]중 taks3인 Sound event detection in real life audio을 사용하였다. 해당 데이터는 Soundman 회사의 OKM II Klassik/studio A3 인이어 마이크와 Roland 회사의 Edirol R09 녹음기를 사용하여 스테레오로 녹음 되었고 샘플링 레이트는 44.
- 분할된 프레임에 50 %의 오버래핑을 적용한 뒤 각 프레임에 대한 로그 멜 밴드 에너지를 추출한다. 이때 멜 밴드는 전체 스펙트로그램에 걸쳐 40개를 사용한다.
- 중 taks3인 Sound event detection in real life audio을 사용하였다. 해당 데이터는 Soundman 회사의 OKM II Klassik/studio A3 인이어 마이크와 Roland 회사의 Edirol R09 녹음기를 사용하여 스테레오로 녹음 되었고 샘플링 레이트는 44.1 kHz, 24비트의 깊이로 구성되어 있다. 데이터베이스는 천장소리, 식탁 식기류 소리, 씻는 소리 등 실내 집(home)에서 발생하는 소리와 새 소리, 자동차 지나가는 소리, 아이들 뛰어노는 소리와 같은 실외 주택가(residential area)에서 발생하는 소리들로 이루어져 있다.
데이터처리
- [7]의 방법을 사용했다. 스테레오 신호의 두 채널에 대해 평균값을 계산한 신호를 Short-time auto correlation 방법으로 첫 번째 피크와 두 번째 피크 사이의 주기를 계산한 뒤, 역수를 적용하여 pitch 값을 얻었다. 첫 번째 특징값인 feature1는 pitch 범위 내 value의 최대값과 최소값의 비율로 계산된다.
이론/모형
- [7]의 방법을 사용했다. 스테레오 신호의 두 채널에 대해 평균값을 계산한 신호를 Short-time auto correlation 방법으로 첫 번째 피크와 두 번째 피크 사이의 주기를 계산한 뒤, 역수를 적용하여 pitch 값을 얻었다.
- 본 논문에서는 데이터가 편중 되어 있는 것을 줄이기 위해 4-fold cross validation 방식으로 성능 측정실험을 진행했으며, DCASE 2016에서 제공한 validation 설정에 따라 사용하였다.[8]
- 입력 레이어 뉴런의 수는 사용한 오디오 신호의 길이에 따라 달라지고 출력 레이어 뉴런의 수는 클래스마다 한 개씩으로 사용하였다. 신경망의 학습에는 손실 함수로써 binary cross-entropy를 이용한 BPTT(BackPropagation Through Time)를 사용하였다.
- 실험의 측정 지표는 ER(Error Rate)와 F-score를 사용하였으며 1 s 단위의 세그먼트 기준으로 계산하였다.
성능/효과
- 9로 저하되었다. LSTM 신경망에서는 Mel energy 특징값을 사용한 경우와 제안한 방식의 특징값을 사용한 경우를 비교하면 ER 0.87, F-score 39.4이었던 수치가 각각 0.79, 42.7으로 향상된 것을 확인할 수 있다. 마찬가지로 GRNN에서도 Mel energy 특징값과 제안한 방식의 특징값을 사용한 경우 ER 0.
- Table 1은 실험 결과를 나타낸다. Table 1에서 보이는 것과 같이 GMM 분류기에서 MFCC 특징값과 제안한 방식인 결합된 특징값을 사용하였을 경우를 비교하면 평균ER 0.90, F-score 28.7이었던 수치가 각각 0.92, 27.9로 저하되었다. LSTM 신경망에서는 Mel energy 특징값을 사용한 경우와 제안한 방식의 특징값을 사용한 경우를 비교하면 ER 0.
- [2] 지금까지의 다성 사운드 이벤트 검출 방식은 단일 채널 오디오 신호를 사용해왔다. 그러나 최근 자동 음성 인식에 대한 연구에서 다채널 오디오의 특징값을 사용할 경우 단일 채널의 특징값을 사용하는 경우보다 개선된 성능을 보이는 것이 확인되었다.[3]
- 실험 결과를 통해 기존의 단일 채널 기반의 특징값을 사용한 방식보다 청각적 특성을 고려한 스테레오 채널 기반의 결합된 특징값을 사용한 경우 성능이 향상되는 것을 확인할 수 있었다. 또한 분류 방식에서 GRNN을 사용하였을 경우 기존의 방식들보다 더욱 성능이 향상되는 것을 확인할 수 있었다.
- 7으로 향상된 것을 확인할 수 있다. 마찬가지로 GRNN에서도 Mel energy 특징값과 제안한 방식의 특징값을 사용한 경우 ER 0.85, F-score 40.0이었던 수치가 각각 0.76, 45.5로 향상되는 것을 확인할 수 있다.
- 제안한 방식은 기존의 사운드 이벤트 검출에서 널리 사용되던 단일 채널 기반의 특징값 대신 다채널 기반의 결합된 특징값을 사용하였으며, 분류기로서 시간적인 정보를 학습할 수 있는 순환 신경망의 변형 된 형태인 GRNN을 사용하였다. 실험 결과 제안한 방식의 성능이 기존의 분류 방식의 성능보다 뛰어남을 확인할 수 있었다.
- 실험 결과를 통해 기존의 단일 채널 기반의 특징값을 사용한 방식보다 청각적 특성을 고려한 스테레오 채널 기반의 결합된 특징값을 사용한 경우 성능이 향상되는 것을 확인할 수 있었다. 또한 분류 방식에서 GRNN을 사용하였을 경우 기존의 방식들보다 더욱 성능이 향상되는 것을 확인할 수 있었다.
후속연구
- 향후 본 연구를 바탕으로 기존의 컨벌루션 신경망과 GRNN을 결합한 구조에 본 논문에서 사용한 결합된 특징값을 적용하여 사운드 이벤트 검출에 적용하는 방식에 대해 연구할 계획이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.