선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- DNN은 이미지 분류 및 음성인식에 적용되어 괄목할만한 성능향상을 보였으나, 소리 이벤트 검출에 대한 적용은 그 사례가 많지 않다. 본 논문에서는 DNN을 이용한 오디오 이벤트 분류기로부터 오디오 이벤트 검출 방법을 제안한다.
- 그러나 프레임 단위 오디오 분류기로는 긴 영상에서 일부를 차지하고 있는 오디오 이벤트들을 검출하지는 못하는 문제가 있다. 본 연구에서는 프레임 단위 오디오 이벤트 분류 결과로부터 오디오 이벤트 구간을 검출하는 방법을 제안한다.
- 본 연구에서는 프레임 단위 오디오 이벤트 분류 결과로부터 오디오 이벤트를 검출하는 방법을 제안하였고, 실험을 통하여 성능을 검증하였다. 은닉층은 2개를 사용하고 은닉층당 뉴론수를 달리 하여 검출 성능을 측정하여 비교 분석 하였다.
제안 방법
- DNN 모델의 은닉층 당 뉴론 수를 다르게 적용하여 실험을 진행 하였다. 그에 대한 실험 결과는 <표 3>과 같다.
- 스포츠 중계 영상에서 소리 정보를 이용하여 다섯 종류의 이벤트 분류를 DBN을 사용하여 실험한 연구가 있다[8]. 다섯 개의 이벤트는 관중소리, 해설, 관중소리+해설, 흥분된 해설이며, DBN 모델을 학습시켜 SVM 모델을 사용한 분류기와 성능을 비교 평가하였다. 실험 결과 DNN보다 SVM의 성능이 조금 더 높았으며, 많지 않은 양의 학습 자료로부터 학습된 결과로 분석되었다.
- DNN기반의 오디오 이벤트를 프레임 단위로 분류 연구가 있었다[11]. 매 프레임 마다 소리 이벤트를 분류하는 방법을 제안하였고, 하나의 샘플 입력을 분류 할 시에는 모든 프레임에 대한 각 이벤트별 확률값을 더해 가장 높은 확률값을 가지는 이벤트를 분류 결과로 출력하였다. 오디오 이벤트의 개수는 10개이었으며, 샘플 단위의 오디오 이벤트 분류 결과는 70% 후반의 성능을 보였다.
- 매 프레임마다 모든 오디오 객체에 대한 발생확률을 DNN forward propagation을 통하여 계산한다. 발생확률이 연속된 5개의 프레임 이상에서 기 학습된 threshold를 넘는 객체에 대해서 1차 구간 검출을 수행한다. 1차로 검출된 구간들이 1초 이내에 인접하여 있는 경우 해당하는 두 구간을 하나의 구간으로 합친다.
- 본 절에서는 프레임 단위의 오디오 이벤트 분류 방법을 서술한다. 오디오 이벤트 분류기는 FFNN (feed forward neural network)으로 이루어져 있다.
- 특징 벡터 추출은 음성인식 툴킷인 HTK[17] 를 사용하였고, DNN기반 프레임 단위 오디오 이벤트 분류기는 Tensorflow[18]를 사용하여 구현하였다. 오디오 이벤트 검출기는 python으로 구현하였다. DNN학습 시 optimizer는 SGD (stochastic gradient descent)를 사용하였고, minibatch 크기는 100 이다.
- 본 연구에서는 프레임 단위 오디오 이벤트 분류 결과로부터 오디오 이벤트를 검출하는 방법을 제안하였고, 실험을 통하여 성능을 검증하였다. 은닉층은 2개를 사용하고 은닉층당 뉴론수를 달리 하여 검출 성능을 측정하여 비교 분석 하였다. 실험 결과 뉴론 수가 3,000개의 오디오 이벤트 분류기가 71.
- 기존의 SVM (support vector machine)과 DNN과의 차이를 분석 기술한 연구가 있었다[6]. 이 연구에서 SVM은 shallow architecture로, DNN은 deep architecture로 구분 짓는다. SVM의 경우 커널을 통하여 차원을 줄이고, 클래스 분포를 구분짓도록 하는 선을 긋는 방식이며 이는 하나의 은닉층으로 구성되는 인공신경망의 형태로 볼 수 있다.
- RBM을 이용하여 traffic, music, crowd, applause, 네 종류의 이벤트에 대해서 구분하는 연구가 있었다[10]. 이 연구에서 은닉층의 경우 입력 특징벡터에 대한 출력 특징벡터를 생성하도록 RBM을 학습시킨 후, 최상위 출력층에 대해서만 FFNN을 구성하여 소리 이벤트가 출력되도록 하였다. RBM을 이용한 깊은 신경망을 SVM 및 GMM과 성능 평가를 하였고, RBM의 분류성능이 GMM, SVM 보다 높게 나왔다.
- DBN의 은닉층 학습은 RBM (restricted boltzmann machine)을 이용하여 무감독 학습시킨 은닉층을 층층이 쌓는다. 최종적으로 출력층에 대해서에만 소량의 정답 스크립트가 존재하는 학습 자료를 이용하여 감독 학습을 수행한다. 실험 결과에 따르면 5개의 음악 장르 구분 실험에 대하여 약 73%의 분류 성능을 나타내었고, 음악가 분류에 적용 하였을 경우, 4개의 음악가 분류 실험에서는 약 80%의 분류성능을 나타내었다.
- 15개의 오디오 이벤트 분류기를 MFCC (mel frequency cepstral coefficient), PLP (perceptual linear prediction), ZCR(zero crossing rate) 등 다양한 특징벡터 조합으로 학습시켰으며, 특징벡터의 조합에 따라 인식 성능 차이가 발생 할 수 있음을 보였다. 토크쇼, 뉴스, 영화, 다큐멘터리에서 등장하는 소리 이벤트들로부터 직접 정답 스크립트를 생성하여 이벤트를 검출하였다. 실험 결과 PLP 특징벡터를 사용한 경우의 성능이 가장 높았다.
대상 데이터
- 2-은닉층 / 3,000-은닉층 당 뉴론 수를 사용하여 학습한 모델이 가장 높은 성능을 보였다. 10개의 클래스에 대한 오디오 이벤트 분류기를 구현한 기존 연구 대비 동일한 수준을 유지 하면서 오디오 이벤트 구간을 검출 함과 동시에 검출 오디오 이벤트를 10개 추가하여 20개를 달성 하였다.
- 선정된 학습자료는 UrbanSound8K와 BBC Sound FX 이다. UrbanSound8K 와 BBC Sound FX에서 각 10개의 오디오 이벤트를 선정하였다.
- 모든 자료는 16bit-mono의 16kHz로 일괄 변환하였고 자료의 9/10은 학습에 사용되었고, 1/10은 평가에 사용되었다. 특징 벡터 추출은 음성인식 툴킷인 HTK[17] 를 사용하였고, DNN기반 프레임 단위 오디오 이벤트 분류기는 Tensorflow[18]를 사용하여 구현하였다.
- 오디오 이벤트 분류 연구의 경우 대부분 별도로 자료를 수집하여 검증하기 때문에 공통된 평가 지표를 구하기 어렵다. 본연구에서는 접근 가능한 자료 중 퍼스널 미디어에서 주로 나오는 오디오 이벤트를 포함하고 있는 학습 자료들을 선정하였다. 선정된 학습자료는 UrbanSound8K와 BBC Sound FX 이다.
- 본연구에서는 접근 가능한 자료 중 퍼스널 미디어에서 주로 나오는 오디오 이벤트를 포함하고 있는 학습 자료들을 선정하였다. 선정된 학습자료는 UrbanSound8K와 BBC Sound FX 이다. UrbanSound8K 와 BBC Sound FX에서 각 10개의 오디오 이벤트를 선정하였다.
- 모든 트랙에 대해서 직접 이벤트에 제한을 두지 않고 자유롭게 수동 태깅을 진행하였고, 태깅 결과 총 160가지의 오디오 이벤트가 존재 하였다. 이 중 빈도수 기준 상위 10개의 오디오 이벤트를 선정하여 학습 자료에 포함 하였다. 표2는 BBC Sound FX자료에서 선정된 10개의 오디오 이벤트를 보여준다.
- org 로부터 수집한 오디오 자료를 이벤트 구간에 맞게 잘라 태깅한 자료이다[15]. 하나의 오디오 샘플은 4초 이하로 구성되어 있으며 총 8,732개의 파일로 제공된다. 10개의 오디오 이벤트 클래스를 가지며, 총 9시간 분량의 길이를 가진다.
이론/모형
- 기존의 소리 이벤트 분류의 경우 하나의 샘플에는 하나의 이벤트만 있는 것으로 가정되었지만 실제로는 다양한 이벤트가 존재하는 경우가 있기 때문에 이벤트 시퀀스를 분류하였다. 각각의 소리 이벤트들을 GMM을 기반으로 모델링을 한 후, 소리 이벤트 시퀀스를 분류하기 위해 3-state 기반 HMM (hidden markov model)을 사용하였다. 이는 소리 이벤트가 일련의 순서대로 나타나는 경우 높은 성능을 보이는 반면 정답 스크립트가 존재하는 학습 자료를 수집하기가 어려운 단점이 있다.
- 모든 자료는 16bit-mono의 16kHz로 일괄 변환하였고 자료의 9/10은 학습에 사용되었고, 1/10은 평가에 사용되었다. 특징 벡터 추출은 음성인식 툴킷인 HTK[17] 를 사용하였고, DNN기반 프레임 단위 오디오 이벤트 분류기는 Tensorflow[18]를 사용하여 구현하였다. 오디오 이벤트 검출기는 python으로 구현하였다.
- 파라미터 학습은 수식 (5)와 같은 NLL (negative log likelihood)을 loss function으로 정의하여 모든 자료에 대하여 수식 (4)의 loss가 최소가 되도록 한다. 학습은 stochastic gradient descent 방법을 따른다[14].
성능/효과
- HMM-SVM 기반 오디오 이벤트 분류기에 대한 연구가 있었다[7]. 15개의 오디오 이벤트 분류기를 MFCC (mel frequency cepstral coefficient), PLP (perceptual linear prediction), ZCR(zero crossing rate) 등 다양한 특징벡터 조합으로 학습시켰으며, 특징벡터의 조합에 따라 인식 성능 차이가 발생 할 수 있음을 보였다. 토크쇼, 뉴스, 영화, 다큐멘터리에서 등장하는 소리 이벤트들로부터 직접 정답 스크립트를 생성하여 이벤트를 검출하였다.
- 2-은닉층 / 3,000-은닉층 당 뉴론 수를 사용하여 학습한 모델이 가장 높은 성능을 보였다. 10개의 클래스에 대한 오디오 이벤트 분류기를 구현한 기존 연구 대비 동일한 수준을 유지 하면서 오디오 이벤트 구간을 검출 함과 동시에 검출 오디오 이벤트를 10개 추가하여 20개를 달성 하였다.
- 이 연구에서 은닉층의 경우 입력 특징벡터에 대한 출력 특징벡터를 생성하도록 RBM을 학습시킨 후, 최상위 출력층에 대해서만 FFNN을 구성하여 소리 이벤트가 출력되도록 하였다. RBM을 이용한 깊은 신경망을 SVM 및 GMM과 성능 평가를 하였고, RBM의 분류성능이 GMM, SVM 보다 높게 나왔다. 하지만 이 연구 역시 소리 이벤트의 수가 적다는 한계가 있다.
- BBC Sound FX 자료는 영화/TV방송 등에서 사용된 음향 이펙트 모음 자료로써 CD 40장 분량으로 구성되어 있다[16]. 모든 트랙에 대해서 직접 이벤트에 제한을 두지 않고 자유롭게 수동 태깅을 진행하였고, 태깅 결과 총 160가지의 오디오 이벤트가 존재 하였다. 이 중 빈도수 기준 상위 10개의 오디오 이벤트를 선정하여 학습 자료에 포함 하였다.
- 다섯 개의 이벤트는 관중소리, 해설, 관중소리+해설, 흥분된 해설이며, DBN 모델을 학습시켜 SVM 모델을 사용한 분류기와 성능을 비교 평가하였다. 실험 결과 DNN보다 SVM의 성능이 조금 더 높았으며, 많지 않은 양의 학습 자료로부터 학습된 결과로 분석되었다.
- 토크쇼, 뉴스, 영화, 다큐멘터리에서 등장하는 소리 이벤트들로부터 직접 정답 스크립트를 생성하여 이벤트를 검출하였다. 실험 결과 PLP 특징벡터를 사용한 경우의 성능이 가장 높았다.
- 은닉층은 2개를 사용하고 은닉층당 뉴론수를 달리 하여 검출 성능을 측정하여 비교 분석 하였다. 실험 결과 뉴론 수가 3,000개의 오디오 이벤트 분류기가 71.8%의 최대 검출 성능을 보였다. 이는 프레임 단위 오디오 이벤트 분류성능을 유지하면서 긴 구간의 동영상 내에서 특정 소리 구간을 검출 할 수 있는 장점을 가진다.
- 최종적으로 출력층에 대해서에만 소량의 정답 스크립트가 존재하는 학습 자료를 이용하여 감독 학습을 수행한다. 실험 결과에 따르면 5개의 음악 장르 구분 실험에 대하여 약 73%의 분류 성능을 나타내었고, 음악가 분류에 적용 하였을 경우, 4개의 음악가 분류 실험에서는 약 80%의 분류성능을 나타내었다. 이 연구는 정답 스크립트가 존재하지 않는 다량의 학습자료를 이용할 수 있다는 장점을 보였다.
- 매 프레임 마다 소리 이벤트를 분류하는 방법을 제안하였고, 하나의 샘플 입력을 분류 할 시에는 모든 프레임에 대한 각 이벤트별 확률값을 더해 가장 높은 확률값을 가지는 이벤트를 분류 결과로 출력하였다. 오디오 이벤트의 개수는 10개이었으며, 샘플 단위의 오디오 이벤트 분류 결과는 70% 후반의 성능을 보였다. 그러나 프레임 단위 오디오 분류기로는 긴 영상에서 일부를 차지하고 있는 오디오 이벤트들을 검출하지는 못하는 문제가 있다.
- 실험 결과에 따르면 5개의 음악 장르 구분 실험에 대하여 약 73%의 분류 성능을 나타내었고, 음악가 분류에 적용 하였을 경우, 4개의 음악가 분류 실험에서는 약 80%의 분류성능을 나타내었다. 이 연구는 정답 스크립트가 존재하지 않는 다량의 학습자료를 이용할 수 있다는 장점을 보였다. 그러나 분류 실험의 클래스가 적다는 한계가 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.