[논문]딥 뉴럴네트워크 기반의 소리 이벤트 검출

정석환; 정용주

doi:10.13067/jkiecs.2019.14.2.389

초록
AI-Helper

본 논문에서는 다양한 구조의 딥 뉴럴 네트워크를 소리 이벤트 검출을 위하여 적용하였으며 공통의 오디오 데이터베이스를 이용하여 그들 간의 성능을 비교하였다. FNN, CNN, RNN 그리고 CRNN이 주어진 오디오데이터베이스 및 딥 뉴럴 네트워크의 구조에 최적화된 하이퍼파라미터 값을 이용하여 구현되었다. 구현된 방식 중에서 CRNN이 모든 테스트 환경에서 가장 좋은 성능을 보였으며 그 다음으로 CNN의 성능이 우수함을 알 수 있었다. RNN은 오디오 신호에서의 시간 상관관계를 잘 추적하는 장점에도 불구하고 CNN 과 CRNN에 비해서 저조한 성능을 보임을 확인할 수 있었다.

Abstract ▼ AI-Helper

In this paper, various architectures of deep neural networks were applied for sound event detection and their performances were compared using a common audio database. The FNN, CNN, RNN and CRNN were implemented using hyper-parameters optimized for the database as well as the architecture of each ne...

In this paper, various architectures of deep neural networks were applied for sound event detection and their performances were compared using a common audio database. The FNN, CNN, RNN and CRNN were implemented using hyper-parameters optimized for the database as well as the architecture of each neural network. Among the implemented deep neural networks, CRNN performed best at all testing conditions and CNN followed CRNN in performance. Although RNN has a merit in tracking the time-correlations in audio signals, it showed poor performance compared with CNN and CRNN.

주제어

표/그림 (6)

그림 그림 2. RNN 구조 Fig. 2 RNN Architecture
그림 그림 3. CRNN 구조 Fig. 3 CRNN Architecture
그림 그림 1. CNN 구조 Fig. 1 CNN Architecture
표 표 1. Learning rate 변화에 따른 CRNN 성능 Table 1. Performances of CRNN as learning rate changes
그림 그림 4. Learning rate 변화에 따른 비용함수와 정확도의 epoch에 따른 수렴 특성. Fig. 4 Convergence Characteristics of Loss Function and Accuracy as Learning rate changes.
표 표 2. FNN, CNN, RNN, CRNN 간의 성능비교 Table 2. Performance Comparison Between FNN, CNN, RNN and CRNN.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 앞에서 언급된 FNN, CNN, RNN 및 CRNN을 이용하여 소리 이벤트 검출을 위한 인식 실험을 실시하고자 하며 이 과정에서 CRNN이 다른딥 뉴럴 네트워크에 비해서 어떤 장점을 가지고 있는지 심도 있는 조사를 하고자 한다. 또한 CRNN이 최고의 성능을 나타내기 위한 하이퍼파라미터 값과 학습 방식을 도출하고자 한다.
딥 뉴럴 네트워크는 패턴 인식의 다양한 분야에서 사용되고 있으며, 기존의 패턴 인식 방식에 비해서 우수한 성능을 보여주었다. 본 논문에서는 최신의 딥 뉴럴 네트워크 방식을 소리 이벤트 검출에 적용하고 최적의 인식 성능을 얻기 위한 방법에 대해서 논의하였다.

제안 방법

딥 뉴럴 네트워크의 성능은 learning rate에 따라서 다르게 되는데 최적의 learning rate를 찾기 위하여 우리는 검증데이터에 대한 성능 평가를 실시하였다. 표 1에는 learning rate가 달라짐에 따라서 CRNN의 성능이 어떻게 변화하는지를 나타내었다.
본 논문에서는 FNN, CNN, RNN 그리고 CRNN을 소리 이벤트 검출에 적용하고 성능을 비교하였다. 딥뉴럴 네트워크의 성능은 learning rate에 상당히 좌우되는 것을 알 수 있었으며, 최적의 learning rate 값은 딥 뉴럴 네트워크의 종류에 따라서 달라지지 않음을 확인할 수 있었다.
제안된 딥 뉴럴 네트워크에서 최적의 성능을 얻기 위하여 배치정규화(batch normalization)가 모든 컨벌루션 층에 사용되었으며 드랍아웃(dropout)은 모든 컨벌루션 층과 GRU 층에 사용되었으며, 이때 드랍아웃 비율(rate)은 0.25로 하였다. 딥 뉴럴 네트워크의 학습은 바이너리(binary) 크로스엔트로피 (cross-entropy) 비용함수를 이용하여 Adam 최적화를 통하여 이루어 졌다.

대상 데이터

TUT-SED Synthetic 데이터베이스는 16개의 서로 다른 클래스를 가진 오디오 샘플 들을 인위적으로 섞어서 만들어진다. 전체 파일의 개수는 100개이며 이들은 994개의 개별적인 오디오 샘플들을 서로 섞어서 만들어진다.
본 논문에서는 이 분야의 연구에서 잘 알려진 오디오 데이터베이스인 TUT Sound Events Synthetic 2016 (TUT-SED Synthetic)을 사용하였다[13]. 이 데이터에는 인공적으로 만들어진 오디오 데이터가 포함 되어 있는데, 이는 자연적인 녹음을 통하여 얻을 수 있는 데이터의 양의 부족을 보완하기 위함이다.

이론/모형

25로 하였다. 딥 뉴럴 네트워크의 학습은 바이너리(binary) 크로스엔트로피 (cross-entropy) 비용함수를 이용하여 Adam 최적화를 통하여 이루어 졌다. 오버피팅을 방지하기 위하여 조기종료(early stopping)가 학습과정에서 적용되었으며 비용함수 값이 100 epoch 동안 감소하지 않으면 학습을 종료하게 된다.
로그-멜-필터뱅크(log-mel filterbank) 값이 본 논문에서 사용된 딥 뉴럴 네트워크의 특징으로 적용되었다. 먼저 Short-Time Fourier Transform (: STFT) 을 44.
보다 신뢰성 있는 실험결과를 도출하기 위하여 평가 방식으로는 segment 기반의 방식과 event 기반의 방식을 모두 사용하였고 평가 척도로는 소리 이벤트 검출에서 대표적으로 많이 사용되는 F-score와 Error Rate를 모두 사용하였다[5].

성능/효과

본 논문에서 실험한 다양한 딥 뉴럴 네트워크 중에서 CRNN이 음향 이벤트 검출에서 가장 좋은 성능을 보임을 알 수 있었으며, CNN이 그 뒤를 이었다. CNN의 성능이 오디오 신호에 대한 시간-관계 정보를 잘 표현하는 RNN에 비해서 오히려 우수한 성능을 보였는데, 이를 통해서 CNN에서 추출되는 시간-주파수 변이에 강인한 특징이 매우 중요함을 확인할 수 있었다.
본 논문에서는 FNN, CNN, RNN 그리고 CRNN을 소리 이벤트 검출에 적용하고 성능을 비교하였다. 딥뉴럴 네트워크의 성능은 learning rate에 상당히 좌우되는 것을 알 수 있었으며, 최적의 learning rate 값은 딥 뉴럴 네트워크의 종류에 따라서 달라지지 않음을 확인할 수 있었다. 또한 learning rate값을 검증 데이터의 성능을 기준으로 정하면 테스트 데이터에 대해서도 최적의 성능을 보임을 확인할 수 있었다.
본 논문에서 실험한 다양한 딥 뉴럴 네트워크 중에서 CRNN이 음향 이벤트 검출에서 가장 좋은 성능을 보임을 알 수 있었으며, CNN이 그 뒤를 이었다. ;CNN의 성능이 오디오 신호에 대한 시간-관계 정보를 잘 표현하는 RNN에 비해서 오히려 우수한 성능을 보였는데, 이를 통해서 CNN에서 추출되는 시간-주파수 변이에 강인한 특징이 매우 중요함을 확인할 수 있었다.

후속연구

향후 음향 이벤트 검출의 보다 나은 성능을 위해서는 CRNN 구조의 다양한 변형에 대한 개발이 필요하며, 배치 정규화나 드랍아웃에 대한 최적의 적용 방법 등에 대한 연구가 추가적으로 필요할 것이라 생각된다. 또한 CRNN의 입력으로 사용되는 오디오 세그먼트의 길이의 최적 값에 대한 조사도 필요하리라 판단된다.
향후 음향 이벤트 검출의 보다 나은 성능을 위해서는 CRNN 구조의 다양한 변형에 대한 개발이 필요하며, 배치 정규화나 드랍아웃에 대한 최적의 적용 방법 등에 대한 연구가 추가적으로 필요할 것이라 생각된다. 또한 CRNN의 입력으로 사용되는 오디오 세그먼트의 길이의 최적 값에 대한 조사도 필요하리라 판단된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 논문에서 이 분야의 연구에서 잘 알려진 오디오 데이터베이스인 TUT Sound Events Synthetic 2016 (TUT-SED Synthetic)을 사용한 이유는?	본 논문에서는 이 분야의 연구에서 잘 알려진 오디오 데이터베이스인 TUT Sound Events Synthetic 2016 (TUT-SED Synthetic)을 사용하였다[13]. 이 데이터에는 인공적으로 만들어진 오디오 데이터가 포함 되어 있는데, 이는 자연적인 녹음을 통하여 얻을 수있는 데이터의 양의 부족을 보완하기 위함이다. 또한 인위적인 데이터를 사용함으로서 실제 환경에서 만들어진 오디오에 대한 레이블의 산정 시 주관적인 요소가 많이 들어가는 단점도 보완해 줄 수 있다.
	소리 이벤트 검출은 어떤 기법인가?	소리 이벤트 검출은 패턴 인식 기법을 사용하여 우리 일상에서 발생하는 다양 음향 이벤트들을 찾아내는 기법이다. 이러한 다양한 음향 이벤트들에는 유리창 깨지는 소리, 아기 울음소리, 사람들의 비명소리 및 차의 경적소리들이 포함된다.
	FNN의 장점은 무엇인가?	FNN은 다른 딥 뉴럴 네트워크에 비해서 구조가 간단하여 더 적은 수의 파라미터를 가지고 있으며 계산량이 작다는 장점이 있다. 그러나 FNN의 구조는 입력과 히든층간의 고정된 연결로 인하여 영상 신호에서 발생되는 위치 이동 변이를 보상하기에는 다소 부적합하다.

이 논문을 인용한 문헌

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥 뉴럴네트워크 기반의 소리 이벤트 검출
Sound Event Detection based on Deep Neural Networks 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥 뉴럴네트워크 기반의 소리 이벤트 검출 Sound Event Detection based on Deep Neural Networks 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (6) 모든 표/그림 보기

표/그림 (6) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

정석환 (1) 정용주 (30)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥 뉴럴네트워크 기반의 소리 이벤트 검출
Sound Event Detection based on Deep Neural Networks 원문보기

초록
AI-Helper

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper