[논문]합성곱 신경망 기반 환경잡음에 강인한 교통 소음 분류 모델

이재준; 김완수; 이교구

doi:10.7776/ask.2018.37.6.469

초록
AI-Helper

도시 유동인구가 증가함에 따라 도시 환경 소음에 관한 연구의 중요성이 증가하고 있다. 본 연구에서는 교통상황에서 발생하는 이상 소음을 최근 환경 소음 분류 연구에서 높은 성능을 보이는 딥러닝 알고리즘을 이용하여 분류한다. 구체적으로는 타이어 제동 마찰음, 자동차 충돌음, 자동차 경적음, 정상 소음 네 개의 클래스에 대하여 합성곱 신경망을 이용하여 분류한다. 또한, 실제 교통 상황에서의 환경잡음에 강인한 분류 성능을 갖기 위해 빗소리, 바람 소리, 군중 소리의 세 가지 환경잡음을 설정하였고 이를 활용하여 분류 모델을 설계하였으며 3 dB SNR(Signal to Noise Ratio) 조건에서 88 % 이상의 분류 성능을 가진다. 제시한 교통 소음에 대하여 기존 선행연구 대비 높은 분류 성능을 보이고, 빗소리, 바람 소리, 군중 소리의 세 가지 환경잡음에 강인한 교통 소음 분류 모델을 제안한다.

Abstract ▼ AI-Helper

As urban population increases, research on urban environmental noise is getting more attention. In this study, we classify the abnormal noise occurring in traffic situation by using a deep learning algorithm which shows high performance in recent environmental noise classification studies. Specifica...

As urban population increases, research on urban environmental noise is getting more attention. In this study, we classify the abnormal noise occurring in traffic situation by using a deep learning algorithm which shows high performance in recent environmental noise classification studies. Specifically, we classify the four classes of tire skidding sounds, car crash sounds, car horn sounds, and normal sounds using convolutional neural networks. In addition, we add three environmental noises, including rain, wind and crowd noises, to our training data so that the classification model is more robust in real traffic situation with environmental noises. Experimental results show that the proposed traffic sound classification model achieves better performance than the existing algorithms, particularly under harsh conditions with environmental noises.

주제어

표/그림 (6)

표 Table 1. Data distribution of 4 classes. TS, CC, CH, and NS correspond to tire skidding, car crash, car horn, and normal sounds.
그림 Fig. 1. Network structure of the proposed model.
표 Table 2. Results of the two-class classification of the proposed model and baseline (the classification accuracy of normal sound is not reported in^[2]).
표 Table 3. Classification results according to training and test data composition. TOT means overall classification accuracy.
그림 Fig. 2. Confusion matrix for four-class classification of proposed model trained with clean data and tested with clean data (Table 3 clean train / clean test). Overall classification accuracy is 94.4 %.
그림 Fig. 3. Confusion matrix for four-class classification of proposed model trained with noise data and tested with noise data with SNR 10 dB [Table 3 noise train / noise test (10 dB)]. Overall classification accuracy is 90.7 %.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 교통 상황에서 발생하는 이상 소음 세 가지를 정의하고 정상 소음을 포함한 네 가지 클래스에 대한 소음 분류를 수행하는 모델을 제안한다. 구체적으로는 자동차 경적음, 자동차 충돌음, 타이어 제동 마찰음, 정상 소음 네 가지 클래스이며 분류 알고리즘은 합성곱 신경망을 이용했다.
본 논문에서는 최근 환경 소음 분류 분야에서 주목받고 있는 합성곱 신경망을 이용하여 교통 소음분류 모델을 제안하였다. 구체적으로는 두 개 층의 합성곱 신경망 구조를 이용하여 타이어 제동 마찰음, 자동차 충돌음, 자동차 경적음, 정상 소음 네 가지 클래스를 분류하였고 특히, 실제 교통 소음이 발생하는 상황에서 존재하는 빗소리, 바람 소리, 군중 소리의 환경잡음에 강인하도록 설계하였다.

가설 설정

Mivia road dataset과 마찬가지로 주요한 이벤트 오디오 외에 도로 소음에 해당하는 배경 잡음이 포함되어 있고 도로 소음의 성격 또한 Mivia road dataset과 유사하다. 네 가지 클래스의 이상소음 오디오에 존재하는 배경잡음은 그 영향이 미비하다고 가정하였다.

제안 방법

clean train / noise test에서와 같이 실제 환경잡음이 반영된 교통 소음으로 테스트할 시의 성능을 높이기 위해 2.3에서와 같이 환경잡음으로 데이터를 증가시켜 학습시킨 모델로 분류 성능을 확인하였다. Table 3의 noise train / noise test(-3 dB), noise train / noise test (3dB), noise train / noise test(10 dB) 모두 환경잡음을 추가한 데이터로 학습한 모델이며, 테스트 또한 clean train / noise test와 마찬가지로 환경잡음을 더한 음원이 추가된 테스트셋을 이용했다.
본 논문에서는 최근 환경 소음 분류 분야에서 주목받고 있는 합성곱 신경망을 이용하여 교통 소음분류 모델을 제안하였다. 구체적으로는 두 개 층의 합성곱 신경망 구조를 이용하여 타이어 제동 마찰음, 자동차 충돌음, 자동차 경적음, 정상 소음 네 가지 클래스를 분류하였고 특히, 실제 교통 소음이 발생하는 상황에서 존재하는 빗소리, 바람 소리, 군중 소리의 환경잡음에 강인하도록 설계하였다. 실험 및 결과를 통하여 본 논문에서 제안한 모델이 기존 선행연구보다 높은 분류 성능을 가짐과 함께 설정한 환경잡음에 강인한 성능을 가짐을 보였다.
고전적인 오디오 분석 모델에서는 모델의 수행 목적에 따라 도메인 지식을 활용하여 feature를 추출하고 여러 확률모델로 분석을 하는 것이 일반적이었다. 기존 교통 소음 분류 연구에서도 마찬가지로 오디오 신호에서 low level feature를 추출한 뒤 audio words 방식을 통해 오디오 신호를 high level feature로 맵핑하여 분류하는 모델을 제안하였다. ^[2] 하지만 딥러닝 기술이 컴퓨터 비전 분야에서 두각을 나타낸 이후 이를 넘어 다양한 분야에 적용되기 시작하면서 최근 환경 소음 분류 분야에서도 도메인 지식을 이용하여 feature 추출하여 분류하는 기존의 방법 외에 합성곱 신경망 등 딥러닝을 이용한 분류 모델이 더 높은 성능을 보이고 있다.
구체적으로는 자동차 경적음, 자동차 충돌음, 타이어 제동 마찰음, 정상 소음 네 가지 클래스이며 분류 알고리즘은 합성곱 신경망을 이용했다. 또한, 실제 여러 환경잡음이 존재하는 교통 상황에서도 강인한 성능을 갖기 위해 빗소리, 바람 소리, 군중 소리의 세 가지 환경잡음을 설정하였고 모델 설계에 사용하였다.
실제 교통 소음이 발생하는 외부 환경에서의 환경잡음을 반영하기 위해 빗소리, 바람 소리, 군중 소리를 설정하였다. 각 환경잡음 오디오를 2.
따라서 입력 데이터 수가 환경잡음을 섞은 데이터로 인해 두 배로 증가하였다. 이벤트 오디오에 환경잡음을 섞을시 SNR을 -3 dB, 3 dB, 10 dB로 변화시키며 네트워크 분류 성능을 비교하였다.

대상 데이터

본 논문에서는 정상 소음을 포함한 네 가지 클래스를 교통 상황에서 발생하는 주요한 이상 소음으로 선정하였다.
녹음된 도로 소음의 대부분은 자동차 엔진 소리가 주요하고 도로에서 발생하는 기타 다양한 배경잡음이 포함되어 있다. 자동차 경적음은 Urbansound 8k dataset^[6]을 이용하였다. 이 데이터셋은 Freesound^[7]에서 실제 환경 녹음 데이터 기반으로 수집한 데이터들이다.
자동차 충돌음과 타이어 제동 마찰음, 정상 소음에 해당하는 데이터셋은 Mivia road dataset^[2]을 이용하였다. 이 데이터셋은 32,000 Hz로 녹음된 5 s 이내 길이의 자동차 충돌음과 타이어 제동 마찰음의 오디오 신호에 다양한 도로에서 직접 녹음한 도로 소음을 더하여 생성되었다.

데이터처리

결과의 모든 성능은 4 폴드 교차 검증 성능이다. 먼저 3.

이론/모형

이후 각각 512개의 ReLU 은닉층을 갖는 두 개의 fully connected 층을 적용하였고 마지막 softmax 층에서 클래스당 확률을 계산하였다. loss 및 optimizer는 cross entropy loss와 Adam을 사용하였고 batch normalization을 적용하였다.
본 논문에서는 교통 상황에서 발생하는 이상 소음 세 가지를 정의하고 정상 소음을 포함한 네 가지 클래스에 대한 소음 분류를 수행하는 모델을 제안한다. 구체적으로는 자동차 경적음, 자동차 충돌음, 타이어 제동 마찰음, 정상 소음 네 가지 클래스이며 분류 알고리즘은 합성곱 신경망을 이용했다. 또한, 실제 여러 환경잡음이 존재하는 교통 상황에서도 강인한 성능을 갖기 위해 빗소리, 바람 소리, 군중 소리의 세 가지 환경잡음을 설정하였고 모델 설계에 사용하였다.
batch size는 128을 사용하였고 100 epoch까지 학습을 진행했다. 모든 구현은 TensorFlow^[9]를 이용하였다.
합성곱 신경망 모델이 이미지 데이터를 사용하는 컴퓨터 비전분야에서 두각을 나타내면서 mel- spectrogram 등 오디오에서 추출한 여러 특징이 이미지와 유사한 특성을 가짐에 따라 오디오 분야에서도 합성 곱 신경망을 이용한 모델이 주목할 만한 성능을 보이고 있다. 본 연구의 네트워크 구조는 환경 소음 분류에서 이차원 합성곱 신경망을 이용한 선행연구의^[4] 네트워크 구조를 기본 구조로 사용하였고 이는 Piczak^[4]가 다양한 실험을 통해 최적의 성능을 갖는 모델로 제시한 것이다. 이 모델을 기본적으로 사용하되 실험을 통해 주어진 데이터셋에서 좋은 성능을 갖도록 일부 구조를 수정하였다.
또한 오디오를 세그먼트 단위로 나누며 해당 세그먼트가 60 dB 이하의 값을 가지는 경우 이벤트가 없는 세그먼트로 판단하여 데이터에서 제거하였다. 세그먼트에 delta feature를 추가하여 입력 데이터 1개당 60 × 41 × 2의 차원을 가지며 모든 처리는 LibROSA^[8] 패키지를 이용하였다.

성능/효과

이어지는 II에서 제안모델의 데이터셋, 전처리 방법, 환경잡음을 이용한 데이터 증가 방법, 네트워크 구조에 관해 기술한다. III에서는 제안한 모델이 기존 교통 소음 분류 모델보다 더 높은 분류 성능을 가짐을 보이고, SNR(Signal to Noise Ratio)을 변화시키며 실험한 결과에 따라 설정한 환경잡음에 강인한 성능을 가짐을 보임과 함께 클래스별 분류 성능을 분석한 뒤 마지막 IV에서 결론을 맺는다.
Table 3의 clean train / noise test와 noise train / noise test(-3 dB)를 비교해보면 제안한 모델 noise train /noise test(-3 dB)가 클래스별 분류 성능 및 전체 분류성능 모두 clean train / noise test보다 높아 환경잡음이 추가된 실제 교통 소음 분류에서 더 좋은 성능을 보임을 알 수 있고 이는 환경잡음에 강인함을 의미한다.
Table 2의 Baseline 결과는 기존 선행연구에서^[2] 오디오에서 zero crossing rate, spectral centroid 등 다양한 low level feature를 추출한 뒤 audio words 방식으로 각 오디오에 해당하는 high level feature를 매핑하여 kNN 알고리즘으로 분류한 성능이다. 선행연구와의 비교를 위해 환경잡음 없이 타이어 제동 마찰음, 자동차 충돌음에 대하여 분류를 수행하였으며 두 가지 클래스에 대한 분류 성능에서 선행연구보다 더 높은 분류 성능을 보임을 확인하였다.
구체적으로는 두 개 층의 합성곱 신경망 구조를 이용하여 타이어 제동 마찰음, 자동차 충돌음, 자동차 경적음, 정상 소음 네 가지 클래스를 분류하였고 특히, 실제 교통 소음이 발생하는 상황에서 존재하는 빗소리, 바람 소리, 군중 소리의 환경잡음에 강인하도록 설계하였다. 실험 및 결과를 통하여 본 논문에서 제안한 모델이 기존 선행연구보다 높은 분류 성능을 가짐과 함께 설정한 환경잡음에 강인한 성능을 가짐을 보였다.
이벤트 오디오에 환경잡음을 섞을 시의 SNR이 증가함에 따라 클래스별 분류 성능 및 전체 분류 성능이 향상됨을 확인할 수 있다.
Table 3의 clean train / clean test를 보면 환경잡음이 없는 환경에서 네 가지 클래스에 대한 클래스별 분류 성능 및 전체 분류 성능이 90 % 이상으로 매우 높음을 알 수 있다. 하지만 Table 3의 clean train / noise test와 같이 이 모델에 환경잡음이 추가된 데이터로 테스트할 시, 클래스별 분류 성능 및 전체 분류 성능이 현저히 떨어짐을 확인할 수 있다.
합성곱 신경망 모델이 이미지 데이터를 사용하는 컴퓨터 비전분야에서 두각을 나타내면서 mel- spectrogram 등 오디오에서 추출한 여러 특징이 이미지와 유사한 특성을 가짐에 따라 오디오 분야에서도 합성 곱 신경망을 이용한 모델이 주목할 만한 성능을 보이고 있다. 본 연구의 네트워크 구조는 환경 소음 분류에서 이차원 합성곱 신경망을 이용한 선행연구의^[4] 네트워크 구조를 기본 구조로 사용하였고 이는 Piczak^[4]가 다양한 실험을 통해 최적의 성능을 갖는 모델로 제시한 것이다.

후속연구

추후 과제로는 3.3에서 자동차 충돌음 클래스 분류 시 에러율에 관련하여 자동차 충돌음 관련 데이터셋을 확장 및 클리닝 하는 것과 2.2의 오디오 전처리에서 세그먼트를 제거하는 과정을 더 세밀하게 수행하는 등이 가능하다. 또 실제 교통 환경에 데이터 수집 장치를 배치한 후 실시간 교통 소음 분류가 가능하도록 모델 최적화 및 특징 연구들을 계획 중에 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	도시 문제를 해결하려는 국내외 다양한 움직임의 예로 무엇이 있는가?	도시가 점점 커지고 유동인구가 많아짐에 따라 도시에서 수집된 여러 정보를 통해 도시 문제를 해결하려는 국내외 다양한 움직임이 일고 있다.특히 자동차 경적음을 통해 교통 혼잡도를 예측하거나[1] 자동차 사고 감지를 위해 자동차 충돌음과 타이어 제동 마찰음을 감지하는 알고리즘을 제안하는 등[2] 교통 소음에 관한 연구가 증가하고 있다.
	교통 환경에서의 이상 상황에 대한 감지는 무엇에 의존 하는가?	교통사고 등의 이상 상황을 즉각적으로 감지하는 것은 교통체증 혹은 사고자의 생존율 등에 직접적인 영향을 미친다. 현재 이런 교통 환경에서의 이상 상황에 대한 감지는 CCTV 등 영상 정보에 대부분 의지하고 있다. 그러나 영상 정보만으로 사고, 교통체증 등의 이상 상황을 모두 감지하기에는 어려움이 있다.
	도시 환경 소음에 관한 연구의 중요성이 증가하고 있는 이유는 무엇인가?	도시 유동인구가 증가함에 따라 도시 환경 소음에 관한 연구의 중요성이 증가하고 있다. 본 연구에서는 교통상황에서 발생하는 이상 소음을 최근 환경 소음 분류 연구에서 높은 성능을 보이는 딥러닝 알고리즘을 이용하여 분류한다.

참고문헌 (9)

R. Banerjee, A. Sinha, and A. Saha, "Participatory sensing based traffic condition monitoring using horn detection," Proc. the 28th annual ACM symposium on applied computing, 567-569 (2013).
P. Foggia, P. Foggia, N. Petkov, A. Saggese, N. Stisciuglio, and M. Vento, "Audio surveillance of roads: A system for detecting anomalous sounds," IEEE trans. of intelligent transportation systems 17, 279-288 (2016).
M. Cristani, M. Bicego, and V. Murino, "Audio-visual event recognition in surveillance video sequences," IEEE Trans. Multimedia, 9, 257-267 (2007).

상세보기
K. J. Piczak, "Environmental sound classification with convolutional neural networks," IEEE International Workshop on Machine Learning for Signal Processing (MLSP), 1-6 (2015).
J. Salamon and J. P. Bello, "Deep convolutional neural networks and data augmentation for environmental sound classification," IEEE Signal Processing Letters, 24, 279-283 (2017).

상세보기
J. Salamon, C. Jacoby, and J. P. Bello, "A dataset and taxonomy for urban sound research," Proc. the 22nd ACM international conference on Multimedia, 1041-1044 (2014).
http://www.freesound.org
B. McFee, C. Raffel, D. Liang, D. P. Ellis, M. McVicar, E. Battenberg, and O. Nieto, "librosa: Audio and music signal analysis in python," Proc. the 14th Python in Science Conference, 18-25 (2015).
M. Abadi, P. Barham, J. Chen, Z. Chen, A. Davis, J. Dean, M. Devin, S. Ghemawat, G. Irving, M. Isard, M. Kudlur, J. Levenberg, R. Monga, S. Moore, D. G. Murray, B. Steiner, P. Tucker, V. Vasudevan, P. Warden, M. Wicke, Y. Yu, and X. Zheng, "Tensorflow: a system for large-scale machine learning," Proc. the 12th USENIX conference on OSDI, 16, 265-283 (2016).

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

합성곱 신경망 기반 환경잡음에 강인한 교통 소음 분류 모델
Convolutional neural network based traffic sound classification robust to environmental noise 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

합성곱 신경망 기반 환경잡음에 강인한 교통 소음 분류 모델 Convolutional neural network based traffic sound classification robust to environmental noise 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (6) 모든 표/그림 보기

표/그림 (6) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

이교구 (1)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

합성곱 신경망 기반 환경잡음에 강인한 교통 소음 분류 모델
Convolutional neural network based traffic sound classification robust to environmental noise 원문보기

초록
AI-Helper

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper