[논문]재발량 분석을 이용한 음향 상황 인지

박상욱; 최우현; 고한석

doi:10.7776/ask.2016.35.1.042

재발량 분석을 이용한 음향 상황 인지
Acoustic scene classification using recurrence quantification analysis 원문보기

한국음향학회지= The journal of the acoustical society of Korea, v.35 no.1, 2016년, pp.42 - 48

박상욱 (고려대학교 전기전자전파공학과) , 최우현 (고려대학교 전기전자전파공학과) , 고한석 (고려대학교 전기전자전파공학과)

초록
AI-Helper

동일한 장소에서도 매우 다양한 음향이 발생하고, 서로 다른 장소에서도 유사한 음향이 발생하기 때문에 훈련 데이터가 적거나, 훈련 단계에서 일부 음향만 고려된 경우 음향 상황 인지 성능을 보장할 수 없다. 이러한 문제점을 해결하기 위한 방법으로 Bag of Words (BOW) 기반 히스토그램 특징이 소개되었다. 하지만 BOW 기반 히스토그램 특징은 일정 시간동안 발생한 음향의 분포를 이용하기 때문에 음향이 발생한 순차적인 정보는 고려할 수 없다. 음향 상황 인지에서 일정 시간 동안 발생한 음향의 주기성과 지속성은 상황을 인지하는데 중요한 정보가 될 수 있다. 따라서 본 논문에서는 재발량 분석을 이용하여 주기성과 지속성에 대한 특징을 추출하였다. 인식 실험에서 재발량 분석을 통해 추출된 특징을 함께 사용한 경우 기존 방법들 보다 향상된 성능을 확인했다.

Abstract ▼ AI-Helper

Since a variety of sound occur in same place and similar sound occurs in other places, the performance of acoustic scene classification is not guaranteed in case of insufficient training data. A Bag of Words (BOW) based histogram feature is foreseen as a method to overcome the problem. However, since the histogram features is made by using a feature distribution, the ordering of sequence of features is ignored. A temporal information such as periodicity and stationarity are also important for acoustic scene classification. In this paper, temporal features about a periodicity and a stationarity are extracted by using a recurrent quantification analysis. In the experiment, performance of the proposed method is shown better than other baseline methods.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

가설 설정

2의 예시에서, 재발 도표의 상,하삼각행렬에 나타나는 대각선은 동일한 음향이 반복되는 주기성을 나타낸다. 반복되는 패턴이 길수록 대각선의 길이가 길어지며, 주기가 길수록 중심 대각선에서 멀어진다. 재발 도표 의 수직선은 지속성을 나타내며, 오랜시간 지속될수록 수직선의 길이가 길어진다.
반복되는 패턴이 길수록 대각선의 길이가 길어지며, 주기가 길수록 중심 대각선에서 멀어진다. 재발 도표 의 수직선은 지속성을 나타내며, 오랜시간 지속될수록 수직선의 길이가 길어진다. 2차원 평면에서 표현된 대각선과 수직선 특징을 수치화 하기 위해 재발량 분석을 수행한다.

제안 방법

재발 도표 의 수직선은 지속성을 나타내며, 오랜시간 지속될수록 수직선의 길이가 길어진다. 2차원 평면에서 표현된 대각선과 수직선 특징을 수치화 하기 위해 재발량 분석을 수행한다. 본 논문에서는 재발점 (recurrence point)이 연속적으로 2개 이상 발생한 경우를 선으로 정의하여 재발량 분석을 수행했다.
제안하는 방법에서는 MFCC 특징에 시간 흐름에 대한 정보를 반영하기 위해 Table 1에 정리된 재발량 분석 특징을 추가했다. MFCC 특징은 기존 방법 1 실험과 동일하게 추출했으며, 4 s 길이의 데이터에서 추출된 MFCC를 바탕으로 히스토그램 특징을 추출하고 재발량 분석을 수행했다. 인식 단계에서는 기존 방법 2 실험과 동일한 조건에서 실험했다.
기존 연구에서 많이 사용되는 MFCC 특징은 1차 미분 성분을 이용하여 시간에 따른 RQA 특징을 반영하지만, 이는 부분적인 시간 변화만 반영할 뿐, 전반적으로 발생되는 주기성과 지속성을 반영할 수 없다. 본 논문에서는 시간에 따른 음향 특징을 반영하기 위해 재발량 분석을 사용했다. 인식 실험 결과 BOW 기반 음향 상황 인지에 재발량 분석을 통해 추출한 특징을 적용한 결과 11개 음향 상황을 인식하는데 평균 95.
본 논문에서는 음향 상황 인지를 위해 BOW 기반 히스토그램 특징과 재발량 분석을 이용한 시간 특징을 사용했다. Fig.
2차원 평면에서 표현된 대각선과 수직선 특징을 수치화 하기 위해 재발량 분석을 수행한다. 본 논문에서는 재발점 (recurrence point)이 연속적으로 2개 이상 발생한 경우를 선으로 정의하여 재발량 분석을 수행했다. 그결과 총 12가지 특징이 추출되며, Table 1은 본 논문에서 사용된 특징들을 설명한다.
특징 벡터의 시간에 따른 변화도를 추출하기 위해 재발량 분석을 이용하여 특징을 추가했다. 먼저, 기존 MFCC 특징과 그들의 재발량 분석 결과를 이용한 실험에서 2차 커널함수를 사용한 경우 92.

대상 데이터

실험 database는 녹음기를 이용하여 일상에서 자주 접하는 교통수단과 실내, 실외에 대해 총 11가지 장소에서 수집했다. 먼저, 교통수단으로 버스(Bus), 택시(Car), 지하철(Metro), 지하철 환승 통로(Gate)가 고려되었고, 카페(Cafe), 잡화점(Department Store), 가정집(Home), 마트(Mart)가 실내 상황으로, 마을 버스가 다니는 골목길(Alley), 버스 중앙차로가 설치된 대도로변(Street), 차량 통행이 없는 길거리(Way)가 실외 상황으로 고려되었다.

데이터처리

본 논문에서는 성능 평가를 위해 5-fold cross validation 실험을 진행했으며, 훈련 데이터와 테스트 데이터 비율은 1:4로 설정했다. 다섯 번 반복 실험을 통해 평균 인식률과 표준 편차를 산출했으며, 기존 방법과 제안하는 방법의 성능을 비교했다.
본 논문에서는 성능 평가를 위해 5-fold cross validation 실험을 진행했으며, 훈련 데이터와 테스트 데이터 비율은 1:4로 설정했다. 다섯 번 반복 실험을 통해 평균 인식률과 표준 편차를 산출했으며, 기존 방법과 제안하는 방법의 성능을 비교했다.

성능/효과

3 % 향상된 것을 확인할 수있었다. BOW 기반 음향 상황 인지에 재발량 분석을 통해 추출한 특징을 적용한 경우 코드북 크기가 550이고 선형 커널함수에서 95.02 %로 가장 높은 인식률을 확인할 수 있었다. 제안하는 방법에서는 BOW 기반 음향 상황 인지를 이용하여 훈련에 반영되지 않은 상황에 강인하게 대처할 수 있고, RQA 특징을 이용하여 시간 변화에 따른 특징을 반영함으로써 효과적인 음향 상황인지를 수행할 수 있었다.
첫 번째 기존 방법에 대한 인식 실험 결과를 Table 3에 정리했다. Mixture 수가 많을수록 인식률이 높아 지는 것을 확인할 수 있다. 64 mixture 모델을 사용한 경우, 11개 음향 상황에 대해 평균 89.
Reference [6]에서는 코드북의 표현력을 향상하기 위해 캡스트럴 특징과 주파수 특징을 사용했다. 그 결과, 같은 조건에서 84.69 %로 약 3 % 향상된 결과를 확인할 수 있고, 같은 커널 함수에서 코드북의 크기가 550일 때, 85.12 %로 가장 높은 인식률을 확인할수 있었다. 하지만 이 결과는 기존 방법 1 결과와 비교하여 약 4 % 하락한 성능을 보이고 있다.
특징 벡터의 시간에 따른 변화도를 추출하기 위해 재발량 분석을 이용하여 특징을 추가했다. 먼저, 기존 MFCC 특징과 그들의 재발량 분석 결과를 이용한 실험에서 2차 커널함수를 사용한 경우 92.28 %로 첫번째 기존 방법 보다 약2.3 % 향상된 것을 확인할 수있었다. BOW 기반 음향 상황 인지에 재발량 분석을 통해 추출한 특징을 적용한 경우 코드북 크기가 550이고 선형 커널함수에서 95.
하지만 이 결과는 기존 방법 1 결과와 비교하여 약 4 % 하락한 성능을 보이고 있다. 실험 결과에서는 자동차 엔진 소리가 주로 발생하는 버스와 택시 상황, 노래 소리가 빈번히 발생하는 길거리와 잡화점 상황, 조용한 배경에 간헐적인 음향이 발생 하는 가정과 카페 상황에서 오인식이 많았다. BOW 기반 히스토그램 특징은 일정 시간 동안 발생한 특징들의 분포를 사용하기 때문에 유사한 음향 분포가 발생하는 상황에서는 한계가 있다.
본 논문에서는 시간에 따른 음향 특징을 반영하기 위해 재발량 분석을 사용했다. 인식 실험 결과 BOW 기반 음향 상황 인지에 재발량 분석을 통해 추출한 특징을 적용한 결과 11개 음향 상황을 인식하는데 평균 95.02 %의 인식률을 확인했다.
3은 각 실험에서 최상의 성능을 보여준다. 재발량 분석을 통해 전반적인 시간 정보를 반영한 경우, 기존 방법들 보다 높은 성능을 보이며, 제안하는 방법에서 가장 높은 성능을 확인할 수 있다.
02 %로 가장 높은 인식률을 확인할 수 있었다. 제안하는 방법에서는 BOW 기반 음향 상황 인지를 이용하여 훈련에 반영되지 않은 상황에 강인하게 대처할 수 있고, RQA 특징을 이용하여 시간 변화에 따른 특징을 반영함으로써 효과적인 음향 상황인지를 수행할 수 있었다. Fig.
^[7] 재발량분석 특징은 일정 시간동안 발생한 음향 의 주기성과 지속성을 수치화하여 표현한다. 제안하는 방법에서는 재발량 분석 특징과 BOW 기반 히스토그램 특징을 이용함으로써 실험을 통해 기존 방법들 보다 향상된 성능을 확인했다. 본 논문은 II장 제안하는 방법, III장 기존 방법들과 제안하는 방법을 이용한 실험 내용, IV장 결론으로 구성된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	음향 상황 인지는 어떤 분야에 사용되는가?	음향은 장소와 사람의 유무 및 행동 등 다양한 정보를 포함하며, 그 중 장소를 판단할 수 있는 음향 상황 인지(acoustic scene classification)는 다양한 분야에서 사용된다. 스마트폰,[1] 로봇 내비게이션,[2] 시계, 안경과 같이 착용할 수 있는 장치(wearable device)[3] 와 같이 이동 가능한 장치에서 현재 장소 판단 및 상황 대처를 위해 상황 인지 기술이 적용되고, 음성 인식 또는 음향 이벤트 인식/검출 성능 향상을 위해 현재 장소를 판단하는데 사용된다.[4]현재까지 음향 상황 인지를 위한 많은 연구들이 진행됐고, 최근, 도전과제로 Detection and Classification of Acoustic Scenes and Events(DCASE)가 개최됐다.
	MFCC 특징에서 시간 변화에 대한 정보는 무엇을 이용하여 추출하는가?	MFCC 특징은 1차, 2차 미분 성분을 이용하여 시간 변화에 대한 정보를 추출할 수 있다. 하지만 위 요소들은 인근 프레임 사이 발생하는 변화만 반영하기 때문에 주기성, 지속성을 표현할 수 없다.
	서로 다른 장소에서 동일한 음향이 발생하더라도 시간에 따른 변화에는 차이로 발생하는 문제를 해결하기 위해 본 논문에서 사용된 방법은?	본 논문에서는 이러한 단점을 보완하기 위해 재발량 분석(Recurrence Quantification Analysis: RQA) 특징을 사용했다.[7]재발량분석 특징은 일정 시간동안 발생한음향 의 주기성과 지속성을 수치화하여 표현한다.

참고문헌 (9)

W. Choi, S. Kim, M. Keum, D. K. Han, and H. Ko, "Acoustic and visual signal based context awareness system for mobile application," IEEE Trans. Cons. Elec. 57, 738-746 (2011).

상세보기
S. Chu, S. Narayanan, C.-C. Jay Kuo, and M. J. Matari, "Where am I? Scene recognition for mobile robots using audio features," in Proc. IEEE Int. Conf. Multimedia and Expo., 885-888 (2006).
Y. Xu, W. J. Li, and K. K. Lee, Intelligent Wearable Interfaces, (John Wiley & Sons, New Jersey, 2008).
T. Heittola, A. Mesaros, A. Eronen, and T. Virtanen, "Context-dependent sound event detection." EURASIP J. Audio, Speech, and Music Process. 1, 1-13 (2013).
D. Barchiesi, D. Giannoulis, D. Stowell, and M.D. Plumbley, "Acoustic Scene Classification," IEEE Sig. Process. Mag. 32, 16-34, (2015).
S. Park, W. Choi, and H. Ko, "Frequency-cepstral features for bag of words based acoustic context awareness" (in Korea), J. Acoust. Soc. Kr. 33, 248-254 (2014).

원문보기 상세보기
J. P. Zbilut and C. L. Webber, Wiley Encyclopedia Biomedical Engineering: Recurrence quantification analysis, (John Wiley & Sons, New Jersey, 2006), pp. 1-9.
V. Carletti, P. Foggia, G. Percannella, A. Saggese, N.Strisciuglio, and M. Vento, "Audio surveillance using a bag of aural words classifier," in Proc. IEEE Int. Conf. Ad. Video and Sig. Surveil., 81-86 (2013).
C.C. Chang and C.J. Lin, "LIBSVM : a library for support vector machines," ACM Trans. Intelligent Sys. and Tech.,2, 1-27 (2011).

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증