선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 애완동물 소리들과 실내 소리로 중첩된 소리샘플을 광역 사운드 스펙트로그램으로 특징을 추출하고 DNN 기법의 KSM으로 특징을 분류하여 목표로 하는 소리를 인식하는 방법과, 중첩된 소리신호의 중첩강도에 따라서 인식률에 미치는 영향을 분석, 평가하였다. III 장의 실험 결과와 같이 중첩된 소리샘플이, 난이하게 설정된 목표소리로 입력되면 평균 94.
제안 방법
- 광역 사운드 스펙트로그램 블록에서 추출된 특징은 매트릭스화 하여 DNN 블록으로 입력되며, DNN 블록에서 특징에 따라 분류된 결과는 전처리 후 텐서플로우 백엔드로 출력한다.
- 이러한 문제를 해결하기 위하여, 본 논문에서는 애완동물 소리와 실내 소리같은 다양하고 넓은 주파수의 소리 군으로 중첩되어 구축된 음향환경에서도 설정된 소리를 인식하기 위하여, 광역 사운드 스펙트로그램 기법을 사용하여 특징을 추출하는 방법과, DNN을 기반으로 한 KSM(Keras Sequential Model)을 사용하여 특징을 분류하고, 텐서플로우 백엔드(TensorFlow-backend)를 사용하여 중첩된 소리 속에서 목표한 소리를 인식하는 방법을 제안한다. 그리고 중첩되는 소리의 혼합강도에 따라 설정된 소리 인식에 미치는 영향에 대하여 분석한다. II장에서는 광역 사운드 스펙트로그램 과 KSM에 기반한 특징추출 및 분류 방법을 기술한다.
- 본 논문에서는 자연환경에서 녹음된 애완 동물의 소리와 백색 잡음 및 실내 소리를 이용한다. 넓은 대역폭으로 채집된 소리를 가청 한계영역까지 특징을 추출하기 위하여 광역 사운드 스펙트로그램으로 각 소리샘플의 스펙트럼을 분석하여 본다. 스펙트로그램은 시간에 따라 변하는 소리 또는 다른 신호의 주파수 스펙트럼을 시각적으로 표현한 것이다[4].
- 그림 4와 같이 학습용과 실험용으로 구분하여 광역 사운드 스펙트로그램으로 특징을 추출한 데이터를 갖고 통계적으로 축적한 각각의 벡터의 생성으로 특징을 분류하여 스코어링(scoring)으로 분류할 수 있도록 설계한다. 덴스(Dense), 엑티베이션과 드롭아웃(Dropout)을 수행하는 구조로, 엑티베이션에는 4 단계의 랠루(Relu)와 마지막 단계로 소프트맥스(Softmax)를 채용하고, 드롭 아웃 지수는 각각 0.2 를 사용하여 특징을 분류하는 방법으로 III 장의 실험 시스템에 적용한다. 텐서플로우 백엔드를 사용하여 중첩된 소리 속에서 목표로 하는 소리를 인식하도록 한다.
- 첫째, 센싱 단계는 20 Hz 부터 20 kHz까지 손상 없이 소리 샘플을 수집할 수 있도록 광역 마이크로폰을 사용하여 높은 영역의 소리까지 전기 신호로 변환한다. 둘째, 변환된 신호를 필터링 및 윈도우잉에서 20 Hz ~ 20 kHz의 대역필터로 여과하여 채집한 후, 디지털 신호로 변환하여 출력한다. 셋째, 채집된 디지털 신호를 진폭에 의한 크기, 주파수에 의한 높이, 음의 감쇠 및 증가특성을 갖는 음색을 광역사운드 스펙트로그램에 의하여 시간 축과 주파수 축으로 변환하여 특징을 추출한다.
- 본 논문에서는 자연환경에서 녹음된 애완 동물의 소리와 백색 잡음 및 실내 소리를 이용한다. 넓은 대역폭으로 채집된 소리를 가청 한계영역까지 특징을 추출하기 위하여 광역 사운드 스펙트로그램으로 각 소리샘플의 스펙트럼을 분석하여 본다.
- 본 장에서는 실험에 사용한 시스템의 구성 및 사용한 소리 샘플에 대하여 설명하고, 실험한 결과를 기술하고 분석한다. 그림 5는 중첩된 소리샘플에 대한 특징검출 및 패턴 분류 실험에 사용한 시스템 구성도이다.
- 둘째, 변환된 신호를 필터링 및 윈도우잉에서 20 Hz ~ 20 kHz의 대역필터로 여과하여 채집한 후, 디지털 신호로 변환하여 출력한다. 셋째, 채집된 디지털 신호를 진폭에 의한 크기, 주파수에 의한 높이, 음의 감쇠 및 증가특성을 갖는 음색을 광역사운드 스펙트로그램에 의하여 시간 축과 주파수 축으로 변환하여 특징을 추출한다. 넷째, 스펙트럼에 의하여 추출된 데이터를 매트릭스화하여 KSM에서 특징 분류할 수 있도록 출력한다.
- 실험방법은 실내 소리(s5)를 입력된 각각의 소리 샘플(s1, s2, s3 및 s4)에 - 20 dB 전후로 중첩시켜 신호당 120회 씩 실험하는 방법을 사용하였다. “인식(Detection)”과 “오류(Error)”를 측정한 결과는 표 2와 같이 cat sound가 90 %, bird sound가 89 %, dog sound가 99 %이고 백색잡음(white noise)도 98%로 분류되어 인식되었으며 총 480회 실험한 결과는 평균 94.
- 특징추출과 분류는 그림 1과 같이 센싱(sensing), 필터링(filtering) 및 윈도우잉(windowing), 특징추출 및 패턴분류로 구성된다. 애완동물 소리와 실내 소리로 다양하게 중첩되어 입력되는 소리를 인간이 귀로 인식하는 것과 같이 마이크로폰으로 가청한계 주파수까지 채집한 소리를 밴드패스 필터(band pass filter)로 여과하고 윈도우잉하여, 넒은 주파수범위의 소리신호를 스펙트럼으로 변환할 수 있는 광역 사운드 스펙트로그램 기법을 사용하여 특징을 추출하고, 이 결과를 패턴분류로 전달한다. 특징 추출된 데이터를 파이선(Python)으로 프로그램 된 KSM에 의하여 분석 처리한 후 입력된 소리 군에 상응하게 인식된 결과를 출력한다.
- 또 다양한 잡음이 존재하는 실제의 인식 환경에서, 잡음의 에너지가 커질수록 음성인식 시스템의 성능은 급격히 떨어진다[3]. 이러한 문제를 해결하기 위하여, 본 논문에서는 애완동물 소리와 실내 소리같은 다양하고 넓은 주파수의 소리 군으로 중첩되어 구축된 음향환경에서도 설정된 소리를 인식하기 위하여, 광역 사운드 스펙트로그램 기법을 사용하여 특징을 추출하는 방법과, DNN을 기반으로 한 KSM(Keras Sequential Model)을 사용하여 특징을 분류하고, 텐서플로우 백엔드(TensorFlow-backend)를 사용하여 중첩된 소리 속에서 목표한 소리를 인식하는 방법을 제안한다. 그리고 중첩되는 소리의 혼합강도에 따라 설정된 소리 인식에 미치는 영향에 대하여 분석한다.
- Fit)로 트래닝(training)하여 가중치(weights) 값을 생성하여 저장(save) 한다. 저장된 가중치 값을 사용한 테스트(test)에 의하여 분류하고 인지하기 위한 스코어링을 한다. 분류를 위한 크래스(class)는 4 개로 하며 반복실험(epoch)은 50회를 행한다.
- 2 를 사용하여 특징을 분류하는 방법으로 III 장의 실험 시스템에 적용한다. 텐서플로우 백엔드를 사용하여 중첩된 소리 속에서 목표로 하는 소리를 인식하도록 한다.
- 애완동물 소리와 실내 소리로 다양하게 중첩되어 입력되는 소리를 인간이 귀로 인식하는 것과 같이 마이크로폰으로 가청한계 주파수까지 채집한 소리를 밴드패스 필터(band pass filter)로 여과하고 윈도우잉하여, 넒은 주파수범위의 소리신호를 스펙트럼으로 변환할 수 있는 광역 사운드 스펙트로그램 기법을 사용하여 특징을 추출하고, 이 결과를 패턴분류로 전달한다. 특징 추출된 데이터를 파이선(Python)으로 프로그램 된 KSM에 의하여 분석 처리한 후 입력된 소리 군에 상응하게 인식된 결과를 출력한다. 이와 같이 입력된 소리를 단계별로 처리한 후, 이에 상응하게 분류, 분석하여 인식 값을 출력하는 단계별 역할은 다음과 같다.
- 포맷(format)이 다른 소리 샘플은 오데서티 툴(Audacity tool)로 포맷을 동일하게 변환하여 사용하였다. 표 1에 트래닝, 검증 및 테스트에 사용한 각 소리 샘플의 특성을 정리하였으며, 상기와 같이 채집된 전체 모집단 샘플의 90 %를 트래닝 용으로 사용하고, 10 %를 검증용으로 사용하였다.
대상 데이터
- 그림 5는 중첩된 소리샘플에 대한 특징검출 및 패턴 분류 실험에 사용한 시스템 구성도이다. 본 논문에서는 입력 소리샘플로 자연 환경에서 채집하여 녹음된 4가지 소리 샘플 및 실내 소리를 사용한다. 소리샘플은 학습용, 실험용 및 중첩용으로 사용되며, 시스템은 학습 및 검증블록 및 실험블록으로 구분된다.
- 실험에 사용한 소리 샘플은 40 dB ~ 50 dB의 자연 환경에서 녹음한 것과 유사한 소리 샘플을 프리 사운드 사이트(Freesound site)에서 다운로드하여 사용하였고, 실내 소리는 일반 가정과 같은 수준인 50 dB ~ 60 dB 수준에서 녹음된 소리를 사용하였다. 실험에 사용된 모든 소리 샘플은 모노(mono) 채널에 의하여 16 bits 16 kHz로 채집한 소리와 16 bits 16 kHz로 다운 스트림(downstream)한 소리를 .wav 파일로 출력하여 구성하였다.
- 실험에 사용한 소리 샘플은 40 dB ~ 50 dB의 자연 환경에서 녹음한 것과 유사한 소리 샘플을 프리 사운드 사이트(Freesound site)에서 다운로드하여 사용하였고, 실내 소리는 일반 가정과 같은 수준인 50 dB ~ 60 dB 수준에서 녹음된 소리를 사용하였다. 실험에 사용된 모든 소리 샘플은 모노(mono) 채널에 의하여 16 bits 16 kHz로 채집한 소리와 16 bits 16 kHz로 다운 스트림(downstream)한 소리를 .
- 실험에 사용한 소리 샘플은 보통의 고양이 소리, 새 소리, 개 소리 및 백색 잡음과 실내 소리 샘플이며, 그림 6에서 각각의 소리 샘플을 수직으로 진폭을, 수평으로 시간 축을 스펙트럼으로 나타냈다.
이론/모형
- 넷째, 스펙트럼에 의하여 추출된 데이터를 매트릭스화하여 KSM에서 특징 분류할 수 있도록 출력한다. 다섯째, 패턴분류에서는 DNN의 KSM 방법을 사용하여 데이터를 분석하여 분류하고, 특정 소리 군으로 인식할 수 있도록 분류결과를 출력한다.
- 패턴 분류는 중첩된 소리를 광역 사운드 스펙트로그램으로 특징을 추출한 후, 분류하기 위하여 DNN의 KSM 방법을 사용한다. KSM 방법은 현재 20만 이상의 사용자가 있으며 구글(Google), 넷프릭스(Netflix), 우버(Uber), 옐프(Yelp)와 스퀘어(Square) 등의 많은 회사들이 사용하고 있다.
- wav 파일로 출력하여 구성하였다. 포맷(format)이 다른 소리 샘플은 오데서티 툴(Audacity tool)로 포맷을 동일하게 변환하여 사용하였다. 표 1에 트래닝, 검증 및 테스트에 사용한 각 소리 샘플의 특성을 정리하였으며, 상기와 같이 채집된 전체 모집단 샘플의 90 %를 트래닝 용으로 사용하고, 10 %를 검증용으로 사용하였다.
성능/효과
- “인식(Detection)”과 “오류(Error)”를 측정한 결과는 표 2와 같이 cat sound가 90 %, bird sound가 89 %, dog sound가 99 %이고 백색잡음(white noise)도 98%로 분류되어 인식되었으며 총 480회 실험한 결과는 평균 94.2 %의 인식률로 우수한 결과를 얻었다.
- - 20 dB 까지는 완만하게 인식률이 감쇠되나, – 10 dB 이상의 중첩에서는 인식률이 급격하게 감소하는 것으로 평가되었다.
- 본 논문에서는 애완동물 소리들과 실내 소리로 중첩된 소리샘플을 광역 사운드 스펙트로그램으로 특징을 추출하고 DNN 기법의 KSM으로 특징을 분류하여 목표로 하는 소리를 인식하는 방법과, 중첩된 소리신호의 중첩강도에 따라서 인식률에 미치는 영향을 분석, 평가하였다. III 장의 실험 결과와 같이 중첩된 소리샘플이, 난이하게 설정된 목표소리로 입력되면 평균 94.8 % 의 인식률을 나타냈고, 랜덤하게 목표소리가 입력되면 평균 96.7%의 인식률을 나타내어 다른 이상 신호와 중첩된 소리 샘플도 인식이 가능함을 확인하였다. 실험에 사용한 소리 샘플의 중첩강도가 - 20 dB까지는 평균 88.
- 3 % 이상으로 인식이 가능하나, – 10 dB보다 크게 중첩된 소리 샘플에서는 급격히 인식률이 저하되는 것을 인지하였다. 소리 샘플로 고양이 소리, 새 소리, 개 소리 및 백색 잡음과 같은 다양한 주파수의 소리를 사용하여 가청 한계영역의 높은 주파수 성분까지 우수하게 인식됨을 확인하였다. 향후 좀 더 강한 중첩강도 및 실험한 4개의 소리 샘플뿐만 아니라 특정되지 않은 일반적인 소리 샘플도 특징 추출하여 분류하고 인식이 가능하도록 광역 사운드 스펙트로그램의 분해능력을 업그레이드하고, DNN의 심층신경망도 보강하는 연구를 진행할 예정이다.
- 실험에 사용한 소리 샘플의 중첩강도가 - 20 dB까지는 평균 88.3 % 이상으로 인식이 가능하나, – 10 dB보다 크게 중첩된 소리 샘플에서는 급격히 인식률이 저하되는 것을 인지하였다.
- 표 2의 평가결과에서 낮은 인식률을 보이는 새 소리를 선택하고, 중첩되는 신호를 – 40 dB부터 10 dB 스텝으로 + 10 dB까지 단계별로 중첩시켜 인식률을 평가한 결과, 표 4과 같이 – 40 dB에서 - 10 dB까지는 100 % 인식률을 나타냈으나 0 dB에서 25 %와 + 10 dB에서 0 %의 인식률을 보였다.
- 표 2의 평가결과에서 중간 인식률을 나타내는 고양이 소리(s1)를 선택하고, 동일한 실내 소리를 – 40 dB부터 + 10 dB까지 10 dB 스텝으로 중첩시켜 인식률을 평가한 결과, 표 3과 같이 – 40 dB 중첩에서 90 %, - 30 dB 중첩에서 88 %, - 20 dB 중첩에서 86 %, - 10 dB 중첩에서 57 %, 0 dB 중첩에서 40 %와 + 10 dB 중첩에서 5 %의 인식률을 나타내었다.
후속연구
- 소리 샘플로 고양이 소리, 새 소리, 개 소리 및 백색 잡음과 같은 다양한 주파수의 소리를 사용하여 가청 한계영역의 높은 주파수 성분까지 우수하게 인식됨을 확인하였다. 향후 좀 더 강한 중첩강도 및 실험한 4개의 소리 샘플뿐만 아니라 특정되지 않은 일반적인 소리 샘플도 특징 추출하여 분류하고 인식이 가능하도록 광역 사운드 스펙트로그램의 분해능력을 업그레이드하고, DNN의 심층신경망도 보강하는 연구를 진행할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.