선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
가설 설정
- (1)에서 i, j는 각각 입력 층, 은닉 층의 뉴런 인덱스, n 은 입력벡터의 차수 w 는 입력-은닉 층 사이의 연결 가중치, b 1 는 은닉 층 바이어스 뉴런의 연결 값을 의미한다. b1j = w0j , x0=1 을 가정하여 벡터의 내적으로 간단하게 표현하였다.
제안 방법
- 이러한 기존의 연구에서는 언어의 인지도만 높이기 위해 잡음 환경 분류에 초점을 맞추고 있거나, 특수한 상황의 잡음만 분류하여 제거하였지만 본 연구에서 는 음성만 있는 상황, 음성과 잡음이 있는 상황, 잡음만 있는 상황, 그리고 음악을 듣는 상황으로 분류하여 일상 생활에서 자주 접하는 환경을 빠르고 정확하게 분류 할 수 있도록 알고리즘을 개선 하였다.
- 다시 말해서, 본 연구에서는 8 msec 마다 특징 값들을 추출하여 인공신경망을 통해 음성만 있는 상황, 음성과 잡음이 있는 상황, 잡음만 있는 상황 그리고 음악을 듣는 상황 의 4 가지 환경에 대해 90% 이상의 성능을 보이며 분류 할 수 있는 실시간 환경 분류 알고리즘을 개발하였다.
- 보청기를 통하여 들어 오는 음성 신호를 음성 환경에 따라 다르게 처리해 주기 위해 음성만 있는 상황, 음성과 잡음이 있는 상황, 잡음만 있는 상황 그리고 음악을 듣는 상황(4가지 음성 환경)이 4 가지 환경으로 인공 신경망 모델링 기법을 사용하여 분류를 하였다. 인공 신경망 모델링 기법은 일반적으로 계층의 수에 따라 크게 단층 신경망과 다층 신경망의 2 가지로 구분되는데 본 논문에서는 다층 신경망 구조 중 구분의 정확도를 높이기 위해서 2 개의 은닉 층을 사용하는 피드포워드(Feed-forward) 다층 신경망을 사용하였다[5-7].
- 위 에서 제시한 4가지 음성 환경으로 구분하기 위해서 먼저 우리가 일상 생활에서 듣는 소리들의 특징을 추출하여 분류하기 위한 값들을 얻어낸다. 특징 값으로는 시간축상에 특징을 나타내는 short time energy(STE) [15,16], zero crossing rate(ZCR) [15], 주파수 특성을 나타내는 spectral roll-off(SRO) [15,16], spectral centroid(SC) [15,16], spectral flux(SF) [15,16], 그리고 음성이 저주파 대역에 주로 분포되어 있는 것을 고려하여 비선형으로 주파수 밴드를 나누어 특징 값을 구하는 mel frequency cepstrum coefficients(MFCCs) [5,15,17], mel band power(MP) [18,19]를 사용하였다. 2 가지 시간축상의 특징 값 추출 방식, 3 가지 주파수축상의 특징 값 추출 방식, 그리고 2 가지 mel 밴드를 나누는 방식으로 입력신호로부터 실시간으로 해밍 창함수(hamming windowing)를 사용하여 데이터를 분할 후 특징 값을 추출하여 보청기 사용자의 환경을 구분하는 모델을 인공 신경망 모델링 기법을 사용하여 생성하였다.
- 특징 값으로는 시간축상에 특징을 나타내는 short time energy(STE) [15,16], zero crossing rate(ZCR) [15], 주파수 특성을 나타내는 spectral roll-off(SRO) [15,16], spectral centroid(SC) [15,16], spectral flux(SF) [15,16], 그리고 음성이 저주파 대역에 주로 분포되어 있는 것을 고려하여 비선형으로 주파수 밴드를 나누어 특징 값을 구하는 mel frequency cepstrum coefficients(MFCCs) [5,15,17], mel band power(MP) [18,19]를 사용하였다. 2 가지 시간축상의 특징 값 추출 방식, 3 가지 주파수축상의 특징 값 추출 방식, 그리고 2 가지 mel 밴드를 나누는 방식으로 입력신호로부터 실시간으로 해밍 창함수(hamming windowing)를 사용하여 데이터를 분할 후 특징 값을 추출하여 보청기 사용자의 환경을 구분하는 모델을 인공 신경망 모델링 기법을 사용하여 생성하였다.
- 특징 값 추출 시 각각의 데이터의 길이는 길수록 높은 정확도의 구분 성능을 구현할 수 있지만, 실시간 알고리즘의 메모리 및 데이터 처리시간의 한계에 의하여 프레임을 길게 잡는 것에는 한계가 있다. 제안하는 환경 분류 알고리즘은 8 msec 길이의 데이터를 실시간으로 특징값을 계산한 후 이 값을 200 개씩 중첩시켜서 데이터 길이가 1.6 sec 인 환경 구분 모델과 유사한 형태의 모델을 생성하였다. 그림 1에서와 같이 비교를 위해서 1.
- 최적의 뉴런 개수를 찾기 위해 특징 값을 7개로 고정하고 인공 신경망의 뉴런의 개수들을 다르게 하여 성능 비교를 하였다. 첫 번째 은닉 층과 두 번째 은닉 층의 개수들을 다르게 하여 성능 비교를 하였다.
- 최적의 뉴런 개수를 찾기 위해 특징 값을 7개로 고정하고 인공 신경망의 뉴런의 개수들을 다르게 하여 성능 비교를 하였다. 첫 번째 은닉 층과 두 번째 은닉 층의 개수들을 다르게 하여 성능 비교를 하였다. 뉴런의 개수가 많아 질수록 좋은 성능을 보여주었지만, 뉴런의 개수가 20개 가 넘어가면 오히려 정확도가 떨어지는 것을 볼 수 있다(그림 3).
- 표 1을 통하여 가장 높은 정확도를 보인 두 개의 은닉 층에 대하여 각각 20개의 뉴런을 사용한 인경 신경망 모델을 사용하여 최적의 특징 값 조합을 찾고자 하였다.
- 시간 축 영역과 주파수 축 영역에서 볼 수 있는 특징 값들 5 가지를 묶어서 결과를 보고, 기존 연구에서 높은 성능을 보여주는 MFCCs 와 Mel Band power값을 선택적으로 특징 값으로 지정하여 모델의 정확도를 평가하였다(표 2) [5,18]. 최종적으로 8 msec의 데이터를 받아 평가 결과 두 개의 은닉 층에 대하여 각각 20 개의 뉴런을 사용하고 7 개의 특징 값을 모두 다 쓴 경우 인공 신경망 기법을 통하여 생성된 모델의 정확도는 가장 높은 94.
- 또한 다양한 특징 값 조합과 뉴런 개수의 조합을 통한 환경 구분 모델의 정확도를 분석하였다. 모든 특징 값을 다 사용하는 것이 가장 높은 정확도를 보였지만, MFCCs를 뺀 경우에도 91.
- 기존에 연구되던 환경분류 알고리즘은 환경을 분류하는데 2.5 sec, 5 sec 의 데이터를 받아서 처리하는데 보청기에서 입력되는 소리가 최소 9 msec 지연이 일어나지 않아야만 알고리즘이 실시간 구동이 가능하기 때문에 본 연구에서는 8 msec 단위로 입력 신호를 받아 실시간 구현이 가능하도록 하였다[23].
대상 데이터
- 음성 환경 구분 모델을 만들기 위해서는 같은 잡음 군이라도 다양한 장소에서 녹음된 데이터가 필요했다. 이 같은 상황을 모두 포함 하기 위해서 Phonak사로부터 제공 받은 음성 및 잡음 데이터를 사용하였다[20]. 음성 환경 구분 모델을 만들기 위한 데이터는 그림 1과 같이 음성만 있는 상황, 음성과 잡음이 있는 상황, 잡음만 있는 상황 그리고 음악을 듣는 상황의 4 가지 상황에 대하여 음성 환경별로 길이가 30 sec인 51 개의 데이터를 8 msec의 길이로 분할하여 각각의 환경별로 191,250 개의 데이터를 모델을 생성하는데 사용하였다[21].
- 이 같은 상황을 모두 포함 하기 위해서 Phonak사로부터 제공 받은 음성 및 잡음 데이터를 사용하였다[20]. 음성 환경 구분 모델을 만들기 위한 데이터는 그림 1과 같이 음성만 있는 상황, 음성과 잡음이 있는 상황, 잡음만 있는 상황 그리고 음악을 듣는 상황의 4 가지 상황에 대하여 음성 환경별로 길이가 30 sec인 51 개의 데이터를 8 msec의 길이로 분할하여 각각의 환경별로 191,250 개의 데이터를 모델을 생성하는데 사용하였다[21]. 잡음이 포함되어진 상황인 음성과 잡음이 있는 상황과 잡음만 있는 상황인 경우, 2명 이상의 사람의 말소리 잡음, 차량 실내 잡음, 도로에서의 잡음 그리고 백색잡음 이 4가지 잡음 상황을 모두 고려해 주었다.
- 6 sec와 8 msec 두 가지 형태로 나누어서 특징 값을 추출한 후 4 가지 환경에 대한 분류 정확도를 검증 하였다. 204 개의 데이터 중 신경회로망 패턴 분류(Neural network pattern classification)에서 I. Kaastra 와 M. Boyd[22]에 따라 데이터를 분할하여 학습(training)으로 사용한 데이터는 68% (140 개)이고 16% (32 개)의 데이터가 시험(testing)에 사용되고 나머지 16% (32 개)의 데이터가 검증(validation)에 사용 되어 환경 분류 모델의 정확도를 평가하였다[15].
데이터처리
- 제안하는 알고리즘은 컴퓨터 시뮬레이션을 통해 테스트 되고 성능을 정확도로 나타내었다. 시뮬레이션을 위해 Matlab (2011a; Mathworks Inc., Massachusetts, USA) 을 사용하였고 30 sec 인 204 개(4 가지 환경 별 51 개씩)의 데이터를 1.6 sec와 8 msec 두 가지 형태로 나누어서 특징 값을 추출한 후 4 가지 환경에 대한 분류 정확도를 검증 하였다. 204 개의 데이터 중 신경회로망 패턴 분류(Neural network pattern classification)에서 I.
이론/모형
- 보청기를 통하여 들어 오는 음성 신호를 음성 환경에 따라 다르게 처리해 주기 위해 음성만 있는 상황, 음성과 잡음이 있는 상황, 잡음만 있는 상황 그리고 음악을 듣는 상황(4가지 음성 환경)이 4 가지 환경으로 인공 신경망 모델링 기법을 사용하여 분류를 하였다. 인공 신경망 모델링 기법은 일반적으로 계층의 수에 따라 크게 단층 신경망과 다층 신경망의 2 가지로 구분되는데 본 논문에서는 다층 신경망 구조 중 구분의 정확도를 높이기 위해서 2 개의 은닉 층을 사용하는 피드포워드(Feed-forward) 다층 신경망을 사용하였다[5-7].
- 활성화 함수(activation function) 로는 일반적으로 사용하는 sigmoid 함수를 사용하였다[7-14].
성능/효과
- 제안하는 알고리즘은 컴퓨터 시뮬레이션을 통해 테스트 되고 성능을 정확도로 나타내었다. 시뮬레이션을 위해 Matlab (2011a; Mathworks Inc.
- 시간 축 영역과 주파수 축 영역에서 볼 수 있는 특징 값들 5 가지를 묶어서 결과를 보고, 기존 연구에서 높은 성능을 보여주는 MFCCs 와 Mel Band power값을 선택적으로 특징 값으로 지정하여 모델의 정확도를 평가하였다(표 2) [5,18]. 최종적으로 8 msec의 데이터를 받아 평가 결과 두 개의 은닉 층에 대하여 각각 20 개의 뉴런을 사용하고 7 개의 특징 값을 모두 다 쓴 경우 인공 신경망 기법을 통하여 생성된 모델의 정확도는 가장 높은 94.4%를 보였다.
- 보청기 사용자들 역시 일반적인 사람들과 같이 빠르게 변화하는 상황에 정확하게 적응하여야 하고 상황에 맞는 잡음 제거 알고리즘을 사용하여 불편함 없는 생활을 유지해야 한다[8]. 실시간으로 변하는 환경에 빠르게 적응하기 위해 본 연구에서는 8 msec의 프레임으로 데이터를 받아서 음성 환경 분류를 하였고 보청기에 적용이 어려운 1.6 sec 프레임으로 데이터를 받은 것과 비교 하였을 때 정확도가 7개의 특징 값을 사용하고 20개 뉴런 사용시 0.8% 의 차이를 보이며 유사한 결과를 얻어내었다. 결론적으로 실시간에서도 환경 구분 모델을 구현하면서도 높은 정확도가 유지되는 결과를 얻어 낼 수 있었다.
- 8% 의 차이를 보이며 유사한 결과를 얻어내었다. 결론적으로 실시간에서도 환경 구분 모델을 구현하면서도 높은 정확도가 유지되는 결과를 얻어 낼 수 있었다.
- 또한 다양한 특징 값 조합과 뉴런 개수의 조합을 통한 환경 구분 모델의 정확도를 분석하였다. 모든 특징 값을 다 사용하는 것이 가장 높은 정확도를 보였지만, MFCCs를 뺀 경우에도 91.3%로 높은 정확도를 보여 실시간 알고리즘 구현 시 계산 량이 상대적으로 많은 MFCCs는 빼고 환경 분류 모델을 구현할 수도 있고 향후 특징 값의 종류 및 조합을 늘린다면 성능이 개선될 것으로 보여진다.
후속연구
- 또한 본 연구에서는 기존의 2.5 sec나 5 sec의 데이터 길이가 뚜렷한 기준이 없었고 1.6 sec로도 충분히 90% 이상의 정확도가 유지된다고 판단되어 데이터 길이를 1.6 sec로 하였고 적절한 환경 분류에 걸리는 시간에 대한 정의는 추후에 필요할 것으로 판단되었다.
- 구현된 알고리즘은 Phonak 사에서 녹음한 데이터로써, 실제 환경에서 녹음한 데이터 와 성능을 비교할 수 없었다는 단점과 실제 보청기 마이크로폰을 통하여 들어온 음향이 아니기에 실제 소리와는 다소 차이가 있을 수도 있다. 이러한 단점들이 보완하기 위해 좀더 다양한 데이터를 통하여 모델을 생성할 필요가 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.