[논문]Neural Spike Train Decoding에 기반한 인공와우 어음처리방식 성능평가

김두희; 김진호; 김경환

doi:10.9718/jber.2007.28.2.271

문제 정의

많은 연구자료에서 acoustic simulation 등의 방법을 이용하였으나 실제 이식과 훈련을 거 친 후의 어음처 리방식의 성 능을 효과적 으로 예측할 수 있는가에 대한 불확실성이 존재하였다[8]. 본 연구에서는 neural spike train decoding에 기반한 어음처리방식을 제안하였다. 여러 가지 잡음하에서 지정된 어음처리방식에 기반하여 생성된 전기 자극 펄스에 의하여 자극된 청신경 응답으로부터 neural spike train decoding 방법을 이용하여 음성 인식에 중요한 역할을 하는 제 1, 2 그리고 제3 포먼트 궤적을 추정하여 입력음성의 포먼트와 비교함으로써 어음처 리 방식 의 포먼트 정 보 표현 특성 을 평 가하였다.
활동전위의 발생 시점을 나타낸 spike train으로부터 외 부자극 혹은 이 spike train 이 전달하고 있는 정 보를 복원 할 수 있는데 이 러 한 방법 을 neural spike train decoding이라한다[9, 10]. 본 연구에서는 음성에 대하여 확률적 청신경모델로부터 multiple spike trains을 얻고 neural spike train decoding 에 기반하여 외 부자극인 입 력음성의 포먼트 추정 값을 얻고 이 를 원래의 포먼트와 정 량적 으로 비 교함으로써 사용된 어음처리방식의 유용성을 평가하는 방법을 제안한다. 이는 입력음성의 특성이 지정된 어음처리방식에 기반한 전기 자극 펄스에 의해 청신경 의 응답으로 잘 전달될수록 우수한 어음처 리 방식 이라 할수있으며 높은 수준의 청력회복을 기대할 수 있다는 가정에 기반하고 있다.
본 연구의 목적은 neural spike train decoding에 기반하여 어음처리방식의 성능평가를 수행하고 이 방법의 성능평가 수단으로써의 효용성을 알아보는 것이다. 외부로부터 신체 기관 등으로 가해진 자극은 활동전위와 같은 신경계의 응답의 형태로 표현되며 이 응답에는 자극에 대한 정보가 전달된다.
실험결과 전기자극펄스 자극율의 변화에 상관없이 잡음하에 시변-비선형 필터뱅크 기반 어음처리방식의 우수성을 관찰할 수 있었다. 자극율이 증가함에 따라 빠르게 변화하는 음성정보의 전달 도가 증가하여 음성 인식률 향상에 기여 할 수 있으나 본 연구에서는 상대적으로 느리게 변화하는 음성정보인 음성파형의 포락선 (envelope)에 대한실험만진행하였다[18, 19].

제안 방법

이 때 전기자극펄스의 자극율은 800, 2000, 5000 pps로 설정하였고, 진폭 변조(amplitude modulation)는 최대 값을 450 |1A로 두고 1% modulation depth를 갖도록 조절하였다. Spike train decoding을 수행하기 위해 디코딩필터로 최적 선형 필터를 이용하였으며 12채널로부터 얻은 spike train의 발화율 계산을 위 한 time bin 폭과 디 코딩 필터 의 차수는 가장 높은 디 코딩성능을 보이되 학습 데이터에 대하여 overfitting되지 않도록 최적화 되 었다. Time bin 폭은 15 ms로 설정하였고 디 코딩 필터 의 차수는 5차로 75 ms 길이를 갖도록설정하였다.
포먼트의 낮은 값부터 제 1, 제 2 포먼트(Fl, F2)의 순서로 불리우는데 이 중 모음의 인식에는 제 1, 제2 포먼트가 중요한 역할을 하며 실험에는 제1〜제3포먼트 (Fl, F2, F3)를 어음처리방식의 성능평가의 지표로 사용하였다 [11, 12]. 본 연구에서는 서로 다른 어음처리방식 성능평가 방법에 의한 결과와 비교하여 어음처리방식 성능평가 도구로써 neural spike train decoding0!] 기 반한 방법의 효용성을 알아보았다.
Time bin 폭은 15 ms로 설정하였고 디 코딩 필터 의 차수는 5차로 75 ms 길이를 갖도록설정하였다. 실험에 사용된 잡음환경은 잡음이 없는 경우, 5 혹은。dB SNR 백색잡음(white Gaussian noise, WGN) 첨 가 시 그리 고 5 dB SNR 음성 형 태 잡음 (음성과 유사한 형태의 스펙트럼을 갖는 잡음 - speech shaped noise, SSN) 첨가 시 등으로 각각의 조건에서 두 어음처리방식 의성 능평 가 비 교를 수행 하였다.
시변-비선형필터 뱅크 기반 어음처 리방식은 달팽이 관내 기저막(basilarmembrane)의 선형 및 비선형 특성을 고려한 것이므로 기저막의 선형특성만을 고려한 어음처리방식에 비하여 잡음 하에서 음성정보전달특성을 향상시킬 수 있을 것으로 기대된다[20, 21]. 두 어음처리방식에 대하여 제안된 neural spike train decoding에 기반한 성능평가를 수행하였다. 입력음성으로부터 추출한 포먼트와 지정된 어음처리방식에 기반한 전기 자극 펄스에의 해 자극된 확률적 청신경 모델의 응답인 multiple spike trains로부터 최적선형 디코딩필터를 얻고 이를 이용하여 음성에 대한 청신경 모델의 응답으로부터 포먼트의 추정 값을 얻은 후 포먼트의 참값과 추정 값간 유사성 을 관찰함으로써 정 량적 으로 이 루어 졌다.
전기자극펄스에 실린 소리의 정보가 청신경의 spike train으로 전달되므로 소리의 정보가 청신경 응답에 어떻게 인코딩 되는지 를 관찰할 수 있다. 모델의 응답을 이 용한 spike train decoding 을 수행함으로써 어음처리 방식의 성능평가를 수행할 수 있다.
Litvak 등에 의하면 fine time structure의 전달을 위해서는 높은 자극율이 필요하며 또한 낮은 modulation depth에 의 해 음성 정 보를 충실하게 전달할 수 있다[18, 19]. 본 실험에서는 실제 이식자에게 사용되는 범위에서 Litvak 등이 fine time structure의 전달을 위해 사용한 범위인 800〜5000 pulses per second(pps)으로 자극율을 변화시 켰으며 1%의 낮은 modulation depth를 갖도록 조절하였다[18, 19].
본 연구에서는 외 부자극으로 입 력음성정보가 주어지고 특정 어음처리방식에 기반해 생성된 전기자극펄스를 입력으로하는 청신경 모델 응답에 인코딩 된 음성정 보를 복원하여 원 음성 정 보와 비 교하게 된다. 그림 1은 최적선형필터를 이용한 neural spike train decoding에 의한 포먼트 추정과정을 구체적으로 설명해 주고 있다.
시뮬레이션시, 자음十모음, 형태의 합성음/mu/가 6회 반복 표현된 1.7 초의 길이의 음성을사용하여 12채널에 대한 전기 자극 펄스를 생성하였다. 이 때 전기자극펄스의 자극율은 800, 2000, 5000 pps로 설정하였고, 진폭 변조(amplitude modulation)는 최대 값을 450 |1A로 두고 1% modulation depth를 갖도록 조절하였다.
확률적 청신경모델에 특정 어음처리방식에 기반한 전기 자극 펄스를 인가하여 multiple spike trains을 얻고 이를 최적선형 디코딩 필터의 입력으로 하고 입력음성으로부터 얻은 제1〜제3포먼트 궤적 (F1~F3)의 참값을 출력으로사용하여 디코딩 필터계수를 결정한다. 얻어진 디코딩필터의 입력으로 입력음성에 대한 청신경 모델의 응답을 사용하여 포먼트의 추정 값을 얻고 이 를 참값과 상관계 수를 이용하여 비교하여 포먼트가 얼마나 충실하게 복원되는지를 정 량적으로 관찰한다. 포먼트 궤적 이 충실하게 복원될수록 참값과 유사한 형태를 가지며 상관계수가 1에 가까운 값을 갖게 되며 이를 이용하여 디코딩 성능을 정 량화하였다.
본 연구에서는 neural spike train decoding에 기반한 어음처리방식을 제안하였다. 여러 가지 잡음하에서 지정된 어음처리방식에 기반하여 생성된 전기 자극 펄스에 의하여 자극된 청신경 응답으로부터 neural spike train decoding 방법을 이용하여 음성 인식에 중요한 역할을 하는 제 1, 2 그리고 제3 포먼트 궤적을 추정하여 입력음성의 포먼트와 비교함으로써 어음처 리 방식 의 포먼트 정 보 표현 특성 을 평 가하였다. 실험결과 전기자극펄스 자극율의 변화에 상관없이 잡음하에 시변-비선형 필터뱅크 기반 어음처리방식의 우수성을 관찰할 수 있었다.
7 초의 길이의 음성을사용하여 12채널에 대한 전기 자극 펄스를 생성하였다. 이 때 전기자극펄스의 자극율은 800, 2000, 5000 pps로 설정하였고, 진폭 변조(amplitude modulation)는 최대 값을 450 |1A로 두고 1% modulation depth를 갖도록 조절하였다. Spike train decoding을 수행하기 위해 디코딩필터로 최적 선형 필터를 이용하였으며 12채널로부터 얻은 spike train의 발화율 계산을 위 한 time bin 폭과 디 코딩 필터 의 차수는 가장 높은 디 코딩성능을 보이되 학습 데이터에 대하여 overfitting되지 않도록 최적화 되 었다.
인공와우 어음처리방식으로 가장 널리 사용되는 시불변-선형 필터 뱅크기반어음처리방식과 말초청각계의 특성을 좀더 면밀하게 모방한시변-비선형 필터뱅크기반어음처리 방식을채택, 비교하였다[15, 16]. 전자는 널리 사용되는 어음처리방식으로 기저막의 특성을 선형 대역통과필터로 표현하고 있으며 잡음이 없는 경우 높은 어음 인식율을 보이나 잡음하에서 사용자의 어음 인식율이 급격히 감소한다[16, 17, 21].
두 어음처리방식에 대하여 제안된 neural spike train decoding에 기반한 성능평가를 수행하였다. 입력음성으로부터 추출한 포먼트와 지정된 어음처리방식에 기반한 전기 자극 펄스에의 해 자극된 확률적 청신경 모델의 응답인 multiple spike trains로부터 최적선형 디코딩필터를 얻고 이를 이용하여 음성에 대한 청신경 모델의 응답으로부터 포먼트의 추정 값을 얻은 후 포먼트의 참값과 추정 값간 유사성 을 관찰함으로써 정 량적 으로 이 루어 졌다. 실험 결과 시변-비선형 필터뱅크 기반 어음처리방식을 채택할 경우시불변-선형 필터뱅크에 의한 방식보다 포먼트를 충실히 복원할 수 있었다.
제안된 방법을 이용하여 가장 널리 사용되는 시불변-선형 필터뱅크 기반 어음처리방식과 말초청각계의 특성을 좀 더 면밀하게 모방한 시변-비선형 필터뱅크 기반 어음처리 방식을 비교하였다. 실험결과 시변-비선형 필터뱅크 기반 어음처리방식을 채택할 경우 시불변-선형 필터뱅크에 의한 방식보다 포먼트를 충실히 복원할 수 있었다.
얻어진 디코딩필터의 입력으로 입력음성에 대한 청신경 모델의 응답을 사용하여 포먼트의 추정 값을 얻고 이 를 참값과 상관계 수를 이용하여 비교하여 포먼트가 얼마나 충실하게 복원되는지를 정 량적으로 관찰한다. 포먼트 궤적 이 충실하게 복원될수록 참값과 유사한 형태를 가지며 상관계수가 1에 가까운 값을 갖게 되며 이를 이용하여 디코딩 성능을 정 량화하였다. 학습을 통해 얻어진 디코딩 필터의 계수와 청신경모델 응답의 통계적 특성 등에 대하여 독립적인 성능을 관찰하기 위하여 50회의 시뮬레이션을 통해 얻어진 상관계수의 평균값을 비교, 관찰하였다.
음성 주파수성분의 정점값인 포먼트는 모음에 대한 매우 중요한 단서를 제공한다. 포먼트의 낮은 값부터 제 1, 제 2 포먼트(Fl, F2)의 순서로 불리우는데 이 중 모음의 인식에는 제 1, 제2 포먼트가 중요한 역할을 하며 실험에는 제1〜제3포먼트 (Fl, F2, F3)를 어음처리방식의 성능평가의 지표로 사용하였다 [11, 12]. 본 연구에서는 서로 다른 어음처리방식 성능평가 방법에 의한 결과와 비교하여 어음처리방식 성능평가 도구로써 neural spike train decoding0!] 기 반한 방법의 효용성을 알아보았다.
디코딩 필터는 multiple spike trains로부터 일정 time bin 내의 spike 발생 개수를 계산한 발화율(firing rate) 을 입력으로 하고 외부자극을 출력으로 한다. 학습과정은 주어진 외부자극의 참값과 추정값 간의 평균 제곱 오차(mean squared error)를 최소화하도록 이루어지며 학습으로부터 얻어진 디코딩 필터 를 이 용하여 새로운 spike train으로부터 외 부 자극을 추정 한다. 디코딩 필터는 다중채널 유한임펄스 응답 필터 (multichannel finite impulse response filter) 형 태로 구현되 어 있으며 다음과 같이 입력자극과 발화율 정보를 기반으로 하여 식(2)에 표현된 바와 같이 필터 계수들을 구할 수 있다.
포먼트 궤적 이 충실하게 복원될수록 참값과 유사한 형태를 가지며 상관계수가 1에 가까운 값을 갖게 되며 이를 이용하여 디코딩 성능을 정 량화하였다. 학습을 통해 얻어진 디코딩 필터의 계수와 청신경모델 응답의 통계적 특성 등에 대하여 독립적인 성능을 관찰하기 위하여 50회의 시뮬레이션을 통해 얻어진 상관계수의 평균값을 비교, 관찰하였다.
확률적 청신경모델에 특정 어음처리방식에 기반한 전기 자극 펄스를 인가하여 multiple spike trains을 얻고 이를 최적선형 디코딩 필터의 입력으로 하고 입력음성으로부터 얻은 제1〜제3포먼트 궤적 (F1~F3)의 참값을 출력으로사용하여 디코딩 필터계수를 결정한다. 얻어진 디코딩필터의 입력으로 입력음성에 대한 청신경 모델의 응답을 사용하여 포먼트의 추정 값을 얻고 이 를 참값과 상관계 수를 이용하여 비교하여 포먼트가 얼마나 충실하게 복원되는지를 정 량적으로 관찰한다.

성능/효과

비교하였다. 실험결과 시변-비선형 필터뱅크 기반 어음처리방식을 채택할 경우 시불변-선형 필터뱅크에 의한 방식보다 포먼트를 충실히 복원할 수 있었다. 시변-비선형필터 뱅크 기반 어음처 리방식은 달팽이 관내 기저막(basilarmembrane)의 선형 및 비선형 특성을 고려한 것이므로 기저막의 선형특성만을 고려한 어음처리방식에 비하여 잡음 하에서 음성정보전달특성을 향상시킬 수 있을 것으로 기대된다[20, 21].
비교하였다. 실험결과 시변-비선형 필터뱅크 기반 어음처리방식을 채택할 경우 시불변-선형 필터뱅크에 의한 방식보다 포먼트를 충실히 복원할 수 있었다. 시변-비선형필터 뱅크 기반 어음처 리방식은 달팽이 관내 기저막(basilarmembrane)의 선형 및 비선형 특성을 고려한 것이므로 기저막의 선형특성만을 고려한 어음처리방식에 비하여 잡음 하에서 음성정보전달특성을 향상시킬 수 있을 것으로 기대된다[20, 21].
여러 가지 잡음하에서 지정된 어음처리방식에 기반하여 생성된 전기 자극 펄스에 의하여 자극된 청신경 응답으로부터 neural spike train decoding 방법을 이용하여 음성 인식에 중요한 역할을 하는 제 1, 2 그리고 제3 포먼트 궤적을 추정하여 입력음성의 포먼트와 비교함으로써 어음처 리 방식 의 포먼트 정 보 표현 특성 을 평 가하였다. 실험결과 전기자극펄스 자극율의 변화에 상관없이 잡음하에 시변-비선형 필터뱅크 기반 어음처리방식의 우수성을 관찰할 수 있었다. 자극율이 증가함에 따라 빠르게 변화하는 음성정보의 전달 도가 증가하여 음성 인식률 향상에 기여 할 수 있으나 본 연구에서는 상대적으로 느리게 변화하는 음성정보인 음성파형의 포락선 (envelope)에 대한실험만진행하였다[18, 19].
정 량적으로 비교한 결과이다. 잡음이 없는 경우와 5 dB SNR 백색잡음을 첨가했을 경우의 평균성능은 유사한 수준이나 잡음 레벨을 증가시켜 0 dB SNR 백색잡음을 첨가하거나 입 력음성 형태의 잡음을 첨가할 경우시변-비선형 필터뱅크기반어음처리 방식이 상대적으로 높은 평균성능을 보였다. 즉, 백색 잡음에 대한 경우보다 음성 형태의 잡음 하 혹은 잡음 레벨이 증가할수록 시변-비선형 필터뱅크 기반 어음처리 방식의 우수성을 관찰할 수 있었다.
반면 시변-비선형 필터뱅크 기반 어음처리방식은 잡음에 대하여 강인한 특성을 보인다. 잡음이 없는경우와5dBSNR백색잡음하에서는시변-비선형 필터 뱅크 기반 어음처리 방식과 유사한 수준의 평균성능을 보였으나 백색잡음 레벨이 5 dB SNR에서 0 dB SNR로 증가한 부분과 음성 형태의 잡음 첨가시의 평균 디코딩 성능을 비교해보면 시변-비선형 필터뱅크 기반 어음처리방식에 의한 평균 디코딩 성능의 감소가 상대적으로 완만하다.
전기자극펄스의 자극율의 변화에 상관없이 유사한 결과를 보였으므로 자극율이 2000인 경우의 결과를 대표적으로 수록하였다.
잡음이 없는 경우와 5 dB SNR 백색잡음을 첨가했을 경우의 평균성능은 유사한 수준이나 잡음 레벨을 증가시켜 0 dB SNR 백색잡음을 첨가하거나 입 력음성 형태의 잡음을 첨가할 경우시변-비선형 필터뱅크기반어음처리 방식이 상대적으로 높은 평균성능을 보였다. 즉, 백색 잡음에 대한 경우보다 음성 형태의 잡음 하 혹은 잡음 레벨이 증가할수록 시변-비선형 필터뱅크 기반 어음처리 방식의 우수성을 관찰할 수 있었다.
실험 결과 시변-비선형 필터뱅크 기반 어음처리방식을 채택할 경우시불변-선형 필터뱅크에 의한 방식보다 포먼트를 충실히 복원할 수 있었다. 특히 잡음레벨이 높은 경우와 음성과 유사한 스펙트럼 특성을 갖는 잡음을 첨가할 경우 시변-비선형 필터뱅크 기반 어음처리방식의 우수성이 현저히 나타났다. 이는 스펙트럼 분석, acoustic simulation 등 다른 어음처 리 방식 평 가방법 에서 보인 결과를 뒷받침한다[12].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Neural Spike Train Decoding에 기반한 인공와우 어음처리방식 성능평가
Performance Evaluation of Cochlear Implants Speech Processing Strategy Using Neural Spike Train Decoding 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

참고문헌 (21)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Neural Spike Train Decoding에 기반한 인공와우 어음처리방식 성능평가 Performance Evaluation of Cochlear Implants Speech Processing Strategy Using Neural Spike Train Decoding 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

참고문헌 (21)

이 논문을 인용한 문헌

저자의 다른 논문 :

김두희 (2) 김진호 (3) 김경환 (48)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Neural Spike Train Decoding에 기반한 인공와우 어음처리방식 성능평가
Performance Evaluation of Cochlear Implants Speech Processing Strategy Using Neural Spike Train Decoding 원문보기

AI 본문요약
AI-Helper