선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 잡음제거 기능을 갖춘 시-청각 단서 제공 읽기 훈련 프로그램(이하 잡음제거 시-청각 단서 제공 프로그램)에 대한 설명과 훈련 및 분석 효과를 높이기 위해 개발된 잡음제거 알고리즘, 말소리 개시점 찾기 알고리즘, 청각단서 제거 알고리즘에 대한 설명과 실험결과에 대하여 기술한다.
제안 방법
- 잡음 제거는 128개 샘플로 분할하여 해밍윈도우를 이용하여 불 연속되는 에너지를 제거한 다음 FFT를 한다. FFT를 한 다음 처음 10개 프레임의 평균값의 에너지를 기준 값으로 이용하여 SNR을 획득하고 획득된 SNR과 크기를 비교하여 SNR 기준 크기보다 작으면 잡음으로 판단하고 잡음을 제거하고 SNR 기준보다 높으면 음성으로 판단하여 무손실로 에너지를 통과시킨다. 이전에 처리된 프레임의 뒷부분의 에너지와 현재 처리된 프레임의 앞부분 에너지를 절반씩 겹쳐서 왜곡을 줄여서 출력하게 된다.
- 잡음제거의 잡음기준신호는 음성파일의 처음 10개의 프레임에서의 평균값을 이용하여 잡음기준으로 사용하였다. SNR(Signal-to-noise ratio)의 신호는 5번째 대역의 신호를 이용하여 잡음 기준신호와 비교하여 SNR을 획득하였다.
- 결과이다. SNR의 문턱 값 이하는 잡음으로 인식하여 에너지를 완전히 제거하였으며 SNR의 문턱 값 이상의 값은 음성으로 판단하여 에너지를 무손실로 처리하였다.
- 개발된 잡음제거 기능과 말소리 개시점 찾기 알고리즘의 실험을 위해서 4가지(실내 잡음, 백색잡음, 화이트 잡음, 배블 잡음)의 잡음 환경을 조성한 다음 6명(남성 3명, 여성 3명)이 각 잡음 환경당 10문장씩 녹음하여 잡음제거 기능의 유효성 및 말소리 개시점 찾기 기능의 유효성을 확인하였다. 잡음제거 알고리즘의 경우 SNR을 비교하여 잡음이 잘 제거되어진 결과를 육안으로 확인하였고 말소리개시점 찾기 알고리즘을 이용하여 잡음제거 전과 후의 결과를 획득하였고 잡음제거 전은 실제시간과 12.
- 보여주고 있다. 네 가지의 잡음 환경에서 실험하였고 실내잡음의 경우 사무실 환경에서 발생하는 43.3EBA]의 잡음환경에서 실험하였고 백색잡음, 자동차 잡음, 배블 잡음의 경우는 60EBA]의 잡음환경을 구성하여 실험하였다. 6명이 각 잡음환경에서 10개의 녹음파일을 이용하여 실험하여서 잡음환경 당 60개의 평균을 이용하여 값을 획득하였다.
- 읽기훈련의 GUKgraphic user interface)를 통해서 시-청각 단서의 속도, 녹음, 말소리 개시점 찾기 등의 기능설정이 가능하고 데이터베이스에 사용자 정보, 환경설정 정보, 녹음, 말소리 개시점 찾기 등의 정보가 저장된다. 데이터베이스에 저장되어 있는 문장정보를 화면에 보여준 다음 시-청각 단서 제공 기능을 통하여 시-청각 단서를 사용자 화면과 스피커를 통하여 피험자에게 들려준다. 이렇게 문장과 시-청각 단서를 이용하여 연습이 가능하고 읽기 훈련을 통하여 획득된 녹음 파일을 이용하여 잡음제거, 청각단서 제거, 말소리 개시점 찾기 등의 동작을 한다.
- 첫 번째 시각적인 방법에는 잡음을 제거하기 전과 후의 결과를 시간영역에서 보여주었다. 두 번째 방법에는 SNR을 이용하여 상대적인 비교 방법으로 기준 값에 비하여 SNR이 어느 정도인지를 보여주었다. 세 번째 방법에는 스펙트로그램을 이용하여 잡음 제거 전과 후의 결과를 보여주었다.
- 말운동장애인에게 말소리 개시점이 정량적으로 어느 정도인지의 정보를 주기 위해서 말소리 개시점을 말운동장애인에게 제공하여 말소리 개시 시간을 스스로 인지가 가능하도록 하여 읽기훈련에 참고가 되도록 하였다. 또한 언어치료 전문가가 말소리 개시점 저장파일을 통하여 말소리개시점을 분석할 수 있도록 하였다.
- 가능하다. 말운동장애인에게 말소리 개시점이 정량적으로 어느 정도인지의 정보를 주기 위해서 말소리 개시점을 말운동장애인에게 제공하여 말소리 개시 시간을 스스로 인지가 가능하도록 하여 읽기훈련에 참고가 되도록 하였다. 또한 언어치료 전문가가 말소리 개시점 저장파일을 통하여 말소리개시점을 분석할 수 있도록 하였다.
- 본 논문에서는 객체지향 프로그램을 이용하여 잡음 제거 시-청각 단서 프로그램을 개발하였고 사용자가 간편하게 사용할 수 있도록 대화상자로 구성하였다. 잡음제거 시-청각 단서 프로그램은 사용자가 간편하게 사용할 수 있도록 GUI로 구성하였으며, 문장과 시-청각 단서를 각각 또는 동시에 사용 가능하고 시-청각 단서의 발생시간이 조정 가능 한시-청각 단서 프로그램, SNR을 비교하여 일정 크기 이하의 신호이면 잡음으로 인지하고 잡음을 제거하는 기능, 청각 단서가 포함된 말소리에서 청각 단서를 제거하는 기능, 말소리 개시점을 찾는 말소리 개시점 찾기 기능 등을 구현하였다.
- 청각단서와 음성이 결합된 부분과 순수한 청각단서가 있는 부분은 청각 단서 설정시간을 이용하여 검출한다. 순수한 청각 단서는 마지막 청각단서 3개의 평균값을 이용하여 청각 단서의 기준으로 정하였다.
- 알고리즘의 평가는 잡음제거의 결과와 잡음 제거하기 전과 후의 파일을 이용하여 말소리 개시점 찾기의 결과에 대해서 평가하였다. 잡음제거의 결과는 세 가지의 시각적인 방법을 이용하여 보여주었다.
- 또한 읽기속도 요소들을 이용한 실험의 결과를 통하여 말하기가 향상되어진다는 결과가 발표되었다[6-7]. 위의 연구들에서는 시각 요소와 청각요소들을 이용하여 속도조절이나 부가적으로 제공하는 방법들을 환자들에게 제공하여 명료도를 비교하는 실험과 환자들의 읽기 속도를 조절하여 실험하였고 속도에 따른 읽기특성을 비교하였다. 이러한 연구들은 시-청각 단서들의 종류와 속도에 의해서 말운동장애인의 읽기의 명료도에 영향을 준다는 연구결과들을 보여주고 있다.
- 잡음 제거는 128개 샘플로 분할하여 해밍윈도우를 이용하여 불 연속되는 에너지를 제거한 다음 FFT를 한다. FFT를 한 다음 처음 10개 프레임의 평균값의 에너지를 기준 값으로 이용하여 SNR을 획득하고 획득된 SNR과 크기를 비교하여 SNR 기준 크기보다 작으면 잡음으로 판단하고 잡음을 제거하고 SNR 기준보다 높으면 음성으로 판단하여 무손실로 에너지를 통과시킨다.
- 잡음 측정은 A-weighting을 주어 Bruel & Kjaer사의 사운드 레벨 메타(Hand-held Analyzer Type 2250)를 이용하여 측정하였고 실내 잡음 환경은 43.3[dBA] 그 외의 백색 잡음, 자동차 내부 잡음, 배블 잡음의 환경은 60[dBA]로 하여 실험하였다.
- 잡음제거 시-청각 단서 프로그램은 사용자가 간편하게 사용할 수 있도록 GUI로 구성하였으며, 문장과 시-청각 단서를 각각 또는 동시에 사용 가능하고 시-청각 단서의 발생시간이 조정 가능 한시-청각 단서 프로그램, SNR을 비교하여 일정 크기 이하의 신호이면 잡음으로 인지하고 잡음을 제거하는 기능, 청각 단서가 포함된 말소리에서 청각 단서를 제거하는 기능, 말소리 개시점을 찾는 말소리 개시점 찾기 기능 등을 구현하였다.
- 개발된 잡음제거 기능과 말소리 개시점 찾기 알고리즘의 실험을 위해서 4가지(실내 잡음, 백색잡음, 화이트 잡음, 배블 잡음)의 잡음 환경을 조성한 다음 6명(남성 3명, 여성 3명)이 각 잡음 환경당 10문장씩 녹음하여 잡음제거 기능의 유효성 및 말소리 개시점 찾기 기능의 유효성을 확인하였다. 잡음제거 알고리즘의 경우 SNR을 비교하여 잡음이 잘 제거되어진 결과를 육안으로 확인하였고 말소리개시점 찾기 알고리즘을 이용하여 잡음제거 전과 후의 결과를 획득하였고 잡음제거 전은 실제시간과 12.888土L1.0240[ms]의 오차를 획득하였고 잡음 제거 후는 실제시간과 8.041±3.6455[ms]의 오차를 획득하였다. 말소리 개시점 찾기에서 잡음제거 후의 결과가 4.
- 향상시켜주는 역할을 한다. 잡음제거는 주파수 영역에서 FFT(fast fourier transform)를 이용하여 잡음을 제거하였다. 잡음제거의 잡음기준신호는 음성파일의 처음 10개의 프레임에서의 평균값을 이용하여 잡음기준으로 사용하였다.
- 잡음환경은 실내 잡음, 백색 잡음, 자동차 실내잡음, 배블 잡음의 네 가지 환경을 조성하여 녹음하였다. 잡음 측정은 A-weighting을 주어 Bruel & Kjaer사의 사운드 레벨 메타(Hand-held Analyzer Type 2250)를 이용하여 측정하였고 실내 잡음 환경은 43.
- 세 번째 방법에는 스펙트로그램을 이용하여 잡음 제거 전과 후의 결과를 보여주었다. 청각 단서 제거 알고리즘은 스펙트로그램을 이용하여 시각적으로 청각단서가 제거되는 결과를 보여주었다. 잡음 제거하기 전과 후의 파일을 이용하여 말소리 개시점 찾기에 적용한 결과는 시간의 오차를 비교하여 평가하였다.
대상 데이터
- (b)는 말소리 녹음 파일의 5번째 대역에서의 SNR을 보여주고 있다. 128개의 샘플을 이용하여 FFT를 하여 64개 대역 중 5번째 대역을 이용하여 음성의 기본 주파수대역을 기준으로 선정하였다. 잡음환경에서 녹음되어진 배블 잡음의 양이 적은 이유는 마이크로폰의 지향성과 주파수가 높은 잡음에 감도가 낮은 특성으로 잡음이 적게 마이크로폰으로 입력되어지는 것으로 판단된다.
- 3EBA]의 잡음환경에서 실험하였고 백색잡음, 자동차 잡음, 배블 잡음의 경우는 60EBA]의 잡음환경을 구성하여 실험하였다. 6명이 각 잡음환경에서 10개의 녹음파일을 이용하여 실험하여서 잡음환경 당 60개의 평균을 이용하여 값을 획득하였다. 표에서 Ne 녹음파일의 개수를 의미한다.
- 말소리 개시점 찾기 알고리즘의 정량적인 실험을 위하여 여섯 명의 피험자(남성 세 명, 여성 세 명)를 통하여 녹음데이터를 획득하였다. 말소리 개시 점 찾기 알고리즘의 실험은 네 가지 잡음 환경에서 실험을 실시하였으며 실험환경은 그림 6과 같다.
- ”로 하여 실험한 결과이다. 실험은 SENNHEISER 사 835S 모델의 마이크로폰에서 60[dBA]의 배블 잡음⑻을 사용하여 음성과 동시에 녹음하였다. (b)는 말소리 녹음 파일의 5번째 대역에서의 SNR을 보여주고 있다.
데이터처리
- 두 번째 방법에는 SNR을 이용하여 상대적인 비교 방법으로 기준 값에 비하여 SNR이 어느 정도인지를 보여주었다. 세 번째 방법에는 스펙트로그램을 이용하여 잡음 제거 전과 후의 결과를 보여주었다. 청각 단서 제거 알고리즘은 스펙트로그램을 이용하여 시각적으로 청각단서가 제거되는 결과를 보여주었다.
- 청각 단서 제거 알고리즘은 스펙트로그램을 이용하여 시각적으로 청각단서가 제거되는 결과를 보여주었다. 잡음 제거하기 전과 후의 파일을 이용하여 말소리 개시점 찾기에 적용한 결과는 시간의 오차를 비교하여 평가하였다.
- 8245[dB]< 획득하였다. 절대시간의 시간은 응용프로그램 Cool Edit를 이용하여 획득하였고 잡음 제거 알고리즘을 이용하여 잡음제거하기 전과 잡음 제거한 후 말소리 개시점 찾기 알고리즘을 이용하여 비교오차를 구하였다. 전체 비교오차의 잡음 제거 전의 결과는 12.
이론/모형
- 잡음제거는 주파수 영역에서 FFT(fast fourier transform)를 이용하여 잡음을 제거하였다. 잡음제거의 잡음기준신호는 음성파일의 처음 10개의 프레임에서의 평균값을 이용하여 잡음기준으로 사용하였다. SNR(Signal-to-noise ratio)의 신호는 5번째 대역의 신호를 이용하여 잡음 기준신호와 비교하여 SNR을 획득하였다.
성능/효과
- 잡음환경에 따라서 향상된 결과의 차이가 발생하였는데 특히 자동차 잡음에서 잡음 제거 전의 결과와 가장 큰 향상의 결과를 보여주었다. 입력 SNR과 말소리 개시점의 관계를 살펴보면 잡음이 일정하다는 가정 하에서 입력 SNR이 높은 경우에는 오차의 범위가 줄어들지만 입력 SNR이 낮아지게 되면 잡음과 음성의 경계를 모호해지는 문제가 발생하여 오차가 증가하는 것이 관찰되었다. 그러므로 말소리 개시점을 효율적으로 찾기 위해서는 SNR을 높이고, 말소리의 크기를 일정하게 유지할 필요성이 있다.
- 6455 [ms]였다. 잡음을 제거하기 전보다 잡음을 제거한 다음의 차이를 살펴보면 잡음을 제거한 다음의 말소리 찾기 시간이 자동차 잡음에서는 10.048±5.0242[ms]가 정확하게 찾아지는 결과를 보여주었고 배블 잡음의 경우에서는 잡음 제거 전보다 2.006±1.0029[ms]가 향상되어지는 결과를 보여주었다. 식 (2)는 녹음파일의 전체 SNR 을 구하는 식이다.
- 006±L0029[ms]가 향상되었다. 잡음환경에 따라서 향상된 결과의 차이가 발생하였는데 특히 자동차 잡음에서 잡음 제거 전의 결과와 가장 큰 향상의 결과를 보여주었다. 입력 SNR과 말소리 개시점의 관계를 살펴보면 잡음이 일정하다는 가정 하에서 입력 SNR이 높은 경우에는 오차의 범위가 줄어들지만 입력 SNR이 낮아지게 되면 잡음과 음성의 경계를 모호해지는 문제가 발생하여 오차가 증가하는 것이 관찰되었다.
- 절대시간의 시간은 응용프로그램 Cool Edit를 이용하여 획득하였고 잡음 제거 알고리즘을 이용하여 잡음제거하기 전과 잡음 제거한 후 말소리 개시점 찾기 알고리즘을 이용하여 비교오차를 구하였다. 전체 비교오차의 잡음 제거 전의 결과는 12.888±11.024 [ms] 였고 잡음 제거 후의 결과는 8.041±3.6455 [ms]였다. 잡음을 제거하기 전보다 잡음을 제거한 다음의 차이를 살펴보면 잡음을 제거한 다음의 말소리 찾기 시간이 자동차 잡음에서는 10.
- (a)는 청각단서가 포함되지 않은 깨끗한 음성을 보여주고, (b)의 bLe 청각 단서가 음성이 결합된 상태를 보여주고, (c)의 cl은 청각단서 제거 알고리즘을 통하여 청각 단서를 제거한 결과를 보여준다. 제안된 청각단서 제거 알고리즘을 통하여 청각단서를 제거한 결과 낮은 주파수는 대부분 제거된 결과를 보여주었고 높은 주파수에서는 청각단서가 조금 남아 있는 결과를 보였다. 청각단서가 높은 주파수에서 육안으로 확인 가능할 정도로 청각단서가 제거되지 않은 이유를 분석해 보면 스피커의 특성, 마이크의 감도, 공간상에서의 상대적으로 높은 주파수가 왜곡이 더 크게 발생하기 때문인 것으로 분석된다.
후속연구
- 4235[ms]가 향상되어진 결과를 보여주었다. 개발된 잡음제거 시-청각 단서 프로그램은 향후 말 운동장애인의 평가 및 재활에 충분한 도움이 될 수 있으리라 사료된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.