[논문]강화학습 기반의 음성향상기법

박태준; 장준혁

강화학습 기반의 음성향상기법
Speech enhancement based on reinforcement learning 원문보기

박태준 (한양대학교 전자컴퓨터통신공학과) , 장준혁 (한양대학교 전자컴퓨터통신공학과)

음성향상기법은 음성에 포함된 잡음이나 잔향을 제거하는 기술로써 마이크로폰으로 입력된 음성신호는 잡음이나 잔향에 의해 왜곡되어지므로 음성인식, 음성통신 등의 음성신호처리 기술의 핵심 기술이다. 이전에는 음성신호와 잡음신호 사이의 통계적 정보를 이용하는 통계모델 기반의 음성향상기법이 주로 사용되었으나 통계 모델 기반의 음성향상기술은 정상 잡음 환경과는 달리 비정상 잡음 환경에서 성능이 크게 저하되는 문제점을 가지고 있었다. 최근 머신러닝 기법인 심화신경망 (DNN, deep neural network)이 도입되어 음성 향상 기법에서 우수한 성능을 내고 있다. 심화신경망을 이용한 음성 향상 기법은 다수의 은닉 층과 은닉 노드들을 통하여 잡음이 존재하는 음성 신호와 잡음이 존재하지 않는 깨끗한 음성 신호 사이의 비선형적인 관계를 잘 모델링하였다. 이러한 심화신경망 기반의 음성향상기법을 향상 시킬 수 있는 방법 중 하나인 강화학습을 적용하여 기존 심화신경망 대비 성능을 향상시켰다. 강화학습이란 대표적으로 구글의 알파고에 적용된 기술로써 특정 state에서 최고의 reward를 받기 위해 어떠한 policy를 통한 action을 취해서 다음 state로 나아갈지를 매우 많은 경우에 대해 학습을 통해 최적의 action을 선택할 수 있도록 학습하는 방법을 말한다. 본 논문에서는 composite measure를 기반으로 reward를 설계하여 기존 PESQ (Perceptual Evaluation of Speech Quality) 기반의 reward를 설계한 기술 대비 음성인식 성능을 높였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

강화학습이란 대표적으로 구글의 알파고에 적용된 기술로써 특정 state에서 최고의 reward를 받기 위해 어떠한 policy를 통한 action을 취해서 다음 state로 나아갈지를 매우 많은 경우에 대해 학습을 통해 최적의 action을 선택할 수 있도록 학습하는 방법을 말한다. 본 논문에서는 composite measure를 기반으로 reward를 설계하여 기존 PESQ (Perceptual Evaluation of Speech Quality) 기반의 reward를 설계한 기술을 제안한다.

제안 방법

기존 종래기술에서 사용된 측정방법보다 음성인식율과 보다 더 높은 상관관계를 갖는 composite measure를 기반으로 reward를 설계하고 이를 바탕으로 강화학습 기반의 음성향상기법을 제안하였다. 음성인식의 선행 과정으로 수행되어 음성 인식의 성능을 높일 뿐만 아니라 다양한 음성 통신 기술에 적용되어 음질을 향상시킬 수 있을 것이다.
단순히 composite measure는 성능뿐만 아니라 SNR, 잡음과 같은 외부적 요인에도 영향을 받기 때문에 절대적인 수치의 reward로 사용하는 것은 무리가 있다. 따라서 강화학습을 통해 음성향상을 시킨 결과와 대조군의 음성향상 결과사이의 composite measure 차이를 reward로 사용한다. 식으로 나타내면 아래와 같다.
음성인식율과 상관관계가 더 높은 composite measure를 기반으로 reward를 설계하여 강화학습을 적용한다. 기존의 문헌에서 composite measure와 음성인식율과의 상관관계가 높다는 것은 많은 곳에서 입증되어 왔다.

대상 데이터

밑단의 입력은 잡음이 섞인 LPS이고 고려되는 프레임은 이전 5개, 현재, 미래 5개 총 11프레임이다. 윗단의 입력은 밑단 심화신경망을 통해 음성 향상된 신호의 LPS와 잡음이 섞인 신호의 LPS를 연결시켰으며 이전 4개, 현재, 미래 4개의 프레임을 고려해서 총 9개가 고려되었다. 타겟은 깨끗한 신호의 LPS이며 257차원이다.
윗단의 입력은 밑단 심화신경망을 통해 음성 향상된 신호의 LPS와 잡음이 섞인 신호의 LPS를 연결시켰으며 이전 4개, 현재, 미래 4개의 프레임을 고려해서 총 9개가 고려되었다. 타겟은 깨끗한 신호의 LPS이며 257차원이다.
테스트 셋은 SiTEC DB에서 학습에 사용되지 않은 1050개의 문장을 사용했으며 고려된 잡음은 다음과 같고 babble, factory, hfchannel, music, vacuum, water, refrigerator, TV, white, 고려된 신호대잡음비는 5, 10, 15, 20dB 이다.
학습에 사용된 데이터셋은 SiTEC이라는 DB에서 2000개의 문장을 사용했으며 고려된 잡음은 16개로 다음과 같다. babble, white, factory1, hfchannel, music, vacuum, water, animal, cough, door, footstep, refrigerator, shower, snore, TV, wind.

이론/모형

심화신경망을 이용한 음성 향상 기법은 다수의 은닉 층과 은닉 노드들을 통하여 잡음이 존재하는 음성 신호와 잡음이 존재하지 않는 깨끗한 음성 신호 사이의 비선형적인 관계를 잘 모델링하였다. 이러한 심화신경망 기반의 음성향상기법을 향상 시킬 수 있는 방법 중 하나인 강화학습을 적용하여 기존 심화신경망 대비 성능을 향상시켰다. 강화학습이란 대표적으로 구글의 알파고에 적용된 기술로써 특정 state에서 최고의 reward를 받기 위해 어떠한 policy를 통한 action을 취해서 다음 state로 나아갈지를 매우 많은 경우에 대해 학습을 통해 최적의 action을 선택할 수 있도록 학습하는 방법을 말한다.
강화학습의 구조는 257 차원의 잡음이 섞인 LPS 은닉층의 개수는 3개 은닉 노드의 개수는 각각 1024이며 출력은 32 차원이다. 활성함수는 ReLU, cost function은 MSE를 사용했으며 reward는 composite measure를 사용하였다.

성능/효과

기존의 문헌에서 composite measure와 음성인식율과의 상관관계가 높다는 것은 많은 곳에서 입증되어 왔다. 이 입증된 composite measure를 적용하여 기존 PESQ기반 reward로 설계한 기술대비 높은 인식률을 얻을 수 있다.

후속연구

기존 종래기술에서 사용된 측정방법보다 음성인식율과 보다 더 높은 상관관계를 갖는 composite measure를 기반으로 reward를 설계하고 이를 바탕으로 강화학습 기반의 음성향상기법을 제안하였다. 음성인식의 선행 과정으로 수행되어 음성 인식의 성능을 높일 뿐만 아니라 다양한 음성 통신 기술에 적용되어 음질을 향상시킬 수 있을 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

강화학습 기반의 음성향상기법
Speech enhancement based on reinforcement learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

강화학습 기반의 음성향상기법 Speech enhancement based on reinforcement learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

강화학습 기반의 음성향상기법
Speech enhancement based on reinforcement learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper