초록 ▼

ㅇ 연구개요
본 연구는 임베디드 환경에서 실시간으로 동작하는 다층신경망 기반의 화자 적응형 자가학습 음질개선 시스템 개발을 목표로 한다. 본 연구팀은 기존의 수학적 모델 기반의 음질개선 시스템을 개선시키기 위해 세 단계로 연구를 진행한다. 수학적 모델 기반의 음질개선 시스템과 다층신경망 구조를 융합한 후, 이를 활용해 화자 적응형 자가학습 음질개선 시스템을 구현한다. 이렇게 구현된 음질개선 시스템을 임베디드 환경에서 사용이 가능하도록 다층신경망 구조를 간략화 하는 연구를 진행한다. 본 연구에서 제안하는 시스템을 사물인터넷과 결

ㅇ 연구개요
본 연구는 임베디드 환경에서 실시간으로 동작하는 다층신경망 기반의 화자 적응형 자가학습 음질개선 시스템 개발을 목표로 한다. 본 연구팀은 기존의 수학적 모델 기반의 음질개선 시스템을 개선시키기 위해 세 단계로 연구를 진행한다. 수학적 모델 기반의 음질개선 시스템과 다층신경망 구조를 융합한 후, 이를 활용해 화자 적응형 자가학습 음질개선 시스템을 구현한다. 이렇게 구현된 음질개선 시스템을 임베디드 환경에서 사용이 가능하도록 다층신경망 구조를 간략화 하는 연구를 진행한다. 본 연구에서 제안하는 시스템을 사물인터넷과 결합한다면 시스템이 더 많은 환경정보를 학습할 수 있으므로 자연적으로 음질개선 성능이 향상될 것이라고 예측할 수 있다.

ㅇ 연구 목표대비 연구결과
본 연구과제에서는 통신 환경에서 사용가능 하도록 실시간성을 만족시키면서, 지속적인 정보취득이 가능한 사물인터넷의 장점을 반영 할 수 있도록 지속적인 학습을 통해 사용자에 맞게 시스템을 적응시켜 점진적으로 성능을 향상시키는 특성을 가지는 신경망 기반 음질개선 알고리즘을 제안하고자 한다. 음질개선 알고리즘은 잡음이 섞인 음성신호로부터 잡을을 제거하여 음성의 명료도를 높이는 알고리즘으로 기존에는 수학적 모델 기반 알고리즘들이 사용되었다. 하지만 기존의 접근 방법으로는 다양한 실제 상황에서 알고리즘에서 가정한 점들이 충족되지 않는 경우가 많기 때문에 만족할만한 개선 성능을 얻지 못하는 경우가 많았다.
신경망 알고리즘은 데이터 기반 학습 방법으로 신경망 알고리즘은 데이터기반의 학습 방법으로 실제 어플리케이션 상에서 접하는 상황이 훈련 상황에 존재 할 경우 기존 보다 더 좋은 성능을 보여준다. 이러한 이유로 1차년도에서는 독립적으로 동작하는 신경망 알고리즘을 이용한 데이터기반 음질개선 알고리즘을 구현한다. 이 때 기존의 통계적 기반 음질개선 알고리즘에 사용된 파라미터를 활용하여 기존의 알고리즘의 장점을 반영하는 시스템의 구현을 연구 한다.
2차년도에서는 1차년도에서 제안된 신경망 기반 음질개선 알고리즘을 특정 사용자에 적합하도록 변화시켜 음질개선의 성능을 향상시키는 것을 목표로 한다. 이를 위하여 깨끗한 환경에서의 사용자의 추가적인 정보를 입력 받아 초기 모델을 변화시키는 방법과, 사용자의 노력 없이 비감독학습의 일종인 강화학습을 통하여 성능을 향상시키는 방법을 이용하여 성능을 향상시킨다. 전자의 경우는 사용자가 등록한 정보로부터 화자를 나타내는 추가적인 특징벡터를 추출하고 모델을 적응 시키는 방법을 통하여 일반화된 모델에서 사용자에 적응된 모델로 변화시켜서 성능 향상을 도모 한다. 후자의 경우에는 개선된 음성 신호의 인지적인 음질을 향상시키는 것에 보상을 주는 방식으로 모델을 훈련시켜 성능을 향상 시킨다.
마지막으로 3차년도에서는 이전까지 연구한 음질개선 모델을 사물인터넷 환경에서의 활용 가능성을 높이고, 동시에 통신 상황에서 적용 할 수 있도록 신경망 알고리즘의 복잡도 및 연산량을 감소시켜 실시간으로 동작하는 방법을 연구한다. 세부적으로는 입력데이터 및 모델의 양자화와, 고정소수점 표현을 통하여 연산량을 줄이고, 신경망 모델의 가중치의 희소성을 증가시켜 모델의 복잡도를 감소시킨다. 임베디드 시스템에 적용 가능할 정도의 경량화된 신경망 기반 음질개선 알고리즘을 통해 앞으로 다가올 사물 인터넷 시대에 적합한 음질개선 알고리즘을 연구한다.

ㅇ 연구개발결과의 중요성
본 연구과제의 연구결과는 오염된 음성신호에 존재하는 여러 잡음과 음성의 관계를 학습하고 이를 적용할 수 있는 다층신경망 기반의 음질개선 시스템을 통해, 잡음환경에 보다 강인한 음질개선 시스템을 구축할 수 있다. 이를 활용하여 소형화된 웨어러블 및 임베디드 기기에 음질개선 시스템을 적용하여, 스마트폰과 스마트워치 등의 통신장비에 직접 음질개선 시스템을 적용할 수 있다. 또한, 난청자를 위한 보청기에도 음질개선 시스템이 적용될 수 있다. 고령화로 인해 난청인구가 급속하게 증가하여 현재 200만 이상의 난청인구가 보청기를 사용하고 있다. 음질개선이 적용된 보청기는 난청인의 의사소통에 큰 도움을 제공할 것이다. 또한, 상대적으로 열악한 통신환경으로 송수신되는 음질이 좋지 않은 군무선 통신장비에서의 음질개선 알고리즘을 적용하여, 군의 첨병인 야전부대의 작전지휘능력의 효율을 극대화 할 수 있다.
실시간으로 작동하는 심층신경망 구조는 음성신호처리 외의 다른 연구 분야에도 적용 할 수 있다. 특히, 영상신호처리와 같은 분야에서는 카메라로 취득한 영상신호에서 발생한 영상잡음을 학습하는 신경망 시스템을 통해, 영상잡음과 왜곡을 개선하는 영상 후처리 같은 방안으로도 활용할 수 있을 것으로 여겨진다.


(출처 : 연구결과 요약문 2P)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구수행내용 및 연구결과 ... 5
• 1. 다층신경망 기반 음질 개선 시스템 ... 5
• 2. 음성 기저(basis) 행렬을 이용한 화자 종속적인 음질개선 기법 ... 10
• 3. MELP 코덱의 매개변수를 사용한 음질 개선방법 ... 14
• 3. 연구개발결과의 중요성 ... 15
• 4. 참고문헌 ... 16
• 5. 연구성과 ... 18
• 대표적 연구실적 ... 19
• 끝페이지 ... 27