초록 ▼

□ 연구개요
본 연구과제는 라벨(label)이 없는 방대한 음성 데이터를 활용해 인공신경망 기반 음성인식기의 성능을 향상시키기 위한 목적으로 준감독학습과 자기 감독 학습 방법을 이용한다. 주요 목표는 한국어처럼 훈련 데이터가 상대적으로 적은 언어의 인식률을 높이고, 모든 언어에 대해 휴대폰 같은 장치에서 실시간으로 작동 가능한 소형 모델의 성능을 개선하는 것이다. 근래 음성인식에 많이 도입된 Transformer와 Conformer 인공신경망 모델을 사용해서 이런 목표를 달성하였다. 특히 음성인식기술을 이용하여 생체신호처리의

□ 연구개요
본 연구과제는 라벨(label)이 없는 방대한 음성 데이터를 활용해 인공신경망 기반 음성인식기의 성능을 향상시키기 위한 목적으로 준감독학습과 자기 감독 학습 방법을 이용한다. 주요 목표는 한국어처럼 훈련 데이터가 상대적으로 적은 언어의 인식률을 높이고, 모든 언어에 대해 휴대폰 같은 장치에서 실시간으로 작동 가능한 소형 모델의 성능을 개선하는 것이다. 근래 음성인식에 많이 도입된 Transformer와 Conformer 인공신경망 모델을 사용해서 이런 목표를 달성하였다. 특히 음성인식기술을 이용하여 생체신호처리의 정확도를 높이는 방법도 아울러 탐색되었다.

□ 연구 목표대비 연구결과
이 연구에서는 Transformer와 Conformer 모델 기반 음성인식 기술을 연구하였으며, 특히 자체 주의(self-attention) 메커니즘을 통해 음성인식의 정확성과 효율성을 개선하는 방법을 발견하였다 (ICLR 논문). 보통 Transformer 구조는 높은 연산 및 메모리 요구량으로 인해 주로 서버 환경에 적당하다 알려졌으나 본 연구를 이용하면 온-디바이스 환경에서도 활용 가능하다. 특히 self-attention 메커니즘이 비표준 발음과 잡음이 많은 환경에서도 음성인식 성능을 어떻게 향상시킬 수 있는지 분석하였으며, attention map reuse 기법을 통해 처리 속도를 크게 개선하는 새로운 방법을 제안했다. 또한, 한국어 음성인식의 정확도를 높이기 위한 연구도 진행되었다. 다국어 사전 훈련 모델인 Wav2Vec 2.0-XLSR을 활용한 한국어 훈련과 대규모 한국어 음성 데이터를 이용한 Conformer 모델 개발이 주요 성과 중 하나이다. 온-디바이스 음성인식기의 최적화를 위한 연구에서는 거대언어모델의 파라미터를 저비트로 양자화하고, 이를 효율적으로 실행할 수 있는 소프트웨어 라이브러리를 개발하였다. 이 기술은 음성인식과 언어 모델링을 모바일 디바이스에서도 고성능으로 구현할 수 있는 방안을 제시한다. 마지막으로, 음성인식 기술의 의료용 응용 확장 연구에서는 순차 학습(sequence learning)방법을 ECG 신호 처리에 적용해 수면 단계 분류의 정확성을 높이는 연구가 진행되었다. 이는 ECG 신호만을 이용한 수면 단계 분류를 가능하게 하여, 음성인식 기술의 새로운 응용 가능성을 열었다.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
이 연구는 Transformer와 Conformer 모델을 이용한 음성인식의 정확도 향상과 동작 시간 감소에 진전을 이루었다. 특히, self-attention 메커니즘을 통해 음성인식의 정확도와 효율성을 크게 향상시킬 수 있는 방법을 제시했다. 이를 이용할 경우 음성인식 기술을 온-디바이스 환경으로 확장하여 더 많은 사용자가 실시간으로 고품질의 음성인식 기능을 이용할 수 있다. 또한, 사전학습모델과 최근에 데이터댐 사업으로 모아진 한국어 데이터를 이용한 성능좋은 음성인식기를 개발하였다. 한국어를 포함한 다양한 언어에 대한 음성인식 모델 개발을 통해 언어적 다양성에 대응할 수 있는 기반을 마련하였다. 계산이 많이 필요한 인공신경망 모델을 NPU(Neural Processing Unit)가 없는 구형의 ARM CPU에서도 효율적으로 구현할 수 있는 낮은 비트 라이브러리를 개발하였다. 이와 함께, ECG 신호를 이용한 수면 단계 분류 연구는 의료 분야에서의 응용 가능성을 넓혔다. 본 연구는 기술적 진보 뿐만 아니라 음성인식 기술의 사회적, 의료적 활용 측면에서도 중대한 기여를 하였으며, 향후 다양한 분야에서의 응용을 통해 더 큰 사회적, 경제적 가치 창출이 기대된다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 4
• 1) 트랜스포머(Transformer) 구조 음성인식기 분석 및 성능향상 ... 4
• 2) 사전학습(Pre-trained) 모델을 이용한 한국어 음성인식기 및 대용량 한국어 모델 개발 ... 7
• 3) 온-디바이스 음성인식기 최적화 ... 9
• 4) 음성인식 기술의 의료용 응용 확장 ... 11
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 14
• 1) 정성적 연구개발성과(연구개발결과) ... 14
• 2) 세부 정량적 연구개발성과 ... 14
• 3) 목표 달성 수준 ... 15
• 4) 목표 미달 시 원인 분석 ... 15
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 15
• 5. 연구개발성과의 관리 및 활용 계획 ... 16
• 6. 자체점검표 ... 17
• 7. 참고문헌 ... 18
• 끝페이지 ... 36