[논문]음성 데이터 전처리 기법에 따른 뉴로모픽 아키텍처 기반 음성 인식 모델의 성능 분석

조진성; 김봉재

doi:10.7236/jiibc.2022.22.3.69

음성 데이터 전처리 기법에 따른 뉴로모픽 아키텍처 기반 음성 인식 모델의 성능 분석
Performance Analysis of Speech Recognition Model based on Neuromorphic Architecture of Speech Data Preprocessing Technique 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.22 no.3, 2022년, pp.69 - 74

조진성 (충북대학교 전기.전자.정보.컴퓨터공학부) , 김봉재 (충북대학교 컴퓨터공학과)

초록
AI-Helper

뉴로모픽 아키텍처에서 동작하는 SNN (Spiking Neural Network) 은 인간의 신경망을 모방하여 만들어졌다. 뉴로모픽 아키텍처 기반의 뉴로모픽 컴퓨팅은 GPU를 이용한 딥러닝 기법보다 상대적으로 낮은 전력을 요구한다. 이와 같은 이유로 뉴로모픽 아키텍처를 이용하여 다양한 인공지능 모델을 지원하고자 하는 연구가 활발히 일어나고 있다. 본 논문에서는 음성 데이터 전처리 기법에 따른 뉴로모픽 아키텍처 기반의 음성 인식 모델의 성능 분석을 진행하였다. 실험 결과 푸리에 변환 기반 음성 데이터 전처리시 최대 84% 정도의 인식 정확도 성능을 보임을 확인하였다. 따라서 뉴로모픽 아키텍처 기반의 음성 인식 서비스가 효과적으로 활용될 수 있음을 확인하였다.

Abstract ▼ AI-Helper

SNN (Spiking Neural Network) operating in neuromorphic architecture was created by mimicking human neural networks. Neuromorphic computing based on neuromorphic architecture requires relatively lower power than typical deep learning techniques based on GPUs. For this reason, research to support various artificial intelligence models using neuromorphic architecture is actively taking place. This paper conducted a performance analysis of the speech recognition model based on neuromorphic architecture according to the speech data preprocessing technique. As a result of the experiment, it showed up to 84% of speech recognition accuracy performance when preprocessing speech data using the Fourier transform. Therefore, it was confirmed that the speech recognition service based on the neuromorphic architecture can be effectively utilized.

주제어

표/그림 (8)

표 표 1. 음성 데이터 클래스의 종류 및 그 개수 Table 1. Types of data classes and the numbers of their
표 표 2. 인식 정확도 분석을 위한 실험 파라미터 Table 2. Experimental parameters for recognition accuracy analysis
표 표 3. DE1-SoC 사양 정보 Table 3. DE1-SoC specs
표 표 4. Host PC 사양 정보 Table 4. Host PC specs
그림 그림 1. DE1-SoC 기반 음성인식 모델의 동작 순서 Fig. 1. Operation sequence of DE1-SoC-based speech recognition model
그림 그림 2. 두 가지 클래스(위, 아래) 인식 정확도 Fig. 2. Recognition accuracy results of two classes (up and down)
그림 그림 3. 세 가지 클래스(위, 아래, 가운데) 인식 정확도 Fig. 3. Recognition accuracy results of three classes (up, down, and center)
그림 그림 4. 다섯 가지 클래스(위, 아래, 가운데, 왼쪽, 오른쪽) 인식 정확도 Fig. 4. Recognition accuracy results of five classes (up, down, center, left, and right)

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 음성 데이터 전처리 기법에 따른 뉴로모픽 아키텍처 기반 SNN 모델의 음성 인식 정확도를 측정하고 분석하였다. 다운 샘플링과 RMSE 기법을 사용하여 전처리하는 경우, 푸리에 변환 기반 데이터 전처리 기법과 비교할 때 대체로 낮은 정확도를 보였다.

대상 데이터

“오른쪽”으로 구성되었으며 총 다섯 개의 클래스이다. 각 단어는 150개의 데이터로 구성되어 있으며, 전체 데이터의 개수는 총 750 개이다. 각 단어 클래스의 음성 데이터는 1채널의 WAV 포맷 형태를 가진다.
뉴로모픽 아키텍처 기반 SNN 모델의 음성 인식 성능을 분석하기 위하여 총 다섯 가지 단어를 한국어로 녹음하여 사용하였다. 표 1은 학습 및 테스트에 사용된 단어 클래스의 종류와 사용된 데이터의 수를 보여준다.
뉴로모픽 아키텍처 기반 인공신경망 SNN 모델의 구동을 위하여 FPGA기반 뉴로모픽 아키텍처 보드인 DE1-SoC 보드를 사용하였다. DE1-SoC은 FPGA 칩을 프로그래밍 하는 것으로 뉴로모픽 아키텍처와 동일한 동작이 가능하다.

데이터처리

이후 모델의 정확도 성능의 측정에서는 K-Fold 검증 기법을 적용하였다. K값을 5로 지정하여 전체 데이터를 8:2의 비율로 학습 데이터와 검증 데이터로 나누어 실험을 진행하고 평균 정확도를 산정하였다.

이론/모형

따라서 각 음성 데이터를 SNN 모델의 입력 크기로 변화하는 과정이 필요하다. 이와 같은 음성데이터 전처리 기법으로 다운 샘플링 기법, RMSE 기법, 푸리에 변환 기법을 적용한다.
본 논문의 실험에서는 음성 데이터 전처리 기법에 따른 뉴로모픽 아키텍처 기반 SNN 모델의 음성 인식 정확도를 분석하기 위하여 표 2와 같은 다양한 상황을 고려하였다. 이후 모델의 정확도 성능의 측정에서는 K-Fold 검증 기법을 적용하였다. K값을 5로 지정하여 전체 데이터를 8:2의 비율로 학습 데이터와 검증 데이터로 나누어 실험을 진행하고 평균 정확도를 산정하였다.

성능/효과

본 논문에서는 음성 데이터 전처리 기법에 따른 뉴로모픽 아키텍처 기반 SNN 모델의 음성 인식 정확도를 측정하고 분석하였다. 다운 샘플링과 RMSE 기법을 사용하여 전처리하는 경우, 푸리에 변환 기반 데이터 전처리 기법과 비교할 때 대체로 낮은 정확도를 보였다. 푸리에 변환을 사용하여 주파수 도메인으로 음성 데이터 전처리를 진행하였을 때 최대 84.
반면 400의 입력 데이터 크기와 784의 입력 데이터 크기는 각각 40개와 20개의 뉴런만 사용할 수 있다. 따라서 SNN 모델의 내부 뉴런의 수도 인식 성능에 영향을 주는 요소이고 이 때문에 SNN 모델의 정확도 성능이 감소하였다고 예측된다. 그림 3과 그림 4에서 푸리에 변환을 사용하여 784의 입력 크기로 변환하였을 때 400의 입력 크기를 사용하였을 때보다 정확도가 더욱 높은 것을 확인할 수 있었다.
실험 결과 모든 상황에서 푸리에 변환이 우수한 성능을 보였다. 따라서뉴로모픽 아키텍처 기반 SNN 모델의 음성 데이터 전처리에 푸리에 변환이 다운 샘플링 기법이나 RMSE 기법보다 적합하다는 것을 확인할 수 있다.
20%의 정확도를 보였다. 실험 결과 모든 상황에서 푸리에 변환이 우수한 성능을 보였다. 따라서뉴로모픽 아키텍처 기반 SNN 모델의 음성 데이터 전처리에 푸리에 변환이 다운 샘플링 기법이나 RMSE 기법보다 적합하다는 것을 확인할 수 있다.
실험에서 가장 우수한 성능을 보인 푸리에 변환의 경우, 입력 데이터 크기가 196의 크기를 가지는 벡터일 때가장 좋은 성능을 보였다. 196의 입력 데이터 크기를 사용할 경우 FPGA 기반 뉴로모픽 아키텍처인 DE1-SoC 의 특성상 SNN 모델의 뉴런을 최대 81개 사용할 수 있다.
00%의 정확도 성능을 보였다. 이를 통해 뉴로모픽 아키텍처 기반 SNN 모델을 이용하여 음성 인식과 같은 서비스의 구현 및 제공이 가능함을 확인하였다.
그림 3과 그림 4에서 푸리에 변환을 사용하여 784의 입력 크기로 변환하였을 때 400의 입력 크기를 사용하였을 때보다 정확도가 더욱 높은 것을 확인할 수 있었다. 이를 통해 일정한 상관관계가 있는 것이 아니라 최적의 성능을 보이는 입력 데이터의 크기와 SNN 모델의 뉴런수가 존재할 수 있음을 알 수 있다.
다운 샘플링과 RMSE 기법을 사용하여 전처리하는 경우, 푸리에 변환 기반 데이터 전처리 기법과 비교할 때 대체로 낮은 정확도를 보였다. 푸리에 변환을 사용하여 주파수 도메인으로 음성 데이터 전처리를 진행하였을 때 최대 84.00%의 정확도 성능을 보였다. 이를 통해 뉴로모픽 아키텍처 기반 SNN 모델을 이용하여 음성 인식과 같은 서비스의 구현 및 제공이 가능함을 확인하였다.

후속연구

향후 연구에서는 뉴로모픽 아키텍처의 음절 단위 음성인식 가능 여부를 실험할 것이다. 이외에도 뉴로모픽 아키텍처 기반 SNN 모델의 단순 인식, 분류 문제 이외에도 다양한 분야에 사용될 가능성을 확인하기 위한 기법을 설계하고 성능을 분석할 것이다.
향후 연구에서는 뉴로모픽 아키텍처의 음절 단위 음성인식 가능 여부를 실험할 것이다. 이외에도 뉴로모픽 아키텍처 기반 SNN 모델의 단순 인식, 분류 문제 이외에도 다양한 분야에 사용될 가능성을 확인하기 위한 기법을 설계하고 성능을 분석할 것이다.

참고문헌 (16)

Oh, K. I., et al., "Trend of AI Neuromorphic Semiconductor Technology", Electronics and Telecommunications Trends, Vol. 35, No. 3, pp. 76-84, 2020. DOI: https://doi.org/10.22648/ETRI.2020.J.350308

원문보기 상세보기
Chang-Bok Kim, "Deep Learning Model for Prediction Rate Improvement of Weather Data using Parallel Merge Structure", The Journal of KIIT, Vol. 20, No. 4, pp. 131-140, 2022. DOI: https://doi.org/10.14801/jkiit.2022.20.4.131

상세보기
Youngjoon Cho, Jongwon Kim, "A Study on The Classification of Target-objects with The Deep-learning Model in The Vision-images", Journal of the Korea Academia-Industrial cooperation Society(JKAIS), Vol. 22, No. 2, pp. 20-25, 2021. DOI: http://dx.doi.org/10.5762/KAIS.2021.22.2.20

원문보기 상세보기
Moon, S. E., et al., "Next-generation neuromorphic hardware technology", Electronics and Telecommunications Trends, Vol. 33, No. 6, pp. 58-68, 2018. DOI: https://doi.org/10.22648/ETRI.2018.J.330607

원문보기 상세보기
Ghosh-Dastidar, et al., "Spiking Neural Networks", International Journal of Neural systems, Vol. 19, No. 04, pp. 295-308, 2009. DOI: https://doi.org/10.1142/S0129065709002002

상세보기
Silver, David, et al., "Mastering the game of Go with deep neural networks and tree search", Nature, Vol. 529, No. 7587, pp. 484-489, 2016. DOI: https://doi.org/10.1038/nature16961

상세보기
Hong-Jin Park, "Trend Analysis of Korea Papers in the Fields of 'Artificial Intelligence' 'Machine Learning' and 'Deep Learning' ", Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol. 13, No. 4, pp. 283-292, 2020. DOI: http://dx.doi.org/10.17661/jkiiect.2020.13.4.283

원문보기 상세보기
Park, Sangmin, Junyoung Heo, "Conversion Tools of Spiking Deep Neural Network based on ONNX", The Journal of The Institute of Internet, Broadcasting and Communication Vol. 20, No. 2, pp. 165-170, 2020. DOI: https://doi.org/10.7236/JIIBC.2020.20.2.165

원문보기 상세보기
Park, Kicheol, and Bongjae Kim, "Dynamic neuromorphic architecture selection scheme for intelligent Internet of Things services", Concurrency and Computation: Practice and Experience e6357, 2021. DOI: https://doi.org/10.1002/cpe.6357
Bing, Zhenshan, et al., "End to end learning of a multi-layered SNN based on R-STDP for a target tracking snake-like robot", 2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019. DOI: https://doi.org/10.1109/ICRA.2019.8793774
Yang, Shuangming, et al., "BiCoSS: toward large-scale cognition brain with multigranular neuromorphic architecture", IEEE Transactions on Neural Networks and Learning Systems, 2021. DOI: https://doi.org/10.1109/TNNLS.2020.3045492

상세보기
Shen, Minmin, Ping Xue, Ci Wang, "Down-sampling based video coding using super-resolution technique", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 21, No. 6, pp. 755-765, 2011. DOI: https://doi.org/10.1109/TCSVT.2011.2130390

상세보기
Seryasat, O. R., F. Honarvar, Abolfazl Rahmani, "Multi-fault diagnosis of ball bearing using FFT, wavelet energy entropy mean and root mean square (RMS)", IEEE international conference on systems, man and cybernetics, 2010. DOI: https://doi.org/10.1109/ICSMC.2010.5642389
C. Rader, N. Brenner, "A new principle for fast Fourier transformation", IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. 24, No. 3, pp. 264-266, 1976. DOI: https://doi.org/10.1109/TASSP.1976.1162805

상세보기
Rodriguez, Juan D., Aritz Perez, Jose A. Lozano, "Sensitivity analysis of k-fold cross validation in prediction error estimation", IEEE transactions on pattern analysis and machine intelligence, Vol. 32, No. 3, pp. 569-575, 2009. DOI: https://doi.org/10.1109/TPAMI.2009.187

상세보기
Morcos, Benjamin, "Nengofpga: an fpga backend for the nengo neural simulator", MS thesis, University of Waterloo, 2019.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증