[논문]딥러닝 기반 음향 신호 대역 확장 시스템

김윤수; 석종원

doi:10.7471/ikeee.2020.24.4.1122

[국내논문] 딥러닝 기반 음향 신호 대역 확장 시스템
Deep Learning based Raw Audio Signal Bandwidth Extension System 원문보기

전기전자학회논문지 = Journal of IKEEE, v.24 no.4, 2020년, pp.1122 - 1128

김윤수 (Dept. of Information and Communication Engineering, Changwon National University) , 석종원 (Dept. of Information and Communication Engineering, Changwon National University)

초록
AI-Helper

대역 확장(Bandwidth Extension)이란 채널 용량 부족 혹은 이동통신 기기에 탑재된 코덱의 특성으로 인해 부호화 및 복호화 과정에서 대역 제한(band limited)되거나 손상된 협대역 신호(NB, Narrow Band)를 복원, 확장하여 광대역 신호(WB, Wide Band)로 전환 시켜주는 것을 의미한다. 대역 확장 연구는 주로 음성 신호 위주로 대역 복제(SBR, Spectral Band Replication), IGF(Intelligent Gap Filling)과 같이 고대역을 주파수 영역으로 변환하여 복잡한 특징 추출 과정을 거쳐 이를 바탕으로 사라지거나 손상된 고대역을 복원한다. 본 논문에서는 딥러닝 모델 중 오토인코더(Autoencoder)를 바탕으로 1차원 합성곱 신경망(CNN, Convolutional Neural Network)들의 잔차 연결을 활용하여 복잡한 사전 전처리 과정 없이 일정한 길이의 시간 영역 신호를 입력시켜 대역 확장 시킨 음향 신호를 출력하는 모델을 제안한다. 또한 음성 영역에 제한되지 않는 음악을 포함한 여러 종류의 음원을 포함하는 데이터셋에 훈련시켜도 손상된 고대역을 복원할 수 있음을 확인하였다.

Abstract ▼ AI-Helper

Bandwidth Extension refers to restoring and expanding a narrow band signal(NB) that is damaged or damaged in the encoding and decoding process due to the lack of channel capacity or the characteristics of the codec installed in the mobile communication device. It means converting to a wideband signal(WB). Bandwidth extension research mainly focuses on voice signals and converts high bands into frequency domains, such as SBR (Spectral Band Replication) and IGF (Intelligent Gap Filling), and restores disappeared or damaged high bands based on complex feature extraction processes. In this paper, we propose a model that outputs an bandwidth extended signal based on an autoencoder among deep learning models, using the residual connection of one-dimensional convolutional neural networks (CNN), the bandwidth is extended by inputting a time domain signal of a certain length without complicated pre-processing. In addition, it was confirmed that the damaged high band can be restored even by training on a dataset containing various types of sound sources including music that is not limited to the speech.

Keyword

표/그림 (10)

그림 Fig. 1. Multi-input Autoencoder based bandwidth extension model. 그림 1. 다중 입력 오토인코더 기반 대역확장 모델[5]
그림 Fig. 3. U-Net based raw audio bandwidth extension model. 그림 3. U-Net 기반 음향 원신호 대역 확장 모델
그림 Fig. 5. Multiscale Block for 1D data. 그림 5. 1차원 데이터를 위한 멀티스케일 블록
그림 Fig. 6. Sub-pixel and Super-pixel. 그림 6. 서브 픽셀과 슈퍼 픽셀
그림 Fig. 7. Frequency feature included model structure. 그림 7. 주파수 특징 추가한 모델 구조
그림 Fig. 8. Spectrogram comparison by encoding rate (a) Original Audio Spectrogram (b) Encoding rate 0.05 Audio Spectrogram. 그림 8. 인코딩률에 따른 스펙트로그램 비교 (a) 원 신호 스펙트로그램 (b) 인코딩률 0.05 오디오 스펙트로그램
그림 Fig. 9. Bandwidth Extension Results (a) Original audio spectrogram (b) Extended audio spectrogram by SBR (c) Extended audio spectrogram by deep learning model. 그림 9. 대역 확장 결과 (a) 원본 오디오 스펙트로그램 (b) SBR을 이용한 대역 확장한 오디오 스펙트로 그램 (c) 딥러닝 모델을 이용하여 대역 확장한 오디오 스펙트로그램
그림 Fig. 10. Loss values depending on epoch. 그림 10. 에폭 횟수에 따른 손실 값
그림 Fig 11. SNR values depending on epoch. 그림 11. 에폭 횟수에 따른 SNR 값
표 Table 1. Dataset Specification. 표 1. 데이터셋 정보

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이때모델을잠재벡터의차원을기준으 로 크게 두 부분으로 나누어 입력의 차원을 축소시키는 신경망인 인코더와 잠재 벡터를 바탕으로 입력 차원까지 업샘플링(upsampling)을 data-checked="false">진행하는디코더로생각할 수 있다.여기서인코더신경망을 거쳐축소된 벡터에서 디코더 신경망을 통과해 다시 입력으로 되돌리는 훈련 과정에서 data-checked="false">오토인코더는입력에서유의미한특징을추출하는방법을자 동으로학습한다.
본 논문에서는앞서설명한 문제점인복잡한 전처리 과정을 거치지 않으며, 대역복제 특유의 토널성분에의한인공적인잡음을발생하지않게하 기위해오토인코더기반의대역확장딥러닝모델 을제안한다.이이후로Ⅱ장에서는앞서선행되었 던대역확장기법에대한간략한설명및제안하 는 딥러닝 기반 대역 확장 모델 구조와 방법론에 대해 서술한다.
에적용하는것은역부족이였다.따라서본논문에 서는U-Net기반오토인코더모델을사용하여시 간 영역의 원 신호를 그대로 입력으로 받아 대역 확장된 시간 영역의 신호를 출력하고,다양한종류의오디오를포함한데이터셋에훈련시켜음성신 호 뿐만이 아닌 여러가지 악기가 존재하는 음악 신호까지 복원하는 대역 확장시스템을 제안한다.
본 논문에서는 이러한 U-Net의 특징을 차용해 이미지가 아닌 오디오 데이터에 적용시킨다. 입력데이터는 시간 영역의 오디오 샘플들이 되며,이에대응하여기존의2차원합성곱신경망(2DCNN)을 1차원 합성곱 신경망(1D CNN)으로 대체해 주었다.
구글사에서개발 한GoogLeNet모델은이미지안에서다양한수용 영역(receptivefield)에서의특징을추출하기위해인 셉션(Inception) 이라는 개념을 도입하였는데,이전층의출력을서로다른크기의커널을사용하여병렬 로각각처리한후채널단위로연결(concatenation) 시켜주어서로다른크기의커널에서추출되는특 징들을보다효과적으로학습할수있게해주었다 [8].본논문에서는이와같은인셉션모듈의장점 을바탕으로 오디오 데이터를 위한 인셉션 블록을 설계한다. 그림 5는 1차원 데이터를 위해 설계된 1D 인셉션 모듈의 블록도이다.
복원손실는오디오신호길이에걸쳐 번째원본데이터 _와본논문의모델를거친 번째입력데이터과의거리를구한것이다.그리 고스펙트럼거리 는푸리에변환(STFT)을사용하여전체입력신호가일정한프레임단위나뉘 어서주파수성분이계산되는데, 해당 프레임의 개수, 프레임당 주파수 성분의 수 에걸쳐원본 과모주파수영역의 번째프레임의 번째성분 와의거리를구하여평델의출력된입력_균 낸 값이다.

제안 방법

기존의인공 대역 확장 시스템은입력 데이터를 주성분분석을 통하여 차원 축소를 진행하였기 때문에 실제 데이터의 비선형성을 반영하지 못해 충분한 성능을 보여주지 못했다. 따라서이차원축소과정을준지도학습기반오토인코더로 대체하여 실제 음성 오디오 데이터의 비선형성을 충분히 반영하여 다운샘플링을 진행할 수있도록하였다.실제음성신호데이터의비선형성을모델 이확보할수있게됨에따라비교적높은성능을 내었지만, 여전히복잡한전처리과정이필요하고, 확장가능한데이터가음성신호에국한되어있다.
입력데이터는 시간 영역의 오디오 샘플들이 되며,이에대응하여기존의2차원합성곱신경망(2DCNN)을 1차원 합성곱 신경망(1D CNN)으로 대체해 주었다.그림3은본논문에서사용한대역확장을위해 U-Net에기반하여재구성한모델의구조를보여준 다.
기존 오토인코더에는 인코더 부분에서사용하는다운샘플링을주로합성곱신경망의보폭(stride)을 조절하거나풀링(pooling)층을사용하여구현하고, 디코더 부분에서 사용하는 업샘플링을 전치합성곱신경망(TransposedCNN)을사용하여구현하였 다. 하지만 위와 같은 방법으로 차원 축소와확장을구현하였을시에출력으로나오는결과에서주 기적인 체커보드 형태의 인공적인 소리(periodic checkerboardartifacts)를야기하였다[9].
인공적인잡음을줄이기위해본논문에서는서브픽셀(subpixel)및슈퍼픽셀(superpixel)을사용 한다. 서브 픽셀이란 채널에 해당하는 차원()의배치를 바꾸어 채널 차원의 공간을 줄이고, 공간차원()의 공간을채널 차원을 재배치한 만큼 업스케일링(upscaling)하는것을의미한다[10].
주파수영역 변환계층을거친 신호는 LSTM(Long Short Term Memory) 계층을거쳐시간정보를반영하면서주파수영역의정보 를 인코딩시킨다. 인코딩된 전력 스펙트럼은앞서병렬로인코딩된시간영역의정보와연결시켜주 파수 영역과 시간 영역 모두 반영한 잠재 벡터를 출력하도록 하였다.
본 논문의 손실 함수는 크게 복원 손실(recover loss)와 스펙트럼 거리(spectral distance) 두 손실함수를 합한 값으로 전체 손실을 결정한다. 복원손실는오디오신호길이에걸쳐 번째원본데이터 _와본논문의모델를거친 번째입력데이터과의거리를구한것이다.
본 논문에서 제안하는 모델은 음성 데이터뿐만 아니라 다양한 종류의 데이터를 복원하는 용도로 설계되었다. 따라서 기존의 음성만을 위한 VCTK (Voice Cloning ToolKit)[11]과 같은 데이터를 사용하지 않고, 직접음성,여러종류의음악그리고배경음악이있는연설(speech)등을포함한표본화 주파수44.
1kHz의약10~15초분량의데이터를43 개를수집하였다.이를0.1s단위로나누어저장한후무작위로섞어다음과같이훈련및테스트데 이터셋을 구성하였다.
10%는검증데이터셋으로사용하였다. 실제환경의 오디오 스펙트럼의 손상을 시뮬레이션 하기위해AAC(Advanced AudioCoding) 코덱을사용하였으며, 원본오디오의5%(16kb it/s)만큼음질을떨어뜨렸다.
대역 제한되거나고대역이 손상된 오디오신호에서사라진고대역을복원및확장하기위해사용되 는대역확장기법을비선형적인데이터를효과적으 로반영하는딥러닝모델을기반으로구현해보았다. 1차원CNN계층들을결합잔차연결(Concatenated skip-connection)하고 주파수 성분의 특징을 반영하는 가지(branch)를 따로가지는 대역 확장오토인코더를설계함으로써전처리를거치지않은다 양한종류의원오디오신호를입력하여도소실된 고대역을 복원해 내는것을 확인할 수 있었다.

대상 데이터

따라서 기존의 음성만을 위한 VCTK (Voice Cloning ToolKit)[11]과 같은 데이터를 사용하지 않고, 직접음성,여러종류의음악그리고배경음악이있는연설(speech)등을포함한표본화 주파수44.1kHz의약10~15초분량의데이터를43 개를수집하였다.이를0.
훈련데이터셋의90%는실제훈련에 사용하였으며, 10%는검증데이터셋으로사용하였다. 실제환경의 오디오 스펙트럼의 손상을 시뮬레이션 하기위해AAC(Advanced AudioCoding) 코덱을사용하였으며, 원본오디오의5%(16kb it/s)만큼음질을떨어뜨렸다.

이론/모형

훈련eU-Net 기반의모델에 스펙트럼 정보 추가된 모델을 실험하였으며, 최적화기는 Adam 최적화기를 사용하였다.

성능/효과

1차원CNN계층들을결합잔차연결(Concatenated skip-connection)하고 주파수 성분의 특징을 반영하는 가지(branch)를 따로가지는 대역 확장오토인코더를설계함으로써전처리를거치지않은다 양한종류의원오디오신호를입력하여도소실된 고대역을 복원해 내는것을 확인할 수 있었다. 더나아가변이형오토인코더(VariationalAutoencoder) [12] 및 GAN(Generative Adversarial Nets)[4] 와같은 생성모델을 사용하면 더욱 사실적인 데이터를 만들어낼수있을것으로기대된다.

후속연구

1차원CNN계층들을결합잔차연결(Concatenated skip-connection)하고 주파수 성분의 특징을 반영하는 가지(branch)를 따로가지는 대역 확장오토인코더를설계함으로써전처리를거치지않은다 양한종류의원오디오신호를입력하여도소실된 고대역을 복원해 내는것을 확인할 수 있었다. 더나아가변이형오토인코더(VariationalAutoencoder) [12] 및 GAN(Generative Adversarial Nets)[4] 와같은 생성모델을 사용하면 더욱 사실적인 데이터를 만들어낼수있을것으로기대된다.

참고문헌 (12)

M. Dietz, L. Liljeryd, K. Kjorling, and O. Kunz, "Spectral Band Replication, a Novel Approach in Audio Coding," in Audio Engineering Society 112th Convention, p.553, 2002.
Volodymyr K., S. Zayd Enam, Stefano E., "Audio Super Resolution using Neural Networks" Presented at the 5th International Conference on Learning Representations(ICLR), 2017, arXiv: 1708.00853v1
Yu Gu, Z. Ling, Li-Rong Dai, "Speech Bandwidth Extension Using Bottleneck Features and Deep Recurrent Neural Networks," INTERSPEECH, 2016. DOI: 10.21437/Interspeech.2016-678
Ian Goodfellow et al., "Generative Adversarial Nets," Advances in Neural Information Processing Systems, vol.27, pp.2672-2680. 2014.
Hyo-Jin Cho et al, Seong-Hyeon Shin, Seung Kwon Beack, Taejin Lee, Hochong Park, "Audio High-Band Coding based on Autoencoder with Side Information," Journal of Broadcast Engineering (JBE), Vol.24, No.3, pp.387-394, 2019. DOI: 10.5909/JBE.2019.24.3.387

원문보기 상세보기
B. Pramod, T. Massimiliano, E. Nicholas, "Artificial Bandwidth Extension with Memory Inclusion Using Semi-supervised Stacked Auto-encoders," INTERSPEECH, pp.1185-1189, 2018. DOI: 10.21437/Interspeech.2018-2213
Olaf R., Philipp F., Thomas B., "U-Net: Convolutional Networks for Biomedical Image Segmentation," Medical Image Computing and Computer-Assisted Intervention(MICCAI), pp. 234-241, 2015.
C. Szegedy et al., "Going deeper with convolutions," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1-9, 2015. DOI: 2015, 10.1109/CVPR.2015.7298594.
Sugn K. Visvesh S., "Bandwidth Extension on Raw Audio via Generative Adversarial Networks," 2019, arXiv:1903.09027
W. Shi et al., "Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1874-1883, 2016. DOI: 10.1109/CVPR.2016.207.
Veaux, Christophe; Yamagishi, Junichi; MacDonald, Kirsten. "CSTR VCTK Corpus: English Multi-speaker Corpus for CSTR Voice Cloning Toolkit," University of Edinburgh. The Centre for Speech Technology Research (CSTR), 2017. DOI: 10.7488/ds/1994
Diederik P Kingma, Max Welling, "Auto-Encoding Variational Bayes," 2014, arXiv preprint arXiv:1312.6114

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증