[논문]잔류 합성 곱 신경망 기반의 코골이 식별 방식

신승수; 김형국

doi:10.7776/ask.2019.38.5.574

[국내논문] 잔류 합성 곱 신경망 기반의 코골이 식별 방식
Snoring identification method based on residual convolutional neural network 원문보기

한국음향학회지= The journal of the acoustical society of Korea, v.38 no.5, 2019년, pp.574 - 579

신승수 (광운대학교 전자융합공학과) , 김형국 (광운대학교 전자융합공학과)

초록
AI-Helper

코골이는 전형적인 수면장애 증상이며 수면 무호흡증을 유발하기 때문에 코골이의 발생을 확인하는 것이 중요하다. 이에 본 논문에서는 효율적인 코골이 식별 알고리즘으로 잔류 합성 곱 신경망을 제안한다. 잔류 학습과 합성곱 신경망을 결합한 구조인 잔류 합성 곱 신경망은 기존의 신경망보다 데이터에 존재하는 특징을 효과적으로 추출하여 코골이 식별 정확도를 향상한다. 실험 결과는 제안한 코골이 식별 알고리즘의 성능이 기존 방식보다 더 우수하다는 것을 보여준다.

Abstract ▼ AI-Helper

Snoring is a typical symptom of sleep disorder and it is important to identify the occurrence of snoring because it causes sleep apnea. In this paper, we proposes a residual convolutional neural network as an efficient snoring identification algorithm. Residual convolutional neural network, which is a structure combining residual learning and convolutional neural network, effectively extracts features existing in data more than conventional neural network and improves the accuracy of snoring identification. Experimental results show that the performance of the proposed snoring algorithm is superior to that of the conventional methods.

Keyword

표/그림 (4)

그림 Fig. 1. Overall process of snoring identification method.
그림 Fig. 2. Waveforms and spectrograms of (a) normal, (b) wheeze, (c) snore, and (d) duvet.
그림 Fig. 3. Structure of proposed Residual CNN.
표 Table 1. Result of snoring identification.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이에 본 논문에서는 CNN과 잔류 학습 방식을 결합한 잔류 합성 곱 신경망(Residual CNN)을 적용하여 코골이를 식별하는 방식에 대해 제안한다.
에너지와 AVV의 값이 각 문턱값보다 작은 경우 해당 소리를 잡음 및 무음 구간으로 판별하고, 나머지 경우 소리 발생 구간으로 검출한다. 또한, 본 논문에서는 잡음 상황의 변화를 파악하여 문턱값을 갱신시킴으로써 높은 정확도로 소리 발생 구간을 검출한다. 잡음 상황의 변화를 파악하기 위해 n번째 소리가 잡음으로 판별될 경우 이를 기반으로 잡음 신호 전체의 평균 에너지와 평균 AVV 를 계산한다.
본 논문에서는 코골이 식별을 위한 신경망으로 Residual CNN을 제안한다. 제안하는 Residual CNN은 CNN에 잔류 학습 방식을 결합한 구조로 특정 층에 입력과 출력을 연결하는 잔류 연결을 추가하여 입력마디에 존재하는 정보들을 다음 마디에 직접 전달한다.
본 논문의 실험 결과를 통해 소리의 스펙트로그램 안에 존재하는 특징을 추출하여 학습을 진행하는 CNN이 기존의 k-NN, GMM보다 효과적이며 본 논문에서 제안하는 Residual CNN이 가장 높은 정확도로 코골이를 식별함을 알 수 있다. 또한, 본 논문에서는 학습 성능을 평가하기 위해 학습 데이터를 학습단계와 식별단계에 동일하게 적용한 자가 테스트 실험을 진행하였다. 실험 결과 Residual CNN과 CNN은 각각 99.
본 논문에서는 잔류 합성 곱 신경망을 이용하여 수면장애 증상인 코골이 식별 방식을 제안하였다. 제안한 방식은 전처리 과정을 통해 소리 발생 구간을 검출하고 검출된 소리 발생 구간은 특징 추출부를 통해 스펙트로그램으로 변환되어 잔류 합성 곱신경망을 통해 코골이를 식별한다.

제안 방법

^[7] 이를 위해 먼저, 입력된 소리를 2 ms(16 samples)의 프레임 단위로 분할한다. 그리고 소리의 활성 여부를 판단하기 위해 분할된 소리의 에너지를 계산하고 소리의 에너지와 자기 상관 분산도(Autocorrelation Vector Variance, AVV)를 계산한다. n번째 소리의 에너지와 AVV는다음과 같이 계산한다.
다음으로 입력된 소리로부터 계산된 에너지와 AVV를 초기 설정된 에너지, AVV의 문턱값과 비교한다. 이때, 초기 문턱값은 데이터베이스로부터 무작위로 선택한 소리 3초 동안의 평균 에너지와 평균 AVV로 설정하였다.
다음으로 입력된 소리로부터 계산된 에너지와 AVV를 초기 설정된 에너지, AVV의 문턱값과 비교한다. 이때, 초기 문턱값은 데이터베이스로부터 무작위로 선택한 소리 3초 동안의 평균 에너지와 평균 AVV로 설정하였다. 에너지와 AVV의 값이 각 문턱값보다 작은 경우 해당 소리를 잡음 및 무음 구간으로 판별하고, 나머지 경우 소리 발생 구간으로 검출한다.
잡음 상황의 변화를 파악하기 위해 n번째 소리가 잡음으로 판별될 경우 이를 기반으로 잡음 신호 전체의 평균 에너지와 평균 AVV 를 계산한다. 그리고 계산된 평균 에너지와 평균 AVV를 n-1번째 소리를 기반으로 계산된 잡음 신호 전체의 평균 에너지와 평균 AVV와 비교하여 잡음 상황의 변화를 파악하고 문턱값을 갱신한다. 하지만 n번째 소리가 소리 발생 구간으로 검출될 경우 에너지와 AVV의 문턱값을 이전의 문턱값으로 유지한다.
본 논문에서는 코골이 식별을 위한 네 가지의 소리 종류로써 일반인의 수면 시 발생하는 호흡음, 숨을 쉴 때 좁아진 기관지를 따라 공기가 통과할 때 들리는 특징적인 호흡음으로 쌕쌕거림과 같은 천명음, 수면 시 코골이 환자에게 생기는 코골이, 수면 시 뒤척일 때 발생하는 이불 소리를 사용하였다.
본 논문에서는 코골이 식별을 위한 신경망으로 Residual CNN을 제안한다. 제안하는 Residual CNN은 CNN에 잔류 학습 방식을 결합한 구조로 특정 층에 입력과 출력을 연결하는 잔류 연결을 추가하여 입력마디에 존재하는 정보들을 다음 마디에 직접 전달한다. 이는 깊은 심층망의 기울기의 소실/폭발 문제를 효과적으로 해결하고 연산을 간단하게 진행하여 성능 저하의 문제를 해결한다.
그 다음, 4 × 4 크기를 가진 Pooling 과정을 통해 특징 맵의 평균을 구하고 Softmax를 통해 4개의 소리 종류에 각각 해당할 확률 로 계산하여 가장 높은 확률에 해당하는 소리 종류를 예측 결과로 출력한다.
그 다음, 4 × 4 크기를 가진 Pooling 과정을 통해 특징 맵의 평균을 구하고 Softmax를 통해 4개의 소리 종류에 각각 해당할 확률 로 계산하여 가장 높은 확률에 해당하는 소리 종류를 예측 결과로 출력한다. 또한, 역전파 과정에서 최적화를 위한 비용 함수로 Cross entropy를 사용하여 오차를 구하고^[9] Adam optimizer를 사용하여 가중치를 갱신함으로써 오차를 최소화하였다.^[6]
본 논문에서 제안한 잔류 합성 곱 신경망은 잔류 학습 방식을 통해 깊은 신경망 구조로 인한 성능 저하 문제를 해결한다. 또한, 잔류 학습 방식과 함께 각잔류 블록의 앞부분에 BN을 배치함으로써 정규화효과를 얻을 수 있으며 최적화가 쉬워지고 안정된 학습으로 과적합을 방지하는 장점을 가진다.
본 논문에서는 코골이 식별을 위해 호흡음, 천명음, 이불 소리, 코골이로 구성된 네 가지의 소리 종류를 선정하였다. 각 소리 종류의 데이터는 피험자의 동의 하에 피험자가 자는 동안 디지털 마이크를 사용하여 16 bit 해상도와 8 kHz의 샘플링 율로 녹음되었고 피험자의 성별과 상태에 따른 특성을 반영하지 않았다.
본 논문에서는 코골이 200개, 호흡음 42개, 천명음 55개, 이불 소리 80개로 전체 377개의 소리를 실험에 사용하였으며 성능 측정을 위해 4-fold 교차 검증 방법을 적용하였다. 4-fold 교차 검증 방법은 전체 데이 터를 4개의 fold로 분할한 후 각 fold를 식별 데이터로, 나머지 3개의 fold는 학습 데이터로 선정하여 4번의 실험을 진행한다.
여기서, 각 fold에 속한 소리 종류의 비율을 동일하게 설정하고 4-fold로 설정하였을 때 남은 데이터는 사용하지 않았다. 실험은 각 fold에 대해 전체 데이터 중 제대로 식별된 데이터 비율인 정확도를 측정하고 평균치를 구하여 전체 구조의 성능을 평가한다. 본 실험에서는 4-fold 교차 검증 방식을 이용하여 모든 데이터를 학습단계에도 적용하고 식별단계에도 적용함으로써 전체 데이터에 대한 공정한 실험을 수행하였다.
실험은 각 fold에 대해 전체 데이터 중 제대로 식별된 데이터 비율인 정확도를 측정하고 평균치를 구하여 전체 구조의 성능을 평가한다. 본 실험에서는 4-fold 교차 검증 방식을 이용하여 모든 데이터를 학습단계에도 적용하고 식별단계에도 적용함으로써 전체 데이터에 대한 공정한 실험을 수행하였다.
본 논문에서 제안하는 Residual CNN을 검증하기 위해 k-최근접 이웃 알고리즘(k-Nearest Neighbor, k-NN)과 GMM, CNN의 실험을 진행하여 결과를 비교하였다. 먼저, k-NN은 특정 공간 내에서 입력과 제일유사한 k개 요소의 소리 종류를 통해 입력의 소리 종류를 식별하는 방식으로 본 실험에서는 입력과 요소 들의 유사도를 계산하기 위해 비교적 단순한 유클리디안 거리 함수를 적용하고 k-NN의 초 매개변수 k의 값을 홀수인 3, 5, 7을 선택하여 실험하였다. GMM은여러 개의 가우스 분포 함수를 통해 확률 분포 모델을 추정하여 식별하는 기계학습 방식으로 본 실험에 서는 가우시안 구성요소를 4로 설정하고 통계적 분포를 선형 결합 하는 방법으로 최적화를 위해 기댓값 최대화(Expectation-Maximization, EM) 알고리즘을 사용하였다.
본 논문에서는 잔류 합성 곱 신경망을 이용하여 수면장애 증상인 코골이 식별 방식을 제안하였다. 제안한 방식은 전처리 과정을 통해 소리 발생 구간을 검출하고 검출된 소리 발생 구간은 특징 추출부를 통해 스펙트로그램으로 변환되어 잔류 합성 곱신경망을 통해 코골이를 식별한다.

대상 데이터

본 논문에서는 4 개의 잔류 블록을 사용하였으며 각 잔류 블록의 Conv는 10 × 10 크기의 커널 필터 32개를 사용하였다.
[10] CNN은 제안하는 Residual CNN과의 비교를 위해 10 × 10 크기의 커널 필터 32개로 구성된 Conv 9개와 2 × 2 크기의 Pooling 2개를 사용하였고 512개의 뉴런을 가진 Fully Connected Layer와 Softmax를 사용하였다.
본 논문에서는 코골이 식별을 위해 호흡음, 천명음, 이불 소리, 코골이로 구성된 네 가지의 소리 종류를 선정하였다. 각 소리 종류의 데이터는 피험자의 동의 하에 피험자가 자는 동안 디지털 마이크를 사용하여 16 bit 해상도와 8 kHz의 샘플링 율로 녹음되었고 피험자의 성별과 상태에 따른 특성을 반영하지 않았다.

데이터처리

본 논문에서 제안하는 Residual CNN을 검증하기 위해 k-최근접 이웃 알고리즘(k-Nearest Neighbor, k-NN)과 GMM, CNN의 실험을 진행하여 결과를 비교하였다. 먼저, k-NN은 특정 공간 내에서 입력과 제일유사한 k개 요소의 소리 종류를 통해 입력의 소리 종류를 식별하는 방식으로 본 실험에서는 입력과 요소 들의 유사도를 계산하기 위해 비교적 단순한 유클리디안 거리 함수를 적용하고 k-NN의 초 매개변수 k의 값을 홀수인 3, 5, 7을 선택하여 실험하였다.

이론/모형

이처럼 기존의 코골이 식별 연구들은 데이터로부터 멜 주파수 캡스트럼 계수와 같은 주파수 특징을 추출하고 이를 기계 학습 방식의 SVM^[3], 가우시안 혼합 모델(Gaussian Mixture Model, GMM)^[4]에 적용하여 학습하고 식별하였다. 최근에는 영상분류 분야에 효과적으로 적용되고 있는 합성 곱 신경망(Convol- utional Neural Network, CNN)이 다양한 소리 식별 분야에 적용되고 있으며 소리 특징을 보다 효과적으로 추출하기 위해서 신경망의 깊이가 깊어지게 되었다.

성능/효과

이는 L번째 잔류 블록의출력 데이터 yL 이 l번째 잔류 블록의 입력 데이터 xl 과 잔류 블록의 연산 과정 F의 합들로 이루어진다는 것을 보여주며 상위층의 기울기 값이 변하지 않고그대로 전달되어 기울기의 소실/폭발 문제를 효과적으로 해결한다는 것을 보여준다.
Table 1은 본 논문에서 진행한 실험의 결과를 나타낸다. 기계학습 방식의 k-NN은 k의 값이 3일 때 가장 높은 91.8 %의 정확도로 코골이를 식별하였고 GMM 은 92.6 %의 정확도를 보였다. 반면 신경망 구조의 CNN은 GMM보다 높은 96.
6 %의 정확도를 보였다. 반면 신경망 구조의 CNN은 GMM보다 높은 96.8 %의 정확도로 코골이를 식별하였으며 제안하는 Residual CNN은 97.8 %로 가장 높은 정확도를 보였다. 본 논문의 실험 결과를 통해 소리의 스펙트로그램 안에 존재하는 특징을 추출하여 학습을 진행하는 CNN이 기존의 k-NN, GMM보다 효과적이며 본 논문에서 제안하는 Residual CNN이 가장 높은 정확도로 코골이를 식별함을 알 수 있다.
또한, 본 논문에서는 학습 성능을 평가하기 위해 학습 데이터를 학습단계와 식별단계에 동일하게 적용한 자가 테스트 실험을 진행하였다. 실험 결과 Residual CNN과 CNN은 각각 99.2 %와 98.4 %의 결과를 보이며 Residual CNN이 CNN보다 0.8 % 더 높게 나타났다. 그리고 CNN의 일반 테스트의 결과는 자가 테스트 결과로부터 1.
8 % 더 높게 나타났다. 그리고 CNN의 일반 테스트의 결과는 자가 테스트 결과로부터 1.6 % 하락했지만 Residual CNN 의 결과는 1.4 % 하락하였다. 이를 통해 제안하는 Residual CNN이 안정된 학습을 통해 모델을 생성함으로써 과적합을 방지하고 우수한 성능으로 코골이를 식별함을 확인할 수 있다.
4 % 하락하였다. 이를 통해 제안하는 Residual CNN이 안정된 학습을 통해 모델을 생성함으로써 과적합을 방지하고 우수한 성능으로 코골이를 식별함을 확인할 수 있다.
실험을 통해 제안한 방식과 기존의 방식을 비교한 결과 본 논문에서 제안한 방식이 가장 우수한 성능을 보여주었다. 향후 피험자의 성별/상태를 고려한 코골이 데이터를 통해 코골이 식별 모델을 생성하고 코골이 뿐 아니라 다양한 생체 신호를 통한 질병 식별 방법에 대해 연구할 계획이다.
본 논문의 실험 결과를 통해 소리의 스펙트로그램 안에 존재하는 특징을 추출하여 학습을 진행하는 CNN이 기존의 k-NN, GMM보다 효과적이며 본 논문에서 제안하는 Residual CNN이 가장 높은 정확도로 코골이를 식별함을 알 수 있다.

후속연구

실험을 통해 제안한 방식과 기존의 방식을 비교한 결과 본 논문에서 제안한 방식이 가장 우수한 성능을 보여주었다. 향후 피험자의 성별/상태를 고려한 코골이 데이터를 통해 코골이 식별 모델을 생성하고 코골이 뿐 아니라 다양한 생체 신호를 통한 질병 식별 방법에 대해 연구할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	코골이가 일으킬 수 있는 문제는?	코골이는 수면 중 호흡 과정에서 발생하는 공기의 흐름이 좁아진 기도를 통과하면서 연구개와 목젖 등의 주위 구조물에 진동을 일으키는 것을 말하며 수면을 방해하는 대표적인 수면장애 증상으로 알려져 있다. 코골이는 심할 경우 수면 중 호흡이 반복적으로 멈추는 수면 무호흡증을 유발하며 피로감, 심혈관 질환, 갑작스러운 무호흡과 같은 증상을 발생시킨다.[1] 따라서 코골 이는 수면을 방해할 뿐만 아니라 생명에 지장을 줄수 있는 합병증을 유발하기 때문에 증상 개선을 위한 진단이 중요하며 최근 기계학습 방식을 이용한 코골이 식별 연구들이 진행되고 있다.
	코골이를 정의하시오	수면은 휴식과 회복 과정으로 몸과 마음의 건강을 위해 필요할 뿐만 아니라 삶의 질을 향상하고 질병을 예방하는데 중요한 요소이다. 코골이는 수면 중 호흡 과정에서 발생하는 공기의 흐름이 좁아진 기도를 통과하면서 연구개와 목젖 등의 주위 구조물에 진동을 일으키는 것을 말하며 수면을 방해하는 대표적인 수면장애 증상으로 알려져 있다. 코골이는 심할 경우 수면 중 호흡이 반복적으로 멈추는 수면 무호흡증을 유발하며 피로감, 심혈관 질환, 갑작스러운 무호흡과 같은 증상을 발생시킨다.
	Residual CNN은 심층신경망의 어떤 문제를 보완했는가?	제안하는 Residual CNN은 CNN에 잔류 학습 방식을 결합한 구조로 특정 층에 입력과 출력을 연결하는 잔류 연결을 추가하여 입력마디에 존재하는 정보들을 다음 마디에 직접 전달한다. 이는 깊은 심층망의 기울기의 소실/폭발 문제를 효과적으로 해결하고 연산을 간단하게 진행하여 성능 저하의 문제를 해결한다.[9]

참고문헌 (10)

S. Sharma and A. Culebras, "Sleep apnea and stroke," Stroke Vasc Neurol, 1, 185-191 (2016).

상세보기
W. K. Jang, S. P. Cho, and K. J. Lee, "A study for snoring detection based artificial neural network" (in Korean), Trans. KIEE, 51, 327-333 (2002).
B. M. Kim and C. B. Moon, "Snoring sound classification using efficient spectral features and SVM for smart pillow" (in Korean), JKSIIS., 23, 11-18 (2018).
E. Dafna, A. Tarasiuk, and Y. Zigel, "Automatic detection of snoring events using Gaussian mixture models," MAVEBA, 17-22 (2011).
S. Amiriparian, M. Gerczuk, S. Ottl, N. Cummins, M. Freitag, S. Pugachevskiy, A. Baird, and B. Schuller, "Snore sound classification using image-based deep spectrum features," Proc. Interspeech 2017, 3512-3516 (2017).
K. Zhang, W. Zuo, Y. Chen, D. Meng, and L. Zhang, "Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising," IEEE Trans. Image Process, 26, 3142-3155 (2017).

상세보기
I. S. Jang, C. H. Ahn, and Y. S. Jang, "Non-dialog section detection for the descriptive video service contents authoring" (in Korean), J. Broadcast Engineering, 19, 296-306 (2014).

원문보기 상세보기
S. H. Ryu and H. G. Kim, "Audio mixer algorithm for enhancing speech quality of multi-party audio telephony" (in Korean), J. Acoust. Soc. Kr. 32, 541-547 (2013).

원문보기 상세보기
B. Yue, J. Fu, and J. Liang, "Residual recurrent neural networks for learning sequential representations," Information, 9, 1-14 (2018).

상세보기
S. Gupta, J. Jaafar, W. F. Wan Ahmad, and A. Bansal, "Feature extraction using mfcc," SIPIJ. 4, 101-108

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증