[논문]육체피로와 음성신호와의 상관관계

김태훈; 권철홍

doi:10.13064/ksss.2015.7.1.011

육체피로와 음성신호와의 상관관계
Correlation between Physical Fatigue and Speech Signals 원문보기

말소리와 음성과학 = Phonetics and speech sciences, v.7 no.1, 2015년, pp.11 - 17

Abstract ▼ AI-Helper

This paper deals with the correlation between physical fatigue and speech signals. A treadmill task to increase fatigue and a set of subjective questionnaire for rating tiredness were designed. The results from the questionnaire and the collected bio-signals showed that the designed task imposes physical fatigue. The t-test for two-related-samples between the speech signals and fatigue showed that the parameters statistically significant to fatigue are fundamental frequency, first and second formant frequencies, long term average spectral slope, smoothed pitch perturbation quotient, relative average perturbation, pitch perturbation quotient, cepstral peak prominence, and harmonics to noise ratio. According to the experimental results, it is shown that mouth is opened small and voice is changed to be breathy as the physical fatigue accumulates.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

설문지의 각 항목에 대해 ‘6점(시작), 9점(본인 발걸음 속도로 산보), 13점(조금 힘들다, 흔쾌히 계속할 수 있다), 15점(힘들다, 피곤하다, 매우 어렵지 않게 계속할 수 있다), 17점(매우 힘들다, 억지로 계속할 수 있다), 19-20점(이제까지 경험해 보지 못한 피로, 더 이상 못하겠다)’ 등으로 6점에서 20점까지 점수를 줄 수 있도록 구성되어 있다. 본 논문에서는 Borg-RPE 척도를 이용하여 주관적 설문지에 대한 응답을 수집하여 육체 피로 실험의 타당성을 검증 한다.
본 논문에서는 육체피로가 음성신호에 미치는 영향을 알아보기 위하여 상관관계를 도출하기 위한 통계 처리를 수행하였다. 이를 위하여 먼저 육체피로감을 유발시키는 트레드밀 운동 작업을 설계하고, 설계한 주관적 설문지의 응답 분석과 수집한 생체 데이터를 통계 분석하여, 설계한 작업이 육체피로를 부과한다는 사실을 입증하였다.
본 논문에서는 음성신호와 육체피로간의 상관관계를 규명하여, 음성신호를 이용하여 육체피로를 측정하는 것이 가능한지를 밝힌다. 이를 위하여 육체피로 수준에 따라 음성신호의 변화를 알아보기 위해 육체피로 부과 실험을 설계한다.
본 논문의 목표는 육체피로와 음성신호와의 상관관계를 알아보는 것이다. 이를 위하여 육체작업을 수행하기 전의 음성 데이터의 평균값과 작업을 모두 마친 후의 평균값을 비교하는 통계 처리를 수행하였다.

제안 방법

먼저 실험을 시작하기 전 ‘실험 설명/휴식’ 구간에서는 피험자에게 실험의 목적 및 방법에 관해 설명을 하고, 30분간 휴식을 취해 육체적인 피로감을 없애도록 한다.
주관적 설문지에 대한 응답 데이터는 육체작업을 수행한 30명의 피험자로부터 수집을 하였고, 실험 전(1회)부터 작업을 수행하면서 총 5회를 걸쳐서 설문 응답 데이터를 수집하였다. 설문지의 각 질문 항목별로 6점에서 20점의 점수를 부과하여 피험자들의 응답에 대하여 평균을 구한 후 전체 피험자들의 응답 변화추이를 살펴보았다
설계된 작업이 육체피로 부과 작업인지 여부를 검증하기 위하여 두 가지 방법을 사용하는데, 하나는 피험자들이 실험을 수행하면서 느끼는 육체피로감을 측정하기 위한 주관적 설문지와 다른 하나는 생체신호의 변화를 이용하는 것이다. 실험 중에 피험자로부터 수집한 음성신호로부터 특징 파라미터를 추출하고, 작업 단계별로 통계 처리하여 정량적인 상관관계를 도출해 내어 육체피로에 따라 음성신호가 어떻게 변하는 가를 알아본다.
앞 절에서 기술한 트레드밀 작업이 육체피로감을 유발시키도록 설계되었는가를 평가하기 위하여 에 보이는 주관적 설문지를 설계하였다.
에 보이는 바와 같이 본 논문에서 설계한 주관적 설문지는 전체 8개의 질문 항목으로 ‘숨이 가쁘다, 입안이 마른다, 발이 무겁다, 드러눕고 싶다, 몸이 둔하다, 손발이 떨린다, 의욕이 넘친다’ 등 7개 항목과 ‘신체적 피로감’을 평가하기 위한 1개의 항목으로 구성되어 있다.
육체피로 부과 실험에서 시행한 작업을 통해 부과되는 육체 피로감을 평가하고, 트레드밀을 통한 운동이 육체 작업으로써 의미가 있는 실험인지 알아보기 위해 주관적 설문지를 사용하였다. 주관적 설문지에 대한 응답 데이터는 육체작업을 수행한 30명의 피험자로부터 수집을 하였고, 실험 전(1회)부터 작업을 수행하면서 총 5회를 걸쳐서 설문 응답 데이터를 수집하였다.
피험자는 ‘설문지/녹음’ 구간에서 먼저 주관적 설문지에 응답을 하고, 다음에 관리자의 도움을 받아 생체 데이터를 측정하고 이어서 음성 데이터를 녹음한다. 이러한 순서로 데이터를 수집한 이유는, 트레드밀 작업이므로 생체 데이터가 안정되는 시간이 필요하여 설문지 응답을 먼저 하고, 숨이 고르게 되는 시간을 주기 위해 음성 데이터 녹음을 마지막에 실시하였다.
본 논문에서는 육체피로가 음성신호에 미치는 영향을 알아보기 위하여 상관관계를 도출하기 위한 통계 처리를 수행하였다. 이를 위하여 먼저 육체피로감을 유발시키는 트레드밀 운동 작업을 설계하고, 설계한 주관적 설문지의 응답 분석과 수집한 생체 데이터를 통계 분석하여, 설계한 작업이 육체피로를 부과한다는 사실을 입증하였다.
본 논문에서는 음성신호와 육체피로간의 상관관계를 규명하여, 음성신호를 이용하여 육체피로를 측정하는 것이 가능한지를 밝힌다. 이를 위하여 육체피로 수준에 따라 음성신호의 변화를 알아보기 위해 육체피로 부과 실험을 설계한다. 설계된 작업이 육체피로 부과 작업인지 여부를 검증하기 위하여 두 가지 방법을 사용하는데, 하나는 피험자들이 실험을 수행하면서 느끼는 육체피로감을 측정하기 위한 주관적 설문지와 다른 하나는 생체신호의 변화를 이용하는 것이다.
즉 피로는 다양한 활동으로 인해 나타나는 정신적 및 육체적 소진이라고 말할 수 있다[1]. 이와 같이 피로가 나타나는 요인에 따라 정신적인 피로와 육체적인 피로로 구분하는데, 참고문헌[2]는 정신피로에 관한 논문이고 본 논문에서는 육체피로를 다룬다.
1 단계는 보통 속도로 걷기 수준이고, 마지막 4 단계는 조금 빠른 속도로 달리기 수준이다. 피험자가 단계별로 4회를 실행하여 속도를 높이며 무리하지 않게 피로감을 누적시키고, 피로감이 해소되지 않도록 별도의 휴식시간 없이 설문지에 응답과, 생체 및 음성신호를 수집하고, 이어서 다음 수준의 달리기 단계를 진행한다.
피험자는 ‘설문지/녹음’ 구간에서 먼저 주관적 설문지에 응답을 하고, 다음에 관리자의 도움을 받아 생체 데이터를 측정하고 이어서 음성 데이터를 녹음한다.
피험자는 ‘육체작업 단계’와 ‘설문지/녹음’ 구간을 반복적으로 수행하는데, 육체작업 단계를 10분간 실시하고, 설문지/녹음 구간은 5분간 진행하며, 전체 실험과정은 총 1시간 35분이다.

대상 데이터

생체 데이터는 E2-KIT 장비[8]로 측정하였는데, 측정한 데이터는 맥박수(Pulse Rate; PR), 피부온도(Skin Temperature; SKT) 등 두 가지이다. 피부온도는 신체변화에 민감하며 측정하기 용이한 콧등에서 측정하였다.
피험자는 20세에서 28세까지의 연령분포를 보이는 건강한 남자 대학생 30명을 선정하였다. 육체피로 측정 실험을 수행하면서 생체 및 음성신호를 수집하기 위하여, 작업은 온도를 일정하게 유지한 조용한 실험실에서 수행되었으며, 생체신호는 E2-KIT를 이용하여 측정하였고, 음성 데이터는 마이크 AKG-D880을 사용하여 PCM 16비트, 모노 형식, 샘플링 주파수 16kHz로 수집하였다.
육체피로 부과 실험에서 시행한 작업을 통해 부과되는 육체 피로감을 평가하고, 트레드밀을 통한 운동이 육체 작업으로써 의미가 있는 실험인지 알아보기 위해 주관적 설문지를 사용하였다. 주관적 설문지에 대한 응답 데이터는 육체작업을 수행한 30명의 피험자로부터 수집을 하였고, 실험 전(1회)부터 작업을 수행하면서 총 5회를 걸쳐서 설문 응답 데이터를 수집하였다. 설문지의 각 질문 항목별로 6점에서 20점의 점수를 부과하여 피험자들의 응답에 대하여 평균을 구한 후 전체 피험자들의 응답 변화추이를 살펴보았다
피험자는 20세에서 28세까지의 연령분포를 보이는 건강한 남자 대학생 30명을 선정하였다. 육체피로 측정 실험을 수행하면서 생체 및 음성신호를 수집하기 위하여, 작업은 온도를 일정하게 유지한 조용한 실험실에서 수행되었으며, 생체신호는 E2-KIT를 이용하여 측정하였고, 음성 데이터는 마이크 AKG-D880을 사용하여 PCM 16비트, 모노 형식, 샘플링 주파수 16kHz로 수집하였다.

데이터처리

이를 위하여 육체작업을 수행하기 전의 음성 데이터의 평균값과 작업을 모두 마친 후의 평균값을 비교하는 통계 처리를 수행하였다. 2개의 평균을 비교하므로 본 논문에서는 SPSS v.21.0[17]을 사용하여 대응표본 t-검정 방식으로 통계 처리한다. 유의수준(significance level)은 0.
설계한 트레드밀 작업의 타당성을 검증하기 위하여 육체작업을 수행하기 전의 생체 데이터와 작업을 모두 마친 후의 데이터를 비교하는 대응표본 t-검정 방식으로 통계 처리하였다.
본 논문의 목표는 육체피로와 음성신호와의 상관관계를 알아보는 것이다. 이를 위하여 육체작업을 수행하기 전의 음성 데이터의 평균값과 작업을 모두 마친 후의 평균값을 비교하는 통계 처리를 수행하였다. 2개의 평균을 비교하므로 본 논문에서는 SPSS v.

이론/모형

운동할 때 운동의 강도를 측정하는데 사용되는 Borg RPE(Rating Perceived Exertion) 척도가 있다[7]. 이 척도는 Gunnar Borg가 제안한 방식으로 6점부터 20점까지 15점의 척도로 구성되어 있다. 6점은 no exertion at all, 7-8점은 extremely light, 9점은 very light, 11점은 light, 13점은 somewhat hard, 15점은 hard or heavy, 17점은 very hard, 19점은 extremely hard, 20점은 maximal exertion을 나타낸다.
추출한 음성 파라미터는 포먼트 주파수(F1, F2), 기본주파수 평균값(F0), 장구간 스펙트럼 기울기(Long Term Average Spectral Slope; LTAS)[10], 대역별 하모닉 에너지와 잡음 에너지의 비율(Harmonics to Noise Ratio; HNR05, 15, 25, 35)[2][11], 기본주기에 해당하는 켑스트럼 피크의 진폭 크기(Cepstral Peak Prominence; CPP)[12], 첫 번째와 두 번째 하모닉의 진폭 차이(H1-H2)[13], 3개 프레임 피치주기 변화율 평균값(Relative Average Perturbation; RAP), 5개 프레임 피치주기 변화율 평균값(Pitch Perturbation Quotient; PPQ), 55개 프레임 피치주기 변화율 평균값(smoothed PPQ; sPPQ) 등이다. 이들 파라미터의 추출을 위해 공개 소프트웨어인 Praat[14], VoiceSauce[15]와 KAY 사의 Multi-Dimensional Voice Program (MDVP)[16] 등을 이용하였다.

성능/효과

작업을 수행하면서 피험자들로부터 수집한 음성신호로부터 특징 파라미터를 추출하여, 작업 전과 후의 파라미터로 대응표본 t-검정 방식으로 통계 처리한 결과, 육체피로와 상관관계가 있는 유의미한 파라미터로 F0, F1, F2, LTAS, H1-H2, sPPQ, RAP, PPQ, CPP, HNR05,15,25,35 등을 얻었다. 도출된 음성 파라미터를 종합 분석한 결과 육체피로에 따라 입이 작게 벌어지며 기식화 되면서 피치주기의 변화가 커진다는 사실을 규명할 수 있었다.
설문지 응답 분석 결과로부터 본 논문에서 제안한 단계별 트레드밀 작업이 육체피로를 부과하는 실험으로 적절하게 설계되었음을 알 수 있다.
켑스트럼 피크의 진폭 크기 CPP는 음성신호가 얼마나 강하게 주기적인가를 나타내는 파라미터로 기식음에서 작은 값을 보여 준다[12]. 실험 결과 작업 후가 전보다 작은 값(pair 10)을가지므로 LTAS, H1-H2와 마찬가지로 목소리가 기식화 된다는 것을 보여 준다.
앞에서 기술한 실험결과를 종합 분석해 보면, 육체피로가 누적되면서 발성할 때 입이 작게 벌어지며 기식화 되면서 피치주기의 변화가 커진다는 사실을 규명하였음을 알 수 있다.
음성 파라미터와 육체피로와 상관관계를 통계 분석한 결과, 에서 보는 바와 같이 F0, F1, F2, LTAS, H1-H2, sPPQ, CPP, HNR05,15,25,35, RAP, PPQ 등이 통계적으로 유의미한 파라미터이다.
작업을 수행하면서 피험자들로부터 수집한 음성신호로부터 특징 파라미터를 추출하여, 작업 전과 후의 파라미터로 대응표본 t-검정 방식으로 통계 처리한 결과, 육체피로와 상관관계가 있는 유의미한 파라미터로 F0, F1, F2, LTAS, H1-H2, sPPQ, RAP, PPQ, CPP, HNR05,15,25,35 등을 얻었다. 도출된 음성 파라미터를 종합 분석한 결과 육체피로에 따라 입이 작게 벌어지며 기식화 되면서 피치주기의 변화가 커진다는 사실을 규명할 수 있었다.

후속연구

앞으로, 본 논문에서 도출한 생체 및 음성 데이터를 이용하여 육체피로감의 수준을 자동으로 분류하는 육체피로 진단모델을 연구할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	피로란 무엇인가?	피로는 인간이 일상생활이나 산업 활동을 통해 보편적으로 경험하는 증상으로 정신 및 육체건강 측면에서 관심을 가져야할 문제이다. 피로는 정신적으로나 육체적으로 힘든 일을 과도 하게 하여 정신적으로나 신체적으로 지치거나 약해진 상태를 말한다. 즉 피로는 다양한 활동으로 인해 나타나는 정신적 및 육체적 소진이라고 말할 수 있다[1]. 이와 같이 피로가 나타나는 요인에 따라 정신적인 피로와 육체적인 피로로 구분하는데, 참고문헌[2]는 정신피로에 관한 논문이고 본 논문에서는 육체피로를 다룬다.
	기존 연구에서 육체 및 정신피로를 정량적으로 측정하는 방법에는 어떤 것들이 있는가?	기존 연구에서 육체 및 정신피로를 정량적으로 측정하는 방법에는 피험자가 느끼는 주관적 피로를 설문지를 통해 평가하는 방법이 있고, 생리신호인 혈압, 맥파, 동공, 뇌전도 (electroencephalogram), 심전도(electrocardiograph), 피부 온도, 호흡 등을 측정하는 방법이 있다[3]-[6].
	Borg RPE(Rating Perceived Exertion) 척도의 구성은?	운동할 때 운동의 강도를 측정하는데 사용되는 Borg RPE(Rating Perceived Exertion) 척도가 있다[7]. 이 척도는 Gunnar Borg가 제안한 방식으로 6점부터 20점까지 15점의 척도로 구성되어 있다. 6점은 no exertion at all, 7-8점은 extremely light, 9점은 very light, 11점은 light, 13점은 somewhat hard, 15점은 hard or heavy, 17점은 very hard, 19점은 extremely hard, 20점은 maximal exertion을 나타낸다.

참고문헌 (18)

Choi, E. S., Song, M. S. (2003). Concept analysis : Fatigue. Journal of Korean Academy of Women's Health Nursing, Vol. 9, No. 1, 61-69. (최의순, 송민선 (2003). 피로의 개념 분석. 여성건강간호학회지, 9권 1호, 61-69.)
Kim, J. I., Kwon, C. H. (2014). Measuring correlation between mental fatigues and speech features, Vol. 6, No. 2, 3-8. (김정인, 권철홍 (2014). 정신피로와 음성특징과의 상관관계 측정. 한국음성학회, 말소리와 음성과학, 6권 2호, 3-8.)
Kim, S. W., Park, S. J. (2002). An assessment method of fatigue in a long-term driving. Proc. Spring Conf. Korea Industrial & Systems Eng, 785-791. (김선웅, 박세진 (2002). 장시간 주행에 따른 피로도 평가방법에 관한 연구. 대한산업공학회/한국경영과학회 2002 춘계공동학술대회, 785-791.)
Kim, S. W., Park, S. J., Lee, Y. S. (2003). Development of evaluation method of driver's fatigue by physiological signal. Proc. Spring Conf. Korean Society of Automotive Engineers, 1208-1212. (김선웅, 박세진, 이영신 (2003). 생리신호를 이용한 운전자 피로감 평가방법 개발. 한국자동차공학회 2003 춘계학술대회논문집, 1208-1212.)
Yun, Y. H., Ko, H. W., Kim, D. Y., Lee, C. M. (1999). Assesment of mental fatigue during monotonous task. Proc. Autumn Conf. the Korean Society for Emotion & Sensibility, 222-226. (윤용현, 고한우, 김동윤, 이창미 (1999). 단조작업에 의한 정신피로의 평가 - 생리신호를 중심으로, 감성공학 추계학술대회논문집, 222-226.)
Ko, H. W., Yun, Y. H., Kim, D. Y., Lee, C. M. (2000). Measurement and assessment of mental fatigue using biosignals during monotonous task. Korean Journal of the Science of Emotion & Sensibility, Vol. 3, No. 1, 1-6. (고한우, 윤용현, 김동윤, 이창미 (2000). 생리신호를 사용한 단조 작업 수행시 정신피로도의 측정과 평가, 한국감성과학회지, 3권 1호, 1-6.)
Borg, G. (1982). Psychophysical bases of perceived exertion. Medicine and Science in Sports and Exercise, Vol. 14, No. 5, 377-81.

상세보기
E2-KIT. (2015). KTMED Inc., http://www.ktmed.co.kr
Jeong, O. R. (1994). Speech overall evaluation. Proc. 2nd Conf. Korean Society of Spoken Language, 101-109. (정옥란 (1994). 음성총괄평가. 제2회 대한음성언어학회 학술대회 논문집, 101-109.)
Klatt, D. H., Klatt, L. C. (1990). Analysis, synthesis, and perception of voice quality variations among female and male speakers. J. of the Acoustical Society of America, Vol. 87, No. 2, 820-857.

상세보기
Hwang, Y. S., Seong, C. J. (2008). Comparative study on the acoustic characteristics of the Korean vowel /a/ before and after LMS. Malsori, Vol. 67, 33-60. (황연신, 성철재 (2008). 후두미세수술 전후 /아/의 음향적 특성비교. 대한음성학회, 말소리 67호, 33-60.)
Hillenbrand, J., Houde, R. A. (1996). Acoustic correlates of breathy vocal quality: dysphonic voices and continuous speech. J. of Speech and Hearing Research, Vol. 39, 311-321.

상세보기
Park, H. S. (2007). An acoustic study of phonation types in vowels following consonant clusters in Korean. Malsori, Vol. 64, 53-76. (박한상 (2007). 한국어 자음군의 후행모음에 나타난 발성유형의 음향음성학적 연구. 대한음성학회, 말소리 64호, 53-76.)
Praat. (2015). Phonetic Sciences, Univ. of Amsterdam, http://www.fon.hum.uva.nl/praat/.
VoiceSauce. (2015). Speech Processing and Auditory Perception Laboratory, UCLA, http://www.seas.ucla.edu/spapl/voicesauce/.
MDVP. (2015). KayPentax, http://www.kayelemetrics.com.
IBM SPSS Statistics. (2015). SPSS Korea, http://www.spss.co.kr.
Yang, B. G. (2008). Formant measurements of complex waves and vowels produced by students. Speech Sciences, Vol. 15, No. 3, 39-52. (양병곤 (2008). 복합음과 대학생이 발음한 모음 포먼트 측정. 한국음성과학회지, 15권 3호, 39-52.)

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증