[논문]정신피로와 음성특징과의 상관관계 측정

김정인; 권철홍

doi:10.13064/ksss.2014.6.2.003

정신피로와 음성특징과의 상관관계 측정
Measuring Correlation between Mental Fatigues and Speech Features 원문보기

말소리와 음성과학 = Phonetics and speech sciences, v.6 no.2, 2014년, pp.3 - 8

Abstract ▼ AI-Helper

This paper deals with how mental fatigue has an effect on human voice. For this a monotonous task to increase the feeling of the fatigue and a set of subjective questionnaire for rating the fatigue were designed. From the experiments the designed task was proven to be monotonous based on the results of the questionnaire responses. To investigate a statistical relationship between speech features extracted from the collected speech data and fatigue, the T test for two-related-samples was used. Statistical analysis shows that speech parameters deeply related to the fatigue are the first formant bandwidth, Jitter, H1-H2, cepstral peak prominence, and harmonics-to-noise ratio. According to the experimental results, it can be seen that voice is changed to be breathy as mental fatigue proceeds.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

생리신호를 이용하여 피로를 측정하는 기존의 방법은 의료장비가 필요하며 피험자의 신체에 부착하여 측정하므로, 측정하는 절차가 복잡하고 피험자에게 불편을 주는 방법으로, 실험실 환경이 아닌 일상생활에서 이 방법을 적용하기에는 무리가 있다. 본 논문에서는 수집이 용이한 사람의 음성신호를 이용하여, 일상생활에서 정량적이고 객관적으로 피로 측정이 가능한 방법을 연구한다[7].
본 논문에서는 음성신호와 단순작업에 의한 정신피로간의 상관관계를 규명하여 음성신호를 이용하여 정신피로를 측정하는 것이 가능한지를 밝힌다. 이를 위하여 정신피로를 부과하는 단순작업을 설계하여 피험자들이 이 작업을 수행한다.
본 논문에서는 정신피로가 사람의 음성에 어떻게 영향을 미치는지에 대해 알아보기 위하여 음성신호와 정신피로와의 상관관계를 도출하기 위한 실험을 수행하였다. 이를 위하여 피로감을 유발시키는 단순작업을 설계하고 주관적 설문지를 이용하여 이 작업이 단순하다는 것을 검증하였다.
본 논문의 목표는 음성신호와 정신피로와의 상관관계를 통하여 정신피로가 사람의 음성에 얼마나 영향을 주는지에 대해 알아보는 것이다. 이를 위하여 피험자 30명으로부터 단순작업을 단계별로 진행하면서 수집한 모음 ‘아’와 단문들에 대하여 <표 1>과 <표 2>에 보이는 음성 파라미터 40개를 Praat[13], Voicesauce[14], MDVP[15]와 같은 음성분석 툴을 이용하여 추출하였다[16].
피로는 여러 가지 활동으로 인해 초래되는 육체적인 또는 정신적인 소진이라고 말할 수 있다[1]. 육체적인 피로와 정신적인 피로 중에서 본 논문에서는 정신피로를 다룬다.

제안 방법

피험자들이 작업을 수행하면서 주관적으로 느끼는 정신피로감을 파악하기 위하여 주관적 설문지를 설계한다.
먼저 실험을 시작하기 전에 피험자에게 실험의 의도 및 방법에 대해 설명해 주고, 수행해야 할 단순작업과 녹음과정에 대해 설명을 하여 긴장감을 해소시키고, 본 실험에서는 관리자의 배석 없이 피험자 혼자 실험을 수행한다. 녹음/설문지 과정은 단순작업을 수행하면서 총 7회를 실시하며 음성 데이터를 녹음하고 피로감을 묻는 주관적 설문지에 응답을 한다. 6회 반복 진행하는 단순작업은 2.
피험자들이 작업을 수행하면서 주관적으로 느끼는 정신피로감을 파악하기 위하여 주관적 설문지를 설계한다. 단순작업과 주관적 설문지 결과를 이용하여 설계한 작업이 단순작업인가 여부를 검증한다. 피험자들이 단순작업을 수행하면서 녹음한 음성DB에서 특징 파라미터를 추출하여 단순작업 단계별로 통계 처리한다.
피험자들이 단순작업을 수행하면서 녹음한 음성DB에서 특징 파라미터를 추출하여 단순작업 단계별로 통계 처리한다. 마지막으로 정신피로와 음성특징 파라미터와의 정량적인 상관관계를 도출해 내어 정신피로에 따라 음성이 어떻게 변하는 가를 알아본다.
정신피로를 측정하기 위하여 설계한 전체 실험과정은 <그림 1>과 같다. 먼저 실험을 시작하기 전에 피험자에게 실험의 의도 및 방법에 대해 설명해 주고, 수행해야 할 단순작업과 녹음과정에 대해 설명을 하여 긴장감을 해소시키고, 본 실험에서는 관리자의 배석 없이 피험자 혼자 실험을 수행한다. 녹음/설문지 과정은 단순작업을 수행하면서 총 7회를 실시하며 음성 데이터를 녹음하고 피로감을 묻는 주관적 설문지에 응답을 한다.
주관적 설문지 데이터는 단순작업을 수행하는 30명의 피험자에게 수집하였고, 실험 전(1회)부터 단순작업을 수행하면서 총 7회에 걸쳐서 응답 데이터를 수집하였다. 설문지 각 항목별로 1~10점의 점수를 부과하여 피험자들의 응답에 대하여 평균을 구한 후 횟수마다 변화추이를 살펴보았다.
1절에서 기술한 정신피로를 유발시키는 단순작업을 수행하면서 이 작업이 피로감을 유발시키는가를 평가하기 위하여 설계한 주관적 설문지는 <그림 3>과 같다. 이 설문지는 편안하다, 두근두근, 졸린다, 생각이 무디다, 지루하다, 일하기 싫다, 집중곤란 등을 평가하기 위한 7개의 질문과, 신체적 피로감과 정신적 피로감을 평가하기 위한 2개의 질문 등 전체 9개의 질문으로 구성되어 있다. 설문지는 각 질문 항목에 대해‘매우 그렇지 않다’ ~ ‘매우 그렇다’의 10개 구간으로 1점에서 10점까지 점수를 주도록 구성되어 있다.
본 논문에서는 음성신호와 단순작업에 의한 정신피로간의 상관관계를 규명하여 음성신호를 이용하여 정신피로를 측정하는 것이 가능한지를 밝힌다. 이를 위하여 정신피로를 부과하는 단순작업을 설계하여 피험자들이 이 작업을 수행한다. 피험자들이 작업을 수행하면서 주관적으로 느끼는 정신피로감을 파악하기 위하여 주관적 설문지를 설계한다.
본 논문에서는 정신피로가 사람의 음성에 어떻게 영향을 미치는지에 대해 알아보기 위하여 음성신호와 정신피로와의 상관관계를 도출하기 위한 실험을 수행하였다. 이를 위하여 피로감을 유발시키는 단순작업을 설계하고 주관적 설문지를 이용하여 이 작업이 단순하다는 것을 검증하였다.
이를 위하여 피험자 30명으로부터 단순작업을 단계별로 진행하면서 수집한 모음 ‘아’와 단문들에 대하여 과 에 보이는 음성 파라미터 40개를 Praat[13], Voicesauce[14], MDVP[15]와 같은 음성분석 툴을 이용하여 추출하였다[16].
또한, Tylee와 Gandhi 등은 피로는 일상생활에서 흔히 경험하는 증상으로 우울증의 원인 중 하나가 스트레스로 인한 피로라고 하였으며, 정신과 환자들 중에서 피로로 고통 받는 환자들의 비율이 높다고 보고하였다[3][4]. 이와 같이 정신피로의 원인은 단순작업과 스트레스로 볼 수 있는데 본 논문에서는 단순작업에 의한 정신피로를 다룬다.
즉 1, 2, 3 등과 같이 숫자의 순서를 찾는 작업이다. 작업을 진행하면서 단조로움을 증대시키기 위하여 이 작업을 총 6회 반복하여 실시한다. 이 작업은 정신을 집중시켜야 하고 지속적으로 단순 반복하는 작업이다.
피험자는 앉은 상태에서 단순작업을 수행하면서 모음 ‘아’를 2초간 2회씩 발성하고, 연속해서 3~8어절로 구성된 단문들을 발성한다.
단순작업과 주관적 설문지 결과를 이용하여 설계한 작업이 단순작업인가 여부를 검증한다. 피험자들이 단순작업을 수행하면서 녹음한 음성DB에서 특징 파라미터를 추출하여 단순작업 단계별로 통계 처리한다. 마지막으로 정신피로와 음성특징 파라미터와의 정량적인 상관관계를 도출해 내어 정신피로에 따라 음성이 어떻게 변하는 가를 알아본다.

대상 데이터

단순작업은 조용한 연구실에서 수행되었으며, 음성 데이터는 마이크 AKG-D880을 사용하여 PCM 16비트, 모노 형식, 샘플링 주파수 16,000 Hz로 수집하였다. 피험자는 앉은 상태에서 단순작업을 수행하면서 모음 ‘아’를 2초간 2회씩 발성하고, 연속해서 3~8어절로 구성된 단문들을 발성한다.
주관적 설문지 데이터는 단순작업을 수행하는 30명의 피험자에게 수집하였고, 실험 전(1회)부터 단순작업을 수행하면서 총 7회에 걸쳐서 응답 데이터를 수집하였다. 설문지 각 항목별로 1~10점의 점수를 부과하여 피험자들의 응답에 대하여 평균을 구한 후 횟수마다 변화추이를 살펴보았다.
피험자는 20세에서 28세까지의 연령분포를 보이는 남자 대학생 30명을 선정하였는데, 이들은 성대 및 후두에 대한 병력이 없는 대학생들이다.

데이터처리

추출한 파라미터를 이용하여 파라미터 마다 평균값을 구하여 단순작업을 수행하기 전의 평균값과 작업을 모두 마친 후의 평균값을 비교하였다. 2개의 평균을 비교하므로 T 검정을 이용하여 통계 처리한다. T 검정은 독립표본 방식과 대응표본 방식으로 나뉘는데, 독립표본 T 검정은 케이스가 다른 두 집단의 평균을 비교하는 방식이고, 대응표본 T 검정은 같은 집단에 대해 2개의 변수를 측정한 상황에서 두 변수의 평균을 비교하는 방식이므로[17], 본 논문에서는 대응표본 T 검정 방식을 사용한다.
추출한 파라미터를 이용하여 파라미터 마다 평균값을 구하여 단순작업을 수행하기 전의 평균값과 작업을 모두 마친 후의 평균값을 비교하였다. 2개의 평균을 비교하므로 T 검정을 이용하여 통계 처리한다.

성능/효과

실험결과를 종합해 보면, 정신피로가 진행됨에 따라 목소리의 발성은 불명확해지고 피치주기의 변화가 심해지며 기식음화 된다는 사실을 규명하였다.
피험자들이 단순작업을 수행하면서 녹음한 음성DB로부터 특징 파라미터를 추출하여, 단순 작업 전과 후의 파라미터를 이용하여 대응표본 T 검정 방식으로 통계 처리한 결과, 정신 피로와 상관관계가 있는 유의미한 파라미터로 B1, Jitter, RAP, PPQ, H1-H2, CPP, HNR05~35 등을 도출해 내었다. 이들 파라미터를 분석한 결과 정신피로에 따라 발성은 불명확해지고 피치주기의 변화가 심해지며 기식음화 된다는 사실을 규명할 수 있었다.
이와 같은 설문지 응답 분석 결과로부터 본 연구에서 설계한 단순작업이 정신피로를 부과하는 실험이라는 것을 알 수 있다.
피험자들이 단순작업을 수행하면서 녹음한 음성DB로부터 특징 파라미터를 추출하여, 단순 작업 전과 후의 파라미터를 이용하여 대응표본 T 검정 방식으로 통계 처리한 결과, 정신 피로와 상관관계가 있는 유의미한 파라미터로 B1, Jitter, RAP, PPQ, H1-H2, CPP, HNR05~35 등을 도출해 내었다. 이들 파라미터를 분석한 결과 정신피로에 따라 발성은 불명확해지고 피치주기의 변화가 심해지며 기식음화 된다는 사실을 규명할 수 있었다.

후속연구

서론에서 피로는 정신적인 요인과 육체적인 요인으로 인해 발생한다고 기술하였는데, 본 논문에서는 신체적 피로감이 적은 작업을 설계하여 정신피로를 분석하는 실험을 수행하였고, 차후에는 트레드밀에서 달리기 등과 같은 육체적 피로감을 부과하는 작업을 설계하여 신체적 피로와 음성 특징과의 상관관계를 분석하는 실험을 진행할 예정이다.
앞으로, 본 연구에서 구한 음성 특징 파라미터를 이용하여 정신피로감의 정도를 자동으로 분류하여 제시해 주는 피로진단 알고리즘을 연구할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	단순작업에 의한 정신피로를 정량적으로 평가하기 위한 방법은 무엇이 있는가?	기존 연구에서 이러한 단순작업에 의한 정신피로를 정량적으로 평가하기 위한 방법으로 주로 인체의 생리신호를 사용하였는데[2][5][6], 뇌전도(EEG, Electroencephalogram), 심전도(ECG, Electrocardiogram), 맥파(Photoplethysmogram), 피부온도 (Skin-temperature), 호흡(Respiration) 등을 측정하는 방법을 사용하였다.
	피로란 무엇인가?	피로는 일상생활에서 많이 경험하는 증상으로 건강 측면에서 관심을 가져야 할 문제이다. 피로는 여러 가지 활동으로 인해 초래되는 육체적인 또는 정신적인 소진이라고 말할 수 있다[1]. 육체적인 피로와 정신적인 피로 중에서 본 논문에서는 정신피로를 다룬다.
	인체의 생리신호를 이용하여 피로를 측정하는 방법의 한계는 무엇인가?	생리신호를 이용하여 피로를 측정하는 기존의 방법은 의료장비가 필요하며 피험자의 신체에 부착하여 측정하므로, 측정하는 절차가 복잡하고 피험자에게 불편을 주는 방법으로, 실험실 환경이 아닌 일상생활에서 이 방법을 적용하기에는 무리가 있다. 본 논문에서는 수집이 용이한 사람의 음성신호를 이용하여, 일상생활에서 정량적이고 객관적으로 피로 측정이 가능한 방법을 연구한다[7].

참고문헌 (19)

Choi, E. S., Song, M. S. (2003). Concept analysis : Fatigue. Journal of Korean Academy of Women's Health Nursing, Vol. 9, No. 1, 61-69. (최의순, 송민선 (2003). 피로의 개념 분석. 여성건강간호학회지, 9권 1호, 61-69.)
Yi, C. M., Ko, H. W., Yun, Y. H. (2000). The study on Korean-version-questionnaire for measurement of mental fatigue during monotonous task. Proc. Spring Conf. the Korean Society for Emotion & Sensibility, 195-202. (이창미, 고한우, 윤용현 (2000). 단조작업시 정신피로도 측정을 위한 한국어판 질문지에 관한 연구. 한국감성과학회 춘계학술대회 논문집, 195-202.)
Tylee, A., Gandhi, P. (2005). The importance of somatic symptoms in depression in primary care. Primary Care Companion J. Clinic Psychiatry, Vol. 7, 167-176.
Lee, M. S., Joe, S. H. (2007). Biological aspects of fatigue. Korean J. Psychosomatic Medicine, Vol. 15, No. 2, 65-72. (이문수, 조숙행 (2007). 피로의 생물학적 측면, 정신신체의학, 15권 2호, 65-72.)
Yun, Y. H., Ko, H. W., Kim, D. Y., Lee, C. M. (1999). Assesment of mental fatigue during monotonous task. Proc. Autumn Conf. the Korean Society for Emotion & Sensibility, 222-226. (윤용현, 고한우, 김동윤, 이창미 (1999). 단조작업에 의한 정신피로의 평가 - 생리신호를 중심으로, 감성공학 추계학술대회 논문집, 222-226.)
Ko, H. W., Yun, Y. H., Kim, D. Y., Lee, C. M. (2000). Measurement and assessment of mental fatigue using biosignals during monotonous task. Korean Journal of the Science of Emotion & Sensibility, Vol. 3, No. 1, 1-6. (고한우, 윤용현, 김동윤, 이창미 (2000). 생리신호를 사용한 단조 작업 수행시 정신피로도의 측정과 평가, 한국감성과학회지, 3권 1호, 1-6.)
Song, S. K., Kim, J. Y., Jang, J. S., Kwon, C. H. (2013). A validity study on measurement of mental fatigue using speech technology. The Phonetics and Speech Sciences, Vol. 5, No. 1, 3-10. (송승규, 김종열, 장준수, 권철홍 (2013). 음성기술을 이용한 정신피로 측정에 관한 타당성 연구. 한국음성학회, 말소리와 음성과학, 5권 1호, 3-10.)

원문보기 상세보기
Klatt, D. H., Klatt, L. C. (1990). Analysis, synthesis, and perception of voice quality variations among female and male speakers. J. of the Acoustical Society of America, Vol. 87, No. 2, 820-857.

상세보기
Hwang, Y. S., Seong, C. J. (2008). Comparative study on the acoustic characteristics of the Korean vowel /a/ before and after LMS. Malsori, Vol. 67, 33-60. (황연신, 성철재 (2008). 후두미세수술 전후 /아/의 음향적 특성 비교. 대한음성학회, 말소리 67호, 33-60.)
Dekrom, G. (1995). Some spectral correlates of pathological breathy and rough voice quality for different types of vowel fragments. J. of Speech Hearing Res., Vol. 38, 794-811.

상세보기
Mathew, M. M., Bhat, J. S. (2009). Soft phonation index - a sensitive parameter?. Indian J. of Otolaryngology Head Neck Surg., Vol. 61, 127-130.

상세보기
Hillenbrand, J., Houde, R. A. (1996). Acoustic correlates of breathy vocal quality: dysphonic voices and continuous speech. J. of Speech and Hearing Research, Vol. 39, 311-321.

상세보기
Praat. (2014). Phonetic Sciences, Univ. of Amsterdam, http://www.fon.hum.uva.nl/praat/.
MDVP. (2014). KayPentax, http://www.kayelemetrics.com.
VoiceSauce. (2014). A program for voice analysis, UCLA, http://www.seas.ucla.edu/spapl/voicesauce/.
Kim, J. I., Kwon, C. H., (2014). Qualitative classification of voice quality of normal speech and derivation of its correlation with speech features. The Phonetics and Speech Sciences, Vol. 6, No. 1, 71-76. (김정인, 권철홍 (2014). 정상 음성의 목소리 특성의 정성적 분류와 음성 특징과의 상관관계 도출. 한국음성학회, 말소리와 음성과학, 6권 1호, 71-76.)

원문보기 상세보기
Seo, E. H. (2010). Statistical analysis using SPSS 18.0. Free Academy, 403-415. (서의훈 (2010). SPSS 18.0을 이용한 통계분석, 자유아카데미, 403-415.)
IBM SPSS Statistics. (2014). SPSS Korea, http://www.spss.co.kr.
Park, H. S. (2007). An acoustic study of phonation types in vowels following consonant clusters in Korean. Malsori, Vol. 64, 53-76. (박한상 (2007). 한국어 자음군의 후행모음에 나타난 발성유형의 음향음성학적 연구. 대한음성학회, 말소리 64호, 53-76.)

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증