[논문]심박변이도 기반 청취 노력도 측정 연구

김현규; 나영민; 우지환

doi:10.9718/jber.2019.40.3.75

Abstract ▼ AI-Helper

Listening effort represents the listener's attention, stress, required cognition resource, and mental exertion to understand a speech in various situations. Recently, it has been focused to evaluate an effectiveness of hearing aids and cochlear implant. The physiologic measures, such as heart rate, ...

Listening effort represents the listener's attention, stress, required cognition resource, and mental exertion to understand a speech in various situations. Recently, it has been focused to evaluate an effectiveness of hearing aids and cochlear implant. The physiologic measures, such as heart rate, skin conductance, electroencephalography, and pupil dilation, have been used to objectively measure listening effort. In this study, we investigated the feasibility of temporal and spectral heart rate variabilities to measure listening effort to understand speech in the presence of background noise. The results showed that several heart rate variabilities significantly increased as increasing background noise level. Finally, the heart rate variability can be used as an objective tool to measure listening efforts.

주제어

표/그림 (6)

그림 그림 1. 자극 조건 순서 및 소음과 K-HINT 자극 방식 전체 개략도. Fig. 1. Schemes for stimulus-noise condition and experimental setup.
표 표 1. 청취 노력도 측정을 위한 문장 자극 프로토콜 Table 1. Sentence stimulation conditions to evaluate listening efforts
그림 그림 2. 안정시(Rest), 문장 청취시 무소음(Non), 작은 소음(12 dB SNR) (Low), 큰 소음(6 dB SNR) (High) 조건에 따른 시간 영역과 주파수 영역 심박변이도 지표. Fig. 2. Temporal and spectral heart rate variabilities in different hearing effort cases of rest, no-noise (Non), lownoise (12 dB SNR) (Low), and high-noise (6 dB SNR) (High) conditions.
표 표 2. 시간 및 주파수 대역 심박변이도 지표 Table 2. Temporal and spectral heart rate variabilities
그림 그림 3. 문장 청취시 소음 정도에 따른 심박변이도 지표 변화. Fig. 3. HRV variation in different listening conditions. *: p < 0.05 and **: p < 0.01 denote paired t-Test results. +: p<0.001 denotes repeated ANOVA test result.
그림 그림 4. 문장 청취시 소음 정도에 따른 안정된 상태 기준에 기반한 문장 청취시 심박변이도 지표. Fig. 4. Normalized heart rate variabilitie.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 심박동수의 시간에 따른 변화를 나타내는 심박변이도는 심박동수와는 다르게 피로 및 스트레스 정도를 검사하는 수단으로 사용되며, 주파수 및 시간 영역에서 계산된 심박변이도 지표를 사용하고 있다[9]. 이에 본 연구에서는 심박변이도가 청취 노력도를 측정할 수 있는 지표로 사용할 수 있는지에 대하여 평가하고자 한다. 평가를 위하여 청취 노력도가 필요한 다양한 환경에서 문장을 제시하고, 표준 전극 방식에 기반한 심박신호를 측정한다.
평가를 위하여 청취 노력도가 필요한 다양한 환경에서 문장을 제시하고, 표준 전극 방식에 기반한 심박신호를 측정한다. 청취 노력도 환경에 따른 측정된 심박신호의 심박변이도 지표를 분석하여, 최종적으로 청취 노력도를 측정할 수 있는 효과적인 심박변이도 지표를 제시하고자 한다.
청취 노력도를 평가하기 위하여 심박수, 피부전도도, 근전도, 뇌파, 동공크기 등 생체 신호에 기반한 다양한 객관적 측정 방법에 관하여 연구를 진행하고 있다. 심전도 측정은 동공크기 및 뇌파의 측정에 비하여 비교적 측정이 용이한 장점이 있다.

제안 방법

피험자는 문장을 듣고, 문장을 따라 말하고, 말한 음성은 마이크를 통해 외부에서 청취하여, 음절단위로 듣기 정확도를 계산한다. 다양한 환경에서의 청취 노력도를 측정하기 위하여, 본 연구에서는 문장 소리 자극시 babble noise를 추가하였다. 청취 노력도는 표 1과 같이 노이즈가 전혀 없을 때 (Non), 낮은 노이즈 제시시(12 dB SNR) (Low), 높은 노이즈 제시시(6 dB SNR) (High) 3 세션으로 나누어 측정하였다.
본 연구에서는 측정된 심전도를 이용하여 시간영역 및 주파수 영역의 심박변이도 지표를 측정 분석하였다(표 2). 시간영역의 심박변이도 지표로는 평균 NN 간격(또는 RR 간격) (Mean NN), NN 간격의 표준편차(standard deviation of NN interval, SDNN), 평균 심박수(mean heart beat rate, Mean HR), 연속적인 NN interval의 평균 제곱 제곱근(root mean square of successive difference of NN interval, RMSSD), 50 ms 보다 긴 차이를 보이는 연속적인 NN interval의 수(NN50), Poincare의 긴시간동안의 표준편차(SD2)를 사용하였다[11].
다양한 환경에서의 청취 노력도를 측정하기 위하여, 본 연구에서는 문장 소리 자극시 babble noise를 추가하였다. 청취 노력도는 표 1과 같이 노이즈가 전혀 없을 때 (Non), 낮은 노이즈 제시시(12 dB SNR) (Low), 높은 노이즈 제시시(6 dB SNR) (High) 3 세션으로 나누어 측정하였다. 노이즈의 레벨은 피험자가 청취시 문장의 음절단위 듣기 정확도가 99% 이상인, 대부분 정확한 청취를 할 수 있는 수준으로 정하였다.
청취 노력도의 수준을 본 연구에서는 배경 소음으로 그 수준을 조절하였다. 그러나 소음으로 인한 스트레스로 심박변이도의 변화가 생길 수 있기 때문에, 소음 스트레스에 인한 청취 노력도 측정의 간섭을 고려할 수 있다[12].
이에 본 연구에서는 심박변이도가 청취 노력도를 측정할 수 있는 지표로 사용할 수 있는지에 대하여 평가하고자 한다. 평가를 위하여 청취 노력도가 필요한 다양한 환경에서 문장을 제시하고, 표준 전극 방식에 기반한 심박신호를 측정한다. 청취 노력도 환경에 따른 측정된 심박신호의 심박변이도 지표를 분석하여, 최종적으로 청취 노력도를 측정할 수 있는 효과적인 심박변이도 지표를 제시하고자 한다.

대상 데이터

본 연구에서 청취 노력도를 측정하기 위한 자극으로는 240개의 문장으로 구성된 한국어 노이즈 환경 청각 테스트 문장(K-HINT, Korean Hearing in Noise Test[10])을 사용하였다. 문장은 소음이 통제되는 측정실(sound proof room)에서 피험자와 1 m 떨어진 거리에서 자극으로 주어지게 된다.
본 연구에서는 다양한 심박변이도 지표 중 사전 테스트를 통해 선정한 8 종류의 시간영역 및 주파수 영역의 지표에 기반하여 연구를 진행하였다. 또한, 본 연구에서는 제한된 수의 정상 청력인을 대상으로 심전도를 측정하여 심박변이도를 이용한 청취 노력도 예측의 가능성을 보여주었다.
노이즈의 레벨은 피험자가 청취시 문장의 음절단위 듣기 정확도가 99% 이상인, 대부분 정확한 청취를 할 수 있는 수준으로 정하였다. 본 임상데이터 측정에는 총 9명(여성 2명, 남성 7명)의 건청인이 참가하였다. 그림 1은 자극 조건 순서 및 각 조건에서 소음 및 K-HINT 문장 제시 방법을 도식화하여 보여주고 있다.

데이터처리

그래프 내의 각각의 기호는 서로 다른 피험자의 측정 데이터를 나타낸다. 시간 영역에서 계산된 심박변이도 지표는 평균 NN 간격(mean NN), NNR 간격의 표준편차(SDNN), 평균 심박수(mean HR), 연속적인 NN 간격의 평균 제곱의 제곱근(RMSSD), 50 ms 보다 긴 NN 간격 수(NN50), SD2를 계산하여 표현하였다. 각각의 그래프에서는 청취 노력도가 필요한 경우에 따라 심박변이도 지표값의 변화가 다양함을 보이고 있다.
본 연구에서는 측정된 심전도를 이용하여 시간영역 및 주파수 영역의 심박변이도 지표를 측정 분석하였다(표 2). 시간영역의 심박변이도 지표로는 평균 NN 간격(또는 RR 간격) (Mean NN), NN 간격의 표준편차(standard deviation of NN interval, SDNN), 평균 심박수(mean heart beat rate, Mean HR), 연속적인 NN interval의 평균 제곱 제곱근(root mean square of successive difference of NN interval, RMSSD), 50 ms 보다 긴 차이를 보이는 연속적인 NN interval의 수(NN50), Poincare의 긴시간동안의 표준편차(SD2)를 사용하였다[11]. 주파수 영역의 심박변이도 지표는 저주파 영역대 파워(low-frequency power, LF), 저주파-고주파 영역대 파워 비(ratio between absolute power of LF and HF band, LF/HF)를 사용하였다.
각 조건에서는 1초간 무소음, 노이즈 제시 후 1초후 K-HINT 문장 제시, 이후 5초 간 피험자가 제시된 문장을 따라 말하도록 하였다. 피험자가 말한 음성은 마이크를 통해 측정실 외부에서 청취하여 전체 문장 음절에서 정확히 말한 음절 비율을 평가하여 정확도를 계산하였다. 각 조건에서는 80문장을 제시하여 조건에 따른 심박변이도를 측정할 수 있도록 하였다.

성능/효과

본 연구에서는 SDNN, NN50, LF, SD2의 심박변이도 지표가 청취 노력도를 예측할 수 있는 생체신호로 판단되었다. 기저상태, 소음이 없는 문장청취 시, 약한 소음이 있는 문장 청취 시에 심박변이도 지표는 유의미하게 증가하는 경향을 보여주었다. 따라서, 본 연구결과 심박변이도는 청취노력도를 평가할 수 있는 객관적인 생체신호로 가능함을 알 수 있었다.
기저상태, 소음이 없는 문장청취 시, 약한 소음이 있는 문장 청취 시에 심박변이도 지표는 유의미하게 증가하는 경향을 보여주었다. 따라서, 본 연구결과 심박변이도는 청취노력도를 평가할 수 있는 객관적인 생체신호로 가능함을 알 수 있었다.
심박변이도를 나타내는 4개의 지표 모두 rest 상태, 노이즈가 없는 문장 청취시, 6 dB SNR 문장 청취시, 12 dB SNR 문장 청취시 유의미한 차이를 보여주고 있다. 또한, ANOVA 테스트 결과 SNR 비가 낮은 문장 청취 시, 즉, 청취 노력도가 많이 필요로 하는 경우에 심박변이도 지표 SDNN, NN50, LF, SD2 모두 유의미하게 증가함을 알 수 있다.
본 연구에서는 다양한 심박변이도 지표 중 사전 테스트를 통해 선정한 8 종류의 시간영역 및 주파수 영역의 지표에 기반하여 연구를 진행하였다. 또한, 본 연구에서는 제한된 수의 정상 청력인을 대상으로 심전도를 측정하여 심박변이도를 이용한 청취 노력도 예측의 가능성을 보여주었다. 따라서, 추후 다양한 조건에서 정상인 및 난청인 임상 데이터를 확보하고, 다양한 시간영역 및 주파수영역 심박변이도 지표에 기반한 청취 노력도 평가 연구를 진행할 계획이다.
본 연구에서는 SDNN, NN50, LF, SD2의 심박변이도 지표가 청취 노력도를 예측할 수 있는 생체신호로 판단되었다. 기저상태, 소음이 없는 문장청취 시, 약한 소음이 있는 문장 청취 시에 심박변이도 지표는 유의미하게 증가하는 경향을 보여주었다.
그림 2의 아래 패널은 문장 청취시 노이즈 증가에 따른 주파수 영역에서 계산된 주파수 대역별 파워의 비(LF/HF)와 저주파 대역 파워를 피험자별로 보여주고 있다. 저주파(0.04-0.15 Hz) 대역의 파워를 나타내는 심박변이도 지표 LF는 노이즈 SNR값이 증가할수록 전반적으로 증가하는 경향을 보이고 있다.

후속연구

또한, 피부전도도는 시간에 따른 급격한 변화가 이어, 문장자극과 같은 긴 자극의 분석에 용이하지 않은 단점이 있다. 따라서, 다양한 생체 신호에 기반하여 예측된 청취 노력도는 정확성을 향상 시킬 수 있으리라 기대한다.
또한, 본 연구에서는 제한된 수의 정상 청력인을 대상으로 심전도를 측정하여 심박변이도를 이용한 청취 노력도 예측의 가능성을 보여주었다. 따라서, 추후 다양한 조건에서 정상인 및 난청인 임상 데이터를 확보하고, 다양한 시간영역 및 주파수영역 심박변이도 지표에 기반한 청취 노력도 평가 연구를 진행할 계획이다.
그러나 소음으로 인한 스트레스로 심박변이도의 변화가 생길 수 있기 때문에, 소음 스트레스에 인한 청취 노력도 측정의 간섭을 고려할 수 있다[12]. 본 연구에서는 문장제시 짧은 시간(<3 s)동안의 소음 노출을 하여 소음스트레스 간섭을 최소화하고자 하였으나, 추후 이에 대하여 음성의 복호화(vocoded) 자극을 사용하는 등의 소음에 의한 피로도를 최소화할 수 있도록 실험 구성하는 것이 필요하다. 또한, 일반적 인지 스트레스 연구들은 스트레스를 받는 동안은 LF/HF 및 LF 값은 증가하고, SDNN, RMSSD는 감소하는 것으로 보고되고 있다[13].
그러나, 본 연구에서는 LF/HF 및 LF 값의 경향은 일치하나 SDNN, RMSSD는 반대의 경향을 보이고 있다. 추후 청취 노력도와 일반적 인지 스트레스와의 비교 실험을 통하여 청취 노력도와 인지 스트레스에 따른 자율신경계 반응의 차이를 보여주는 것이 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	청취 노력은 무엇을 의미하는가?	동일한 환경에서 나이가 들수록 언어 인지에 노력이 필요한 경우에 대한 평가나 [1] 보청기 및 인공와우와 같은 청각보조기기의 소음 감쇠기능, 방향성 마이크로폰 등의 최신 기술의 사용시 언어인지가 얼마나 더 용이한가를 평가하기도 한다[2]. 청취 노력은 청자가 청취에 집중하기 위하여 발생하는 신체적, 정신적 노력을 의미한다. 이러한 언어 인지에 필요한 노력도, 즉 청취 노력도(listening effort)는 언어 청취를 위해 생리학적 재원(physiological resource)의 사용 빈도, 집중도(listening load), 또한 청취를 위한 스트레스(listening-related fatigue) 정도를 표현해주고 있다.
	객관적인 측정 방식인 생체신호기반 측정 방법 중 최근 알려진 것으로는 무엇이 있는가?	객관적인 측정 방식인 생체신호기반 측정 방법은 심박수, 피부전도도, 근전도, 뇌파, 동공크기를 측정하여 언어 인지에 대한 스트레스나 청력 노력도를 예측하고 있다[6-8]. 최근 연구들에서는 피부전도도가 스트레스에 대한 상관관계가 높은 심리생리학적 요소로 나타난 반면, 체온이나 심박동수는 주요 관계 미미하다고 평가되고 있다[6]. 그러나 심박동수의 시간에 따른 변화를 나타내는 심박변이도는 심박동수와는 다르게 피로 및 스트레스 정도를 검사하는 수단으로 사용되며, 주파수 및 시간 영역에서 계산된 심박변이도 지표를 사용하고 있다[9].
	문장 이해 평가(sentence recognition test)는 어떤 방식으로 진행되었는가?	이러한 언어 인지에 필요한 노력도, 즉 청취 노력도(listening effort)는 언어 청취를 위해 생리학적 재원(physiological resource)의 사용 빈도, 집중도(listening load), 또한 청취를 위한 스트레스(listening-related fatigue) 정도를 표현해주고 있다. 언어 이해도 평가시 주로 사용되는 문장 이해 평가(sentence recognition test)는 주어진 상황에서 제시된 문장의 정확도 점수를 비교하나 청취 노력도는 정확도 점수가 비슷한 수준에서 언어 청취를 위한 노력도를 평가하는 방식으로 진행된다[3]. 이러한 청취 노력도는 유의한 수준의 문장 이해 정확도 결과를 도출하는 경우에 조건, 환경, 청각 보조기기 처리 방식 등에 따른 언어인지를 평가할 수 있는 다른 평가 지표로 활용되고 있다.

참고문헌 (15)

J. Shehorn, N. Marrone, and T. Muller, "Speech perception in noise and listening effort of older adults with nonlinear frequency compression hearing aids," Ear Hear, vol. 39, no. 2, pp. 215-225, 2018.

상세보기
J. L. Desjardins, "The effects of hearing aid directional microphone and noise reduction processing on listening effort in older adults with hearing loss," J Am Acad Audiol, vol. 27, no. 1, pp. 29-41, 2016.

상세보기
R. McGarrigle et al., "Listening effort and fatigue: what exactly are we measuring? A British Society of Audiology Cognition in Hearing Special Interest Group 'white paper'," Int J Audiol, vol. 53, no. 7, pp. 433-40, 2014.

상세보기
M. Anderson, V. Rallapalli, T. Schoof, P. Souza, and K. Arehart, "The use of self-report measures to examine changes in perception in response to fittings using different signal processing parameters," (in English), Int J Audiol, vol. 57, no. 11, pp. 809-815, 2018.

상세보기
J. P. Gagne, J. Besser, and U. Lemke, "Behavioral assessment of listening effort using a dual-task paradigm," Trends Hear, vol. 21, p. 2331216516687287, 2017.
C. L. Mackersie and H. Cones, "Subjective and psychophysiological indexes of listening effort in a competing-talker task," J Am Acad Audiol, vol. 22, no. 2, pp. 113-22, 2011.

상세보기
K. Miles et al., "Objective assessment of listening effort: coregistration of pupillometry and EEG," Trends Hear, vol. 21, p. 2331216517706396, 2017.
C. Bernarding, F.I. Corona-Strauss, R. Hannemann, and D.J. Strauss, "Objective assessment of listening effort: effects of an increased task demand," Conf Proc IEEE Eng Med Biol Soc, vol. 2016, pp. 3684-3687, 2016.
C. Kim and J. Woo, "Comparison of smart watch based pulse rate variability with heart rate variability," J Biomed Eng Res, vol. 39, pp. 87-93, 2018.
S. K. Moon, H. A. Moon, H. K. Jung, S. D. Soli, J. H. Lee, and K. H. Park, "Development of sentences for korean hearing in noise test (KHINT)," Korean J Otolaryngol, vol. 48, pp. 724-728, 2005.

상세보기
U. R. Acharya, K. P. Joseph, N. Kannathal, C. M. Lim, and J. S. Suri, "Heart rate variability: a review," (in English), Med Biol Eng Comput, vol. 44, no. 12, pp. 1031-1051, 2006.

상세보기
E. D. Walker, A. Brammer, M. G. Cherniack, F. Laden, and J. M. Cavallari, "Cardiovascular and stress responses to shortterm noise exposures-A panel study in healthy males," Environ Res, vol. 150, pp. 391-397, 2016.

상세보기
M. V. Kamath, M. Watanabe, and A. Upton, Heart Rate Variability (HRV) Signal Analysis: Clinical Applications. CRC Press, 2013.
E. M. Picou and T. A. Ricketts, "An evaluation of hearing aid beamforming microphone arrays in a noisy laboratory setting," J Am Acad Audiol, vol. 30, no. 2, pp. 131-144, 2019.

상세보기
N. S. Reed, J. Betz, N. Kendig, M. Korczak, and F. R. Lin, "Personal sound amplification products vs a conventional hearing aid for speech understanding in noise," JAMA, vol. 318, no. 1, pp. 89-90, 2017.

상세보기

이 논문을 인용한 문헌

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

심박변이도 기반 청취 노력도 측정 연구
Study on Listening Efforts Based on Heart Rate Variability 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

심박변이도 기반 청취 노력도 측정 연구 Study on Listening Efforts Based on Heart Rate Variability 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (6) 모든 표/그림 보기

표/그림 (6) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

우지환 (9)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

심박변이도 기반 청취 노력도 측정 연구
Study on Listening Efforts Based on Heart Rate Variability 원문보기

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper