[논문]AR/VR 서비스 향상을 위한 심박 변이도 연구

박현문; 황태호

doi:10.13067/jkiecs.2020.15.1.191

AR/VR 서비스 향상을 위한 심박 변이도 연구
A Study on the Heart Rate Variability for Improvement of AR / VR Service 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.15 no.1, 2020년, pp.191 - 198

초록
AI-Helper

본 연구는 ECG 신호를 이용하여 AR/VR 장치 사용 중에 발생할 수 있는 스트레스와 심장 상태에 따른 위험 예측을 위한 실시간 분석 시스템을 개발하였다. 제안 방법에는 ECG 신호의 R-R 간격을 이용한 HRV, BPM 측정법과 선행연구를 이용하여, 2차원 공간의 대치방법을 통해 실시간 진단방법을 제안하였다. 5분단 위로 ECG 데이터를 분석하고 자율신경계 진단 결과로 도출했다.

Abstract ▼ AI-Helper

In this study, we proposed a real-time ECG analytical method for predicting stress and dangerous heart condition using the ECG signal in playing AR/VR device. A real-time diagnosis is used as R-R interval based HRV(:Heart rate variability), BPM(:Beats Per Minitue) and autonomic nervous research with through mapping method of two-dimensional planes. The ECG data were analyzed every 5 minutes and derived from autonomic nervous system diagnosis.

주제어

표/그림 (9)

그림 그림 1. VR 장치의 영상에 따른 ECG 측정환경 Fig. 1 The ECG measurement according to videos content viewing on VR device
그림 그림 2. ECG 측정과 분석을 위한 사용자 인터페이스 Fig 2. The User Interface for ECG measurement and analysis
그림 그림 3. 일반상황과 VR 영상에 따른 심박동비교 Fig. 3 Comparison of heart rate change according to normal and VR video.
그림 그림 4. VR 착용자의 상황에 따른 심박수의 변화 Fig. 4 Changes in HR according to VR wearer's situation
표 표 1. HRV 분석을 위한 요소 정의 Table 1. Defining elements for HRV analysis
그림 그림 5. 제안된 2D 차원의 스트레스 지도 Fig. 5. Proposed two-dimensional stress map
표 표 2. HRV 계량을 위한 입력 변수 지표 Table 2. HRV analysis of input parameters
그림 그림 6. VR 콘텐츠 감상에 따른 HRV 스트레스 실시간 변화도 Fig. 6 The HRV stress real-time variation according to VR content viewing
표 표 3. HRV 분석을 위한 요소 정의 Table 3. Defining elements for HRV analysis

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 VR 착용자에 따른 생리적 변화를 ECG 기반 시계열 분석을 하고, 이를 2D 지도기반 스트레스 추정 방안을 제시하였다. 2장에는 서비스에 따른 스트레스 및 심박변이도의 관계 그리고 분석기법을 설명하였다.
본 연구는 실시간 분석 시계열 기반 ECG 분석 플랫폼을 개발하여 활용하였다. 실험 방법은 삼성 갤럭시 기어 VR을 종단 신경의 서비스에 따른 스트레스 분석을 위해 개발된 ECG 플랫폼과 UI를 기반으로 자료를 수집 분석 기록하고, 이를 기반으로 심전도 정보를 측정하였다.

제안 방법

3가지 영상 실험에 효율적인 분석을 위해 10분의 휴식을 하고 검색 방식에 2가지 및 영상을 4가지로 한정하여 진행하였다. 그림 2의 개발된 UI는 ECG 측정과 분석, 생체정보 저장을 위한 윈도우 10 기반의 사용자 인터페이스(UI))로 BPM, 호흡수(Respiration Rate)를 계산하며, 부정맥 상태(Arrhythmia Annota-tion)를 분석할 수 있다.
Lead II ECG를 기준으로 20세, 30세, 40세의 총 8명으로부터 수집되었으며, 그림 4과 같이 5분을 기준으로 착용 전, 착용 후 그리고 3가지 영상의 실험을 진행하였다. 3개의 전극을 갖는 Lead II ECG를 착용자의 팔목을 기준으로 테스트를 하고 기록하였다.
일반적으로 SDSD는 N-N 간격의 표준편차가 클수록 건강하며 작을수록 스트레스가 높다. NN50은 50mns 이상 차이가 나는 N-N 간격의 개수이며, p50NN는 본 연구에서는 60초 동안 NN50 개수를 모든 N-N로 나눈 값으로 NN50을 더 높은 신뢰성을 확보하기 위해 pNN50을 활용하며, 두 값은 상호 비례적인 특성으로 지표 값의 증가 따라 스트레스가 감소한다. rMSSD는 인접 R-R 간격의 표준편차로, 부교감신경을 측정할 때 사용되는 상수로 10 이하일 때 스트레스 지수가 높으며 5 이하일 때 발작 가능성이 크다[12-13].
본 연구를 통해, VR 서비스에 따라서 착용자에 심장박동이 즉각적으로 변화하였다. 그리고, 나이에 따라 동일 서비스라도 서로 다른 심장박동 변이도를 제공하였다. 공통으로 인터페이스가 불편하면 심장박동의 변이성이 증가하는 것을 알 수 있었다.
공통으로 인터페이스가 불편하면 심장박동의 변이성이 증가하는 것을 알 수 있었다. 마지막에서는 심장박동 변이도를 이용하여 AR/VR 서비스에 따른 스트레스 측정 플랫폼을 개발하고 이를 분석하는 시스템을 개발하였다. 본 연구는 실험시간 및 착용자의 수가 제한적으로 VR 서비스에 따른 스트레스 변화와 실험군에 개체가 적어 정확한 분석 한계를 가진다.
서비스에 대한 면밀한 분석을 위해 HTC와 오큘러스 등 관련 제조사들은 착용자 사용패턴을 통한 자율신경계 변화를 위한 본격적인 연구에 들어갔다. 몇 년 전부터 fMRI(:functionaL Magnetic Resonance Imaging)를 기반으로 제공된 영상의 뇌신경 변화를 분석하고 이를 콘텐츠와 연계하였다. 이러한 노력에도 불구하고, VR 기반 fMRI 장치는 크기와 착용성, 가격으로 인해 의료 치료 및 진단 분야를 제외하고는 활용도가 낮다.
본 연구는 실시간 분석 시계열 기반 ECG 분석 플랫폼을 개발하여 활용하였다. 실험 방법은 삼성 갤럭시 기어 VR을 종단 신경의 서비스에 따른 스트레스 분석을 위해 개발된 ECG 플랫폼과 UI를 기반으로 자료를 수집 분석 기록하고, 이를 기반으로 심전도 정보를 측정하였다. Lead II ECG를 기준으로 20세, 30세, 40세의 총 8명으로부터 수집되었으며, 그림 4과 같이 5분을 기준으로 착용 전, 착용 후 그리고 3가지 영상의 실험을 진행하였다.
시간 영역은 BPM, SDNN(: Stand ard Deviation of N-N Interval), rMSSD(: root Mean Square Differences) 등 표준편차, 분산의 통계적인 파라미터 값을 추정한다. 주파수 영역은 VLF(: Very Low Frequency), LF(: Low Frequency), HF(: High Frequency) 대역으로 분류하여 주파수 스펙트럼 및 LF와 HF의 상대적인 비율을 관찰한다. 예를 들어, R-R 간격이 표준 범위 1000-500ms 사이에 있다면 건강한 정상 상태를 의미하고, 500m 이하로 나타나거나 R-R 간격에서 이전과 새로운 주기가 50ms 이상 부정확한 간격이 나타난다면, 자율신경계의 스트레스 대처능력이 떨어졌음을 의미한다.
표 2의 75∼80 BPM에 표준 호흡(Respiration rate, Rr)을 15±4회(분)로 기준으로 직접적 영향을 미치는 SDNN, rMSSD, NN50의 영역을 그림 5로 반영하였다.
표 3은 HRV 측정 결과로 참여 인원에 대한 지수표로 HRV를 측정하기 위한 척도로 사용되며, 이를 이용하여 3.2에서 제시한 2D 차원의 스트레스 지도를 매트랩 기반에 UI를 개발하여 제시하였다.

대상 데이터

실험 방법은 삼성 갤럭시 기어 VR을 종단 신경의 서비스에 따른 스트레스 분석을 위해 개발된 ECG 플랫폼과 UI를 기반으로 자료를 수집 분석 기록하고, 이를 기반으로 심전도 정보를 측정하였다. Lead II ECG를 기준으로 20세, 30세, 40세의 총 8명으로부터 수집되었으며, 그림 4과 같이 5분을 기준으로 착용 전, 착용 후 그리고 3가지 영상의 실험을 진행하였다. 3개의 전극을 갖는 Lead II ECG를 착용자의 팔목을 기준으로 테스트를 하고 기록하였다.

이론/모형

MATLAB에서 개발된 플랫폼 2D stress MAP 기반에 분석 플랫폼이다. 선행연구[15]에서 이루어졌던 매트랩 공개 소스를 활용하였다. 선행 연구에서는 N-N 간격을 실시간 분석에 활용하였으나 표 2의 HRV 계량지표를 대입하여 실시간 분석된 스트레스 정보를 나타내었다.
심박변이도 분석은 시간 영역(time domain anal ysis)과 주파수 영역(frequency domain analysis)기법으로 구분된다. 시간 영역은 BPM, SDNN(: Stand ard Deviation of N-N Interval), rMSSD(: root Mean Square Differences) 등 표준편차, 분산의 통계적인 파라미터 값을 추정한다. 주파수 영역은 VLF(: Very Low Frequency), LF(: Low Frequency), HF(: High Frequency) 대역으로 분류하여 주파수 스펙트럼 및 LF와 HF의 상대적인 비율을 관찰한다.

성능/효과

a)의 R-R 간격은 평균 간격(ms)±15ms로 지속적인 변이를 가지며, b)는 90±2 BPM으로 장치 미착용할 때에는 변화가 없다. 그러나 c), e)와 같이 VR 장치를 착용 후에는 평균 심장수가 20% 증가하였다. 동일 영상을 제공하여도 c), d)와 같이 VR 장치가 스마트폰보다 심박동 수가 증가한 것을 비교할 수 있다.
그리고, 나이에 따라 동일 서비스라도 서로 다른 심장박동 변이도를 제공하였다. 공통으로 인터페이스가 불편하면 심장박동의 변이성이 증가하는 것을 알 수 있었다. 마지막에서는 심장박동 변이도를 이용하여 AR/VR 서비스에 따른 스트레스 측정 플랫폼을 개발하고 이를 분석하는 시스템을 개발하였다.
본 연구를 통해, VR 서비스에 따라서 착용자에 심장박동이 즉각적으로 변화하였다. 그리고, 나이에 따라 동일 서비스라도 서로 다른 심장박동 변이도를 제공하였다.
따라서, VR 서비스뿐만 아니라 사용자 인터페이스(이하, UI)의 편리성이 사용자의 접근성에 중요한 지수로 활용된다. 측정 결과 동일 증상으로는 첫째, VR 장치를 착용했을 때 3-20%의 평균 BPM이 증가하였을 뿐만 아니라 표준편차의 산포도가 증가하였다.

후속연구

마지막에서는 심장박동 변이도를 이용하여 AR/VR 서비스에 따른 스트레스 측정 플랫폼을 개발하고 이를 분석하는 시스템을 개발하였다. 본 연구는 실험시간 및 착용자의 수가 제한적으로 VR 서비스에 따른 스트레스 변화와 실험군에 개체가 적어 정확한 분석 한계를 가진다. 향후 연구에는 실험군을 확대하여 AR/VR 서비스에 따른 좀 더 상세한 심박동의 변화와 스트레스의 관계를 분석할 예정이다.
본 연구는 실험시간 및 착용자의 수가 제한적으로 VR 서비스에 따른 스트레스 변화와 실험군에 개체가 적어 정확한 분석 한계를 가진다. 향후 연구에는 실험군을 확대하여 AR/VR 서비스에 따른 좀 더 상세한 심박동의 변화와 스트레스의 관계를 분석할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	ECG란?	최근에는 저렴하면서도 AR/VR 장치와 연동이 쉬운 ECG 센서 기반 Bio-Sensor 자료수집 기법[1-2]이 활용되고 있다. ECG는 착용자가 화면에 따라 생리학적으로 반응하는 심장박동에 의한 QRS 파라미터로 피로도와 흥분도, 스트레스 등 요소를 측정할 수 있다. 심장 동작은 동방결절의 심박 조율 세포에 따라 동작하지만, 자율신경계의 영향을 받는다.
	시각정보는 인지 활동과 연계되어 심박동에 실시간 변이를 갖게 되는데 이러한 변이는 어떠한 변동으로 나타나는가?	시각정보는 인지 활동과 연계되어 심박동에 실시간 변이를 갖게 된다. 이러한 변이는 ECG의 R-R 간격의 변동으로 나타나며, 이를 응용한 분석기법이 제시된다[4-8]. 응용 분석 중에 가장 많이 활용되는 분야가 스트레스 추정방법이다.
	심장 동작은 무엇의 영향을 받는가?	ECG는 착용자가 화면에 따라 생리학적으로 반응하는 심장박동에 의한 QRS 파라미터로 피로도와 흥분도, 스트레스 등 요소를 측정할 수 있다. 심장 동작은 동방결절의 심박 조율 세포에 따라 동작하지만, 자율신경계의 영향을 받는다. 이러한 동방결절은 부교감신경계와 교감신경계 모두의 제어를 받으며 상반되는 영향이 심박수를 결정한다.

참고문헌 (15)

D. Henry, B. Fernandez, M. Koji, and K. Kondo, "Adaptable Game Experience Based on Player's Performance and EEG," In Proc. IEEE Nicograph Int. Conf. Kyoto, Japan, June 2017, pp. 1-8.
W. Hu, J. Meyer, Z. Wang, T. Reid, D. Adams, S. Prabankar, and A. Chaturedi, "Dynamic Data Driven Approach for Modeling Human Error," J. of Procedia Computer Science, vol. 51, 2015, pp. 1643-1654.
NeuroSky Inc, "The introductory Guide to EEG & BCI for Entertainment," Technical report, June 2018.
A. Brouwer, M. Neerincx, V. Kallen, L. Leer, and M. Brinke, "EEG alpha asymmetry, heart rate variability and cortisol in response to Virtual Reality induced stress," J. of Cyber Therapy and Rehabilitation, vol. 4, no. 1, Jan. 2011, pp. 83-99.
R. Negoescu, S. Dinca-Panaitescu, V. Filcescu, D. Ionescu, and S. Wolf, "Mental stress enhances the sympathetic fraction of QT variability in an RR-independent way," J. of Integrative Physiological and Behavioral Science, vol. 32, no. 3, July 1997, pp. 220-227.
D. Han, N. Jeong, D. Kim, Y. Kim, and C. Lee, "Analysis of Stress Level of Korean by Heart Rate Variability Measurement," J. of The Korean Society of Stress Medicine. vol. 15, no. 3, Sept. 2007, pp. 163-169.
W. Kim, "A Study on measurement Techniq -ue of HRV for elder with reduced cognitive abilities," J. of The Korea Institute of Electronic Communication Sciences, vol. 10, no. 1, Jan. 2015, pp. 125-132.

원문보기 상세보기
S. Yoon and G. Kim, "Personal Biometric Identification based on ECG Features," J. of The Korea Institute of Electronic Communication Sciences, vol. 10, no. 4, Apr. 2015, pp. 521-526.

원문보기 상세보기
J. Healey and R. Picard, "Detecting stress during real-world driving tasks using physiological sensors," IEEE Tran. on Intelligent Transportation Systems, vol. 6, no. 2, June 2005, pp. 156-166.
J. Carter and C. Ray, "Sympathetic neural responses to mental stress: Responders, nonresponders and sex differences," American J. of Physiology -Heart and Circulatory Physiology, vol. 296, no. 3, Mar. 2009, pp. 847-853.

상세보기
H. Kim, E. Cheon, D. Bai, Y. Lee, and B. Koo, "Stress and Heart Rate Variability: A Meta-Analysis and Review of the Literature," J. of Psychiatry Investig, vol. 15, no. 3, Mar. 2018, pp. 235-245.
C. Chen, C. Li, C. Tsai, and X. Deng, "Evaluation of Mental Stress and Heart Rate Variability Derived from Wrist-Based Photo plethysmo graphy," IEEE Eurasia ECBIOS, int. conf. Okinawa, Japan, Aug. 2019, pp. 65-68.
H. Park, J. Lee, and B. Kim, "Development of blood pressure estimation methods using the PPG and ECG sensors," J. of the Korea Institute of Electronic Communication Sciences, vol. 14, no. 6, Dec. 2019, pp. 1257-1264.

원문보기 상세보기
J. Kim, B. Kim, S. Park, Y. Lee, N. Keum, and H. Bae, "The Effects of Paced Breathing in Specific Respiration Rate on Heart Rate Variability," J. of The Society of Korean Medicine, vol. 28, no. 2, June 2016, pp. 123-131.
M. Vollmer, "A robust, simple and reliable measure of heart rate variability using relative RR intervals," In 2015 Computing in Cardiology Conf. Nice, France, Sept. 2015, pp. 609-612.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증