[논문]모바일 얼굴 비디오로부터 심박 신호의 강건한 추출

로말리자쟝피에르; 박한훈

모바일 얼굴 비디오로부터 심박 신호의 강건한 추출
Robust Extraction of Heartbeat Signals from Mobile Facial Videos 원문보기

한국융합신호처리학회논문지 = Journal of the Institute of Convergence Signal Processing, v.20 no.1, 2019년, pp.51 - 56

로말리자쟝피에르 (부경대학교 전자공학과) , 박한훈 (부경대학교 전자공학과)

초록
AI-Helper

본 논문은 모바일 환경에서의 BCG기반 심박 수 측정을 위한 향상된 심박 신호 추출 방법을 제안한다. 우선, 모바일 카메라를 이용하여 사용자의 얼굴을 촬영한 비디오로부터 얼굴 특징과 배경 특징을 동시에 추적함으로써 손 떨림에 의한 영향을 제거한 머리 움직임 신호를 추출한다. 그리고 머리 움직임 신호로부터 심박 신호를 정확하게 분리해내기 위해 신호의 주기성을 계산하는 새로운 방법을 제안한다. 제안 방법은 모바일 얼굴 비디오로부터 강건하게 심박 신호를 추출할 수 있으며, 기존 방법에 비해 보다 정확하게 심박 수 측정(측정 오차가 3-4 bpm 감소)을 할 수 있다.

Abstract ▼ AI-Helper

This paper proposes an improved heartbeat signal extraction method for ballistocardiography(BCG)-based heart-rate measurement on mobile environment. First, from a mobile facial video, a handshake-free head motion signal is extracted by tracking facial features and background features at the same time. Then, a novel signal periodicity computation method is proposed to accurately separate out the heartbeat signal from the head motion signal. The proposed method could robustly extract heartbeat signals from mobile facial videos, and enabled more accurate heart rate measurement (measurement errors were reduced by 3-4 bpm) compared to the existing method.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 모바일 환경에서의 BCG 기반 심박 수 측정을 위한 효과적인 방법을 개발하는 것을 목표로 한다. Lomaliza와 Park의 방법의 성능을 개선하기 위해 모바일 환경에서 얼굴 움직임 신호로부터 심박 신호를 정확하게 분리해내기 위한 방법을 제안한다.
그림 2에서 얼굴 움직임 신호로부터 심박 신호를 분리해내는 최종 과정은 심박 신호의 주기성을 이용한다. 그러므로 본 논문에서는 신호의 주기성을 계산하기 위한 새로운 방법을 제안한다. 우선, 얼굴 움직임 신호의 5개의 주요 성분 신호에 고속 푸리에 변환을 적용한다.
본 논문에서는 모바일 환경에서 얻어진 얼굴 움직임 신호로부터 심박 신호를 분리해내기 위해 신호의 자기상관 계수로부터 주기성을 계산하는 방법을 제안하였다. 실험을 통해 제안 방법을 사용함으로써 기존 방법에 비해 심박 수 측정 오차가 약 3-4 bpm 감소하는 것을 확인하였다.
본 논문에서는 모바일 환경에서의 BCG 기반 심박 수 측정을 위한 효과적인 방법을 개발하는 것을 목표로 한다. Lomaliza와 Park의 방법의 성능을 개선하기 위해 모바일 환경에서 얼굴 움직임 신호로부터 심박 신호를 정확하게 분리해내기 위한 방법을 제안한다.

제안 방법

동일한 과정을 서로 다른 조명 환경(낮 실내, 낮 실외, 밤 실내)과 카메라 회전 모드(세로: 영상 내 얼굴이 가득 참, 가로: 얼굴과 함께 배경 영역이 나타남)에서 반복했으며, 저장된 비디오를 사용하여 심박 수를 측정하였다. 각 참가자의 심박 수에 대한 참값(ground truth)을 얻기 위해 각 실험을 진행하는 동안 Polar H7 심박 센서를 착용하도록 했다.
5초 동안 촬영했으며, 촬영된 비디오는 MPEG-4 포맷으로 저장되었다. 동일한 과정을 서로 다른 조명 환경(낮 실내, 낮 실외, 밤 실내)과 카메라 회전 모드(세로: 영상 내 얼굴이 가득 참, 가로: 얼굴과 함께 배경 영역이 나타남)에서 반복했으며, 저장된 비디오를 사용하여 심박 수를 측정하였다. 각 참가자의 심박 수에 대한 참값(ground truth)을 얻기 위해 각 실험을 진행하는 동안 Polar H7 심박 센서를 착용하도록 했다.
이후 주성분분석법(PCA: principal component analysis)을 적용하여 5개의 주요 성분 신호를 추출하고, 가장 높은 주기성을 가진 주요 성분 신호를 심박 신호로 선택한다. 마지막으로, 선택된 주요 성분 신호로부터 피크(peak)를 검출하고, 검출된 피크 사이의 시간 간격을 평균하여 심박 수를 계산한다.
실험을 위해 15명의 다양한 국적, 성별, 나이를 가지는 대학생에게 휴식, 가벼운 운동, 격렬한 운동을 수행하게 한 후, 편안하게 앉은 자세에서 스마트폰을 손에 들고 자신의 얼굴을 촬영하도록 하였다. 이때, LG G5 스마트폰을 사용하여, 800 × 480 크기의 영상을 초당 20프레임의 속도로 12.
우선, 입력 영상이 주어지면, 영상으로부터 그림 1과 같이 미리 정해진 영역에서 Shi-Tomasi 코너 검출기[13] 와 Lucas-Kanade 광류 추적기[14]를 이용해서 얼굴 특징과 배경 특징을 검출하고 추적한다. 심장 박동으로 인한 머리 움직임 신호는 얼굴 특징의 수직 방향 움직임으로부터 얻어지는데, 이때 얼굴 특징의 수직 방향 움직임으로부터 배경 특징의 수직 방향 움직임을 빼줌으로써 손 떨림에 의한 영향을 제거한다.
이때, LG G5 스마트폰을 사용하여, 800 × 480 크기의 영상을 초당 20프레임의 속도로 12.5초 동안 촬영했으며, 촬영된 비디오는 MPEG-4 포맷으로 저장되었다.
75 5]Hz의 통과 대역을 가지는 통과 대역 필터를 적용한다. 이후 주성분분석법(PCA: principal component analysis)을 적용하여 5개의 주요 성분 신호를 추출하고, 가장 높은 주기성을 가진 주요 성분 신호를 심박 신호로 선택한다. 마지막으로, 선택된 주요 성분 신호로부터 피크(peak)를 검출하고, 검출된 피크 사이의 시간 간격을 평균하여 심박 수를 계산한다.
제안 방법의 성능을 분석하기 위해 기존 데스크톱 환경에서 제안된 방법[10]을 모바일 환경에서 그대로 사용하는 경우, 모바일 환경에서 손 떨림 문제를 해결한 방법[11]을 사용하는 경우(심박 신호 분리는 [10]의 방법을 사용), 제안된 방법을 사용하는 경우(심박 신호 분리는 제안된 방법을 사용하며 나머지 과정은 [11]과 동일)의 결과를 비교하였다. [10]의 방법의 경우 카메라 회전 모드를 세로로 촬영된 비디오를 사용했으며, 나머지 방법은 가로로 촬영된 비디오를 사용했다.

이론/모형

이 절에서는 모바일 환경에서 BCG 기반 심박 수 측정을 위한 Lomaliza와 Park의 방법[11]을 간략히 설명한다. 본 논문에서는 얼굴 움직임 신호로부터 심박 신호를 분리하는 과정을 제외하고, Lomaliza와 Park의 방법을 그대로 사용한다. 전체 처리 과정은 그림 2와 같다.

성능/효과

반면, [11]의 경우, 배경 특징 동시 추적을 위해 카메라 회전 모드를 가로로 하여 촬영된 비디오를 사용하기 때문에 영상 내 얼굴이 차지하는 영역이 작고, 상대적으로 작은 해상도에서 얼굴 특징을 추적하게 된다. 결국, 작은 해상도에서 손 떨림에 의한 영향을 완화한 얼굴 특징을 추적하는 것보다 큰 해상도에서 손 떨림에 의한 영향을 고려하지 않고 얼굴 특징을 추적하는 것이 오히려 좋은 결과를 가질 수도 있다는 것을 알 수 있다. 사실, 영상 해상도가 심박 수 측정에 미치는 영향에 대해서는 기존 연구에서도 언급되고 있다[11].
본 논문에서는 모바일 환경에서 얻어진 얼굴 움직임 신호로부터 심박 신호를 분리해내기 위해 신호의 자기상관 계수로부터 주기성을 계산하는 방법을 제안하였다. 실험을 통해 제안 방법을 사용함으로써 기존 방법에 비해 심박 수 측정 오차가 약 3-4 bpm 감소하는 것을 확인하였다.

후속연구

그러나 제안 방법을 사용하더라도 여전히 심박 수 측정 오차(약 5-7 bpm)는 크기 때문에 실용적으로 사용하기에는 무리가 있다. 심박 수 측정 정확도를 보다 높이기 위해서는 실험에서 사용된 기존 손 떨림 보정 방법을 개선하기 위한 추가 연구가 뒤따라야 할 것이다.

참고문헌 (14)

A. Arcelus, M. Sardar, and A. Mihailidis, "Design of a capacitive ECG sensor for unobtrusive heart rate measurements," in IEEE Int. Instrumentation and Measurement Technology Conf., Minneapolis, MN, USA, May 2013.
P. Leonard, N. Grubb, P. Addison, D. Clifton, and J. Watson, "An algorithm for the detection of individual breaths from the pulse oximeter waveform," J. Clin. Monit. Comput., vol. 18, pp. 309-312, 2004.

상세보기
D. W. Holdsworth, "Characterization of blood-flow waveforms in normal human subjects," Physiol. Meas., vol. 20, no. 3, pp. 219-240, 1999.

상세보기
M. Garbey, N. Sun, A. Merla, and I. Pavlidis, "Contact-free measurement of cardiac pulse based on the analysis of thermal imagery," IEEE Trans. Biomed. Eng., vol. 54, no. 8, pp. 1418-1426, 2007.

상세보기
M.-Z. Poh, D. J. McDuff, and R. W. Picard, "Non-contact, automated cardiac pulse measurements using video imaging and blind source separation," Optics Express, vol. 18, no. 10, pp. 10762-10774, 2010.

상세보기
Y.-C. Lin, N.-K. Chou, G.-Y. Lin, M.-H. Li, and Y.-H. Lin, "A real-time contactless pulse rate and motion status monitoring system based on complexion tracking," Sensors, vol. 17, no. 7, pp. 1490, 2017.

상세보기
J.-P. Lomaliza and H. Park, "A highly efficient and reliable heart rate monitoring system using smartphone cameras," Multimed. Tools Appl., vol. 76, no. 20, pp. 21051-21071, 2017.

상세보기
D. Grimaldi, Y. Kurylyak, F. Lamonaca, and A. Nastro, "Photo-plethysmography detection by smart-phone's video camera," in IEEE Int. Conf. on Intell. Data Acqu. Adv. Compu. Syst., Prague, Czech Republic, 2011, pp. 488-491.
M. A. Hassan, A. S. Malik, D. Fofi, N. Saad, B. Karasfi, Y. S. Ali, and F. Meriaudeau, "Heart rate estimation using facial video: A review," Biomedical Signal Processing and Control, vol. 38, pp. 346-360, 2017.

상세보기
G. Balakrishnan, F. Durand, and J. Guttag, "Detecting pulse from head motions in video," in CVPR, Portland, OR, USA, June 2013.
J.-P. Lomaliza and H. Park, "Detecting pulse from head motions using smartphone camera," LNEE, vol. 415, pp. 243-251, 2016.
Y.-G. Lim, "Development of chair backrest for non-intrusive simultaneous measurement of ECG and BCG," Journal of the Institute of Convergence Signal Processing, vol. 19, no. 3, pp. 104-109, 2018.
J. Shi and C. Tomasi, "Good features to track," in IEEE Conference on Computer Vision and Pattern Recognition, 1994, pp. 593-600.
B.D. Lucas and T. Kanade, "An iterative image registration technique with an application to stereo vision," in Imaging Understanding Workshop, 1981, pp. 121-130.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증