[논문]수면 중 돌연사 감지를 위한 비디오 모션 분석 방법

이승호

doi:10.5762/kais.2018.19.10.603

[국내논문] 수면 중 돌연사 감지를 위한 비디오 모션 분석 방법
Video Motion Analysis for Sudden Death Detection During Sleeping 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.19 no.10, 2018년, pp.603 - 609

초록
AI-Helper

수면 중 돌연사는 급성 심근경색 등의 이유로 노인 뿐 만 아니라 영아나 20~40대와 같은 비교적 젊은 층에서도 종종 발생하고 있다. 수면 중 돌연사는 미리 예측하기 어려우므로 이를 방지하기 위해서는 수면 모니터링이 필요하다. 본 논문에서는 별도의 센서 부착 없이도 수면 중 돌연사 감지를 할 수 있는 새로운 비디오 분석 방법을 제안한다. 제안하는 비디오 분석 방법에서는 호흡에 의한 미세 움직임을 감지하기 위해 모션 증폭 기법을 적용한다. 모션 증폭을 적용했는데도 프레임 간 차이가 거의 없는 경우, 모션이 존재하지 않아 돌연사 가능성이 있는 것으로 판단한다. 수면 중인 아기를 촬영한 비디오 두 편에 대해 모션 증폭을 적용한 결과, 호흡에 의한 미세 모션을 정확하게 감지하였고, 이는 수면 상태와 돌연사를 구분하는데 유용할 것으로 판단되었다. 제안하는 비디오 분석 방법은 신체에 센서 부착을 필요로 하지 않으므로 아기를 키우는 가정이나 독신 가정에서 편리하게 활용될 수 있을 것이다.

Abstract ▼ AI-Helper

Sudden death during sleep often occurs in different age groups. To prevent an unexpected sudden death, sleep monitoring is required. This paper presents a video analysis method to detect sudden death without using any attachable sensors. In the proposed method, a motion magnification technique detects even very subtle motion during sleep. If the magnification cannot detect motion, the proposed method readily decides on abnormal status (possibly sudden death). Experimental results on two kinds of sleep video show that motion magnification-based video analysis could be useful for discriminating sleep (with very subtle motion) from sudden death.

주제어

표/그림 (9)

그림 Fig. 1. An example scenario of sleep monitoring using the proposed video motion analysis.
그림 Fig. 2. A result of motion magnification applied to a video sequence. (a) Breathing out. (b) Breathing in(Subtle motion is exaggerated as shown in the white circle).
그림 Fig. 3. (a) Edge image of the i th frame. (b) Edge image of the i-1 th frame. (c) Difference image between the i th and i-1 th frames. (d) Binarization result of the difference image in (c).
그림 Fig. 4. An example of video sequence with a sleeping baby(video 1). The frame number is indicated on each frame.
그림 Fig. 5. An example of video sequence with a sleeping baby(video 2). The frame number is indicated on each frame.
그림 Fig. 6. Motion amount varying with frame number(For video 1).
그림 Fig. 7. Motion amount varying with frame number(For video 2). For clear visualization, the frames after Frame No. 500 were only presented in this graph.
표 Table 1. Average motion amount values obtained for video 1, with different threshold values for image binarization.
표 Table 2. Average motion amount values obtained for video 2, with different threshold values for image binarization.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 물체를 육안으로 쉽게 인식할 수 정도의 조도에서 촬영된 비디오에 대해 실험을 수행하였다. 만약 비디오 분석 환경이 조명이 없는 실내 야간과 같이 조도가 매우 낮은 조건을 가진다면 적외선 카메라로 취득한 영상에 제안 방법을 적용하는 것이 고려될 수 있다.
본 논문에서는 별도의 센서 부착 없이도 수면 중 돌연사 감지를 할 수 있는 새로운 비디오 분석 방법을 제안 한다. 제안하는 비디오 분석 방법은 매우 미세한 움직임도 감지할 수 있도록 모션 증폭 기법을 비디오 시퀀스에 적용한다.
본 논문에서는 수면 중 돌연사 감지를 위한 비디오 분석 방법을 제안하였다. 미세한 움직임을 보이는 수면 상태를 돌연사로부터 구별하기 위해 모션 증폭 기법을 비디오 시퀀스에 적용하였다.
수면 중 돌연사를 감지하는데 가장 큰 도전요소는 움직임이 매우 미세한 경우(수면 중 자세 변화가 없고 호흡에 의한 모션만 존재)와 전혀 없는 경우를 서로 분별 하는 능력을 갖추는 것이다. 본 논문에서는 이 목적을 달성하기 위해 돌연사 감지에 특화된 모션 증폭 기반 알고리즘을 제시하였다. 제안 방법은 [4-6]에서 제안된 방법들보다 실용적인 활용을 위해, 신체의 특정 영역을 모델링하기 위한 영역 검출이나 추적 기술을 필요로 하지 않으며, 자세 변경이나 이불을 덮는 것에 특별한 제한을 두지 않는다.

제안 방법

[4]에서는 마이크로소프트 키넥트(MS Kinect) 카메라 센서를 이용하여 추출된 25개 중 19가지의 주요 관절(joint)의 위치 정보를 이용하였다. 관절의 위치 변화량에 따라 수면의 질(quality)를 분류하고, 관절의 구조에 따라 수면 자세를 미리 정의한 다섯 가지 중 하나로 분류하였다. [5]에서는 depth 카메라가 머리 윗부분을 바라보게 설치하여 촬영한 가슴 영역과 복부 영역을 타원(ellipse) 모델의 형태로 각각 모델링 하고, 그 변화를 측정하여 호흡 저하 등의 수면 상태를 검출하였다.
78로 눈에 띄게 증가하였다. 모션 증폭이 수면 중 호흡에 의한 모션을 강조하는데 적절하게 사용 됐는지 확인하기 위해 프레임 번호에 따른 모션 양 변화를 분석하였다. Fig.
본 논문에서는 수면 중 돌연사 감지를 위한 비디오 분석 방법을 제안하였다. 미세한 움직임을 보이는 수면 상태를 돌연사로부터 구별하기 위해 모션 증폭 기법을 비디오 시퀀스에 적용하였다. 모션 증폭을 적용한 뒤에도 연속 프레임 간의 차이가 매우 적은 경우 돌연사의 가능성이 있는 것으로 간주한다.
이 문제점을 극복하기 위해 모션 증폭에 의한 영상 잡음에 강인한 엣지영상 (Edge image)을 획득한다. 본 논문에서는 소벨 (Sobel) 기울기 연산자[8]를 이용하여 각 픽셀 위치에서의 x방향, y방향의 기울기를 계산하였다. 다음으로 x방향, y방향의 기울기를 이용하여 기울기의 크기(gradient magnitude) 성분을 엣지영상으로 정의한다.
프레임은 300 x 450 픽셀로 리사 이징 하였다. 비디오에서 아기는 들숨(peathing in)과날숨(peathing out)으로 구성된 호흡을 총 5회 한다. 아기는 팔, 다리나 머리의 움직임은 없으며 호흡에 의한 복부의 매우 미세한 움직임만 육안으로 확인할 수 있다.
본 논문에서는 이 목적을 달성하기 위해 돌연사 감지에 특화된 모션 증폭 기반 알고리즘을 제시하였다. 제안 방법은 [4-6]에서 제안된 방법들보다 실용적인 활용을 위해, 신체의 특정 영역을 모델링하기 위한 영역 검출이나 추적 기술을 필요로 하지 않으며, 자세 변경이나 이불을 덮는 것에 특별한 제한을 두지 않는다. 제안 방법의 일반화 능력을 실험에서 부분적으로 검증하였다.
제안 방법은 [4-6]에서 제안된 방법들보다 실용적인 활용을 위해, 신체의 특정 영역을 모델링하기 위한 영역 검출이나 추적 기술을 필요로 하지 않으며, 자세 변경이나 이불을 덮는 것에 특별한 제한을 두지 않는다. 제안 방법의 일반화 능력을 실험에서 부분적으로 검증하였다. 예를 들어, 아기가 담요를 두른 채로 상반신만 노출되어 있는 수면 비디오에서도 호흡에 의한 미세 모션이 성공적으로 감지되는 것을 확인하였다.
제안하는 비디오 모션 분석 알고리즘은 총 N개의 프레임으로 구성된 비디오 시퀀스를 입력 받고 분석을 수행하여 모션 포함 여부를 출력한다. 그리고 앞서 분석된 비디오 시퀀스와 프레임이 중복되지 않는 다음 순서의 비디오 시퀀스에 대해 동일한 과정을 반복적으로 수행한다.
본 논문에서는 별도의 센서 부착 없이도 수면 중 돌연사 감지를 할 수 있는 새로운 비디오 분석 방법을 제안 한다. 제안하는 비디오 분석 방법은 매우 미세한 움직임도 감지할 수 있도록 모션 증폭 기법을 비디오 시퀀스에 적용한다. 모션 증폭이 적용된 비디오 시퀀스에서 연속 프레임들 간 차이가 거의 없는 경우 모션이 존재하지 않아 돌연사 가능성이 있는 것으로 판단한다.

대상 데이터

실험 비디오 1은 544(세로) x 960(가로) 픽셀의 프레임 사이즈를 가지며, 비디오는 290개의 프레임으로 구성 된다(약 10초 분량). 프레임은 300 x 450 픽셀로 리사 이징 하였다.
실험 비디오 2는 352(세로) x 640(가로) 픽셀의 프레임 사이즈를 가지며, 비디오는 889개의 프레임으로 구성 된다(약 30초 분량). 프레임은 300 x 450 픽셀로 리사이징 하였다.
제안하는 비디오 분석 방법의 효용성을 분석하기 위해, 논문 [7]의 웹사이트[9]에서 제공한 아기의 수면 비디오 두 편(실험 비디오 1 : baby.mp4, 실험 비디오 2 :baby2.mp4)에 대해 실험을 수행하였다.

이론/모형

1) 모션 증폭 : 수면 중에는 팔, 다리나 머리의 움직임이 거의 없고 호흡에 의한 미세한 움직임만 나타나는 경우가 많으며, 비디오 분석으로 수면 상태 여부를 가리기가 어렵다. 본 논문에서는 이 한계점을 극복하기 위해 Eulerian 모션 증폭(motion magnification) 기법[7]을 비디오 시퀀스에 적용한다(예 : Fig. 4). 모션 증폭을 적용함으로써 얻을 수 있는 효과는 다음과 같다.
이것은 비디오의 모션 추출 과정에 있어서 방해요소가 될 수 있다. 이 문제점을 극복하기 위해 모션 증폭에 의한 영상 잡음에 강인한 엣지영상 (Edge image)을 획득한다. 본 논문에서는 소벨 (Sobel) 기울기 연산자[8]를 이용하여 각 픽셀 위치에서의 x방향, y방향의 기울기를 계산하였다.

성능/효과

i7-8700K CPU, 48GB 램 PC에서 매트랩(Matlab)으로 계산시간을 측정한 결과, 실험에 사용된 10초 분량의 비디오 시퀀스에 대해, 모션 증폭에 평균 10.2초, 나머지 과정(엣지영상 획득, 연속 프레임 간 차 영상 획득, 차 영상 이진화, 모션 양 계산)에 평균 1.2초가 소요되었다. 10초 분량의 비디오 시퀀스들에 대해 실시간 모니터링을 수행할 수 있으려면 이론적으로 1.
모션 증폭이 적용된 비디오 시퀀스에서 연속 프레임들 간 차이가 거의 없는 경우 모션이 존재하지 않아 돌연사 가능성이 있는 것으로 판단한다. 수면 중인 아기를 촬영한 두 종류의 비디오에 대해 실험한 결과, 모션 증폭이 호흡에 의한 미세 모션을 나타내는 수면 상태를 돌연사와 구분하는데 유용할 것으로 판단되었다.
Table 1과 2는 모션 증폭 여부(적용/미적용)와 이진화용 문턱값에 따라 달라지는 평균 모션 양을 실험 비디오 1과 2에 대해 각각 나타낸다. 이진화 용 문턱값이 낮아질수록 평균 모션 양이 증가하는 것을 확인할 수 있다. 이것은 Fig.

후속연구

향후에는 조도가 매우 낮은 조건에서 수면 중 돌연사 감지를 위한 적외선 비디오 분석 방법에 대해 연구할 것이다.
계산 시간의 많은 부분을 차지하는 모션 증폭은 C++ 환경에서는 초당 약 45 프레임을 처리 할 수 있어 실시간 처리가 가능하며, GPU 연산을 사용 하는 경우 추가적인 시간 단축을 달성할 수 있을 것으로 분석되었다[7]. 이에 비춰 볼 때, 수행 프로그램의 언어나 환경의 최적화를 통해 제안하는 비디오 분석 방법을 실시간 모니터링에 적용할 수 있을 것으로 판단된다.
모션 증폭을 적용한 뒤에도 연속 프레임 간의 차이가 매우 적은 경우 돌연사의 가능성이 있는 것으로 간주한다. 제안 방법은 신체에 센서 부착을 필요로 하지 않으므로 아기를 키우는 가정이나 독신 가정에서 편리하게 활용될 수 있을 것으로 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	수면 모니터링이 필요한 이유는 무엇인가?	수면 중 돌연사는 급성 심근경색 등의 이유로 노인뿐만 아니라 영아나 20~40대와 같은 비교적 젊은 층에서도 종종 발생하고 있다[1][2]. 이러한 돌연사 위험을 미리 예측하고 방지하기 위해서는 수면 모니터링이 필요하다. 그런데 많은 수면 모니터링 시스템에서는 신체에 센서 부착을 필요로 한다.
	센서 부착 기반 수면 모니터링 시스템의 문제점은 무엇인가?	그리고 눈 움직임, 팔다리 움직임, 턱 근육의 긴장도를 측정하는 전극을 부착하고, 가슴에 심전도 전극을 부착한다[3]. 이러한 센서 부착 기반 수면 모니터링 시스템은 정확한 수면 분석 결과를 얻는데 도움이 되지만 수면 때마다 센서를 부착하는 것은 매우 불편하고 비효율적이다.
	수면 모니터링 시스템 중 수면 다원검사에서는 어떤 센서들을 신체에 부착하는가?	그런데 많은 수면 모니터링 시스템에서는 신체에 센서 부착을 필요로 한다. 예를 들어, 수면 다원검사(night polysomnography)에서는 수면 단계를 측정하는 뇌파전극을 머리에 부착하고, 호흡정도를 측정하기 위해 코, 가슴, 복부에 센서와 벨트를 두른다[3]. 그리고 눈 움직임, 팔다리 움직임, 턱 근육의 긴장도를 측정하는 전극을 부착하고, 가슴에 심전도 전극을 부착한다[3]. 이러한 센서 부착 기반 수면 모니터링 시스템은 정확한 수면 분석 결과를 얻는데 도움이 되지만 수면 때마다 센서를 부착하는 것은 매우 불편하고 비효율적이다.

참고문헌 (9)

N. H. Kim, K. H. Yun, S. K. Oh, "Sudden Cardiac Death," Journal of the Korean Medical Association, Vol.53, No.3, pp.214-227, March, 2010. DOI: https://dx.doi.org/10.5124/jkma.2010.53.3.214

상세보기
조선닷컴(Chosun.com), "현역병 1만명당 49명꼴 수면중 돌연사 위험", 2009, [cited 2018 July 20], Available from: http://news.chosun.com/site/data/html_dir/2009/04/06/2009040601660.html
CHA Bundang Medical Center, "Night Polysomnography," [cited 2018 July 20], Available from: https://bundang.chamc.co.kr/MedicalInfo/ClinicPart.aspx?mcd3031&mcode3028&menuCode351&no3&pcdNM
J. Lee, M. Hong, S. Ryu, "Sleep Monitoring System Using Kinect Sensor", International Journal of Distributed Sensor Networks, Vol.11, No.10, pp.1-9, October, 2015. DOI: https://dx.doi.org/10.1155/2015/875371
C. Yang, G. Cheung, K. Chan, V. Stankovic, "Sleep Monitoring Via Depth Video Compression and Analysis", Proceedings of the 2014 IEEE International Conference on Multimedia and Expo Workshops, July, 2014. DOI: https://dx.doi.org/10.1109/ICMEW.2014.6890645
A. Prochazka, H. Charvatova, O. Vysata, J. Kopal, J. Chambers, "Breathing Analysis Using Thermal and Depth Imaging Camera Video Records", Sensors, Vol.17, No.6, Aritcle ID 1408, Jun, 2017. DOI: https://dx.doi.org/10.3390/s17061408

상세보기
H. Wu, M. Rubinstein, E. Shih, J. Guttag, F. Durand, W. T. Freeman, "Eulerian Video Magnification for Revealing Subtle Change in the World", ACM Transactions on Graphics, Vol.31, No.4, July, 2012. DOI: https://dx.doi.org/10.1145/2185520.2185561
Mathworks, "Imgradient function in Image Processing Toolbox", [cited 2018 July 20], Available from: https://kr.mathworks.com/help/images/ref/imgradient.html
H. Wu, "Eulerian Video Magnification for Revealing Subtle Changes in the World", MIT Computer Science & Artificial Intelligence Lab, 2014. [cited 2018 July 20], Available from: http://people.csail.mit.edu/mrub/evm/#code

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증