[논문]레벨 셋 기반의 깊이 카메라를 이용한 호흡수 측정

오경택; 신증수; 김정민; 유선국

doi:10.9717/kmms.2017.20.9.1491

레벨 셋 기반의 깊이 카메라를 이용한 호흡수 측정
Level Set based Respiration Rate Estimation using Depth Camera 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.20 no.9, 2017년, pp.1491 - 1501

오경택 (Dept. of Medical Engineering, Yonsei University College of Medicine) , 신증수 (Dept. of Anesthesiology and Pain Medicine, Yonsei University College of Medicine) , 김정민 (Dept. of Anesthesiology and Pain Medicine, Yonsei University College of Medicine) , 유선국 (Dept. of Medical Engineering, Yonsei University College of Medicine)

Abstract ▼ AI-Helper

In this paper, we propose a method to measure respiration rate by dividing the respiration related region in depth image using level set method. In the conventional method, the respiration related region was separated using the pre-defined region designated by the user. We separate the respiration related region using level set method combining shape prior knowledge. Median filter and clipping are performed as a preprocessing method for noise reduction in the depth image. As a feasibility test, respiration activity was recorded using depth camera in various environments with arm movements or body movements during breathing. Respiration activity was also measured simultaneously using a chest belt to verify the accuracy of calculated respiration rate. Experimental results show that our proposed method shows good performance for respiration rate estimation in various situation compared with the conventional method.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 깊이 카메라를 이용하여 호흡수를 측정하기 위한 알고리즘을 제안한다. Fig.
깊이 영상의 해상도는 가로 320 픽셀(pixel) 세로 240 픽셀 크기이다. 본 논문에서는 위에 기술한 형태의 데이터를 가지고 영상 처리를 하여 호흡수를 측정한다.
본 논문에서는 호흡 신호에서 몸이나 팔의 움직임에 의한 신호의 노이즈 성분을 줄이고자 C. Arrieta[9]가 제안한 방법인 레벨 셋 방법에 사전 형상정보(shape prior knowledge)를 결합한 방법을 깊이 영상에 적용시켜 깊이 영상에서 호흡에 의해 변하는 영역을 분할하여 호흡 신호를 계산하였다. 알고리즘의 유효성을 평가하기 위해 호흡을 하면서 몸을 움직인 경우, 팔을 움직인 경우, 그리고 먼 거리에서 호흡을 하는 것을 측정한 경우에 대해서 호흡 신호를 구하고 호흡수를 계산하였다.
본 논문은 기존 방법에서 호흡과 관련되지 않은 움직임이 호흡 관련 영역으로 분리가 되어 호흡 신호에 노이즈 성분이 섞이는 문제를 해결하고자하였다. 따라서 호흡 관련 영역에 호흡과 관련되지 않은 움직임이 포함되는 경우인 몸 움직임, 팔 움직임이 있는 경우 그리고 먼 거리에서 호흡을 측정한 경우를 호흡수측정을 어렵게 하는 요인으로 고려하여 실험하였다.

제안 방법

4.3 호흡 신호 비교 분석 본 논문에서 제안한 방법이 다양한 환경에서 기존방법보다 호흡 신호가 잘 계산된다는 것을 보이기 위해서 팔 움직임이 있는 경우, 몸 움직임이 있는 경우, 그리고 먼 거리에서 측정한 경우에 대해서 각각 세 번씩 사람이 호흡하는 것을 촬영하고 호흡 신호를 계산하였다. 피험자는 앉은 자세에서 안정된 상태로2분 동안 호흡을 하고 각 경우에 해당하는 움직임을 하도록 지시하였다.
호흡 신호가 노이즈 성분 없이 호흡에 관련된 성분만을 가지고 있다면 호흡수가 정확히 계산될 것이다. 4.3에서 언급한 실험 환경으로 각각의 경우에 대하여 3번씩 호흡하는 것을 측정하고 제안한 방법으로 호흡수를 계산하였다. 호흡 신호가 심하게 손상된 Chan과 Vese의 방법을 제외하고 제안한 방법과 기존 방법, 그리고 체스트 벨트에서 얻은 호흡신호에서 호흡수를 계산하여 서로를 비교하였다.
깊이 카메라에서 사람이 호흡하는 것을 촬영한 연속적인 깊이 영상을 가지고 전처리 과정을 거친다. 그리고 깊이 영상에서 레벨 셋 분할 기법을 이용하여 호흡 관련 영역을 분할한다. 그리고 분할한 호흡 관련 영역의 깊이 값의 평균을 계산해 호흡 신호를 얻는다.
Canny의 에지 검출 방법은 복부와 하체의 경계 부분에서 깊이 값의 차이가 거의 존재하지 않아 사전 형상정보의 위치가 하체 부분으로 이동하는 것을 막기 위하여 사용한다. 깊이 영상에서 에지 정보를 부각시키고 사전 형상정보를 결합한 레벨 셋 방법을 적용시켜 호흡 관련 영역을 분리한다. 수식 (3)에서 사전 형상정보 항에 있는 가중치 a는 분할 결과가 좋은 150에서 300 사이의 값을 적절한 가중치로 설정해 주었다.
깊이 카메라를 이용한 호흡수 측정 방법은 사람이 호흡을 할 때 변하는 흉벽(chest wall)과 카메라 사이의 거리를 측정하는 것을 기초로 한다[8]. 깊이 영상에서 호흡에 의해서 변화가 일어나는 영역을 분리하고 분리된 영역 내의 깊이 값의 평균을 계산해 호흡 신호를 측정한다. 호흡수는 호흡 신호에서 피크(peak) 값을 찾고 그 개수를 세어 호흡수를 계산한다.
본 논문은 기존 방법에서 호흡과 관련되지 않은 움직임이 호흡 관련 영역으로 분리가 되어 호흡 신호에 노이즈 성분이 섞이는 문제를 해결하고자하였다. 따라서 호흡 관련 영역에 호흡과 관련되지 않은 움직임이 포함되는 경우인 몸 움직임, 팔 움직임이 있는 경우 그리고 먼 거리에서 호흡을 측정한 경우를 호흡수측정을 어렵게 하는 요인으로 고려하여 실험하였다.
알고리즘의 유효성을 평가하기 위해 호흡을 하면서 몸을 움직인 경우, 팔을 움직인 경우, 그리고 먼 거리에서 호흡을 하는 것을 측정한 경우에 대해서 호흡 신호를 구하고 호흡수를 계산하였다. 또한 계산한 호흡 신호가 실제 호흡 신호와 맞는지 비교하기 위하여 신체에 접촉하여 호흡 신호를 측정하는 장치인 체스트 벨트(chest belt)를 이용해 동시에 호흡 신호를 측정하였다. 제안한 알고리즘을 사용해 계산한 호흡 신호를 기존 연구 방법에서 사용한 방법과 동적 윤곽선 모델을 사용한 방법을 이용해 계산한 호흡 신호와 비교하였다.
본 논문에서는 사전 형상정보를 사용한 레벨 셋 방법을 이용해 깊이 영상에서 호흡 관련 영역을 분리하고 호흡수를 계산하였다. 호흡수는 기존에 사용하던 방법과 체스트 벨트에서 계산한 호흡수와 비교하였다.
Arrieta[9]가 제안한 방법인 레벨 셋 방법에 사전 형상정보(shape prior knowledge)를 결합한 방법을 깊이 영상에 적용시켜 깊이 영상에서 호흡에 의해 변하는 영역을 분할하여 호흡 신호를 계산하였다. 알고리즘의 유효성을 평가하기 위해 호흡을 하면서 몸을 움직인 경우, 팔을 움직인 경우, 그리고 먼 거리에서 호흡을 하는 것을 측정한 경우에 대해서 호흡 신호를 구하고 호흡수를 계산하였다. 또한 계산한 호흡 신호가 실제 호흡 신호와 맞는지 비교하기 위하여 신체에 접촉하여 호흡 신호를 측정하는 장치인 체스트 벨트(chest belt)를 이용해 동시에 호흡 신호를 측정하였다.
분할한 영역과 형상정보의 형태를 비교할 때 서로 형태가 같아도 크기와 위치 그리고 회전이 되어있을 경우에 제대로 된 비교가 되지 않는다. 이를 위해서 분할 영역의 고유 벡터(eigen vector)와 고유 값(eigen value)을 계산하여 분할 영역을 정규화된(normalized) 영역으로 변환시켜준 후 형상정보와 형태를 비교한다. 수식(5)에서 Q와 Λ는 각각 분할 영역의 고유 벡터와 고유값이고 M은 분할 영역의 무게 중심이다.
호흡수는 기존에 사용하던 방법과 체스트 벨트에서 계산한 호흡수와 비교하였다. 제안한 방법의 효용성을 평가하기 위하여 팔의 움직임이나 몸의 움직임이 있는 경우 그리고 먼 거리에서 호흡을 측정한 경우에 대하여 실험을 진행하였다. 그 결과 제안한 알고리즘의 호흡수 평균 오차는 0.
3 호흡 신호 비교 분석 본 논문에서 제안한 방법이 다양한 환경에서 기존방법보다 호흡 신호가 잘 계산된다는 것을 보이기 위해서 팔 움직임이 있는 경우, 몸 움직임이 있는 경우, 그리고 먼 거리에서 측정한 경우에 대해서 각각 세 번씩 사람이 호흡하는 것을 촬영하고 호흡 신호를 계산하였다. 피험자는 앉은 자세에서 안정된 상태로2분 동안 호흡을 하고 각 경우에 해당하는 움직임을 하도록 지시하였다. 팔 움직임이 있는 경우와 몸 움직임이 있는 경우는 카메라와 피험자의 거리를 40∼50 cm로 하였고 먼 거리의 경우 100∼120 cm로 하였다.
호흡 관련 영역을 분할하기 위해 레벨 셋 방법을 사용하였다. Fig.
3에서 언급한 실험 환경으로 각각의 경우에 대하여 3번씩 호흡하는 것을 측정하고 제안한 방법으로 호흡수를 계산하였다. 호흡 신호가 심하게 손상된 Chan과 Vese의 방법을 제외하고 제안한 방법과 기존 방법, 그리고 체스트 벨트에서 얻은 호흡신호에서 호흡수를 계산하여 서로를 비교하였다. Table 1은 그 결과를 표로 정리한 것이다.
호흡 신호에서 피크를 검출할 때, 오류 피크로 분류하는 기준을 피크 사이의 시간간격이 0.5초 이하인 피크로 설정하였다. 일반 성인은 정상 호흡 시 분당 12∼16회 숨을 쉰다[17].
본 논문에서는 사전 형상정보를 사용한 레벨 셋 방법을 이용해 깊이 영상에서 호흡 관련 영역을 분리하고 호흡수를 계산하였다. 호흡수는 기존에 사용하던 방법과 체스트 벨트에서 계산한 호흡수와 비교하였다. 제안한 방법의 효용성을 평가하기 위하여 팔의 움직임이나 몸의 움직임이 있는 경우 그리고 먼 거리에서 호흡을 측정한 경우에 대하여 실험을 진행하였다.

대상 데이터

본 논문에서 사용한 깊이 카메라는 Creative™[14]에서 제작한 Creative Sen3D이다.

데이터처리

또한 계산한 호흡 신호가 실제 호흡 신호와 맞는지 비교하기 위하여 신체에 접촉하여 호흡 신호를 측정하는 장치인 체스트 벨트(chest belt)를 이용해 동시에 호흡 신호를 측정하였다. 제안한 알고리즘을 사용해 계산한 호흡 신호를 기존 연구 방법에서 사용한 방법과 동적 윤곽선 모델을 사용한 방법을 이용해 계산한 호흡 신호와 비교하였다. 실험 결과, 제안한 방법이 기존의 방법 보다 몸의 움직임이나 팔의 움직임이 있는 상황에서 호흡수를 정확히 계산함을 확인하였다.

이론/모형

기존의 레벨 셋 방법에서 발생하는 문제를 해결하기 위해 사전 형상정보와 Canny의 에지 검출 방법[15]을 사용한다. 사전 형상 정보는 분할하고자 하는 대략적인 분할 영역 모습의 정보를 주는 것으로 본 논문에서는 사용자가 직접 상체 영역을 분할한 영역을 사전 형상정보로 사용한다.
본 논문에서는 깊이 영상에서 호흡 관련 영역을 분할하는 방법으로 C. Arrieta가 제안한 Chan과 Vese의 방법에 사전 형상 정보를 결합한 레벨 셋 방법을 사용하였다. 레벨 셋 방법은 여러 분야에서 영상 분할 방법으로 많이 사용되고 이 중에 Chan과 Vese의 방법은 레벨 셋을 이용한 방법 중 표준으로 사용될 만큼 입증된 방법 중 하나이다[16].
본 논문에서는 동적 윤곽선 모델 중 영역 기반(region based)의 레벨 셋 방법으로 Chan & Vese[13]의 방법을 사용하였다.
사전 형상정보를 결합한 레벨 셋 방법은 수식 (3) 에서 제시한 에너지 함수가 최소가 되는 지점으로 분할 곡선을 변화시킨다. 에너지 함수를 최소로 하는 속도함수는 C. Arrieta가 제시한 수식(6)을 사용하였다. 수식 (6)에서 사용된 D(Φ,Φ₀)와 Q, Λ, M에 대한 미분 방정식은 수식 (7), (8), (9), (10)과 같이 정의된다.

성능/효과

레벨 셋 방법은 여러 분야에서 영상 분할 방법으로 많이 사용되고 이 중에 Chan과 Vese의 방법은 레벨 셋을 이용한 방법 중 표준으로 사용될 만큼 입증된 방법 중 하나이다[16]. Chan과 Vese의 방법과 사전 형상정보를 결합한 방법을 깊이 영상에 적용하여 호흡 관련 영역을 분리해 호흡 신호를 계산한 결과 기존에 사용하던 방법보다 호흡과 상관없는 노이즈 성분이 포함되지 않은 호흡 신호를 얻을 수 있었다.
제안한 방법의 효용성을 평가하기 위하여 팔의 움직임이나 몸의 움직임이 있는 경우 그리고 먼 거리에서 호흡을 측정한 경우에 대하여 실험을 진행하였다. 그 결과 제안한 알고리즘의 호흡수 평균 오차는 0.33이고 기존 방법의 호흡수 평균 오차는 2.33으로 다양한 환경에서 기존 방법보다 제안한 방법이 호흡수를 더 잘 측정할 수 있음을 확인하였다.
반면에 기존 연구에서 사용하는 미리 정의된 영역을 이용해 호흡수를 계산하였을 때 제안한 방법보다 오차가 많이 발생함을 확인하였다. 먼 거리에서 호흡을 측정한 경우 제안한 방법에서도 오은 오차로 호흡수를 측정할 수 있음을 확인하였다.
Table 1에서 몸의 움직임이나 팔의 움직임이 있는 경우 본 논문에서 제안한 방법은 체스트 벨트와 비교해 보았을 때 오차가 발생하지 않았다. 반면에 기존 연구에서 사용하는 미리 정의된 영역을 이용해 호흡수를 계산하였을 때 제안한 방법보다 오차가 많이 발생함을 확인하였다. 먼 거리에서 호흡을 측정한 경우 제안한 방법에서도 오은 오차로 호흡수를 측정할 수 있음을 확인하였다.
제안한 알고리즘을 사용해 계산한 호흡 신호를 기존 연구 방법에서 사용한 방법과 동적 윤곽선 모델을 사용한 방법을 이용해 계산한 호흡 신호와 비교하였다. 실험 결과, 제안한 방법이 기존의 방법 보다 몸의 움직임이나 팔의 움직임이 있는 상황에서 호흡수를 정확히 계산함을 확인하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	비접촉적인 방식으로 호흡수를 측정하는 방법 중 깊이 카메라를 이용한 방법의 장점은 무엇인가?	센싱 기술의 발달로 접촉 및 비접촉적인 방식으로 호흡수를 측정하는 연구가 진행되었다[4-7]. 비접촉적인 방식으로 호흡수를 측정하는 방법 중 깊이 카메라를 이용한 방법은 가격이 저렴하고 설치가 편리해 다양한 환경에서 호흡수를 측정할 수 있다는 장점이 있다. 깊이 카메라를 이용한 호흡수 측정 방법은 사람이 호흡을 할 때 변하는 흉벽(chest wall)과 카메라 사이의 거리를 측정하는 것을 기초로 한다[8].
	호흡시 호흡에 연관된 근육들의 변화는 어떠한가?	호흡에 연관된 근육은 횡격막(diaphragm), 늑간근(intercostal), 그리고 호흡을 보조하는 근육들(accessory muscles of respiration)이 있다[12]. 호흡 과정 중 흡기의 시작 시점에 흉강은 횡격막과 늑간근의 수축에 의해서 커진다. 돔 모양의 횡격막이 수축될 때 그 모양이 평평하게 되고 늑간근은 갈비뼈를 들어 올려 흉곽의 부피를 팽창시킨다. 이때 횡격막이 수축되어평평하게 되면서 복강의 장기들이 일부 밀려나게 된다. 밀려난 장기들은 등에 있는 척추와 아래쪽의 골반뼈가 버티고 있으므로 옆구리와 배 쪽으로 밀려나 복부가 부풀어 오르게 된다. 반대로 호기에는 늑간근이 이완하여 늑골이 내려가고 횡격막도 이완하여 본래대로 올라가 흉강의 부피가 줄어들고 횡격막의 수축에 의해 부풀어 올라있던 복부도 원래대로 돌아오게 된다. 호흡 과정에서 이러한 부피의 변화는 깊이 카메라에서 관측이 가능할만한 변화를 보인다.
	호흡수로 알 수 있는 것은 무엇인가?	호흡수는 신체의 건강 상태에 대한 전반적인 정보를 줄 수 있는 중요한 활력 징후이다[1]. 또한 호흡수는 일상에서 받는 스트레스나 신경 및 수면 장애를 진단하는 중요한 지표 중 하나로 호흡수를 측정하는 것은 중요하다[2-3].

참고문헌 (17)

F. Scopesi, M.G. Calevo, P. Rolfe, C. Arioni, C. Traggiai, F.M. Risso, et al., "Volume Targeted Ventilation (Volume Guarantee) in the Weaning Phase of Premature Newborn Infants," Pediatric Pulmonology, Vol. 42, Issue 10, pp. 864-870, 2007.

상세보기
H. Miwa and K. Sakai, "Development of Heart Rate and Respiration Rate Measurement System Using Body-sound," Proceedings of the 9th International Conference on Information Technology and Applications on Biomedicine, pp. 2168-2194, 2009.
Y.Y. Nam, Y.S. Kim, and J.S. Lee, “Sleep Monitoring Based on a Tri-axial Accelerometer and a Pressure Sensor,” Sensors, Vol. 16, No. 5, pp. 750-764, 2016.

상세보기
M.C. Yu, J.L. Liou, S.W. Kuo, S.M. Lee, and Y.P. Hung, "Noncontact Respiratory Measurement of Volume Change Using Depth Camera," Proceeding of Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 2371-2374, 2012.
A. Prochazka, M. Schatz, and M. Valis, “Mocrosoft Kinect Visual and Depth Sensors for Breathing and Heart Rate Analysis,” Sensors, Vol. 16, No. 7, pp. 996-1007, 2016.
F. Benetazzo, A. Freddi, A. Monteriu, and S. Longhi, “Respiratory Rate Detection Algorithm Based On RGB-D Camera: Theoretical Background and Experimental Results,” Healthcare Technology Letters, Vol. 1, No. 3, pp. 81-86, 2014.

상세보기
M.S. Park and J.G. Kim, “Respiration Detection Method Using the PPG Signal Pattern,” Journal of Korea Multimedia Society, Vol. 19, No. 11, pp. 1862-1870, 2016.

원문보기 상세보기
D.T. Tin, D. Anh, H. Canh, T. Khoa, N.D. Huy, and M.V. Quan, "Measuring Human Respiration Rate using Depth Frames of Primesense Camera," International Conference on Advan ced Technologies for Communications, pp. 411-416, 2015.
C. Arrieta, C. Sing-Long, S. Uribe, M.E. Andia, P.Irarrazaval, and C. Tejos, "Level Set Segmentation with Shape Prior Knowledge Using Intrinsic Rotation, Translation and Scaling Alignment," Proceeding of IEEE 12th International Symposium on Biomedical Imaging, pp. 1568-1571, 2015.
How to Breath with Your Diaphragm, http://choirly.com/how-to-breathe-with-your-diaphragm (accessed Apr., 18, 2017).
Epigastrium, https://en.wikipedia.org/wiki/Epigastrium (accessed Apr., 18, 2017).
Muscles of Respiration, https://en.wikipedia.org/wiki/Muscles_of_respiration (accessed Apr., 18, 2017).
T.F. Chan and L.A. Vese, “Active Contours without Edges,” IEEE Transactions on Image Processing, Vol. 10, No. 2, pp. 266-277, 2001.

상세보기
CREATIVE SENZ3D, http://asia.creative.com/p/web-cameras/creative-senz3d (accessed Apr., 15, 2017).
J. Canny, “A Computational Approach To Edge Detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 8, No. 6, pp. 679-698, 1986.
M.E. Lee, W.H. Cho, S.W. Kim, Y.J. Chen, and S.H. Kim, “Performance Comparison Between New Level Set Method and Previous Methods for Volume Image Segmentation,” Korea Information Processing Society, Vol. 188, No. 3, pp. 131-138, 2011.
Pediatric Vital Signs Normal Ranges, https://iowaheadneckprotocols.oto.uiowa.edu/display/protocols/Pediatric+Vital+Signs+Normal+Ranges (accessed Apr., 15, 2017).

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증