[논문]관절질환 관리를 위한 Mask R-CNN을 이용한 모션 모니터링

박성수; 백지원; 조선문; 정경용

doi:10.15207/jkcs.2019.10.3.001

관절질환 관리를 위한 Mask R-CNN을 이용한 모션 모니터링
Motion Monitoring using Mask R-CNN for Articulation Disease Management 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.10 no.3, 2019년, pp.1 - 6

박성수 (경기대학교 컴퓨터과학과) , 백지원 (경기대학교 컴퓨터과학과) , 조선문 (배재대학교 교양학부) , 정경용 (경기대학교 컴퓨터공학부)

초록
AI-Helper

현대사회는 생활과 개성이 중요시 되면서 개인화된 생활습관 및 패턴이 생기고 있으며, 잘못된 생활습관으로 인해 관절질환자가 증가하고 있다. 또한 1인 가구가 점점 증가하면서 응급상황이 발생할 경우 알맞은 시간에 응급처치를 받지 못하는 경우가 생긴다. 건강과 질병관리에 필요한 개인의 상태에 따른 정확한 분석을 통해 스스로 관리할 수 있는 정보와 응급상황에 맞는 케어가 필요하다. 딥러닝 중에서 CNN은 데이터의 분류 및 예측에 효율적으로 사용된다. CNN은 데이터 특징에 따라 정확도 및 처리 속도에 차이를 보인다. 따라서 실시간 헬스케어를 위해 처리속도 향상과 정확도 개선이 필요하다. 본 논문에서는 관절질환 관리를 위한 Mask R-CNN을 이용한 모션 모니터링을 제안한다. 제안하는 방법은 Mask R-CNN을 이용하여 CNN의 정확도와 처리 속도를 개선하는 방법이다. 사용자의 모션을 신경망에 학습시킨 후 사용자의 모션이 학습된 데이터와 차이가 있을 경우 사용자에게 관리법을 피드백 해주고 보호자에게 응급상황을 알릴 수 있으며 상황에 맞는 적절한 조치를 취할 수 있다.

Abstract ▼ AI-Helper

In modern society, lifestyle and individuality are important, and personalized lifestyle and patterns are emerging. The number of people with articulation diseases is increasing due to wrong living habits. In addition, as the number of households increases, there is a case where emergency care is not received at the appropriate time. We need information that can be managed by ourselves through accurate analysis according to the individual's condition for health and disease management, and care appropriate to the emergency situation. It is effectively used for classification and prediction of data using CNN in deep learning. CNN differs in accuracy and processing time according to the data features. Therefore, it is necessary to improve processing speed and accuracy for real-time healthcare. In this paper, we propose motion monitoring using Mask R-CNN for articulation disease management. The proposed method uses Mask R-CNN which is superior in accuracy and processing time than CNN. After the user's motion is learned in the neural network, if the user's motion is different from the learned data, the control method can be fed back to the user, the emergency situation can be informed to the guardian, and appropriate methods can be taken according to the situation.

주제어

표/그림 (5)

그림 Fig. 1. Faster R-CNN structure
그림 Fig. 2. Video Data Preprocess diagram
그림 Fig. 3. Mask R-CNN based monitoring process
그림 Fig. 4. Motion analysis according to user action
표 Table 1. Result of performance evaluation according to CNN type for image analysis

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 관절질환 관리를 위한 Mask R-CNN을 이용한 모니터링을 제안한다. 제안하는 방법은 사용자가 스마트 디바이스를 이용하여 개인의 모션이 포함된 영상을 헬스 플랫폼에 전송한다.
따라서 정확도와 속도를 향상시킬 수 있다. 본 논문에서는 관절질환 관리를 위한 Mask R-CNN을 이용한 모션 모니터링을 개발하였다. 개발한 방법은 사용자가 스마트 디바이스, 헬스 디바이스 등을 이용하여 개인의 활동 모션을 헬스 플랫폼에 전송한다.
J He[7]은 감시용 비디오에서 FasterR-CNN 기반의 염소 농장을 탐지하는 방법을 제시하였다. 이는 효율성과 정확도가 낮아 감시용 비디오에 익숙하지 않는 Faster R-CNN의 단점을 보완하기 위해 영상에서 주요 프레임 추출, 전경 분할, 지역 제한 등을 포함한 경계를 선택함으로서 효율성과 정확도를 향상시킬 수 있는 알고리즘을 개발하였다. Fig.

가설 설정

사용자 개인에 맞춤 학습이 완료되면 이후에는 학습과 테스트를 동시에 진행한다. 테스트 진행 중에 오버피팅된 LSTM에서 평소와 다른 패턴으로 인식할 경우 해당 사용자는 문제가 있는 것으로 가정한다. 예를 들어, 평소에 사용자의 걷는 행동을 주로 학습하였다가 기존 학습된 데이터와 30% 이하로 다른 모션을 보일 경우 경고 메시지를 보내며, 30%~50% 이하로 다른 모션을 보일 경우 잘못된 자세를 바로 잡아주는 피드백 역할을 한다.

제안 방법

CNN 종류에 따른 성능평가는 1080p, 30fps, 5초 분량의 4개의 동영상으로 성능 평가를 진행하였다. 알고리즘당 각 동영상별 10회 테스트를 진행하여 나타낸 평균 수치로 평가 결과 R-CNN의 정확도는 37%, Fast R-CNN은 48 %, Faster R-CNN 51%, Mask R-CNN은 95%로 Mask R-CNN을 이용한 경우, 정확도가 가장 높게 평가되었다.
전처리된 데이터는 헬스 플랫폼에서 Mask R-CNN 기반 모션 분석 플랫폼으로 사용자 모션 분석을 요청한다. Mask R-CNN에서 사용자의 모션에 따라 관절의 움직임을 학습하고 분석한다. 분석한 결과를 헬스 플랫폼에 재전송하게 되며 학습된 데이터와 사용자의 모션이 평소와 다른 관절상태가 발견될 경우 일치율에 따라 사용자에게 경고, 잘못된 자세를 바로 잡아주는 피드백과 보호자에게 응급상황을 알림을 제공할 수 있는 서비스를 제공한다.
본 논문에서는 관절질환 관리를 위한 Mask R-CNN을 이용한 모션 모니터링을 개발하였다. 개발한 방법은 사용자가 스마트 디바이스, 헬스 디바이스 등을 이용하여 개인의 활동 모션을 헬스 플랫폼에 전송한다. 전송받은 모션 데이터는 OepnCV를 통해 영상을 프레임 단위로 분리하여 이미지로 생성한다.
각 관절들의 각도를 프레임단위로 수집하여 동영상 속 사람의 모션 데이터 셋으로 구성한다. 구성된 모션 데이터 셋을 기반으로 사용자가 자주 사용하는 관절의 모션에 대한 패턴을 분석한다.
예를 들어, 평소에 사용자의 걷는 행동을 주로 학습하였다가 기존 학습된 데이터와 30% 이하로 다른 모션을 보일 경우 경고 메시지를 보내며, 30%~50% 이하로 다른 모션을 보일 경우 잘못된 자세를 바로 잡아주는 피드백 역할을 한다. 또GKS 50%~100% 다른 모션 패턴을 보일 경우에 이상 상황으로 분석되어 기존 입력된 보호자에게 응급상황을 알리며 상황에 알맞은 응급처치를 진행할 수 있도록 한다. Fig.
다른 데이터를 학습시킬 경우 정확도가 급격히 감소하는 문제점이 있다. 본 논문에서는 개인 맞춤형 모니터링을 위해 오버피팅의 문제점을 역 이용하여 학습시의 오버피팅 된 데이터를 사용자의 정상적인 상태로 판단하는데 사용한다. 사용자 개인에 맞춤 학습이 완료되면 이후에는 학습과 테스트를 동시에 진행한다.
딥러닝은 지도학습과 비지도 학습이 있다. 본 논문에서는 지도학습을 기반으로 데이터를 분류하여 예측한다. Recurrent Neural Network(RNN)는 유전자, 음성신호 등의 패턴인식 분야에 활용되고 있다[5].
4는 사용자가 서 있는 상태에서 앉았다가 일어나는 모션을 연속 프레임으로 나타낸다. 연속 프레임에서 목 어깨, 팔, 다리 골격을 분석하여 나타낸다. 모션의 패턴을 학습하게 되며 앉았다가 일어나는 동작에서 사용자는 무릎과 팔꿈치에 변화가 있다.
패턴 분석에는 RNN 종류 중 Long Short-Term Memory models(LSTM)[13]을 이용한다. 우선 일반적인 사람의 움직임을 기반으로 하여 LSTM을 통해 학습한다. 사람의 움직임으로 식별할 수 있다면 사용자 개인에 맞추어 오버피팅이 되도록 학습한다.
학습은 R-CNN 중에서 가장 효율이 좋은 Mask R-CNN을 사용하여 이미지 데이터 셋에서 사람이 존재하는 범위를 픽셀 단위로 인식한다. 인식된 사람의 골격은 휴먼노이드 모델에 사용되는 각 3개의 팔골격, 각 3개의 다리골격, 골반, 몸통, 어깨, 목으로 16개의 골격의 위치를 확인한다. Mask R-CNN 키포인트 학습을 통하여 골격 사이의 관절 위치를 정확히 표시하도록 한다.
이는 기계학습이 가능하도록 다차원 배열의 텐서로 변환하여 텐서플로우에서 데이터의 흐름을 연산한다. 전처리된 데이터는 헬스 플랫폼에서 Mask R-CNN 기반 모션 분석 플랫폼으로 사용자 모션 분석을 요청한다. Mask R-CNN에서 사용자의 모션에 따라 관절의 움직임을 학습하고 분석한다.
본 논문에서는 관절질환 관리를 위한 Mask R-CNN을 이용한 모니터링을 제안한다. 제안하는 방법은 사용자가 스마트 디바이스를 이용하여 개인의 모션이 포함된 영상을 헬스 플랫폼에 전송한다. 헬스 플랫폼에서 MaskR-CNN기반 모션 분석 플랫폼으로 사용자 모션 분석을 요청한다.
1에서 동영상을 프레임으로 분할하여 컨볼루션레이어를 통과하게 되면 특징 맵을 추출할 수 있다. 추출한 특징 맵에서 정확도를 더 향상시키기 위해 Region proposal 단계를 CNN에 적용시켜 객체가 존재할 것으로 예상되는 위치를 매핑한다.
이미지 데이터 셋은 라벨링 된 30만개의 학습 이미지와 20만개의 테스트 이미지를 사용할 수 있다. 학습은 R-CNN 중에서 가장 효율이 좋은 Mask R-CNN을 사용하여 이미지 데이터 셋에서 사람이 존재하는 범위를 픽셀 단위로 인식한다. 인식된 사람의 골격은 휴먼노이드 모델에 사용되는 각 3개의 팔골격, 각 3개의 다리골격, 골반, 몸통, 어깨, 목으로 16개의 골격의 위치를 확인한다.
제안하는 방법은 사용자가 스마트 디바이스를 이용하여 개인의 모션이 포함된 영상을 헬스 플랫폼에 전송한다. 헬스 플랫폼에서 MaskR-CNN기반 모션 분석 플랫폼으로 사용자 모션 분석을 요청한다. Mask R-CNN에서는 전송받은 사용자의 모션을 분석한다.

대상 데이터

COCO(Common Objects in Context) 데이터 셋을 이용하여 트레이닝을 마친 Mask R-CNN의 사람 인식 능력은 높은 정확도를 보여준다. 본 논문에서 성능평가에 사용된 동영상은 FHD(Full High Definition)(1920x1080)의 해상도이다. 한 명의 사람이 화면상에 존재하는 경우 99.
신경망에 데이터를 학습시키기 위해 COCO(Common Objects in Context) 데이터 셋[12]을 이용하여 사람을 구분할 수 있도록 설정한다. 이미지 데이터 셋은 라벨링 된 30만개의 학습 이미지와 20만개의 테스트 이미지를 사용할 수 있다.
신경망에 데이터를 학습시키기 위해 COCO(Common Objects in Context) 데이터 셋[12]을 이용하여 사람을 구분할 수 있도록 설정한다. 이미지 데이터 셋은 라벨링 된 30만개의 학습 이미지와 20만개의 테스트 이미지를 사용할 수 있다. 학습은 R-CNN 중에서 가장 효율이 좋은 Mask R-CNN을 사용하여 이미지 데이터 셋에서 사람이 존재하는 범위를 픽셀 단위로 인식한다.

이론/모형

마지막에는 정확도를 높이기 위한 선형회귀 모델을 사용한다. Fast R-CNN은 이미지를 분류할 때마다 선택탐색, SVM, 선형회귀 모델의 3가지를 사용하는 비용문제를 해결하기 위해 RolPool 개념을 도입하였다. 선택탐색 알고리즘에서 탐색한 이미지의 해당 영역을 추출하여 Pooling하며 CNN에 소요되는 시간을단축시킬 수 있다.
찾아낸 이미지는 CNN의 입력 데이터이며 CNN의 마지막 단계에서 SVM을 사용하여 이미지를 분류하게 된다. 마지막에는 정확도를 높이기 위한 선형회귀 모델을 사용한다. Fast R-CNN은 이미지를 분류할 때마다 선택탐색, SVM, 선형회귀 모델의 3가지를 사용하는 비용문제를 해결하기 위해 RolPool 개념을 도입하였다.
패턴 분석에는 RNN 종류 중 Long Short-Term Memory models(LSTM)[13]을 이용한다. 우선 일반적인 사람의 움직임을 기반으로 하여 LSTM을 통해 학습한다.

성능/효과

Mask R-CNN에서 사용자의 모션에 따라 관절의 움직임을 학습하고 분석한다. 분석한 결과를 헬스 플랫폼에 재전송하게 되며 학습된 데이터와 사용자의 모션이 평소와 다른 관절상태가 발견될 경우 일치율에 따라 사용자에게 경고, 잘못된 자세를 바로 잡아주는 피드백과 보호자에게 응급상황을 알림을 제공할 수 있는 서비스를 제공한다.
CNN 종류에 따른 성능평가는 1080p, 30fps, 5초 분량의 4개의 동영상으로 성능 평가를 진행하였다. 알고리즘당 각 동영상별 10회 테스트를 진행하여 나타낸 평균 수치로 평가 결과 R-CNN의 정확도는 37%, Fast R-CNN은 48 %, Faster R-CNN 51%, Mask R-CNN은 95%로 Mask R-CNN을 이용한 경우, 정확도가 가장 높게 평가되었다. 또한 이미지 한 개당 테스트 소요에 시간이 R-CNN 50sec, Fast R-CNN 2sec, Faster R-CNN0.
이미지 분석 방법에는 R-CNN, Fast R-CNN,Faster R-CNN, Mask R-CNN이 있다. 이미지 분석 방법에 따른 성능평가에서는 Mask R-CNN의 방법이 이미지 분석 속도와 정확도에서 가장 성능이 우수하게 평가되었다. Mask R-CNN은 방법은 픽셀 단위로 이미지 영역을 자세하게 탐색한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Fast R-CNN이 RolPool 개념을 도입한 이유는 무엇인가?	마지막에는 정확도를 높이기 위한 선형회귀 모델을 사용한다. Fast R-CNN은 이미지를 분류할 때마다 선택탐색, SVM, 선형회귀 모델의 3가지를 사용하는 비용문제를 해결하기 위해 RolPool 개념을 도입하였다. 선택탐색 알고리즘에서 탐색한 이미지의 해당 영역을 추출하여 Pooling하며 CNN에 소요되는 시간을단축시킬 수 있다.
	Mask R-CNN이 정확도와 속도를 향상시킬 수 있는 이유는 무엇인가?	Region Proposal Network는 이미지 중에서 객체가 존재할 것으로 예상되는 위치를 매핑한다. Mask R-CNN은 방법은 다른 방법과는 다르게 박스 단위로 이미지 영역을 탐색하는 것이 아니라 픽셀 단위로 이미지 영역을 탐색한다. 이는 정확도와 속도를 향상 시킬 수 있다[8].
	CNN이 많이 사용되는 분야는 무엇인가?	딥러닝 기술이 점차 발전하고 있으며 CNN에서는 이미지분류, 영상인식 등의 분야에서 많이 사용된다. CNN은 특징을 추출하여 효과적인 분류가 가능하다.

참고문헌 (14)

Korea Centers for Disease Control and Prevention, http://www.cdc.go.kr/.
J. K. Kim, J. H. Kim, D. K. Park & Y. H. Lee. (2012). U-Health Platform based Health Management Service Model using Context Information. Journal of Digital Convergence, 10(8), 185-192.
H. Yoo & K. Chung. (2018). Mining-based Lifecare Recommendation using Peer-to-Peer Dataset and Adaptive Decision Feedback. Peer-to-Peer Networking and Applications, 11(6), 1309-1320.

상세보기
A. Karpathy, G. Toderici, S. Shetty, T. Leung, R. Sukthankar. F. F Li. (2014) Large-scale Video Classification with Convolutional Neural Networks. The IEEE Conference on Computer Vision and Pattern Recognition, 1725-1732.
X. B Zhang, F. C Chen, R. Y Huaug, (2018). A Combination of RNN and CNN for Attention-based Relation Classification, Procedia Computer Science, 131, 911-917.

상세보기
H. C. Moon, A. N Yang, J. G. Kim, (2018). CNN-Based Hand Gesture Recognition for Wearable Applications, The Korean Society Of Broad Engineers, 23(2). 246-252.
D. Wang, J. L. Tang, W. J. Zhu, H. Li, J. Xin, D. J. He, (2018). Dairy goat detection based on Faster R-CNN from surveillance video, Computers and Electronics in Agriculture, 154, 443-449.

상세보기
X. S. Wei, C. W Xie, J.X. Wu, C.H. Shen, (2018). Mask-CNN: Localizing parts and selecting descriptors for fine-grained bird species categorization, Pattern Recognition, 76. 704-714.

상세보기
X. B Peng, P. Abbeel, S. Levine, M. V. Panne, (2018). DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills, arXiv preprint arXiv:1804.02717.
OpenCV, https://opencv.org/.
TensorFlow, https://www.tensorflow.org/.
M. J. Choi, A. Torralba, A. S. Willsky (2012) Context models and out-of-context objects, Pattern Recognition Letters, 33(7). 853-862.

상세보기
Y. F Li, H. Cao, (2018). Prediction for Tourism Flow based on LSTM Neural Network, Procedia Computer Science, 129. 277-283.

상세보기
U. M Nunes, D. R Faria, P. Peixoto. (2017). A human activity recognition framework using max-min features and key poses with differential evolution random forests classifier, Pattern Recognition Letters, 99(1). 21-31.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증