[논문]뇌성마비 환자의 자세 불균형 탐지를 위한 스마트폰 동영상 기반 보행 분석 시스템

황윤호; 이상현; 민유선; 이종택

doi:10.14372/iemek.2023.18.2.41

뇌성마비 환자의 자세 불균형 탐지를 위한 스마트폰 동영상 기반 보행 분석 시스템
Smartphone-based Gait Analysis System for the Detection of Postural Imbalance in Patients with Cerebral Palsy 원문보기

대한임베디드공학회논문지 = IEMEK Journal of embedded systems and applications, v.18 no.2, 2023년, pp.41 - 50

황윤호 (Kyungpook National University) , 이상현 (Kyungpook National University) , 민유선 (Kyungpook National University Schoold of Medicine) , 이종택 (Kyungpook National University)

Abstract ▼ AI-Helper

Gait analysis is an important tool in the clinical management of cerebral palsy, allowing for the assessment of condition severity, identification of potential gait abnormalities, planning and evaluation of interventions, and providing a baseline for future comparisons. However, traditional methods of gait analysis are costly and time-consuming, leading to a need for a more convenient and continuous method. This paper proposes a method for analyzing the posture of cerebral palsy patients using only smartphone videos and deep learning models, including a ResNet-based image tilt correction, AlphaPose for human pose estimation, and SmoothNet for temporal smoothing. The indicators employed in medical practice, such as the imbalance angles of shoulder and pelvis and the joint angles of spine-thighs, knees and ankles, were precisely examined. The proposed system surpassed pose estimation alone, reducing the mean absolute error for imbalance angles in frontal videos from 4.196° to 2.971° and for joint angles in sagittal videos from 5.889° to 5.442°.

주제어

표/그림 (19)

그림 그림 1. 자세 불균형 탐지를 위한 보행 분석 시스템 Fig. 1. Gait analysis system pipeline for postural imbalance detection
그림 그림 2. 기울기 추정 모델 파이프라인 Fig. 2. Slope estimation model pipeline
그림 그림 3. 기울기 보정 영상 예시 : (a) 원본 영상, (b) 기울기 보정 영상 Fig. 3. Example of slope correction image : (a) original image, (b) slope correction image
그림 그림 4. Alphapose 파이프라인 Fig. 4. Alphapose pipeline
그림 그림 5. AlphaPose 영상 예시 : (a) AlphaPose 출력, (b) Halpe26 Fig. 5. Example of AlphaPose image : (a) output of AlphaPose, (b) Halpe26
그림 그림 6. 정면 영상의 우측 어깨 불균형 각도 추정 그래프 Fig. 6. Right shoulder imbalance angle estimation graph of frontal image
그림 그림 7. 측면 영상의 좌측 발목 각도 추정 그래프 Fig. 7. Left ankle angle estimation graph of sagittal image
그림 그림 8. 정면 영상 뒤돌아올 때 오류 예시 : (a) 정면 영상 우측 어깨 불균형 각도 추정 그래프에서의 오류, (b) 오류 발생 시의 AlhpaPose 영상 Fig. 8. Turning error example of frontal image : (a) Error in right shoulder imbalance angle estimation graph of frontal image, (b) AlhpaPose image when error occurs
그림 그림 9. 정면 영상 내 분석 표시 Fig. 9. Analysis display of frontal image
그림 그림 10. 측면 영상 발목 Fig. 10. Ankle of sagittal image
그림 그림 11. 측면 영상 내 분석 표시 Fig. 11. Analysis display of sagittal image
그림 그림 12. 정면 영상 예시 Fig. 12. Frontal image example
그림 그림 13. 측면 영상 예시 Fig. 13. Sagittal image example
그림 그림 14. 정면 영상에서의 분석 영상 : (a) 골반에서의 기준선과 골반 연결선, (b) 척추선, 어깨에서의 기준선과 어깨 연결선 Fig. 14. Analysis image of frontal image : (a) reference line of pelvis and pelvis line, (b) Spine line, reference line of shoulder and shoulder line
표 표 1. 정면 영상에서 시스템 성능 비교 Table 1. Comparison of system performance in frontal videos
표 표 2. 측면 영상에서 시스템 성능 비교 Table 2. Comparison of system performance in sagittal videos
그림 그림 15. 측면 영상에서의 분석 영상 : (a) 척추(초록색)와 허벅지(왼쪽 : 빨간색, 오른쪽 : 파란색), (b) 오른쪽 무릎(허벅지 : 파란색, 종아리 : 연두색), (c) 오른쪽 발목 Fig. 15. Analysis image of sagittal image : (a) spine（green) and thigh (left : red, right : blue), (b) right knee (thigh : blue, calf : light green), (c) right ankle
그림 그림 16. 정면 영상의 보행 분석 시스템 결과 예시 Fig. 16. Demonstration of the gait analysis system on frontal video
그림 그림 17. 측면 영상의 보행 분석 시스템 결과 예시 Fig. 17. Demonstration of the gait analysis system on sagittal video

참고문헌 (17)

A. Mirelman, P. Bonato, R. Camicioli, T. D. Ellis, N. Giladi, J. L. Hamilton, C. J. Hass, J. M. Hausdorff, E. Pelosin, Q.J. Almeida, "Gait impairments in Parkinson's Disease," The Lancet Neurology. Vol. 18, No. 7, pp. 697-708, 2019.？

상세보기
S. Hwang, S. Ha, "A Study on Parents Involvement in Rehabilitation Treatments for Children with Cerebral Palsy," Journal of Rehabilitation Research, Vol. 3, No. 17, pp. 309-328. 2013 (in Korean).？
G. J. Lee, T. S. Lee, "Trends in the Use of Artificial Intelligence in Medical Image Analysis," Journal of the Korean Society of Radiology, Vol. 16, No. 4, pp. 453-462. 2022 (in Korean).？

원문보기 상세보기
D. Qiao, F. Zulkernine, R. Masroor, R. Rasool, N. Jaffar, "Measuring Heart Rate and Heart Rate Variability with Smartphone Camera," In Proceedings of 2021 22nd IEEE International Conference on Mobile Data Management, pp. 248-249, 2021.？
E. Hong, S. Cho, S. Lee, J. Jeon, "Deep Learning based Photo Horizon Correction," Journal of the Korea Computer Graphics Society, Vol. 23, No. 3, pp. 95-103, 2017.？

원문보기 상세보기
H. S. Fang, J. Li, H. Tang, C. Xu, H. Zhu, Y. Xiu, Y. L. Li, C. Lu, "AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time," IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022.？
A. Zeng, L. Yang, X. Ju, J. Li, J. Wang, Q. Xu, "Smoothnet: a Plug-and-play Network for Refining Human Poses in Videos," in Proceedings of European Conference on Computer Vision, pp. 625-642. 2022.？
Y. Chen, Y. Tian, M. He, "Monocular Human Pose Estimation: A Survey of Deep Learning-based Methods," Computer Vision and Image Understanding, Vol. 192, No. 102897, 2020.？
Z. Cao, T. Simon, S. E. Wei, Y. Sheikh, "Realtime Multi-person 2d Pose Estimation Using Part Affinity Fields," In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7291-7299, 2017.？
T. Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar, C. L. Zitnick, "Microsoft coco: Common Objects in Context," In Proceedings of European Conference on Computer Vision, pp. 740-755, 2014.？
J. H. Shin, R. Yu, J. N. Ong, C. Y. Lee, S. H. Jeon, H. Park, H. J. Kim, J. Lee, B. Jeon, "Quantitative Gait Analysis Using a Pose-estimation Algorithm with a Single 2D-video of Parkinson's Disease Patients," Journal of Parkinson's Disease, Vol. 11, No. 3, pp. 1271-1283, 2021.？

상세보기
M. Andriluka, L. Pishchulin, P. Gehler, B. Schiele, "2d Human Pose Estimation: New Benchmark and State of the Art Analysis," In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3686-3693, 2014.？
G. Tolias, Y. Avrithis, "Speeded-up, Relaxed Spatial Matching," In Proceedings of International Conference on Computer Vision, pp. 1653-1660, 2011.？
S. Jin, L. Xu, J. Xu, C. Wang, W. Liu, C. Qian, W. Ouyang, P. Luo, "Whole-body Human Pose Estimation in the Wild," In Proceedings of European Conference on Computer Vision, pp. 196-214. 2020.？
C. Ionescu, D. Papava, V. Olaru, C. Sminchisescu, "Human3.6m: Large Scale Datasets and Predictive Methods for 3d Human Sensing in Natural Environments," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 36, No. 7, pp. 1325-1339. 2013.？
K. Sun, B. Xiao, D. Liu, J. Wang, "Deep High-resolution Representation Learning for Human Pose Estimation," In Proceedings of the IEEE/CVF conference on Computer Vision and Pattern Recognition, pp. 5693-5703, 2019.？
J. Li, S. Bian, A. Zeng, C. Wang, B. Pang, W. Liu, C. Lu, "Human Pose Regression with Residual Log-likelihood Estimation," In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11025-11034, 2021.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증