[논문]신경망을 활용한 손목재활 수부 동작 인식 최적화 기법

이수현; 이영근

doi:10.7236/jiibc.2021.21.2.117

신경망을 활용한 손목재활 수부 동작 인식 최적화 기법
Optimization Technique to recognize Hand Motion of Wrist Rehabilitation using Neural Network 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.21 no.2, 2021년, pp.117 - 124

이수현 (전북대학교 전자정보공학부(컴퓨터공학전공)) , 이영근

초록
AI-Helper

본 연구는 손목 재활을 위한 신경망을 이용하여 수부 동작 인식해주는 연구이다. 수부의 재활은 손상을 받은 수부의 기능을 최대로 회복시켜 일상생활과 직업, 취미생활을 가능하게 하는 것을 목표로 한다. 하지만 어느 장소를 찾아 치료를 하는 것은 경제적, 시간적으로 매우 비효율적이다. 이런 문제점을 해결하고자 본 연구에서는 환자가 직접 스마트 기기를 이용해 재활 치료를 하고자 한다. 이를 활용하면 비용이나 시간적인 면에서 매우 도움이 될 것이다. 본 연구에서는 총 10명의 사람으로부터 4 종류의 재활 운동에 대한 데이터를 수집하여 손목재활 데이터셋을 만들었다. 수부 제스쳐 인식은 신경망을 이용하여 모델을 구성하였다. 그 결과 93%의 정확도를 얻었으며, 본 시스템의 유용성을 검증하였다.

Abstract ▼ AI-Helper

This study is a study to recognize hand movements using a neural network for wrist rehabilitation. The rehabilitation of the hand aims to restore the function of the injured hand to the maximum and enable daily life, occupation, and hobby. It is common for a physical therapist, an occupational therapist, and a security tool maker to form a team and approach a doctor for a hand rehabilitation. However, it is very inefficient economically and temporally to find a place for treatment. In order to solve this problem, in this study, patients directly use smart devices to perform rehabilitation treatment. Using this will be very helpful in terms of cost and time. In this study, a wrist rehabilitation dataset was created by collecting data on 4 types of rehabilitation exercises from 10 persons. Hand gesture recognition was constructed using a neural network. As a result, the accuracy of 93% was obtained, and the usefulness of this system was verified.

주제어

표/그림 (12)

그림 그림 1. 수근관절의 인대 ^[12] Fig. 1. Ligaments of the carpal
그림 그림 2. 립모션 컨트롤러 Fig. 2. Leap Motion Controller
그림 그림 3. 립모션 좌표계 Fig. 3. The Leap Motion coordinate system
표 표 1. 립모션 API 물리 측정^[8] Table 1. The Leap Motion API measures physical quantities^[8]
그림 그림 4. 손바닥의 일반적인 벡터 및 방향 벡터의 정의^[8] Fig. 4. The Hand Palm_normal and direction vectors define the orientation of the hand.^[8]
그림 그림 5. 손가락 끝 _ 위치 및 방향 벡터의 손가락 끝 위치와 손가락이 가리키는 일반적인 방향^[8] Fig. 5. Finger tip_position and direction vectors provide the position of a finger tip and the general direction in which a finger is pointing.^[8]
그림 그림 6. 립모션 뼈 객체^[8] Fig. 6. Leap Motion bone object^[8]
그림 그림 7. 손목의 재활 운동 - (A) 신전 운동 (B) 굴곡 운동 (C) 오른쪽 운동 (D) 왼쪽 운동 Fig. 7. Rehabilitation exercise of wrist - (A) Extension Exercise (B)Flexion exercise (C) Right Exercise (D) Left Exercise
그림 그림 8. 신경망의 구성 Fig. 8. Composition of Neural Networks
그림 그림 9. 실험 결과의 산점도 Fig. 9. scatter plot of experiment result
그림 그림 10. dropout = 0.2, batch_size = 128. epoch = 200의 결과 Fig. 10. Result of dropout = 0.2, batch_size = 128. epoch = 200
표 표 2. 신경망의 매개변수 Table 2. Parameter of Neural Networks

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 손목 재활 프로그램에서 환자의 운동을 분석하기 위한 손목 재활 제스처 분류에 대한 연구를 진행하였다.
분석에 대하여 연구하였다. 손목 재활은 그 목표가 손상이 발생한 손의 기능을 회복시키는 것을 목표로 한다. 손목의 제스처 분석은 차후 연구해나갈 손목재활 프로그램의 개발을 위한 기초 연구이다.
손목 재활은 그 목표가 손상이 발생한 손의 기능을 회복시키는 것을 목표로 한다. 손목의 제스처 분석은 차후 연구해나갈 손목재활 프로그램의 개발을 위한 기초 연구이다. 총 10명의 사람으로부터 손목 재활 운동의 데이터를 수집하여 데이터 셋을 구축하였다.
이 논문은 손목 재활 프로그램 개발을 위한 손목 제스처 분석에 대하여 연구하였다. 손목 재활은 그 목표가 손상이 발생한 손의 기능을 회복시키는 것을 목표로 한다.

제안 방법

또한, 비교적 립모션 컨트롤러는 다른 컨트롤러에 비해 값이 싸며, 집에서 간단하게 설치하여 사용할 수 있다.^[6] 따라서 재활을 필요로 하는 사람들이 사용하기 편하고 경제적으로 저렴하여 본 연구에서는 립모션 센서를 이용하였다.
립모션 센서와 립모션에서 제공하는 라이브러리 (LeapmotionAPI)와 파이썬 언어를 사용하여 립모션 컨트롤러에서 받아들이고 있는 손가락의 좌표값들을 불러와 저장하여 모델의 학습에 필요한 손목재활 데이터셋을제작하였다. 손목의 재활 운동으로는 그림 7과 같은 종류가 있으며, 여러 재활 운동의 자세 중 손목의 신전 운동, 굴곡운동, 오른쪽 운동, 왼쪽 운동의 데이터를 수집하였다.
립모션 컨트롤러는 제스처와 위치 추적 시스템으로 소프트웨어 어플리케이션과 상호작용하며 손의 움직임과 손가락의 움직임을 추적하도록 디자인했다. 립모션 컨트롤러는 광학 센서와 적외선 센서를 사용한다.
본 논문에서는 수근관절의 재활에 필요한 재활 운동 4 종류를 선택하여 손목재활 데이터셋을 만들었다. 손목 재활 데이터셋은 립모션 컨트롤러를 이용하여 각각 왼손과 오른손의 손과 손목의 동작에 따른 데이터를 수집하였다.
손목의 운동은 동료들 10명으로부터 수집하였으며 팔꿈치를 바닥에 고정한 상태로 각각 오른손과 왼손을 한 번씩 운동하여 수집하였다. 수집한 데이터로는 손가락뼈 객체의 모든 3차원 좌표와 손목의 3차원 좌표 그리고 어깨의 3차원 좌표가 있다.
수집한 데이터는 각각의 손의 좌표의 값을 실시간으로 받아들였으며, 모든 손가락의 중수골, 근위지골의 3차원 좌표를 가져와 신경망으로 학습시켰다.
손목 재활 데이터셋은 립모션 컨트롤러를 이용하여 각각 왼손과 오른손의 손과 손목의 동작에 따른 데이터를 수집하였다. 수집한 데이터는 신경망을 이용하여 학습하였다. 본 연구는 다음과 같이 구성된다.
신경망은 Dropout을 이용하여 과적합을 피했으며, 완전 연결 계층으로 구성하였다. 모델에 사용한 활성화 함수는 relu 함수이고 마지막 완전 연결 계층은 softmax 함수를 사용했다.
신경망의 학습 결과를 비교하기 위해 매개변수의 값을 변경해가며 그 값을 비교하였다. 신경망의 Dropout과 학습률을 조절해가면서 신경망의 학습을 진행하였으며, 그 매개변수의 값은 다음과 같다.
아니라 훈련 방식에도 큰 영향을 받는다. 신경망의 학습 결과를 비교하기 위해 매개변수의 값을 변경해가며 그 값을 비교하였다. 신경망의 Dropout과 학습률을 조절해가면서 신경망의 학습을 진행하였으며, 그 매개변수의 값은 다음과 같다.

대상 데이터

손목 재활 데이터셋은 립모션 컨트롤러를 이용하여 각각 왼손과 오른손의 손과 손목의 동작에 따른 데이터를 수집하였다. 수집한 데이터는 신경망을 이용하여 학습하였다.
손목의 재활 운동으로는 그림 7과 같은 종류가 있으며, 여러 재활 운동의 자세 중 손목의 신전 운동, 굴곡운동, 오른쪽 운동, 왼쪽 운동의 데이터를 수집하였다.
운동하여 수집하였다. 수집한 데이터로는 손가락뼈 객체의 모든 3차원 좌표와 손목의 3차원 좌표 그리고 어깨의 3차원 좌표가 있다. 이 좌표는 50fps로 수집했으며, 모든 데이터는 시간의 흐름에 따라 수집하였다.
연구를 제안하였다. 제안한 시스템에서는 American Sign Language dataset (ASL dataset)의 360과 480 샘플과 Handicraft-Gesture dataset에서 360과 480 샘플들을 사용하였다. ASL dataset 360은 96.
손목의 제스처 분석은 차후 연구해나갈 손목재활 프로그램의 개발을 위한 기초 연구이다. 총 10명의 사람으로부터 손목 재활 운동의 데이터를 수집하여 데이터 셋을 구축하였다. 데이터 셋은 신경망으로 학습하여 정확도 90% 이상의 준수한 결과를 얻었다.

이론/모형

연결 계층으로 구성하였다. 모델에 사용한 활성화 함수는 relu 함수이고 마지막 완전 연결 계층은 softmax 함수를 사용했다.
다양한 모델을 학습시키는 것과 같은 원리가 되기 때문에 모델 결합의 효과도 얻을 수 있다. 여러 개의 모델을 만드는 대신 드롭아웃 알고리즘을 이용하였다.^[14]

성능/효과

의미한다. dropout의 값이 커질수록 정확도가 낮아지는 경향을 보였으며, 반대로 epochs는 커질수록 정확도가 올라는 것을 확인할 수 있다. batch_size의 값은 작을수록 정확도가 올랐다.
2, batch_size = 128. epoch = 200의 매개변수가 손목 재활의 최적화된 매개변수라는 것을 확인했다.
그러나 프로그래밍의 용이성을 위해 Leap Motion 엄지 손가락 모델에는 길이가 0 인 중수골 뼈가 포함되어 엄지 손가락이 다른 손가락과 같은 색인에 동일한 수의 뼈를 갖는다. 결과적으로 엄지 손가락의 해부학적 중수골 뼈는 근위 지골로 레이블이 지정되고 해부학 적 근위 지골은 Leap Motion 손가락 뼈 모델에서 중간지골로 레이블이 지정된다.^[8]
총 10명의 사람으로부터 손목 재활 운동의 데이터를 수집하여 데이터 셋을 구축하였다. 데이터 셋은 신경망으로 학습하여 정확도 90% 이상의 준수한 결과를 얻었다. 차후 연구에서는 손목 제스처 분석을 토대로 재활 프로그램의 이용자의 제스처를 분석해내고 이용자에 맞춰 프로그램을 제공하는 연구 진행에 큰 도움이 될 것으로 보인다.
드롭아웃은 훈련 단계에서 반복마다 지정된 확률로 신경망의 layer 간의 연결을 말 그대로 떨어뜨린다. 이 알고리즘은 객체 분류, 숫자 인식, 음성 인식, 문서 분류 및 전산 생물학 데이터 분석을 포함한 다양한 응용 분야에서 신경망의 성능을 향상하는 것으로 밝혀졌다. 드롭아웃을 적용하는 경우, 무작위로 일부 뉴런을 생략하여 여러 개의 모델을 만드는 효과를 얻을 수 있다.

후속연구

데이터 셋은 신경망으로 학습하여 정확도 90% 이상의 준수한 결과를 얻었다. 차후 연구에서는 손목 제스처 분석을 토대로 재활 프로그램의 이용자의 제스처를 분석해내고 이용자에 맞춰 프로그램을 제공하는 연구 진행에 큰 도움이 될 것으로 보인다.

참고문헌 (17)

Kijima, Y., & Viegas, S. F, "Wrist anatomy and biomechanics. The Journal of hand surgery", 34(8), 1555-1563, 2009 DOI: https://doi.org/10.1016/j.jhsa.2009.07.019

상세보기
The Korean society for surgery of the hand, "Surgery of the hand", Panmuneducation, 189-194, 2014
Rathinam, C., Mohan, V., Peirson, J., Skinner, J., Nethaji, K. S., & Kuhn, "Effectiveness of virtual reality in the treatment of hand function in children with cerebral palsy: A systematic review", Journal of hand therapy : official journal of the American Society of Hand Therapists, 32(4), 426-434.e1, 2019 DOI: https://doi.org/10.1016/j.jht.2018.01.006

상세보기
Yang, L., Chen, J., & Zhu, W, "Dynamic Hand Gesture Recognition Based on a Leap Motion Controller and Two-Layer Bidirectional Recurrent Neural Network", Sensors (Basel, Switzerland), 20(7), 2106, 2020 DOI: https://doi.org/10.3390/s20072106

상세보기
Tarakci, E., Arman, N., Tarakci, D., & Kasapcopur, O, "Leap Motion Controller-based training for upper extremity rehabilitation in children and adolescents with physical disabilities: A randomized controlled trial. Journal of hand therapy", official journal of the American Society of Hand Therapists, 33(2), 220-228.e1. (2020). DOI: https://doi.org/10.1016/j.jht.2019.03.012

상세보기
Weichert, F., Bachmann, D., Rudak, B., & Fisseler, D, "Analysis of the accuracy and robustness of the leap motion controlle". Sensors (Basel, Switzerland), 13(5), 6380-6393, 2013 DOI: https://doi.org/10.3390/s130506380

상세보기
Kijima, Y., & Viegas, S. F, "Wrist anatomy and biomechanics" The Journal of hand surgery, 34(8), 1555-1563. (2009) DOI: https://doi.org/10.1016/j.jhsa.2009.07.019

상세보기
Leapmotion/developer https://developer.leapmotion.com/documentation
Weichert, F., Bachmann, D., Rudak, B., & Fisseler, D, "Analysis of the accuracy and robustness of the leap motion controller" Sensors (Basel, Switzerland), 13(5), 6380-6393, 2013 DOI: https://doi.org/10.3390/s130506380

상세보기
Hrvoje Benko Michael Haller David Lindbauer Alexandra Ion Shengdong Zhao Roland Aigner, Daniel Wigdor and Jeffrey Tzu Kwan Valino Koh. Understanding mid-air hand gestures: A study of human preferences in usage of gesture types for hci. Technical report, November 2012.
Hee-Deok Yang, "Conditional Random Field based Gesture Recognition with Kinect Sensor" Journal of KISS : Software and Applications, 40(11), 716-723, 2013
Clinical Gate. Wrist. https://clinicalgate.com/wrist-2/#s0085
Laurene Fausett, editor, "Fundamentals of Neural Networks: Architectures, Algorithms, and Application", Prentice-Hall, Inc., Upper Saddle River, NJ, USA, 1994.
Srivastava, N., Hinton, G. E., Krizhevsky, A., Sutskever, I. & Salakhutdinov, R. "Dropout: a simple way to prevent neural networks from overfitting", Journal of Machine Learning Research, 15, 1929-1958, 2014

상세보기
Sejin Goo, Dong-Yeon Kim, Sung-Wook Shin, Sung-Taek Chung, "Analysis and Training COntents of Body Balance Ability using Range of Motion of Lumbar Spine and Center of Body Pressure", The Journal of The Institute of Internet, Broadcasting and Communication(IIBC), Vol.19, No. 1, pp.279-287, Feb. 28, 2019 DOI: https://doi.org/10.7236/JIIBC.2019.19.1.279

원문보기 상세보기
Hee-Joo Yeo, "Data Analysis and Processing Methods of Magnetic Sensor for Measuring Wrist Gesture", Journal of the Korea Academia-Industrial cooperation Society, Vol. 21, No. 11, pp. 28-36, 2020 DOI: https://doi.org/10.5762/KAIS.2020.21.11.28

원문보기 상세보기
Jun Su Kim, Seung Min Baek, Yeon Ju Jin, Sang Wook Han, Jin-Woo Jeong "Design and Implementation of IoT Control System Based on Gestures with Wearable Devices", Korean Institute of Information Technology, 15(10) pp. 101-112, 2017 DOI: https://doi.org/10.14801/jkiit.2017.15.10.101

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증