[논문]립모션 센서 기반 증강현실 인지재활 훈련시스템을 위한 합성곱신경망 손동작 인식

송근산; 이현주; 태기식

doi:10.9718/jber.2021.42.4.186

[국내논문] 립모션 센서 기반 증강현실 인지재활 훈련시스템을 위한 합성곱신경망 손동작 인식
Hand Gesture Recognition with Convolution Neural Networks for Augmented Reality Cognitive Rehabilitation System Based on Leap Motion Controller 원문보기

Journal of biomedical engineering research : the official journal of the Korean Society of Medical & Biological Engineering, v.42 no.4, 2021년, pp.186 - 192

송근산 (건양대학교 대학원 의료공학과) , 이현주 (건양대학교 물리치료학과) , 태기식 (건양대학교 대학원 의료공학과)

Abstract ▼ AI-Helper

In this paper, we evaluated prediction accuracy of Euler angle spectrograph classification method using a convolutional neural networks (CNN) for hand gesture recognition in augmented reality (AR) cognitive rehabilitation system based on Leap Motion Controller (LMC). Hand gesture recognition methods using a conventional support vector machine (SVM) show 91.3% accuracy in multiple motions. In this paper, five hand gestures ("Promise", "Bunny", "Close", "Victory", and "Thumb") are selected and measured 100 times for testing the utility of spectral classification techniques. Validation results for the five hand gestures were able to be correctly predicted 100% of the time, indicating superior recognition accuracy than those of conventional SVM methods. The hand motion recognition using CNN meant to be applied more useful to AR cognitive rehabilitation training systems based on LMC than sign language recognition using SVM.

주제어

표/그림 (10)

그림 그림 1. 전체 시스템 블록도 Fig. 1. Block diagram of system
그림 그림 2. 립모션 센서와 동작범위 Fig. 2. Leap motion controller and operating range
그림 그림 3. 실제 기구부 사진 Fig. 3. Appearance of instrument part
그림 그림 4. 증강현실 기반 훈련 콘텐츠 Fig. 4. Training contents based on augmented reality (AR)
그림 그림 5. 5가지 손동작 정의 Fig. 5. Definition of 5 hand gestures
그림 그림 6. 스펙트로그램 변환 Fig. 6. Spectrogram transformation
그림 그림 7. CNN 모델 블록 개요도 Fig. 7. CNN model structure for this study
그림 그림 8. 컨퓨전 매트릭스 Fig 8. Confusion matrix (X: actual, Y: predicted)
표 표 1. 모델 레이어 정의 및 구조 Table 1. Definition and structure of model layer
표 표 2. 상수 대입법을 이용한 손동작별 손동작 인식 예측 정확도 Table 2. Accuracy of gesture predictions of 5 hand gestures cognition using the local transform Euler angles

참고문헌 (18)

Panic AS. Addressing patient motivation in virtual reality based neurocognitive rehabilitation. Delft University of Technology, 2010.
Doidge N. The Brain That Changes Itself: Stories of Personal Triumph from the Frontiers of Brain Science. Penguin Group. 2007.
Burdea CG. Virtual Rehabilitation: benefits and Challenges. Methods of Information in Medicine. 2003;42(5):519-523.

상세보기
Alankus G, Lazar A, May M, Kelleher C. Towards customizable games for stroke rehabilitation. Proceedings of the 28th Annual CHI Conference on Human Factors in Computing Systems (CHI '10). 2010;2113-2122.
Burke JW, McNeill M, Charles D. Morrow P. Crosbie J. McDonough S. Designing engaging, playable games for rehabilitation. Proceedings of the 8th International Conference On Disability, 2010.
Donker T, Cornelisz I, van Klaveren C, van Straten A, Carlbring P, Cuijpers P, van Gelder JL. Effectiveness of self-guided app-based virtual reality cognitive behavior therapy for acrophobia: A randomized clinical trial. JAMA Psychiatry. 2019;76:682-690.

상세보기
Tsao YC, Shu CC, Lan TS. Development of a Reminiscence Therapy System forthe Elderly Using the Integration of Virtual Realityand Augmented Reality. Sustainability. 2019;11:2-10.
Annema JH, Verstraete M, Abeele VV, Desmet S. Video games in therapy: a therapist's perspective. International Journal of Arts and Technology. 2010;6(1):94-98.
Andersson G, Carlbring P, Titov N, Lindefors N. Internet interventions for adults with anxiety and mood disorders: A narrative umbrella review of recent meta-analyses. Can. J. Psychiatry. 2019;64(7):465-470.

상세보기
Stinghen I, Chen E, da Silva JM. da Silva R. Gesture recognition using leap motion: a comparison between machine learning algorithms. ACM SIGGRAPH 2018 Posters, 2018.
Khelil B, Amiri H, Hand Gesture Recognition Using leap motion controller for recognition of arabic sign language. Computer Science. 2016.
Tran DS, Ho NH, Yang HJ, Baek ET. Real-Time Hand Gesture Spotting and Recognition Using RGB-D Camera and 3D Convolutional Neural Network. Applied Sciences. 2020;10(2):722.

상세보기
Huang DY, Hu WC, Chang SH. Vision-Based Hand Gesture Recognition Using PCA+Gabor Filters and SVM. 15th International Conference on Intelligent Information Hiding and Multimedia Signal Processing, 2009.
Cote-Allard U, Fall CL, Drouin A, Campeau-Lecours A, Gosselin C, Glette K, Laviolette F, Gosselin B. Deep Learning for Electromyographic Hand Gesture Signal Classification Using Transfer Learning. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2019;27(4):760-771.

상세보기
Radianti J, Majchrzak T, Fromm J, Wohlgenannt I. A systematic review of immersive virtual reality applications for higher education: Design elements, lessons learned, and research agenda. Computers & Education, 2020;147:103778.

상세보기
Huang DY, Hu WC, Chang SH. Gabor filter-based handpose angle estimation for hand gesture recognition under varying illumination. Expert Systems with Applications, 2011;38(5): 6031-6042.

상세보기
Sagayam KM, Hemanth DJ. Hand posture and gesture recognition techniques for virtual reality applications: a survey. Virtual Reality. 2017;21:91-107.

상세보기
Badi H. Recent methods in vision-based hand gesture recognition. International Journal of Data Science and Analytics. 2016;1:77-87.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증