[논문]웨어러블 센서를 활용한 경량 인공신경망 기반 손동작 인식기술

이형규

doi:10.14372/iemek.2022.17.4.229

웨어러블 센서를 활용한 경량 인공신경망 기반 손동작 인식기술
A Light-weight ANN-based Hand Motion Recognition Using a Wearable Sensor 원문보기

대한임베디드공학회논문지 = IEMEK Journal of embedded systems and applications, v.17 no.4, 2022년, pp.229 - 237

이형규 (Duksung Women's University)

Abstract ▼ AI-Helper

Motion recognition is very useful for implementing an intuitive HMI (Human-Machine Interface). In particular, hands are the body parts that can move most precisely with relatively small portion of energy. Thus hand motion has been used as an efficient communication interface with other persons or machines. In this paper, we design and implement a light-weight ANN (Artificial Neural Network)-based hand motion recognition using a state-of-the-art flex sensor. The proposed design consists of data collection from a wearable flex sensor, preprocessing filters, and a light-weight NN (Neural Network) classifier. For verifying the performance and functionality of the proposed design, we implement it on a low-end embedded device. Finally, our experiments and prototype implementation demonstrate that the accuracy of the proposed hand motion recognition achieves up to 98.7%.

주제어

표/그림 (14)

그림 그림 1. 손동작 인식에 사용되는 2축 플렉스 센서 Fig. 1. 2-Axis Flex Sensor Used for Recognizing Hand Motion.
그림 그림 2. 플렉스 센서에서 측정되는 값 예시 (센서 동작 주파수: 100Hz) Fig. 2. Example of Measured Raw Data from a 2-Axis Flex Sensor (Sensor Operating Frequency: 100Hz)
그림 그림 3. 손동작 인식 시스템의 구조 Fig. 3. System Architecture of the Proposed Hand Motion Recognition
그림 그림 4. 플렉스 센서로부터 수집된 데이터의 전처리 과정 Fig. 4. Preprocessing of the Data Collected from the Flex Sensor
그림 그림 5. 하나의 동작 당 수집되는 데이터 수에 따른 인식 성능 Fig. 5. Accuracy Changes by the Number of Collected Data per a Gesture
그림 그림 6. 인식되는 10가지의 손동작 Fig. 6. Ten Types of Recognized Hand Motions
그림 그림 7 설계공간 탐색을 위한 인공신경망 모델 구조 Fig. 7 Neural Network Models Used in the Design Space Exploration
그림 그림 9. 인식 동작에 따른 손가락 움직임 데이터의 특징 Fig. 9. Characteristics of Hand Movement Data
그림 그림 8. 구현된 프로토타입 Fig. 8. Prototype Implementation
표 표 1. 프로토타입 구현에 사용된 마이크로 컨트롤러, 플렉스 센서의 사양 Table 1. Specifications of Micro controller and Flex Sensor Used in the Prototype
그림 그림 10. 설계공간 탐색을 통한 최적의 네트워크 모델 탐색 결과 Fig. 10. Result of the Design Space Exploration for Finding the Best Network Model
표 표 2. 각 단계별 처리 시간(성능) Table 2. Processing Time for Each Step
표 표 3. 제안된 설계의 인식 정확도 비교 Table 3. Accuracy Comparisons of the Proposed Designs.
그림 그림 11. 전처리 필터를 사용한 경우와 사용하지 않는 경우로 설계된 손동작 인식기의 혼동 행렬 (24×18×10) Fig. 11. Confusion Matrix of the Designed Hand Motion Recognition With and Without Preprocessing (24×18×10)

참고문헌 (17)

K. Oka, Y. Sato, H. Koike, "Real-time Fingertip Tracking and Gesture Recognition," IEEE Computer Graphics and Applications, Vol. 22, No. 6, pp. 64-71. 2002.

상세보기
Z. Ren, J. Meng, J. Yuan, Z. Zhang. "Robust Hand Gesture Recognition with Kinect Sensor," Proceedings of ACM international conference on Multimedia (MM '11). pp. 759-760, 2011.
S. Y. Jeon, E. S. Kim, B. Y. Park, "CNN-based Hand Gesture Recognition Method for Teleoperation Control of Industrial Robot," IEMEK Journal of Embedded Systems and Applications, Vol. 16, No. 2, pp. 65-72, 2021.

원문보기 상세보기
L. M. Danga, K. Min, H. Wang, M. J. Piran, C. H. Lee, H. Moon, "Sensor-based and Vision-based Human Activity Recognition: A Comprehensive Survey," Pattern Recognition, 108, 2020.

상세보기
Bendlabs, 2-axis Soft Flex Sensor, https://www.bendlabs.com/products/2-axis-soft-flex-sensor/
B. S. Lin, P. C. Hsiao, S. Y. Yang, C. S. Su, I. J. Lee, "Data Glove System Embedded With Inertial Measurement Units for Hand Function Evaluation in Stroke Patients," IEEE Transaction on Neural Systems and Rehabilitation Engineering, Vol. 25, No. 11, pp. 2204-2213, 2017.

상세보기
C. E. A. Quiapo, K. N. M. Ramos, "Development of a Sign Language Translator Using Simplified Tilt, Flex and Contact Sensor Modules," IEEE Region 10 Conference (TENCON), (2016).
H. J. Kim, H. T. Park, W. H. Lee, J. W. Kim, Y. L. Park, "Design of Wearable Orthopedic Devices for Treating Forward Head Postures using Pneumatic Artificial Muscles and Flex Sensors," URAI 2017.
G. Bhat, R. Deb, V. V. Chaurasia, H. Shill, U. Y. Ogras, "Online Human Activity Recognition using Low-Power Wearable Devices," IEEE International Conference on Computer-Aided Design (ICCAD), 2018.
L. Majeau, J. Borduas, S Loranger, Y. El-Iraki, J. Lavoie, D. Banville, V. Latendresse, V. Beland, J. Daniel-Rivest, A. Thiaw, H. D. Bambara, T. P. Beausoleil, W. Trottier-Lapointe, J. Lapointe, "Dataglove for Consumer Applications," 2011 7th International Workshop on Fibre and Optical Passive Components, 2011.
M. Kim, J. Cho, S. Lee, Y. Jung, "IMU Sensor-Based Hand Gesture Recognition for Human-Machine Interfaces," Sensors, Vol. 19, No. 18, 2019.

상세보기
L. Chen, J. Fu, Y. Wu, H. Li, B. Zheng, "Hand Gesture Recognition Using Compact CNN via Surface Electromyography Signals," Sensors, Vol. 20, No. 3, 2020.

상세보기
W. Jung, H. G. Lee, "Design and Performance Analysis of ML Techniques for Finger Motion Recognition," Journal of the Korea Industrial Information Systems Research, Vol. 25, No. 2, pp. 129-136, 2020.

원문보기 상세보기
A. K. Panda, R. Chakravarty, S. Moulik, "Hand Gesture Recognition using Flex Sensor and Machine Learning Algorithms," EMBS Conference on Biomedical Engineering and Science, 2020.
W. C. Chuang, W. J. Hwan, T. M. Tai, D. R. Huang, Y. J. Jhang, "Continuous Finger Gesture Recognition Based on Flex Sensors," Sensors, Vol. 19, No. 18, August, 2019.

상세보기
J. Chan, E. Veas, J. Simon, "Designing a Sensor Glove Using Deep Learning," International Conference on Intelligent User Interface, April, 2021.
Texas Instruments, Datasheet of CC2652R, https://www.ti.com/product/CC2652R

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증