[논문]인공지능 기반 손 체스처 인식 정보를 활용한 지능형 인터페이스

조항준; 유준우; 김은수; 이영재

인공지능 기반 손 체스처 인식 정보를 활용한 지능형 인터페이스
Intelligent interface using hand gestures recognition based on artificial intelligence

Journal of platform technology, v.11 no.1, 2023년, pp.38 - 51

조항준 (전주대학교 스마트미디어학과) , 유준우 (전주대학교 스마트미디어학과) , 김은수 (전주대학교 전기전자공학과) , 이영재 (전주대학교 스마트미디어학과)

초록
AI-Helper

인공지능에 기반한 손 제스처 인식 정보를 활용한 지능형 인터페이스 알고리즘을 제안한다. 이 방법은 기능적으로 사용자 손 제스처의 추적 및 인식을 미디어파이프와 KNN, LSTM, CNN의 인공지능 기법을 사용해 다양한 동작을 빠르고 지능적으로 인식되는 인터페이스이다. 제안한 알고리즘 성능 평가를 위해 자체 제작한 2D 탑뷰 레이싱 게임과 로봇제어에 적용한다. 알고리즘 적용 결과 게임의 가상 객체의 다양한 움직임을 세밀하고 강건하게 제어할 수 있었으며, 실세계의 로봇 제어에 적용한 결과 이동과 정지, 좌회전, 우회전 등의 제어가 가능하였다. 또한 게임의 메인 캐릭터와 실세계 로봇을 동시에 제어하여 가상과 현실의 공존공간 상황 제어를 위한 지능형 인터페이스로 최적화된 동작도 구현하였다. 제안한 알고리즘은 신체를 활용한 자연스럽고 직관적 특성과 손가락의 미세한 움직임 인식에 따른 정교한 제어가 가능하며, 빠른 기간 내에 숙련되는 장점이 있어 지능형 사용자 인터페이스 개발을 위한 기본자료로 활용될 수 있다.

Abstract ▼ AI-Helper

We propose an intelligent interface algorithm using hand gesture recognition information based on artificial intelligence. This method is functionally an interface that recognizes various motions quickly and intelligently by using MediaPipe and artificial intelligence techniques such as KNN, LSTM, and CNN to track and recognize user hand gestures. To evaluate the performance of the proposed algorithm, it is applied to a self-made 2D top-view racing game and robot control. As a result of applying the algorithm, it was possible to control various movements of the virtual object in the game in detail and robustly. And the result of applying the algorithm to the robot control in the real world, it was possible to control movement, stop, left turn, and right turn. In addition, by controlling the main character of the game and the robot in the real world at the same time, the optimized motion was implemented as an intelligent interface for controlling the coexistence space of virtual and real world. The proposed algorithm enables sophisticated control according to natural and intuitive characteristics using the body and fine movement recognition of fingers, and has the advantage of being skilled in a short period of time, so it can be used as basic data for developing intelligent user interfaces.

주제어

표/그림 (14)

그림 Figure 1. Hand gesture classification method example 그림 1. 손 제스처 분류 방법 예
그림 Figure 2. Proposed system configuration 그림 2. 제안한 시스템 구성
그림 Figure 3. Proposed Algorithm Configuration Diagram 그림 3. 제안한 알고리즘 구성도
그림 Figure 4. Image of experimental results of recognizing user forward and backward static hand gestures and applying games 그림 4. 사용자 전진과 후진의 스테이틱 핸드 제스처 인식 및 게임 적용 실험 결과 영상
그림 Figure 5. Image of experimental results of recognizing static hand gestures of user left and right turns and applying games 그림 5. 사용자 좌회전, 우회전의 스테이틱 핸드 제스처 인식 및 게임 적용 실험 결과 영상
그림 Figure 6. Image of the result of recognizing the hand dynamic mode gesture "COME" and applying it to the racing game 그림 6. 핸드 다이나믹 모드 제스처 "COME"을 인식하고 레이싱 게임에 적용한 결과 영상
그림 Figure 7. Result of recognizing the user's hand sign mode gesture input as an "S" shape using CNN and MediaPipe and applying it to the racing game 그림 7. 사용자의 핸드 사인 모드 체스처 입력을 CNN과 미디어파이프를 사용하여 "S" 형태로 인식하고 레이싱 게임에 적용한 결과
그림 Figure 8. Experimental robot with 3 omni wheels 그림 8. 3 개의 옴니 휠을 가진 실험용 로봇
그림 Figure 9. Classification of left and right hand gestures and types of finger gestures for recognizing user's static hand gestures 그림 9. 사용자의 스테이틱 핸드 제스처 인식을 위한 왼손과 오른손 구분과 손가락 제스처의 종류
그림 Figure 10. Forward and backward control result image of robot using static hand gesture recognition information 그림 10. 스테이틱 핸드 제스처 인식 정보를 활용해 로봇의 전진 및 후진 제어 결과 영상
그림 Figure 11. Left and right turn control result image of robot using static hand gesture recognition information 그림 11. 스테이틱 핸드 제스처 인식 정보를 활용해 로봇의 좌회전, 우회전 제어 결과 영상
그림 Figure 12. Hand dynamic mode gesture "COME" recognition and robot control 그림 12. 핸드 다이나믹 모드 제스처 "COME"인식과 로봇 제어
그림 Figure 13. "S" information recognized using hand sign mode and the driving the robot result image 그림 13. 핸드 사인 모드를 사용해 인식한 "S" 정보와 로봇 주행 결과 영상
그림 Figure 14. The image of implements simultaneous control of games and robots by "COME" recognition using hand dynamic mode gesture 그림 14. 핸드 다이나믹 모드 제스처 "COME" 인식과 게임과 로봇 동시제어를 구현한 영상

참고문헌 (22)

Song Bok-Deuk, Lee Seung-Hwan, Choi Hong-Kyu and Kim Sung-Hun, "Design and？Implementation of a Stereoscopic Image Control System based on User Hand Gesture Recognition",？Korea Institute of information and Communication Engineering, v.26 no.3, pp. 396-402, 2022.
Heo Gyeong-Yong, Song Bok-Deuk, Kim Ji-Hong, "Hierarchical Hand Pose Model for Hand？Expression Recognition", Korea Institute of information and Communication Engineering, v.25？no.10, pp. 1323-1329, 2021.
Lim Young-Jae, Jung Il-Hong, "Hand Gesture Recognition in the Virtual Space based on Deep Learning", Korea Digital Contents Society, v.21 no.3, pp. 471-478, 2020.
Kim Kyu-Min, Baek Joong-Hwan, "Real-time hand gesture recognition based on deep learning",？Korea Multimedia Society, v.22 no.4, pp. 424-431, 2019.
Lee Byeong-Hee, Oh Dong-Han, Kim Tae-Young, "3D Virtual Reality Game with Deep Learningbased Hand Gesture Recognition", Korea Computer Graphics Society, v.24 no.5, pp. 41-48, 2018.
P. K. Pisharady and M. Saerbeck, "Recent methods and databases in vision-based hand gesture？recognition: a review," Computer Vision and Image Understanding, vol. 141, no. 4356, pp. 152-165,？2015.
Kim Jin-young, Shim Hyun, "Development of Sign Language Learning Assistance System Using？MediaPipe for Sign Language Education for the Hearing Impaired", Korea Electronics and？Telecommunications Society, v.16 no.6 , pp.1355-1362 , 2021.
Y. Zhou, M. Habermann, W. Xu, I. Habibie, C. Theobalt, F.Xu ,"Monocular Real-Time Hand Shape？and Motion Capture Using Multi-Modal Data," in Proceedings of the IEEE/CVF Conference on？Computer Vision and Pattern Recognition, 2020, pp. 5345-5354.
Bread type developing countries website, https://www.youtube.com/@bbanghyong
B. D. Song, H. K. Choi, S. H. Kim, "Research Trends of User Hand Gesutre Recognition？Technologies for Utilizing User Interaction in Stereoscopic Images," in Proceeding of the Korea？Institute of Communications and Information Sciences Summer Conference, 2021, pp. 119-120.
MediaPipe, https://mediapipe.dev/
E. Stergiopoulou, N. Papamarkos,"Hand gesture recognition using a neural network shape fitting？technique", Engineering Applications of Artificial Intelligence, vol.22, no8, pp 1141-1158, 2009
A. Kendon, "Current issues in the study of gesture, in: The Biological Foundation of Gestures: Motor？and Semiotic Aspects", Psychology Press, 1986, pp. 23-47.
Different approaches to Computer Visual-Based Hand Gesture Recognition,？https://medium.com/@bluebirb/different-approaches-to-computer-visual-based-hand-gesturerecognition-17164988e7f6
Ha-Dang Ho, Hong-Quan Nguyen, Thuy-Binh Nguyen, Sinh-Thuong Vu, Thi-Lan Le, "Dynamic？Hand Gesture Recognition from Egocentric Videos based on SlowFast Architecture", 2022 AsiaPacific Signal and Information Processing Association Annual Summit and Conference (APSIPA？ASC), 2022, pp.01-07.
Yongfeng Dong, Jielong Liu, Wenjie Yan, "Dynamic Hand Gesture Recognition Based on Signals？From Specialized Data Glove and Deep Learning Algorithms", IEEE Transactions on？Instrumentation and Measurement, vol.70, pp.1-14, 2021.

상세보기
MediaPipe Framework for ML solutions, https://viso.ai/computer-vision/mediapipe/
MediaPipe Hands, https://google.github.io/mediapipe/solutions/hands.html
MediaPipe Face Detection, https://google.github.io/mediapipe/solutions/face_detection.html
Concept of K-Nearest Neighbor, https://hleecaster.com/ml-knn-concept
Introduction to LSTM: https://www.analyticsvidhya.com/blog/2021/03/introduction-to-long-shortterm-memory-lstm/
CNN concept : https://www.ibm.com/topics/convolutional-neural-networks

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증