[논문]A Design and Implementation of Fitness Application Based on Kinect Sensor

Lee, Won Joo

doi:10.9708/jksci.2021.26.03.043

A Design and Implementation of Fitness Application Based on Kinect Sensor 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.26 no.3, 2021년, pp.43 - 50

Lee, Won Joo (Dept. of Computer Science, InHa Technical College)

초록
AI-Helper

본 논문에서는 키넥트 센서를 기반으로 한 휘트니스(Fitness) 동작의 정확성을 피드백 하는 윈도우 애플리케이션 KITNESS를 설계하고 구현한다. 이 애플리케이션의 특징은 키넥트의 카메라와 관절 인식 센서를 활용하여 사용자가 정확한 휘트니스 자세로 운동할 수 있도록 피드백을 주는 것이다. 이때 키넥트의 IR Emitter와 IR Depth Sensor를 이용하여 사용자와 키넥트 간의 거리를 측정하고, 사용자의 관절 위치인 조인트(Joint)와 각 관절의 스켈레톤(Skeleton) 데이터를 측정한다. 이러한 데이터를 이용하여 사용자의 관절 위치와 자세마다 일정 거리를 계산하고 자세의 정확도를 판단한다. 그리고 키넥트의 RGB 카메라를 통해 사용자가 본인의 자세를 확인할 수 있도록 구현한다. 즉, 사용자의 자세가 정확하면 스켈레톤 정보를 초록색 선으로 표시하고, 정확하지 않으면 정확하지 않은 부분을 빨간색 선으로 표시하여 직관적으로 알려준다. 사용자는 이 애플리케이션을 통하여 운동하는 자세의 정확도를 피드백 받기 때문에 혼자서도 정확한 자세로 운동할 수 있다. 이 애플리케이션은 운동 부위를 목, 허리, 다리 세 가지 영역으로 분류하고, 각 운동 부위의 자세에서 관절이 겹쳐서 키넥트가 인식하지 못하는 자세를 제외함으로써 키넥트의 인식률을 높인다. 그리고 애플리케이션 종료 시에는 마지막 운동 모습을 이미지로 5초간 보여줌으로써 성취감을 고취시키고 지속적으로 운동할 수 있도록 구현한다.

Abstract ▼ AI-Helper

In this paper, we design and implement KITNESS, a windows application that feeds back the accuracy of fitness motions based on Kinect sensors. The feature of this application is to use Kinect's camera and joint recognition sensor to give feedback to the user to exercise in the correct fitness position. At this time, the distance between the user and the Kinect is measured using Kinect's IR Emitter and IR Depth Sensor, and the joint, which is the user's joint position, and the Skeleton data of each joint are measured. Using this data, a certain distance is calculated for each joint position and posture of the user, and the accuracy of the posture is determined. And it is implemented so that users can check their posture through Kinect's RGB camera. That is, if the user's posture is correct, the skeleton information is displayed as a green line, and if it is not correct, the inaccurate part is displayed as a red line to inform intuitively. Through this application, the user receives feedback on the accuracy of the exercise position, so he can exercise himself in the correct position. This application classifies the exercise area into three areas: neck, waist, and leg, and increases the recognition rate of Kinect by excluding positions that Kinect does not recognize due to overlapping joints in the position of each exercise area. And at the end of the application, the last exercise is shown as an image for 5 seconds to inspire a sense of accomplishment and to continuously exercise.

주제어

표/그림 (19)

그림 Fig. 1. The reasons why people give up using Paid Fitness Facilities[1]
그림 Fig. 2. The reasons why people do 'Home Training'[3]
표 Table 1. Existing Fitness program
그림 Fig. 3. Kinect Structure
그림 Fig. 4. Joint ID Map recognized by Kinect
표 Table 2. Specification of Kinect v1, v2 sensor[5]
그림 Fig. 5. Incorrect recognition results (B) of overlapped joints (A)
그림 Fig. 6. exercises
표 Table 3. Development Environment
표 Table 4. Function of Class
그림 Fig. 7. Exercise posture selection screen
그림 Fig. 8. Preparation Screen
표 Table 5. WpfAnimated Gif Code
그림 Fig. 9. The flipping position shown in the tutorial
그림 Fig. 10. Exercise Feedback Screen
표 Table 6. InitializeNui Method Code
표 Table 7. GoPosition_Check Method Code
그림 Fig. 11. Program end screen
표 Table 8. Position Check Method Example Code

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 홈 트레이닝의 단점을 줄이고, 혼자서도 정확하게 운동하는 것을 도와주는 애플리케이션이 필요하다. 따라서 본 논문에서는 키넥트 센서를 기반으로 한 휘트니스 동작의 정확성을 피드백하는 윈도우 애플리케이션을 설계하고 구현한다.
본 논문에서는 키넥트 센서를 기반으로 한 휘트니스 동작의 정확성을 피드백 하는 윈도우 애플리케이션인 KITNESS를 구현한다. KITNESS는 Kinect와 Fitness의 합성어로, 키넥트를 활용하여 정확한 휘트니스 자세로 운동할 수 있도록 피드백 해주는 윈도우 애플리케이션이다.
본 논문에서는 키넥트 센서를 기반으로 한 휘트니스 동작의 정확성을 피드백하는 KITNESS 윈도우 애플리케이션을 설계하고 구현하였다. 이 애플리케이션은 키넥트 센서에서 센싱한 조인트와 스켈레톤 정보를 활용하여 정확한 사용자의 휘트니스 자세를 제공한다.
키넥트의 스켈레톤 인식 기능의 정확도가 어떤 자세에 따라 차이가 있는지 알아보기 위해 실험을 진행한다. 사용자가 다양한 자세를 취할 때 사용자의 스켈레톤을 인식하는 키넥트의정확도를 알아보기 위해 실험을 진행한다. 그림 5의 A 영역과 같이 사용자 관절들이 겹치면 B 영역과 같이 스켈레톤 위치를 정확하게 인식하지 못하는 단점이 있다.
KITNESS는 Kinect와 Fitness의 합성어로, 키넥트를 활용하여 정확한 휘트니스 자세로 운동할 수 있도록 피드백 해주는 윈도우 애플리케이션이다. 키넥트의 스켈레톤 인식 기능의 정확도가 어떤 자세에 따라 차이가 있는지 알아보기 위해 실험을 진행한다. 사용자가 다양한 자세를 취할 때 사용자의 스켈레톤을 인식하는 키넥트의정확도를 알아보기 위해 실험을 진행한다.

제안 방법

그리고 자세 스텝마다 정확도 검사 후 “잘하고 있어” 혹은 “좀만 더 노력하자”라는 피드백과 사용자 자세의 틀린 부위에는 빨간 선을 그어 직관적으로 알림으로써 실시간으로 피드백 받을 수 있게 한다. 또한, 사용자의 성취감을 자극하기 위해 프로그램을 종료할 때마다 사용자가 최근에 정확하게 운동했던 모습을 보여주며 꾸준히 운동할 수 있도록 설계한다.
정확하지 않은 자세를 하면 좀 더 분발하자는 문구와 스티커로 시각적인 피드백을 준다. 마지막으로 애플리케이션 종료 시에는 마지막 운동 모습을 이미지로 5초간 보여줌으로써 성취감을 고취시키고, 지속적으로 운동할 수 있도록 구현하였다.
본 논문에서 개발하는 애플리케이션은 확장성이 넓은윈도우즈 플랫폼 기반의 애플리케이션으로 개발하기 위해 Visual Studio 2017에서 WPF으로 구현한다. 윈도우즈와키넥트 연동을 위해 Kinect for Windows SDK를 사용한다.
본 논문에서 구현하는 KITNESS 윈도우 애플리케이션은 키넥트의 뎁스(Depth) 센서에서 센싱한 데이터와 사용자의 관절 정보인 조인트(Joint)와 스켈레톤(Skeleton) 정보를 활용하여 휘트니스 자세의 정확도를 판단한다. KITNESS 구현에 필요한 클래스는 표 4와 같다.
설계하고 구현하였다. 이 애플리케이션은 키넥트 센서에서 센싱한 조인트와 스켈레톤 정보를 활용하여 정확한 사용자의 휘트니스 자세를 제공한다. 또한, 카메라로 현재 모습을 촬영하여 사용자 관절의 위치를 이어주는 선을 화면에 출력함으로써 사용자의 자세를 정확하게 알 수 있다.
이러한 분석 결과에 따라 본 논문에서 개발하는 애플리케이션은 사용자와 캐릭터를 동시에 보여주어 자세를 따라 할 수 있는 화면을 구성한다. 그리고 자세 스텝마다 정확도 검사 후 “잘하고 있어” 혹은 “좀만 더 노력하자”라는 피드백과 사용자 자세의 틀린 부위에는 빨간 선을 그어 직관적으로 알림으로써 실시간으로 피드백 받을 수 있게 한다.
키넥트에서 RGB 카메라는 렌즈를 통해서 본 이미지를 전송하고, Depth 센서인 IR Emitter와 IR Depth Sensor 는 적외선을 이용해 센서와 물체의 거리 데이터를 생성하여 컨트롤러 없이 사용자를 인식한다. 그리고 Tilt Motor 는 키넥트 센서를 상하로 움직이는 기능을 제공한다[4].

성능/효과

분석 결과 휘트니스 애플리케이션은 3가지 기능이 필요하다는 것을 알 수 있다. 첫째, 캐릭터를 활용해 자세를 실시간으로 보여주어야 한다.

참고문헌 (11)

Korea Health Promotion Institute, Press release of survey results on physical activity of office workers, https://www.khealth.or.kr/board/view?menuIdMENU00907&linkId501805.
Nielsen, A healthy habit of taking care of my body, home training, http://www.koreanclick.com/insights/newsletter_view.html ?&id464.
TrendMonitor, 2018 U&A survey on exercise experience and home training in daily life, https://www.trendmonitor.co.kr/tmweb/trend/allTrend/detail.do?bIdx1677&trendTypeCKOREA
Microsoft, Kinect for Windows Sensor Components and Specifications, https://docs.microsoft.com/en-us/previous-versions/windows/kinect-1.8/jj131033(vieb.10).
Leepooiye, Differences between Kinect with Kinect 2.0, https://myleepy.wordpress.com/2018/07/16/week-2-kniect/.
Suharjito, Suharjito & Anderson, Ricky & Wiryana, Fanny & Ariesta, Meita & Kusuma Negara, I Gede Putra, "Sign Language Recognition Application Systems for Deaf-Mute People: A Review Based on Input-Process-Output," Procedia Computer Science. Vol.116. pp. 441-448, Oct. 2017. DOI:10.1016/j.procs.2017.10.028

상세보기
Microsoft, Microsoft.Kinect Namespace, https://docs.microsoft.com/en-us/previous-versions/windows/kinect-1.8/hh855419(vieb.10).
J. K. Ko, "Kinect Programing," Korea Electronics Association, 2012.
Yun, Hye-Jeong, Kim, Kwang-Il, Lee, Jeong-Hun, and Lee, Hae-Yeoun, "Development of Experience Dance Game using Kinect Motion Capture," KIPS transactions on software and data engineering, Vol. 3, No. 1, pp. 49-56, Jan. 2014. DOI:10.3745/KTSDE.2014.3.1.49

원문보기 상세보기
Park, Kyoung Shin, "Development of Kinect-Based Pose Recognition Model for Exercise Game," KIPS transactions on computer and communication systems, Vol. 5, No. 10, pp. 303-310, Oct. 2016. DOI:10.3745/KTCCS.2016.5.10.303

원문보기 상세보기
Kim, ChangGeol and Song, Byung-Seop, "Development of Home Training System with Self-Controlled Feedback for Stroke Patients," Journal of the Korea Industrial Information Systems Research, Vol. 18, No. 1, pp. 37-45, Feb. 2013. DOI:10.9723/JKSIIS.2013.18.1.037

원문보기 상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증