선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 고령자를 위한 기능성 걷기 게임인 “팔도강산3” 연구에서는 키넥트(KINECT)를 이용한 동작인식을 통한 시장보기 게임을 개발하였다[8]. 구현된 게임 시스템에서는 사용자가 시장을 다니며 주어진 임무에 맞는 음식을 기억하여 선택하면 점수를 얻는 게임형태로 사용자의 기억력 향상과 선택적 반응 능력을 향상시키는 것을 목표로 하는 연구이다. 제스처 인식 기반 3차원 기능성 게임 개발 연구에서는 치매 예방을 목적으로 프라임센스사의 3차원 깊이 카메라와 OpenNI SDK를 이용하여 사용자의 관절 정보를 획득하였고 이 관절 위치 및 방향을 이용하여 관절의 움직임을 분석하여 사용자의 전신 제스처를 인식하여 하였다[5].
- 키넥트 체험형 운동게임은 사용자의 위치를 정확하게 구분지어 판단할 수 없는 한계점을 가지고 있으며 Wii fit plus는 제자리에서만 시행한다는 한계점을 가지고 있다. 따라서 본 연구에서는 키넥트의 정확한 위치 구분이 불가능한 한계점을 스마트 매트로 보완하고 Wii의 제자리에서만 진행 할 수 있는 한계점을 키넥트로 보완하도록 구성한다.
- 본 연구에서는 사용자의 현재 걷기 운동 동작에 대한 정보를 시스템으로 전송하는 기능과 다음 취해야할 걷기 운동 동작에 대한 가이드를 수신하는 기능을 그림 8과 같이 LED 점등과 소등을 통해 제공할 수 있는 스마트 매트를 개발하였다. 또한 사용자의 운동자세인식을 위해 키넥트 카메라 센서를 활용하여 사용자의 운동 동작 데이터를 습득한다.
제안 방법
- 설정한 값은 슬레이브 모드의 통신속도 9600bps로 설정하고 데이터와 Stop비트를 각각 1바이트로 설정하여 스마트 매트 제어부인 RS-485와 일대일로 통신 할 수 있도록 연결하였다. SPP를 이용하여 사용자가 밟은 스텝에 대한 데이터와 사용자가 밟아야 할 스텝의 데이터를 통합운동게임시스템과 스마트 매트의 제어부 사이에서 전이중방식 양방향통신으로 하도록 설정하였다.
- 각도 정보를 추출하기 위해, 왼쪽 어깨-오른쪽 어깨, 오른쪽 어깨-오른쪽 팔꿈치, 오른쪽 팔꿈치-오른쪽 손, 오른쪽 어깨-왼쪽 어깨, 왼쪽 어깨-왼쪽 팔꿈치, 왼쪽 팔꿈치-왼쪽 손, 오른쪽 골반-오른쪽 무릎, 오른쪽 무릎-오른쪽 발, 왼쪽 골반-왼쪽 무릎, 왼쪽 무릎-왼쪽 발의 벡터를 생성하고, 어깨, 팔꿈치, 무릎 등의 각도를 계산하여, 팔, 다리의 굽힘 정도를 계산한다. 그리고 오른쪽 어깨-오른쪽 손, 왼쪽 어깨-왼쪽 손, 오른쪽 골반-오른쪽 발, 왼쪽 골반-왼쪽 발, 오른쪽 무릎-오른쪽 발, 왼쪽 무릎-왼쪽 발의 경우 정면, 위, 아래, 또는 45도 각도 벡터와의 각도를 계산하여, 팔, 다리가 어느 방향을 향하고 있는지 계산한다.
- 중급의 경우 총 10 스텝을 이동하는 동시에 양팔 벌리기, 무릎 들기, 다리 옆으로 들기 등의 좀 더 복잡한 운동 자세를 반복 수행하는 콘텐츠로 구성하였다. 고급 운동 동작 프로그램은 차렷, 양팔 벌리기, 만세, 런지, 스쿼트와 같은 다양한 운동 자세를 반복 수행하도록 구성하였다.
- 통합운동시스템의 Scene이 시작될 때 선택된 단계의 가이드영상과 동작 자세 데이터, 스텝 데이터를 불러 온다. 그 다음 메인화면의 이미지의 왼쪽 부분처럼 전문가의 운동 자세를 크로마키 처리된 가이드 영상으로 1초간 재생하여 사용자가 가이드 영상을 보고 따라 하도록 유도하였다. 자세 판단 결과에 대한 가이드로 시스템이 요구하는 자세를 취할 시 사용자의 아바타를 주변으로 구 모양의 Progress Component가 동작하게 되고 관절의 각도와 걸린 시간을 계산하여 점수별로 Good, Excellent, Not Bad, Bad 4단계로 나뉘어 출력되도록 구성되었다.
- 각도 정보를 추출하기 위해, 왼쪽 어깨-오른쪽 어깨, 오른쪽 어깨-오른쪽 팔꿈치, 오른쪽 팔꿈치-오른쪽 손, 오른쪽 어깨-왼쪽 어깨, 왼쪽 어깨-왼쪽 팔꿈치, 왼쪽 팔꿈치-왼쪽 손, 오른쪽 골반-오른쪽 무릎, 오른쪽 무릎-오른쪽 발, 왼쪽 골반-왼쪽 무릎, 왼쪽 무릎-왼쪽 발의 벡터를 생성하고, 어깨, 팔꿈치, 무릎 등의 각도를 계산하여, 팔, 다리의 굽힘 정도를 계산한다. 그리고 오른쪽 어깨-오른쪽 손, 왼쪽 어깨-왼쪽 손, 오른쪽 골반-오른쪽 발, 왼쪽 골반-왼쪽 발, 오른쪽 무릎-오른쪽 발, 왼쪽 무릎-왼쪽 발의 경우 정면, 위, 아래, 또는 45도 각도 벡터와의 각도를 계산하여, 팔, 다리가 어느 방향을 향하고 있는지 계산한다. 각도 계산을 위하여 식 (1)을 적용하였다.
- 또한, 본 연구에서는 키넥트2.0에서 제공하는 신체 주요 관절 25개 중에서 사용자의 운동 자세 측정을 위하여 팔은 양쪽 손, 양쪽 팔꿈치, 양쪽 어깨 정보를 이용하였고, 다리는 양쪽 발목, 양쪽 무릎, 양쪽 엉덩이 정보, 즉 14개의 관절을 사용하였다. 신체의 골격에 공간적인 위치 정보(즉, X, Y, Z 값)는 이동이나 회전 변화에 민감하기 때문에 위치 정보로부터 벡터를 생성하여 각도를 계산하여 자세 판별에 사용하였다.
- 본 연구에서 제안하는 가상현실 체험형 운동게임 시스템은 그림 1과 같이 스마트 매트 시스템, 운동 자세인식 시스템, 통합 운동게임 시스템으로 구성된다. 스마트 매트 시스템은 사용자의 스텝 정보를 인식한다.
- 팔도강산3의 경우에는 사용자의 운동보다 암기를 요구하는 비중이 높은 것으로 판단되며 이는 운동을 위한 체험형 게임으로는 한계점을 가진다고 할 수 있다. 본 연구에서는 걷기 운동을 중점으로 체험형 게임을 구성하도록 하였다.
- 본 연구에서는 비전 기반의 사용자 상반신 운동자세 인식을 구현하기 위해 키넥트 카메라 센서를 활용하였다. 사용자의 걷기 동작을 정확하게 인식하고 다음 취해야할 걷기 운동 동작에 대한 가이드를 제공하기 위해서 LED 표시가 가능한 스마트 매트를 개발하여 통합하였다.
- 키넥트 SDK는 OpenNI SDK보다 전신 트래킹 인식이 용이하기 때문에 본 연구에서 제안하는 전신 운동 동작 인식 모델에 적합하다. 본 연구에서는 자체 개발한 사용자의 자세에 따른 각도를 획득하는 알고리즘을 키넥트2.0 SDK 기반의 자세 인식 시스템에 적용하였다.
- 본 연구에서는 전문 트레이너 없이 다양한 난이도(초급, 중급, 고급)의 운동을 수행할 수 있도록 운동프로그램 콘텐츠를 구성하였다. 초급의 경우 총 10번의 스텝을 이동하는 동시에 만세, 양팔 벌리기, 차렷 자세의 팔동작을 반복하여 수행하도록 구성하였다.
- 또한 사용자의 운동자세인식을 위해 키넥트 카메라 센서를 활용하여 사용자의 운동 동작 데이터를 습득한다. 부수적으로 운동 상태와 균형감각 상태를 모니터링 하는 기능을 제공하고 기능성 게임의 재미요소를 결합하여 실제 운동 상황에서 사용자에게 실시간 상호작용을 제공하는 가상현실 체험형 운동 게임 통합 시스템을 설계 하였고 CPU 쿼드코어 i5-66003.3GHz, 8 GB RAM, nvidia GTX750Ti VGA, Windows 10 운영체제를 가진 PC에서 구현 및 운용 하였다.
- 이러한 이유 때문에 윈속(WinSocket)기반의 블루투스 C언어 함수들 즉 Bind, Accept, Listen, Send, Receive와 같은 함수들을 정적 라이브러리로 생성한 한 후 C# 동적 라이브러리로 다시 생성하여 프로토콜에 따라서 송수신을 정의한 후 Import하여 사용한다. 블루투스 연결이 끝나면 ② 연결 결과 값을 받은 후 Unity3D 내부적으로 프로토콜에 의한 데이터를 처리하기 위해 ③ Callback함수를 선언하고 등록해야 하며 이 함수는 Main Thread에서 동작하도록 하여 생명주기 함수를 내에서 실행 할 수 있도록 구현하였다. 그 후 유저의 입력이 있거나 Scene이 종료 될 때 까지 대기하며 입력이 있을 경우 ⑥과 같이 스마트 매트와 미리 지정해 놓은 프로토콜을 이용하여 데이터를 전송하도록 한다.
- 본 연구에서는 비전 기반의 사용자 상반신 운동자세 인식을 구현하기 위해 키넥트 카메라 센서를 활용하였다. 사용자의 걷기 동작을 정확하게 인식하고 다음 취해야할 걷기 운동 동작에 대한 가이드를 제공하기 위해서 LED 표시가 가능한 스마트 매트를 개발하여 통합하였다. 최종적으로는 사용자의 운동 동작 데이터를 습득 하여 운동 상태와 균형감 상태 모니터링 기능을 제공하고 기능성 게임의 재미요소를 결합하여 실제 운동 상황에서 사용자에게 실시간 상호작용을 제공하는 체험형 운동게임 통합 시스템을 설계 및 구현하였다.
- 통신을 위한 설정을 위해 블루투스 PC인터페이스 보드를 이용한 하이퍼터미널 명령을 사용하여 설정하였다. 설정한 값은 슬레이브 모드의 통신속도 9600bps로 설정하고 데이터와 Stop비트를 각각 1바이트로 설정하여 스마트 매트 제어부인 RS-485와 일대일로 통신 할 수 있도록 연결하였다. SPP를 이용하여 사용자가 밟은 스텝에 대한 데이터와 사용자가 밟아야 할 스텝의 데이터를 통합운동게임시스템과 스마트 매트의 제어부 사이에서 전이중방식 양방향통신으로 하도록 설정하였다.
- 0에서 제공하는 신체 주요 관절 25개 중에서 사용자의 운동 자세 측정을 위하여 팔은 양쪽 손, 양쪽 팔꿈치, 양쪽 어깨 정보를 이용하였고, 다리는 양쪽 발목, 양쪽 무릎, 양쪽 엉덩이 정보, 즉 14개의 관절을 사용하였다. 신체의 골격에 공간적인 위치 정보(즉, X, Y, Z 값)는 이동이나 회전 변화에 민감하기 때문에 위치 정보로부터 벡터를 생성하여 각도를 계산하여 자세 판별에 사용하였다.
- 위 식에서, θ는 3차원 공간에서 두 벡터 u, v 간의 각(Angle)이며, u와 v는 인접한 관절 벡터(예를 들어, 어깨와 팔꿈치 간과 팔꿈치와 손 간)를 의미하거나 또는 관절 벡터와 정면/위아래 벡터를 의미한다. 이러한 방식으로 운동 자세에 대한 몸통 및 왼쪽 팔, 오른쪽 팔, 왼쪽 다리, 오른쪽 다리 자세를 표현하는 각도와 양 손, 발, 무릎의 거리에 관한 특징을 사용하였다. 본 연구에서 인식 할 수 있는 자세 중 하나인 양팔을 드는 자세를 예로 들면 인식된 사용자의 전체 관절 중 양쪽 어깨-양쪽 팔꿈치, 양쪽 팔꿈치-양손의 각도를 계산하여 굽힘의 정도를 계산하여 모두 90도에 근접한 경우 시스템에서 올바른 동작이라고 판단한다[13].
- 자세 판단 결과에 대한 가이드로 시스템이 요구하는 자세를 취할 시 사용자의 아바타를 주변으로 구 모양의 Progress Component가 동작하게 되고 관절의 각도와 걸린 시간을 계산하여 점수별로 Good, Excellent, Not Bad, Bad 4단계로 나뉘어 출력되도록 구성되었다. 이어서 메인화면 이미지의 가운데를 보면 스마트 매트의 사용자인터페이스를 인터랙티브하게 출력하도록 구현하여 운동 단계에 따라 어느 셀을 밟아야 하는 지 시각적으로 확인 가능하도록 구현되었다. 마지막으로 메인화면 이미지의 오른쪽을 보면 사용자가 스크린 안에 가상 아바타를 통해 자신의 동작과 전문가 동작을 비교하여 요구되는 자세를 올바르게 취하였는지 확인하기 위해 아바타가 실시간으로 사용자의 움직임을 따라하도록 구현되어 사용자가 올바른 자세로 수행하고 있는지 확인 가능하다.
- 일치 할 경우 스마트 매트의 인식 시스템을 이용하여 사용자가 현재 밟은 셀 번호를 ⑤기능처럼 수신하여 비교한 뒤 일치하면 ⑥기능과 같이 다음 스텝으로 진행되도록 한다. 일치하지 않으면 다시 반복하는 과정을 거치도록 구현하였다.
- 그 다음 메인화면의 이미지의 왼쪽 부분처럼 전문가의 운동 자세를 크로마키 처리된 가이드 영상으로 1초간 재생하여 사용자가 가이드 영상을 보고 따라 하도록 유도하였다. 자세 판단 결과에 대한 가이드로 시스템이 요구하는 자세를 취할 시 사용자의 아바타를 주변으로 구 모양의 Progress Component가 동작하게 되고 관절의 각도와 걸린 시간을 계산하여 점수별로 Good, Excellent, Not Bad, Bad 4단계로 나뉘어 출력되도록 구성되었다. 이어서 메인화면 이미지의 가운데를 보면 스마트 매트의 사용자인터페이스를 인터랙티브하게 출력하도록 구현하여 운동 단계에 따라 어느 셀을 밟아야 하는 지 시각적으로 확인 가능하도록 구현되었다.
- 본 연구에서는 전문 트레이너 없이 다양한 난이도(초급, 중급, 고급)의 운동을 수행할 수 있도록 운동프로그램 콘텐츠를 구성하였다. 초급의 경우 총 10번의 스텝을 이동하는 동시에 만세, 양팔 벌리기, 차렷 자세의 팔동작을 반복하여 수행하도록 구성하였다. 중급의 경우 총 10 스텝을 이동하는 동시에 양팔 벌리기, 무릎 들기, 다리 옆으로 들기 등의 좀 더 복잡한 운동 자세를 반복 수행하는 콘텐츠로 구성하였다.
- 사용자의 걷기 동작을 정확하게 인식하고 다음 취해야할 걷기 운동 동작에 대한 가이드를 제공하기 위해서 LED 표시가 가능한 스마트 매트를 개발하여 통합하였다. 최종적으로는 사용자의 운동 동작 데이터를 습득 하여 운동 상태와 균형감 상태 모니터링 기능을 제공하고 기능성 게임의 재미요소를 결합하여 실제 운동 상황에서 사용자에게 실시간 상호작용을 제공하는 체험형 운동게임 통합 시스템을 설계 및 구현하였다.
- 통신부는 블루투스를 이용하여 제어부에 명령을 내리는 것을 담당하며 모듈은 SPP(Serial Port Profile)와 HID(Human Interface Device)를 지원하는 모델 제품을 적용하였으며 적용한 회로도는 그림 3과 같다.
- 통신을 위한 설정을 위해 블루투스 PC인터페이스 보드를 이용한 하이퍼터미널 명령을 사용하여 설정하였다. 설정한 값은 슬레이브 모드의 통신속도 9600bps로 설정하고 데이터와 Stop비트를 각각 1바이트로 설정하여 스마트 매트 제어부인 RS-485와 일대일로 통신 할 수 있도록 연결하였다.
대상 데이터
- 스마트 매트는 사용자가 발로 밟는 동작을 인식하는 24개의 센싱부, 매트 센싱부의 LED(Light Emitting Diode) 반응과 전원을 제어하는 제어부, 통합운동게임 시스템과 블루투스 통신을 이용할 수 있는 통신부로 구성된다. 운동 자세인식 시스템은 운동자세 인식 알고리즘이 구현되어 있으며 키넥트 2.
- 제어부는 24개의 셀에 FSR센서와 LED를 제어하기 위해 중앙제어 MCU와 3개의 서브제어 MCU(Micro Controller Unit)로 구성하였다. 서브제어 MCU는 각 8개의 셀을 제어 할 수 있도록 설계하였다.
성능/효과
- 이어서 메인화면 이미지의 가운데를 보면 스마트 매트의 사용자인터페이스를 인터랙티브하게 출력하도록 구현하여 운동 단계에 따라 어느 셀을 밟아야 하는 지 시각적으로 확인 가능하도록 구현되었다. 마지막으로 메인화면 이미지의 오른쪽을 보면 사용자가 스크린 안에 가상 아바타를 통해 자신의 동작과 전문가 동작을 비교하여 요구되는 자세를 올바르게 취하였는지 확인하기 위해 아바타가 실시간으로 사용자의 움직임을 따라하도록 구현되어 사용자가 올바른 자세로 수행하고 있는지 확인 가능하다.
- 이러한 방식으로 운동 자세에 대한 몸통 및 왼쪽 팔, 오른쪽 팔, 왼쪽 다리, 오른쪽 다리 자세를 표현하는 각도와 양 손, 발, 무릎의 거리에 관한 특징을 사용하였다. 본 연구에서 인식 할 수 있는 자세 중 하나인 양팔을 드는 자세를 예로 들면 인식된 사용자의 전체 관절 중 양쪽 어깨-양쪽 팔꿈치, 양쪽 팔꿈치-양손의 각도를 계산하여 굽힘의 정도를 계산하여 모두 90도에 근접한 경우 시스템에서 올바른 동작이라고 판단한다[13].
- 색상 카메라를 통해 2차원적으로 사용자 또는 사물을 인식하고 깊이 센서를 통해 3차원 위치를 인식하게 된다. 키넥트 SDK는 OpenNI SDK보다 전신 트래킹 인식이 용이하기 때문에 본 연구에서 제안하는 전신 운동 동작 인식 모델에 적합하다. 본 연구에서는 자체 개발한 사용자의 자세에 따른 각도를 획득하는 알고리즘을 키넥트2.
- 통합 운동게임 시스템에서 유저 동작이 올바른지 판별하는 기능은 모든 연결이 진행되었고 유저의 입력을 기다린 다는 시나리오로 가정하여 사용자가 동작을 취하면 그림 7의 ②와 같이 사용자의 Joint 데이터를 받아 본론 유저의 동작과 통합운동시스템이 요구하는 동작과 일치를 확인한다. 일치 할 경우 스마트 매트의 인식 시스템을 이용하여 사용자가 현재 밟은 셀 번호를 ⑤기능처럼 수신하여 비교한 뒤 일치하면 ⑥기능과 같이 다음 스텝으로 진행되도록 한다.
후속연구
- 본 연구에서 구현된 가상현실 기반 체험형 운동 게임 시스템은 사용자의 운동참여 인구를 향상시키고, 건강증진과 질병 예방을 위한 운동 용품의 개발과 운동의 효과를 연구해 볼 수 있는 기초자료 제공을 위해 활용 가능하며 고령자들이나 사용자들이 보다 자립적이고 독립적으로 가정 및 건강증진 관련 기관에서 쉽게 운동할 수 있도록 유도함으로서 운동의 실천력을 향상에 기여하는 체험형 운동게임 시스템으로 활용될 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.