[논문]Kinect와 Unity3D를 이용하여 제스처 기반 NUI를 적용한 3D 재활 치료 시스템

손현호; 구동현; 정상철; 이영만; 이상민; 이도훈

문제 정의

기억력 재활 훈련은 치매 등 기억력 장애가 있는 환자들을 대상으로 하는 프로그램으로 신체를 움직여 카드를 선택해야 하므로 기억력 재활 효과 이외에도 가벼운 운동 효과도 제공하도록 구현하였다. 모드 선택을 통하여 8쌍, 12 쌍으로 난이도를 조절하여 진행할 수 있다.
본 논문에서는 Kinect를 이용하여 사용자의 동작을 인식하고 재활에 도움을 줄 수 있는 시스템을 Unity3D를 이용하여 구현하였다. 이를 통해 가정에서 재활운동을 가능하게 하여 환자가 병원 및 재활시설까지 정기적으로 이동하는 불편함과 이에 부담되는 비용을 줄일 수 있다.
손 쥐기를 인식할 수 있도록 구현하였다. 손동작 인식에 관련된 연구가 현재 많이 진행되고 있으몌6, 7], 이 중공을 쥐고 놓는 행위를 위한 손 쥐기 인식만을 목적으로 하여 진행하였다.

제안 방법

마우스를 이용한 입력은 원거리에 있는 사용자에게 불편함을 가져올 수 있다. 그러므로 제스처를 통하여 원거리에서 프로그램의 조작이 가능하도록 구현하였다. 하지만 재활치료를 해야 하는 환자의 경우 정확한 제스처를 취하기가 어려울 수 있다.
이를 통해 가정에서 재활운동을 가능하게 하여 환자가 병원 및 재활시설까지 정기적으로 이동하는 불편함과 이에 부담되는 비용을 줄일 수 있다. 또한, 제스처 기반 NUI (Natural User Interface)를 구현하여 직관적인 조작방식으로 가정에서도 쉽게 프로그램을 사용할 수 있도록 구현하였다.
모드의 선택이 있는 게임에 있어서는 위로 팔을 뻗을 경우 오른팔 왼팔과 관계없이 게임 모드의 선택이 가능하도록 하였다. 일반적으로 화면 우측이 다음 상태를 의미하고, 화면 좌측이 이전 상태를 의미한다는 점에 착안하여 디자인하여 직관성을 높였다.
미니게임 중 공을 옮기는 미니게임의 구현을 위하여 손의 손 쥐기를 인식할 수 있도록 구현하였다. 손동작 인식에 관련된 연구가 현재 많이 진행되고 있으몌6, 7], 이 중공을 쥐고 놓는 행위를 위한 손 쥐기 인식만을 목적으로 하여 진행하였다.
NUI는 터치센서부터 음성인식까지 매우 광범위한 개념으로, 실제로도 다양한 연구가 진행되고 있다[1]. 본 논문에서는 Kine ct를 사용하여 인체를 인식.추적하기에 제스처 입력 방식의 NUI를 채택하였다.
설문 조사를 취하는 방식을 채택하였다. 본 설문조사의 각 항목은 김나영[8]의 연구를 참고하여 QUIS 표준에 맞추어 작성하였다[9].
손 쥐기 인식에 앞서 손 위치의 추적이 필요하다. 손 위치의 추적에서는 Kinect의 인체 골격 추적기능을 이용하였다. 단, 인체 골격을 통해 얻은 손의 위치는 정확히 손의 중심점으로 이용하기에는 정확성이 떨어지므로, 손 위치를 기준으로 일정 영역의 깊이 영상을 바탕으로 하여 손의 중심점을 바로잡는 작업이 필요하다.
실험은 일반인을 대상으로 하여 프로그램을 직접 사용해보고 설문 조사를 취하는 방식을 채택하였다. 본 설문조사의 각 항목은 김나영[8]의 연구를 참고하여 QUIS 표준에 맞추어 작성하였다[9].
이를 구현하기 위하여 각 선택을 위한 영역을 3D 공간상에 지정하였으며 팔을 뻗어 손끝이 지정한 영역에 들어가서 일정 프레임 이상 유지할 시 명령이 수행되도록 구현하였다.
김헌 외[4]의 연구에서 방향성을 기반으로 정의한 제스처가 직관성을 높여준다는 결과가 있었다. 이를 기반으로 하여 NUI 조작을 위한제스처를 정의하였다.
단, 인체 골격을 통해 얻은 손의 위치는 정확히 손의 중심점으로 이용하기에는 정확성이 떨어지므로, 손 위치를 기준으로 일정 영역의 깊이 영상을 바탕으로 하여 손의 중심점을 바로잡는 작업이 필요하다. 이를 위해 손 영역에 거리 변환 알고리즘을 적용하여 골격을 구하고, 이를 바탕으로 중심점을 구하였다.
하지만 재활치료를 해야 하는 환자의 경우 정확한 제스처를 취하기가 어려울 수 있다. 이에 제스처를 치료보조자의 제스처, 치료 대상자의 제스처로 분류하였다. 치료 보조자의 제스처는 프로그램 조작 목적으로, 치료 대상자의 제스처는 프로그램 내의 미니게임 수행을 통한 치료목적으로 분류하여 구현하였다.
상체 근육의 운동을 위하여 몸을 크게 움직일 수 있도록 하였다. 재활 치료 효과의 향상을 위해 손을 일정 거리 이상 뻗어야만 창문이 닦이도록 구현하였다. (그림1) (b)와 같이 화면의 양측 하단에 색상의 변화로 손이 현재 창문까지 닿았는가를 확인할 수 있는 시각적 피드백 장치를 마련하였다.
집중력 재활 훈련은 공을 정확한 위치에 옮기는 재활 훈련으로써, 난이도에 따라 5단계로 구분하였다. (그림1) (a) 의 우측에 있는 공을 화면 가운데에 위치한 항아리에 넣도록 하였으며, 난이도가 올라갈수록 목표로 하는 영역이 좁아지고, 이를 통해 치료자의 집중력을 높일 수 있다.
본 논문에서는 Kine ct를 사용하여 인체를 인식.추적하기에 제스처 입력 방식의 NUI를 채택하였다.
이에 제스처를 치료보조자의 제스처, 치료 대상자의 제스처로 분류하였다. 치료 보조자의 제스처는 프로그램 조작 목적으로, 치료 대상자의 제스처는 프로그램 내의 미니게임 수행을 통한 치료목적으로 분류하여 구현하였다.
2] 이 방식은 손 인식을 통하여 2차원이미지를 커서로써 조작하여 오브젝트를 선택하기에 마우스 입력방식의 확장으로 볼 수 있다. 하지만 본 논문에서는 인터페이스를 제스처 기반 NUI로 구현하여 조금 더 자연스러운 조작이 가능하도록 구현하였다.

이론/모형

본 시스템의 구현에 있어 Microsoft에서 개발한 Kinect 와 게임엔진인 Unity3D를 연동하는 방법으로써 Open NI 기반 플러그인인 zigfu를 사용하였다.

성능/효과

또한, 각 세부 항목별 조사에서는 ‘메뉴 - 직관성’。〕77점, ‘메뉴 - 정확성’。〕90점으로 제스처 기반 NUI가 시스템의 조작에 긍정적인 역할을 하였다. 하지만 각각의 재활 치료 프로그램에서는 '기억력, 상체운동 - 난이도’의 항목이 각각 73, 77점이지만, 집중력 재활 치료 프로그램에서 '집중력 - 반응속도' 항목이 30점이 나왔으며, '집중력 - 난이도’ 항목 역시 63점으로 다소 낮은 점수가 나왔다.

후속연구

실험에서 행해졌던 설문조사에서 긍정적인 반응을 얻었다는 점은 NUI 기반의 프로그램 제작에 있어 의미 있는 결과라 할 수 있다. 다만, Kinect에서 자체적으로 지원하지 않아 직접 구현한 손동작 인식이 실시간으로 정확히 반영되지 않았기에, 앞으로 이를 보완하여 더욱 섬세한 동작을 정확히 인식할 수 있도록 개선해야 한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Kinect와 Unity3D를 이용하여 제스처 기반 NUI를 적용한 3D 재활 치료 시스템
Gesture-Based NUI 3D Rehabilitation System Using Kinect and Unity3D 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Kinect와 Unity3D를 이용하여 제스처 기반 NUI를 적용한 3D 재활 치료 시스템 Gesture-Based NUI 3D Rehabilitation System Using Kinect and Unity3D 원문보기

초록 AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Kinect와 Unity3D를 이용하여 제스처 기반 NUI를 적용한 3D 재활 치료 시스템
Gesture-Based NUI 3D Rehabilitation System Using Kinect and Unity3D 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper