초록

본 발명은 립모션 컨트롤러를 이용한 적외선 이미지 기반 손동작 인식 기술과 음성인식 기술을 활용하여 증강현실 재활 훈련에서 환자의 흥미를 유발하되 손동작 인식 정확도와 훈련 효율을 크게 향상시킨 손동작 인식 향상 기술이 적용된 증강현실 재활 훈련시스템에 관한 것이다.

대표청구항 ▼

내측에 고정부(111)가 형성된 하부프레임(110)과, 상기 하부프레임(110) 상측에 위치하며 거치대(121)가 형성된 상부프레임(120)과, 상기 하부프레임(110) 및 상부프레임(120) 사이에 손동작을 위한 동작영역(131)이 형성되도록 상호 연결하는 수직프레임(130)으로 구성되는 몸체부(100);상기 고정부(111)에 설치되며 상기 동작영역에서의 손동작을 촬영하는 영상감지모듈(140);상기 거치대(121)에 결합되며 영상을 출력하는 디스플레이부(161)와, 음원을 출력하는 음향출력부(162)를 구비하는 출력모듈(160);

내측에 고정부(111)가 형성된 하부프레임(110)과, 상기 하부프레임(110) 상측에 위치하며 거치대(121)가 형성된 상부프레임(120)과, 상기 하부프레임(110) 및 상부프레임(120) 사이에 손동작을 위한 동작영역(131)이 형성되도록 상호 연결하는 수직프레임(130)으로 구성되는 몸체부(100);상기 고정부(111)에 설치되며 상기 동작영역에서의 손동작을 촬영하는 영상감지모듈(140);상기 거치대(121)에 결합되며 영상을 출력하는 디스플레이부(161)와, 음원을 출력하는 음향출력부(162)를 구비하는 출력모듈(160);재활훈련을 위한 안내음성과 재활훈련 콘텐츠와 상기 콘텐츠에 대응하는 콘텐츠영상 및 유저인터페이스와 콘텐츠음원이 저장된 저장부(171)와, 상기 영상감지모듈(140)에서 촬영된 손동작을 인식하는 동작인식부(172)와, 인식된 손동작을 콘텐츠영상에 적용하여 출력시키는 영상처리부(174)와, 인식된 손동작을 상기 콘텐츠의 내용에 대응하여 평가하는 평가부(175)와, 평가결과를 영상 또는 음성을 통해 출력되도록 하는 피드백부(176)를 구비하는 제어모듈(170); 로 이루어지되,상기 동작인식부(172)는, 립 모션 컨트롤러를 통해 손의 움직임을 추적하여 3차원의 가상환경에 손 모델의 3차원 위치 값, 회전 값을 반영하고, 손바닥 모델을 기준으로 각 손가락 체절에 관한 상대각도 값을 구하며,사용자로부터 음성을 입력받는 음성입력부(151)와, 입력된 음성을 분석하여 텍스트정보로 변환하는 음성인식부(152)를 구비하는 음성입력모듈(150); 을 더 포함하고,상기 제어모듈(170)은, 상기 텍스트정보를 통해 콘텐츠의 선택 및 진행이 이루어지도록 하는 음성인터페이스부(173)를 더 포함하며,상기 동작인식부(172)는 잡는 동작의 검출을 입력받는 이진화 변수와 손뼉 동작의 검출을 입력받는 트리거 변수를 발생시키되, 트리거 변수는 이벤트 핸들러에 발생 값을 전달시키고 소멸하여 함수 동작이 완료되면 다시 대기 상태로 진입하여 동작함으로써 손뼉을 친 순간에만 이벤트를 1회 처리하여 손뼉 동작을 검출 가능하고, 이진화 변수는 상태 반환 값을 유지함으로써 잡는 동작을 검출 가능하며,상기 동작인식부(172)는 상기 손 모델의 손바닥 부분과 각 손끝 관절을 기준으로 충돌 판정 박스를 추가하며, 손 모델에 포함된 충돌 판정 박스와 상호작용 오브젝트의 충돌 판정 박스가 충돌하였을 때, 상호작용 오브젝트의 태그 변수를 확인하고, 상기 태그 변수가 잡을 수 있는 객체로 분류되는 경우 엄지와 검지가 일정 각도 이상일 경우 3D객체의 모델링 내부 스켈레톤을 고정하는 컴포넌트인 고정된 관절 구성요소를 생성하여 접점을 구성하는 것을 특징으로 하는 증강 현실 재활 훈련 시스템.