본 논문은 치매 예방을 위한 제스처 인식 기반 3D기능성 게임을 제안한다. 제안된 기능성 게임은 전신 제스처 인식을 이용함으로써 사용자의 두뇌 사용능력과 신체활동성을 증가시켜 치매 예방의 효과를 향상시킬 수 있도록 하였다. 기존에 개발된 제스처 인식 기술에 사용된 카메라들은 인식률과 가동영역이 한계적이다. 보다 안정적인 전신 제스처인식을 위해 3D depth 카메라로부터 사용자를 인식하고 사용자의 관절 정보를 획득하였으며 관절의 움직임을 분석하여 전신 제스처를 인식하였다. 게임 콘텐츠로는 치매의 대표적인 원인인 뇌세포의 퇴화에 초점을 맞춰 기억력, 논리력, 산술능력, 공간인지능력 등을 훈련할 수 있도록 구성하였다. 사용자 별로 게임 결과를 저장하고 분석하여 인지능력 향상 정도를 측정할 수 있도록 하였다.
본 논문은 치매 예방을 위한 제스처 인식 기반 3D기능성 게임을 제안한다. 제안된 기능성 게임은 전신 제스처 인식을 이용함으로써 사용자의 두뇌 사용능력과 신체활동성을 증가시켜 치매 예방의 효과를 향상시킬 수 있도록 하였다. 기존에 개발된 제스처 인식 기술에 사용된 카메라들은 인식률과 가동영역이 한계적이다. 보다 안정적인 전신 제스처인식을 위해 3D depth 카메라로부터 사용자를 인식하고 사용자의 관절 정보를 획득하였으며 관절의 움직임을 분석하여 전신 제스처를 인식하였다. 게임 콘텐츠로는 치매의 대표적인 원인인 뇌세포의 퇴화에 초점을 맞춰 기억력, 논리력, 산술능력, 공간인지능력 등을 훈련할 수 있도록 구성하였다. 사용자 별로 게임 결과를 저장하고 분석하여 인지능력 향상 정도를 측정할 수 있도록 하였다.
In this paper, we propose gesture recognition based 3D Serious Games to prevent dementia. These games are designed to enhance the effect of preventing dementia by helping increase brain usage and physical activities of users by the entire body gesture recognition. The existing cameras used for gestu...
In this paper, we propose gesture recognition based 3D Serious Games to prevent dementia. These games are designed to enhance the effect of preventing dementia by helping increase brain usage and physical activities of users by the entire body gesture recognition. The existing cameras used for gesture recognition technology are limited in terms of recognition ratio and operation range. For more stable recognition of the body gestures, we recognized users with a 3D depth camera, obtained joint data of users, and analyzed joint motions to recognize gestures of the body. Game contents were designed to practice memory, reasoning, calculation, and spatial recognition focusing on the atrophy of brain cells as a major cause of dementia. Game results of each user were saved and analyzed to measure how their recognition skills improved.
In this paper, we propose gesture recognition based 3D Serious Games to prevent dementia. These games are designed to enhance the effect of preventing dementia by helping increase brain usage and physical activities of users by the entire body gesture recognition. The existing cameras used for gesture recognition technology are limited in terms of recognition ratio and operation range. For more stable recognition of the body gestures, we recognized users with a 3D depth camera, obtained joint data of users, and analyzed joint motions to recognize gestures of the body. Game contents were designed to practice memory, reasoning, calculation, and spatial recognition focusing on the atrophy of brain cells as a major cause of dementia. Game results of each user were saved and analyzed to measure how their recognition skills improved.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 게임의 사실성과 효과성을 높이고 공간인지능력 훈련에도 도움이 되도록 3D 게임으로 구현하였다. 기존에 여러 3D 게임 엔진들[9,10,11]이 개발되어 있지만, 본 논문에서는 필요한 주요 기능만을 포함하는 단순한 3D 엔진을 자체 개발하여 사용하였다.
본 논문에서는 다양한 치매 증상 중에서 기억력 감소와 운동부족을 예방하기 위하여 제스처 인식 기반 3D 기능성 게임을 개발하였다. 개발된 기능성 게임은 전신 제스처 인식을 이용함으로써 사용자의 두뇌 사용능력과 활동성을 증가시켜 치매 예방의 효과가 나타나도록 구성하였다.
기존에 여러 3D 게임 엔진들[9,10,11]이 개발되어 있지만, 본 논문에서는 필요한 주요 기능만을 포함하는 단순한 3D 엔진을 자체 개발하여 사용하였다. 본 논문에서는 치매 예방에 효과적인 기억력, 논리력, 산술능력, 공간인지능력을 훈련할 수 있는 게임을 개발하였다. 이들은 뇌세포의 감소를 억제하기 위한 훈련 위주로 구성되었다.
본 논문에서는, 다양한 치매 예방법 중에서 뇌졸중에 의한 치매, 외상성 치매, 뉴런의 퇴화에 의한 치매에서 공통적으로 포함되는 뇌세포 감소와 운동부족을 예방하기 위하여 제스처 인식 기반 3D 기능성 게임을 개발하였다. 개발된 기능성 게임은 전신 제스처 인식을 이용함으로써 사용자의 두뇌 사용능력과 활동성을 증가시켜 치매 예방의 효과가 향상되도록 구성하였다.
가설 설정
아바타가 미로를 따라 이동하게 하기 위해서는 [그림 13] (a)의 걷기 동작과 [그림 13] (b)의 방향 전환 동작이 사용된다. 이 게임은 Motion-X 라이브러리의 walk() 함수를 걷기동작을 인식하고 left/right_arm_out() 함수를 이용하여 방향 전환을 인식한다.
제안 방법
사용자 인식이 된 다음에는 화면의 커서를 움직여 버튼을 클릭함으로써 원하는 작업을 선택하도록 하였다. 본 논문에서는 [그림 8]의 (a)와 같이 오른팔을 앞으로 내민 상태에서 움직이면 오른팔의 움직임을 인식하여 화면의 커서가 따라 움직이도록 하였다. 오른팔을 움직여 화면상의 커서를 원하는 버튼 위에 이동시킨 다음에 [그림 8]의 (b)와 같이 왼팔을 앞으로 내민 상태에서 아래에서 위로 올리면 이 움직임을 인식하여 클릭동작이 발생하도록 구현하였다.
개발된 기능성 게임은 전신 제스처 인식을 이용함으로써 사용자의 두뇌 사용능력과 활동성을 증가시켜 치매 예방의 효과가 나타나도록 구성하였다. Kinect와 같은 3D depth 카메라를 사용하여 사용자의 전신을 인식한 다음 OpenNI[5]를 이용하여 관절의 위치와 방향 정보를 획득하고 이로부터 관절의 움직임을 분석하여 이를 게임에 적용했다. 게임 콘텐츠로는 뇌세포의 퇴화에 초점을 맞춰 기억력, 논리력, 산술능력, 공간인지능력을 훈련할 수 있도록 구성 하였다.
본 논문에서는 다양한 치매 증상 중에서 기억력 감소와 운동부족을 예방하기 위하여 제스처 인식 기반 3D 기능성 게임을 개발하였다. 개발된 기능성 게임은 전신 제스처 인식을 이용함으로써 사용자의 두뇌 사용능력과 활동성을 증가시켜 치매 예방의 효과가 나타나도록 구성하였다. Kinect와 같은 3D depth 카메라를 사용하여 사용자의 전신을 인식한 다음 OpenNI[5]를 이용하여 관절의 위치와 방향 정보를 획득하고 이로부터 관절의 움직임을 분석하여 이를 게임에 적용했다.
본 논문에서는, 다양한 치매 예방법 중에서 뇌졸중에 의한 치매, 외상성 치매, 뉴런의 퇴화에 의한 치매에서 공통적으로 포함되는 뇌세포 감소와 운동부족을 예방하기 위하여 제스처 인식 기반 3D 기능성 게임을 개발하였다. 개발된 기능성 게임은 전신 제스처 인식을 이용함으로써 사용자의 두뇌 사용능력과 활동성을 증가시켜 치매 예방의 효과가 향상되도록 구성하였다.
Kinect와 같은 3D depth 카메라를 사용하여 사용자의 전신을 인식한 다음 OpenNI[5]를 이용하여 관절의 위치와 방향 정보를 획득하고 이로부터 관절의 움직임을 분석하여 이를 게임에 적용했다. 게임 콘텐츠로는 뇌세포의 퇴화에 초점을 맞춰 기억력, 논리력, 산술능력, 공간인지능력을 훈련할 수 있도록 구성 하였다. 사용자 별로 게임 결과를 저장하고 분석하여 인지능력 향상 정도를 측정할 수 있도록 하였다.
본 논문에서는 게임의 사실성과 효과성을 높이고 공간인지능력 훈련에도 도움이 되도록 3D 게임으로 구현하였다. 기존에 여러 3D 게임 엔진들[9,10,11]이 개발되어 있지만, 본 논문에서는 필요한 주요 기능만을 포함하는 단순한 3D 엔진을 자체 개발하여 사용하였다. 본 논문에서는 치매 예방에 효과적인 기억력, 논리력, 산술능력, 공간인지능력을 훈련할 수 있는 게임을 개발하였다.
본 논문에서는 C++ 언어와 DirectX 라이브러리를 이용하여 게임 엔진을 구현하였으며 게임 엔진 구조를 단순화하여 성능이 유지되도록 하였다. 개발된 게임 엔진은 [표 2]와 같은 구성 요소로 이루어져 있다.
본 논문에서는 [표 1]과 같은 제스처를 정의하였고, 각각의 제스처마다 인식 수행을 위한 함수를 설계 및 구현하여 Motion-X 라이브러리를 구축하였다. Motion-X 라이브러리를 구성하는 3가지의 핵심 모듈은 시스템 모듈, OpenNI 접근 모듈, 동작인식 모듈로 구성된다.
본 논문에서는 전신 제스처 인식을 위하여 일반 카메라가 아닌 3D depth 카메라를 이용하였다. 3D depth 카메라는 적외선 센서를 이용하여 depth 데이터를 얻어서 물체를 구별하기 때문에 일반 카메라보다 다양한 조명 환경 하에서 안정적으로 동작한다.
사용자의 관절 위치와 방향의 변화가 제스처 라이브러리에 정의된 제스처들에 해당하는 지를 분석하여 전신 제스처를 인식하고, 이를 이용하여 게임을 컨트롤 한다. 본 시스템에서는 관절의 위치와 방향 변화에 따라 총 21가지의 제스처를 정의하여 제스처 라이브러리를 구성하였다.
게임 콘텐츠로는 뇌세포의 퇴화에 초점을 맞춰 기억력, 논리력, 산술능력, 공간인지능력을 훈련할 수 있도록 구성 하였다. 사용자 별로 게임 결과를 저장하고 분석하여 인지능력 향상 정도를 측정할 수 있도록 하였다.
본 논문에서 개발된 게임을 진행했을 경우의 효율성을 평가하기 위해 사용자가 일정기간동안 게임을 진행한 결과를 [그림 17]에서 보여지는 화면과 같이 구성하였다. 사용자는 게임 화면에 자신의 정보를 입력하고 본 논문에서 구현한 기억력, 논리력, 계산력, 공간감 훈련에 해당되는 게임을 순차적으로 진행하게 된다. [그림 17]에서 보이는 것과 같이 게임을 진행하는 사용자마다 각각의 게임점수가 날짜별로 누적되어 게임진행에 따른 훈련 능력의 변화량을 한눈에 확인할 수 있도록 구성된다.
추출된 Depth 데이터에서 OpenNI를 이용하여 전신을 인식한 후 배경을 제거하고 배경이 제거된 Depth 데이터로부터 관절의 위치와 방향 정보를 검출한다. 사용자의 관절 위치와 방향의 변화가 제스처 라이브러리에 정의된 제스처들에 해당하는 지를 분석하여 전신 제스처를 인식하고, 이를 이용하여 게임을 컨트롤 한다. 본 시스템에서는 관절의 위치와 방향 변화에 따라 총 21가지의 제스처를 정의하여 제스처 라이브러리를 구성하였다.
3D depth 카메라에서 획득한 영상으로부터 Depth 데이터를 추출한다. 추출된 Depth 데이터에서 OpenNI를 이용하여 전신을 인식한 후 배경을 제거하고 배경이 제거된 Depth 데이터로부터 관절의 위치와 방향 정보를 검출한다. 사용자의 관절 위치와 방향의 변화가 제스처 라이브러리에 정의된 제스처들에 해당하는 지를 분석하여 전신 제스처를 인식하고, 이를 이용하여 게임을 컨트롤 한다.
이론/모형
본 논문에서는 PrimeSense사의 3D depth 카메라를 사용한다. 이 카메라는 [그림 2]와 같이 적외선 광원, 2개의 CMOS 이미지 센서, 데이터 처리용 SoC 등의 하드웨어로 구성되며 [그림 2]와 같이 컬러 이미지, depth 이미지를 획득한다.
이 카메라는 [그림 2]와 같이 적외선 광원, 2개의 CMOS 이미지 센서, 데이터 처리용 SoC 등의 하드웨어로 구성되며 [그림 2]와 같이 컬러 이미지, depth 이미지를 획득한다. 컬러 이미지는 CMOS 이미지 센서를 이용하여 획득하고, depth 이미지는 적외선 광원과 CMOS 이미지 센서, 데이터 처리용 SoC 등의 장치와 Light Coding 기술을 기반으로 획득한다. 이 카메라는 장면 공간을 적외선으로 코드화하여 적외선 광원으로부터 코드화된 적외선 신호를 발사한다.
성능/효과
본 논문에서 제시한 치매 예방을 위한 기능성 게임은 기억력, 논리력, 산술능력, 공간인지능력의 정신적 활동을 수행함으로써 일반적인 모든 치매의 초기증상인 뇌세포 감소 억제에 효과적으로 작용한다. 또한 치매 예방을 위한 정신적 활동뿐만 아니라 전신 제스처 인식을 통하여 수행되는 사용자 친화 인터페이스는 육체적 활동까지 병행할 수 있어 지능감퇴를 예방하고 기억력 소실을 지연시키는데 효과적이다.
후속연구
또한 치매 예방을 위한 정신적 활동뿐만 아니라 전신 제스처 인식을 통하여 수행되는 사용자 친화 인터페이스는 육체적 활동까지 병행할 수 있어 지능감퇴를 예방하고 기억력 소실을 지연시키는데 효과적이다. 본 논문에서 제안된 게임과 제스처 인식 방법을 확장하여 재활치료에도 적용 가능할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
프라운호퍼 FIT 연구진들이 개발한 기기를 사용하지 않는 상호작용 시스템의 단점은 무엇인가?
이 시스템은 부가적인 기기를 필요로 하지 않고, 다양한 사용자를 지원할 수 있는 장점이 있다. 하지만 이 시스템은 ‘손’이라는 한정영역에서만 적용할 수 있다는 단점을 가지고 있다.
치매를 미연에 예방하는것이 중요한 이유는?
치매는 한 번 발병하면 완치가 쉽지 않으므로 개인의 건강 습관이나 의학적 관리를 통하여 미연에 예방하는 것이 중요하다. 뇌졸중에 의한 치매는 혈압조절, 운동, 식습관을 통한 체중조절 등으로 예방이 가능하고, 술과 연관된 치매는 금주나 음주량 조절로 가능하다.
프라운호퍼 FIT 연구진들이 개발한 기기를 사용하지 않는 상호작용 시스템의 장점은 무엇인가?
이 새로운 시스템은 실시간으로 손과 손가락의 위치를 탐지하고, 이를 적절한 상호작용이 가능한 명령어로 변환하여 제공한다. 이 시스템은 부가적인 기기를 필요로 하지 않고, 다양한 사용자를 지원할 수 있는 장점이 있다. 하지만 이 시스템은 ‘손’이라는 한정영역에서만 적용할 수 있다는 단점을 가지고 있다.
참고문헌 (12)
M,H, Tabert, X, Liu, R,L. Doty, M. Serby, D, Zamora, G.H. Pelton, K. Marder, M.W Albers, Y. Stern, and D.P. Devanand, "A 10-item smell identification scale related to risk for Alzheimer's disease", Annals of neurology, Vol.58 No.1, pp. 155-160, 2005.
G. Waldemar, B. Dubois, and M. Emre, "Recommendations for the diagnosis and management of Alzheimer's disease and other disorders associated with dementia: EFNS guideline", European Journal of Neurology, Vol. 14(1), pp. 1-26, Jan. 2007.
Pei-Ying Chiang, May-chen Kuo, Lee, J., Kuo, C.-C.J., "WiiStick: Enhancing motion recognition capability for Wii systems", Circuits and Systems, 2009. ISCAS 2009. IEEE International Symposium on, ISBN: 978-1-4244-3827-3, pp. 1445-1448, May 2009
IPoint 3D: Using Your Fingers As A Remote Control, http://www.sciencedaily. com/releases/ 2009/02/090220075312.htm
Siddiqui, M., Medioni, G., "Human pose estimation from a single view point, real-time range sensor", Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on, ISBN: 978-1-4244-7029-7, pp 1-8, June 2010
http://www.primesense.com.
L.P. Morency, A. Rahimi, and T. Darrellm, "Adaptive view-based appearance model", Proceedings of IEEE Computer Vision and Pattern Recognition, pp. 803-810, 2003
R.M. Taylor, T.C. Hudson, A. Seeger, H. Weber, J. Juliano, and A.T. Helser, "VRPN: a device-independent, network-transparent VR peripheral system", Proceeding of ACM Virtual Reality Software & Technology, pp. 55-61, 2001.
한승훈, 김은주, "자바를 이용한 2.5D 메타버스게임 엔진 설계 및 구현", 한국멀티미디어학회,Vol. 10, No.2, pp. 260-268, 2007
우상혁, 박병관, 이하령, 박동규, "OpenGL ES기반의 모바일 3D 레이싱 게임 엔진", 한국멀티미디어학회, Vol. 2005, No. 1, pp. 867-870,2005
Peker, A.G., Can, T., "A design goal and design pattern based approach for development of game engines for mobile platforms", Computer Games (CGAMES), 2011 16th International Conference on, ISBN: 978-1-4577-1451-1, pp. 114-120, July 2011
B.J Small, A. Herlitz, L. Fratiglioni, O. Almkvist, L. Backman, "Cognitive predictors of incident Alzheimer's disease: A prospective longitudinal study," Neuropsychology, Vol. 11(3), pp. 413-420, Jul. 1997.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.