키넥트는 이용자의 신체를 이용하여 게임과 엔터테인먼트를 경험할 수 있는 주변기기로 2010년 초 마이크로소프트사에서 발표하여 공개하였다. 본 논문은 키넥트에서 제공하는 세 가지 센서를 이용한 동작 인식 기능을 이용한 기타리듬 게임의 개발과 관련 기술에 대하여 다룬다. 리듬 게임은 게임의 여러 장르 중에서 매우 단순하고 학습기간이 짧으며, 신체의 활발한 활동성과 리듬성을 이용하기 때문에 피씨, 콘솔기기, 스마트폰 등 다양한 기기에서도 널리 활용되고 있는 장르이다. 본 논문에서 구현한 리듬게임은 화면구성과 게임화면을 DirectX 11버전에서 구현하였으며, 키넥트를 이용하여 게이머의 손동작 인식을 수행하기 위하여 OpenNI API를 사용하였으며 신체 움직임을 표현하기 위하여 OpenGL 라이브러리를 사용하였다.
키넥트는 이용자의 신체를 이용하여 게임과 엔터테인먼트를 경험할 수 있는 주변기기로 2010년 초 마이크로소프트사에서 발표하여 공개하였다. 본 논문은 키넥트에서 제공하는 세 가지 센서를 이용한 동작 인식 기능을 이용한 기타리듬 게임의 개발과 관련 기술에 대하여 다룬다. 리듬 게임은 게임의 여러 장르 중에서 매우 단순하고 학습기간이 짧으며, 신체의 활발한 활동성과 리듬성을 이용하기 때문에 피씨, 콘솔기기, 스마트폰 등 다양한 기기에서도 널리 활용되고 있는 장르이다. 본 논문에서 구현한 리듬게임은 화면구성과 게임화면을 DirectX 11버전에서 구현하였으며, 키넥트를 이용하여 게이머의 손동작 인식을 수행하기 위하여 OpenNI API를 사용하였으며 신체 움직임을 표현하기 위하여 OpenGL 라이브러리를 사용하였다.
Microsoft released motion sensing device named Kinnect on early 2010, which is available for developing Xbox 360 game and entertainment software. Also many third party libraries and applications are developed for Kinnect. In this paper, we studied and developed guitar rhythm game on Kinnect using th...
Microsoft released motion sensing device named Kinnect on early 2010, which is available for developing Xbox 360 game and entertainment software. Also many third party libraries and applications are developed for Kinnect. In this paper, we studied and developed guitar rhythm game on Kinnect using three sensor units on it. Rhythm game is the most popular game genre for many game devices including PC, console device, and smart phone. The main reasons for their popularity depends on their simplicity, short learning time and physical activity with rhythms. We developed the game screen and layout on DirectX 11, also we used OpenNI library for recognize physical activity of gamer's body and fingers, and OpenGL for body gestures on the game.
Microsoft released motion sensing device named Kinnect on early 2010, which is available for developing Xbox 360 game and entertainment software. Also many third party libraries and applications are developed for Kinnect. In this paper, we studied and developed guitar rhythm game on Kinnect using three sensor units on it. Rhythm game is the most popular game genre for many game devices including PC, console device, and smart phone. The main reasons for their popularity depends on their simplicity, short learning time and physical activity with rhythms. We developed the game screen and layout on DirectX 11, also we used OpenNI library for recognize physical activity of gamer's body and fingers, and OpenGL for body gestures on the game.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 마이크로소프트사의 키넥트를 이용하여 비교적 저가의 PC 환경에서도 가상의 음원연주 기능을 구현하여 게임의 몰입도를 높이도록 하였다. 본 논문에서는 키넥트의 다양한 센스를 이용하여 동작인식 기능을 구현하였으며, 이 기능과 음원동기화 기법을 통하여 개발한 리듬게임 개발기술에 관하여 다룬다.
본 논문에서는 마이크로소프트사의 키넥트를 이용하여 비교적 저가의 PC 환경에서도 가상의 음원연주 기능을 구현하여 게임의 몰입도를 높이도록 하였다. 본 논문에서는 키넥트의 다양한 센스를 이용하여 동작인식 기능을 구현하였으며, 이 기능과 음원동기화 기법을 통하여 개발한 리듬게임 개발기술에 관하여 다룬다.
연구에서는 PC 기반의 리듬 게임에 음원 추출기능과 합성기능, 그리고 활동성을 위하여 키넥트를 연동한 리듬 게임에 대하여 연구하고 이를 구현하였다. 기존의 PC용 리듬 게임과 다르게 키넥트를 PC와 연동시켜 다양한 영상처리를 통한 활동성 게임을 구현하였다.
제안 방법
기존의 PC용 리듬 게임과 다르게 키넥트를 PC와 연동시켜 다양한 영상처리를 통한 활동성 게임을 구현하였다. 그리고 사용자가 원하는 음악으로 게임을 할 수 있도록 음악 파일만 있으면, 음원을 추출하여 그 음악으로 게임을 할 수 있도록 개발하였다. 사용자는 아무런 컨트롤러 없이 오른쪽 키넥트 화면을 보면서 게임을 조작할 수 있으며, 게임 중의 가상의 기타를 이용하여 왼쪽에 나오는 게임에 맞춰 흥겨운 리듬 게임을 즐길 수 있다.
연구에서는 PC 기반의 리듬 게임에 음원 추출기능과 합성기능, 그리고 활동성을 위하여 키넥트를 연동한 리듬 게임에 대하여 연구하고 이를 구현하였다. 기존의 PC용 리듬 게임과 다르게 키넥트를 PC와 연동시켜 다양한 영상처리를 통한 활동성 게임을 구현하였다. 그리고 사용자가 원하는 음악으로 게임을 할 수 있도록 음악 파일만 있으면, 음원을 추출하여 그 음악으로 게임을 할 수 있도록 개발하였다.
또한 오른손은 여러 기타줄을 한 번에 연주하는 스트러밍(Strumming)이라는 주법을 활용하기 위해 트랙킹 한다.
또한 이러한 기능을 이용하여 기타연주를 할 수 있는 게임을 개발하였다. 본 논문에서 구현한 게임을 실행하면 최초 사용자는 칼리브레이션을 한 후, 아무런 컨트롤러 없이 게임을 진행하게 된다.
또한 이러한 기능을 이용하여 기타연주를 할 수 있는 게임을 개발하였다. 본 논문에서 구현한 게임을 실행하면 최초 사용자는 칼리브레이션을 한 후, 아무런 컨트롤러 없이 게임을 진행하게 된다. 그리고 한 음원의 게임을 클릭하게 되면 시스템은 사용자의 두 손을 추적하여 가상의 기타를 디스플레이에 그리며, 사용자는 이것을 보고 가상의 환경에서 손쉽게 기타 게임을 즐길 수가 있다.
그림 2는 본 논문의 리듬게임의 시스템 구성도이다. 본 논문에서 구현한 시스템은 그림 2와 같이 크게 키넥트 이미지 처리, 피씨게임 응용프로그램, 스피치 처리부로 나누어져 있다.
우선 이진화와 레이블링 작업을 통해서 골격인식과 손의 위치가 추적된 선행 작업들에 의해서 가능하다. 본 논문에서는 그림 4와 같이 컨벡스 헐(Convex Hull), 컨벡시티디펙트(Convexity Defects)를이용해서 손과 손가락 모양을 찾아낸다.
이전의 연구에서는 다양한 순차적 데이터 학습방법등을 이용하여 팔과 신체의 움직임을 분석하고 제스처를 인식하였다[6]. 본 연구에서 키넥트를 사용하기 위한 인터페이스로는 OpenNI를 이용한 모션 캡쳐 기능을 이용하였다. 키넥트는 3가지 센서를 이용하여 사람의 움직임을 인식하게 된다.
키넥트에서 제공하는 마이크를 이용하여 연주자가 직접 부른 노래에는 주변 환경으로 인하여 여러 가지 잡음이 들어가게 된다. 이러한 주변 소음을 제거하고 더욱 깔끔한 음원을 구하기 위해서 백색잡음의 제거 기능이 필요한데 이를 위하여 직접 구현한 필터를 이용한 잡음주파수 영역에서의 잡음 제거를 추가하였다.
이론/모형
본 논문에서는 게임에서 제공하는 연주 음원과 연주자가 노래를 직접 불러서 얻어지는 음원을 합치기 위해 사용하는 라이브러리로 마이크로소프트 스피치(Microsoft Speech) API 5.3을 이용하였다. 일차적으로 마이크로소프트사에서 제공하는 스피치 라이브러리(Speech Library)를 이용하여 더 빠르고 질 좋은 음원파일을 얻어내는데, Microsoft에서는 5.
후속연구
뿐만 아니라 손가락의 위치인식에 대한 정확도 개선이 요구되면 몰입도를 더욱 증가시키기 위한 게임 효과 및 게이머의 피드백에 대한 연구도 필요할 것이다.
향후 연구과제로 네트워크 기능을 통한 다자간 협연기능과 점수 기록 및 순위 연동 등의 기능구현과 소셜 미디어를 활용한 공유 기능 등에 대한 연구가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
키넥트는 어떠한 기능이 탑재되어 있는가?
2010년 마이크로소프트사는 별도의 컨트롤러 없이 인체의 움직임을 감지하는 기기인 키넥트라는 게임 주변기기를 개발하여 발표하였다. 키넥트는 RGB 카메라와 IR 카메라 등의 센서와 멀티어레이 마이크로폰을 이용한 동작인식과 거리인식기능이 탐재되어 있으며 이를 통한 3D객체의 깊이인식까지도 가능한 매우 강력한 기능의 디바이스로 각광받고 있다[2-4].
키넥트는 무엇인가?
키넥트는 이용자의 신체를 이용하여 게임과 엔터테인먼트를 경험할 수 있는 주변기기로 2010년 초 마이크로소프트사에서 발표하여 공개하였다. 본 논문은 키넥트에서 제공하는 세 가지 센서를 이용한 동작 인식 기능을 이용한 기타리듬 게임의 개발과 관련 기술에 대하여 다룬다.
리듬게임류의 활동성 게임은 어떠한 단점이 있는가?
또한 활동성을 수반하고 있는 특성으로 인하여 손과 발의 협응 훈련등 시지각장애인은 위한 기능성 게임으로서의 장점도 가지고 있다[5]. 반면에 게임의 특성상 몰입도를 높이기 위해서는 그 리듬게임을 위한 고가의 전용 장비가 요구된다는 단점이 있다. 이러한 특성으로 인하여 리듬게임류의 활동성 게임은 오락실과 같이 게임을 위한 전용장비가 확보되지 않은 곳에서는 이용하기가 불가능하다.
참고문헌 (10)
윤기선, "키넥트를 이용한 인터랙티브 멀티미디어 작품 제작 연구 : 멀티미디어음악작품 을 중심으로", 동국대학교 영상대학원 석사학위 논문, 2012, 2.
M. Siddiqui and G. Medioni, "Human pose estimation from a single view point, real-time range sensor", Workshop on Computer Vision for Computer Games at Conference on Computer Vision and Pattern Recognition, pp. 1297-1298, 2010.
한혜민, "초음파 및 키넥트 센서 융합기반의 실내 환경 모델링", 고려대학교 대학원 석사학위 논문, 2012, 2.
이주원, 오경수, "키넥트를 활용한 요가 학습 콘텐츠", 한국 HCI학회 학술대회, No. 1, pp. 221-223, 2012.
권정민, 김민영, "기능성 게임을 이용한 지적 장애인 직무훈련 : 직업 기능 교과서의 게임화를 위한 콘텐츠 연구", 한국컴퓨터게임학회논문지, Vol. 25, No. 4, pp 35-46, 2012.
조선영, 변혜란, 이희경, 차지훈, "키넥트 센서 기반 슈팅 게임을 위한 팔 제스처 인식", 한국정보과학회 논문집, Vol. 39, No. 10, pp 796-805, 2012.
Forbes, 2012 년 7월 18일, http://www.forbes.com/sites/johngaudiosi/2012/07/18/new-reports-forecasts-global-video-game-industry-will-reach-82-billion-by-2017/
워싱턴 타임즈, Healing with Guitar Hero, 2008년 9월 24일, http://www.washingtontimes.com/news/2008/sep/24/you-dont-have-to-be-a-quick-fingered-15-year-old-t/
Unnithan, V.B., Houser, W., Fernhall B., "Evaluation of the energy cost of playing a dance simulation video game in overweight and non-overweight children and adolescents". International Journal of Sports Medicine, Vol. 27, No. 10, pp. 804-809, 2006, Oct.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.