[논문]제스처 인식을 활용한 모바일 게임 제어

이용철; 오치민; 이칠우

doi:10.5392/jkca.2011.11.12.629

제스처 인식을 활용한 모바일 게임 제어
Mobile Game Control using Gesture Recognition 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.11 no.12, 2011년, pp.629 - 638

이용철 (전남대학교 전자컴퓨터공학부) , 오치민 (전남대학교 전자컴퓨터공학부) , 이칠우 (전남대학교 전자컴퓨터공학부)

초록
AI-Helper

모바일 게임은 이동 및 휴대가 가능하고 간단한 인터페이스를 가지고 있는 장점을 지니고 있다. 이러한 장점들은 콘텐츠의 양이 많지 않고, 인터페이스가 복잡하지 않아야 한다는 제스처 인식 기반 게임에 매우 적합한 내용들이다. 본 논문에서는 모바일 게임의 장점을 활용하여 제스처 인식 시스템이 구현된 곳이라면 사용자의 움직임이 모바일 게임에 직접 반영될 수 있는 제스처 인식 기반 모바일 게임 콘텐츠를 제안한다. 본 논문에서 기술한 콘텐츠는 사용자의 움직임을 인지하는 제스처 인식 부분과 통신 부분, 그리고 게임구현 부분으로 나누어진다. 제스처는 TOF 카메라로부터 얻어진 깊이 영상으로부터 사용자 영역을 얻고, 사용자 영상의 EOH 특징을 이용한 SVM을 통하여 인식된다. 그리고 테스트 영상을 실험하여 얻은 80% 이상의 제스처 인식 결과로부터 제스처 인식이 모바일 게임 콘텐츠의 입력으로 활용될 수 있음을 확인하였다. 제안된 기술은 다양한 콘텐츠에 적용이 가능하지만 본 논문에서는 이동과 점프로 이루어진 간단한 인터페이스 방식의 게임 콘텐츠를 새롭게 제시한다.

Abstract ▼ AI-Helper

Mobile game have an advantage of mobility, portability, and simple interface. These advantages are useful for gesture recognition based game which should not have much content quantity and complex interface. This paper suggests gesture recognition based mobile game content with user movement could be applied directly to the mobile game wherever recognition system is equipped. Gesture is recognized by obtaining user area in image from the depth image of TOF camera and going through SVM(Support Vectorn Machine) using EOH(Edge Of Histogram) features of user area. And we confirmed that gesture recognition can be utilized to user input of mobile game content. Proposed technique can be applied to a variety of content, but this paper shows a simple way of game contents which is consisted of moving and jumping newly.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 소개되는 콘텐츠는 모바일 게임을 이용하므로 이동 및 휴대가 간편하고, 사용자의 움직임을 게임에 반영하여 높은 몰입감을 선사하도록 한다. 또한, 모바일 게임을 대형 화면에 연결하여 움직임 중에 화면을 보면서 게임을 즐기기 용이하며, 여러 사람이 이용하는 것이 가능한 것을 목표로 한다.
본 논문에서는 앞에서 소개한 모바일 게임과 제스처 인식의 장점을 가진 TOF 카메라1를 이용한 제스처 인식 모바일 게임 콘텐츠를 소개한다. 본 논문에서 소개되는 콘텐츠는 모바일 게임을 이용하므로 이동 및 휴대가 간편하고, 사용자의 움직임을 게임에 반영하여 높은 몰입감을 선사하도록 한다.
본 논문에서는 캐릭터가 하늘 위의 구름 사이를, 좌∙우 이동과 점프를 이용하여 이동하는 내용의 모바일게임을 제작하였다. 게임 내의 캐릭터는 사용자가 양팔을 벌리고 좌우로 몸을 기울이면 이동하고, 사용자가 점프를 하면 구름 위로 뛰는 행동을 취하게 된다.

제안 방법

‘정지’, ‘좌 이동’, ‘우 이동’의 3개 제스처는 SVM을 이용한 제스처 학습 결과를 이용하여 제스처를 분리하였지만, ‘점프’ 제스처는 컨백스홀을 이용하여 머리의 위치를 확인하여 사전에 정의된 임계값과 비교하여 인식하였다.
사용자의 몸이 나타내는 특징을 바탕으로 제스처를 인식하기 위해서는 배경과 사용자 영역을 분리하여 사용자 이미지만을 추출하여야만 한다. 따라서 사용자가 위치된 영역을 분리하기 위하여 TOF 카메라의 깊이 영상 정보에 임계값을 적용하여 배경과 사용자 영역을 분리하였다.
캐릭터의 이동은 부드러운 이동 효과를 위하여 각 상황에 해당하는 여러 이미지를 로드시킨 후에 차례로 표시하면서 애니메이션 효과를 주도록 하고, 각 상황에 맞게 효과음을 발생시킨다. 마지막으로 배경이 움직이는 효과를 주기 위하여 배경 이미지를 좌측 방향으로 조금씩 움직이도록 한다. 만일 제스처 입력이 없다면 이 부분을 통하여 배경만 좌측으로 천천히 움직이는 효과를 볼 수 있다.
본 논문에서는 앞에서 소개한 모바일 게임과 제스처 인식의 장점을 가진 TOF 카메라1를 이용한 제스처 인식 모바일 게임 콘텐츠를 소개한다. 본 논문에서 소개되는 콘텐츠는 모바일 게임을 이용하므로 이동 및 휴대가 간편하고, 사용자의 움직임을 게임에 반영하여 높은 몰입감을 선사하도록 한다. 또한, 모바일 게임을 대형 화면에 연결하여 움직임 중에 화면을 보면서 게임을 즐기기 용이하며, 여러 사람이 이용하는 것이 가능한 것을 목표로 한다.
본 논문에서 소개한 제스처 기반 모바일 게임 콘텐츠는 크게 제스처 인식 부분, 통신 부분, 게임 콘텐츠 부분으로 나누어져 있다. 제스처 인식 부분은 사용자가 동작을 취하면 사용자의 포즈로부터 게임의 입력을 얻는 부분으로, 여기서는 EOH 특징을 SVM을 통하여 인식하였다.
본 논문에서 제시하는 제스처 기반 모바일 게임 콘텐츠를 하기 위한 시스템은 크게 제스처 인식 부분, 통신부분, 게임 구현 부분으로 나누어진다. 제스처 인식 부분은 입력영상의 세그멘테이션과 제스처 인식 과정이 이루어지고, 통신 부분은 제스처 인식 결과를 컴퓨터에서 모바일기기로 전달되는 과정이 이루어지며, 게임 구현 부분은 전달된 데이터를 바탕으로 게임을 동작시키는 과정이 이루어진다.
본 논문에서는 제스처 인식을 수행하여, 인식 결과를 모바일 게임의 입력 수단으로 활용하였다. 이 제스처기반 모바일 게임 콘텐츠는 다양한 모바일 콘텐츠를 활용할 수 있으며, 제스처 인식을 통하여 사용자의 움직임이 직접 게임에 반영되므로 높은 몰입감을 얻을 수 있는 장점을 가지고 있다.
EOH는 에지를 검출하고, 방향성과 크기를 계산하여 히스토그램을 만들어 내는 방법이다. 에지의 방향은총 36개의 방향으로 구분하고, 에지의 방향 성분을 얻기 위하여 x축 영상에 대한 에지 Gx와 y축 영상에 대한 Gy를 수식(1)과 같이 소벨 마스크를 이용하여 추출한다.
이벤트가 발생되면 3가지 제스처에 따라서 캐릭터가 이동된다. 이동 중에 캐릭터가 좀 더 사실적으로 움직이게 하기 위하여 각 이벤트별로 여러 장의 캐릭터 이미지를 보여주는 애니메이션 효과를 주도록 하였다. 이벤트 처리가 진행되면서, 아이템 획득에 의한 포인트 증가나 사운드 재생과 같은 아이템 효과 처리, 이동이나 점프 실패 시의 처리 등이 이루어진다.
이외에 ‘점프’ 제스처는 점프 시 취해지는 다양한 포즈 때문에 컨백스홀(Convex hull)을 통하여 머리의 위치를 임계값과 확인하여 인식하도록 하였다.
이벤트 처리의 전 과정은 [그림 9]와 같다. 제스처를 전달 받으면 캐릭터를 이동 시키고 캐릭터의 위치와 구름의 위치를 비교하여 캐릭터 이동의 성공 여부를 판단한다. 만일 이동이 실패하였다면 생명을 하나 감소시킨 뒤에 캐릭터를 점프하기 이전의 구름 중앙에 위치시킨다.

대상 데이터

각 제스처 별로 사용된 서프트 벡터 개수는 ‘정지’가 847개, ‘좌 이동’ 796개, ‘우 이동’ 801개가 사용되었다.
본 논문에서 사용되는 게임 콘텐츠의 게임 엔진은 크게 장면, 오브젝트, 사운드, 이벤트 처리로 구성되어 있다. 장면은 게임의 인트로, 배경 화면, 플레이 화면 등의 상황에 따른 각 장면을 말하며, 오브젝트는 캐릭터와 캐릭터가 이동하기 위한 구름, 포인트를 증가시킬 아이템 등을 말한다.
본 논문에서 제안되는 콘텐츠를 제작하기 위한 시스템은 물리적으로 카메라, 컴퓨터, 모바일기기, 대형 TV의 4가지 요소로 구성되어져 있다. 이중 카메라는 bumblebee2를 사용하였으며, 모바일기기는 안드로이드 플랫폼 기반[7]의 모토로이를 사용하였다.
본 논문에서 제안되는 콘텐츠를 제작하기 위한 시스템은 물리적으로 카메라, 컴퓨터, 모바일기기, 대형 TV의 4가지 요소로 구성되어져 있다. 이중 카메라는 bumblebee2를 사용하였으며, 모바일기기는 안드로이드 플랫폼 기반[7]의 모토로이를 사용하였다. [그림 1] 은 제스처 기반 모바일 게임 콘텐츠를 체험하기 위한 제스처 인식 시스템 구성을 나타낸 것이다.

이론/모형

SVM은 커널 함수를 이용하여 비선형 분류를 수행하는데, 이때, 커널 함수의 값과 공간상에 매핑된 두 점의 내적이 같아야 한다. 본 논문에서는 RBF(Radial Basis Function) 커널을 사용하였으며, 이는 수식 (9)와 같다.
사용자의 영역이 분리되면, 사용자 영상으로부터 학습 및 인식을 위한 특징을 추출하여야한다. 본 논문에서는 외곽선의 방향성을 이용한 EOH[8] 특징을 사용한다. EOH는 에지를 검출하고, 방향성과 크기를 계산하여 히스토그램을 만들어 내는 방법이다.
특징을 추출하고 난 뒤에 각 제스처를 구분하기 위하여 SVM[9]을 사용한다. SVM은 교사 학습의 한 방법으로 사전에 학습된 데이터를 이용하여 입력된 제스처를 선별하는 방법이다.

성능/효과

이 중에서 ‘점프’ 제스처는 컨백스 홀에 의해 인식되며, 나머지 3가지 제스처는 EOH 특징 벡터와 SVM을 이용하여 인식된다. [표 1]에서 볼 수 있듯이, 학습 DB의 높은 인식 결과와 함께 테스트 영상에서도 80% 이상의 비교적 높은 결과가 나오는 것을 확인할 수 있다.

후속연구

이러한 점을 참고하여 향후 최적화된 알고리즘과 센서를 결합한 시스템 인터페이스를 통하여, 다수의 사용자가 이용할 수 있는 세밀한 제스처가 가능한 실시간 모바일 게임 콘텐츠를 구현할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	캐릭터를 조작하기 위한 제스처 4가지는?	캐릭터를 조작하기 위한 제스처로는 ‘정지’, ‘좌 이동’, ‘우 이동’, ‘점프’의 4가지 제스처가 사용된다. 이 중 ‘정지’ 제스처 명령은 캐릭터가 움직이지 않는 상태를 나타내는 것으로, 인식 후에 별다른 처리가 되지는 않는다.
	모바일 게임의 장점은?	모바일 게임은 이동 및 휴대가 가능하고 간단한 인터페이스를 가지고 있는 장점을 지니고 있다. 이러한 장점들은 콘텐츠의 양이 많지 않고, 인터페이스가 복잡하지 않아야 한다는 제스처 인식 기반 게임에 매우 적합한 내용들이다.
	HCI 기술 중 센서나 카메라, 혹은 혼용된 방법이 많이 사용되는 이유는?	HCI 기술에는 음성 인식 기반 기술[2], 센서 기반 기술[3], 카메라 기반 기술[4] 등 여러 종류가 존재하지만 센서나 카메라, 혹은 혼용된 방법이 많이 사용된다. 이러한 방법들은 높은 정확도를 지니고 있지만 몰입감이 적고, 직관적이지 않은 키보드나 마우스의단점을 보완하여, 게임 분야 뿐 만이 아니라 AR, MR, VR, 로봇 분야에 이르기까지 폭넓게 이용되고 있다. Wii[5]와 같이 다 차원 센서 정보를 활용하거나 Kinect[6]와 같이 TOF 카메라를 이용하여 3차원 상의 세밀한 정보를 얻는 방법 등이 그 좋은 예이다.

참고문헌 (9)

한국게임산업개발원 산업정책팀, 2009 대한민국 게임백서, 한국문화콘텐츠진흥원, 2010.
김종훈, 심재호, 송창우, 이정현, "스마트 홈 환경에서 사용자 상황정보 기반의 음성 인식 시스템 개발", 한국콘텐츠학회논문지, 제8권, 제1호, pp.328-338, 2008.

원문보기 상세보기
D. J. Sturman and D. Zeltzer, "A Survey of Glove-based Input," IEEE Computer Graphics and Applications, Vol.14, No.1, pp.30-39, 1994.

상세보기
M. Turk, "Computer Vision in the Interface," Communications of the ACM, Vol.47, No.1, pp.60-67, 2004.

상세보기
김상윤, 김종구, 이칠우, "WII 컨트롤러를 이용한 제스처 인터페이스 시스템", 정보통신분야 합동 학술대회, pp.247-250, 2009.
J. Shotton, "Real-Time Human Pose Recognition in Parts from Single Depth Images," IEEE Conference on Computer Vision and Pattern Recognition, pp.1297-1304, 2011.
김정훈, "구글의 안드로이드와 안드로이드마켓", 한국콘텐츠학회지, 제7권, 제2호, pp.29-36, 2009.

원문보기 상세보기
박재완, 오치민, 이칠우, "가상 놀이 공간 인터페이스를 위한 HMM 기반 상반신 제스처 인식", 한국콘텐츠학회논문지, 제10권, 제8호, pp.11-17, 2010.

원문보기 상세보기
오일석, 패턴인식, 교보문고, 2008.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증