세계 게임 시장에 있어서 콘솔 게임은 가장 높은 점유율을 차지하고 있고 많은 인기를 얻어왔다. 특히 조작을 위해 몸을 움직여서 동작하는 체감형 콘솔 게임은 독자적인 시장을 구축해왔다. 하지만, 기존 콘솔 게임 소프트웨어들은 쉽게 싫증을 느낄 수 있고, 높은 비용을 요구함으로서 사용자에게 부담을 준다. 본 논문에서는 저렴하고 쉽게 싫증나지 않도록 지속적인 업데이트가 가능한 키넥트를 사용한 동작 인식 체감형 게임을 개발하였고 이에 대하여 설명한다. 기존 콘솔 댄스 게임에서는 자신을 모습을 볼 수 없을 뿐만 아니라 지정한 동작만을 비교하는 반면에 본 논문에서 개발한 체감형 댄스 게임에서는 자신의 모습을 직접 확인 가능하며, 매 초 마다 20회 정도 전체 동작을 비교해 높은 정확도와 흥미를 부여한다. 이와 같은 기능을 제공함에 따라 사용자의 정성적인 평가에 따르면 개발한 시스템의 만족도가 높은 것으로 나타났다.
세계 게임 시장에 있어서 콘솔 게임은 가장 높은 점유율을 차지하고 있고 많은 인기를 얻어왔다. 특히 조작을 위해 몸을 움직여서 동작하는 체감형 콘솔 게임은 독자적인 시장을 구축해왔다. 하지만, 기존 콘솔 게임 소프트웨어들은 쉽게 싫증을 느낄 수 있고, 높은 비용을 요구함으로서 사용자에게 부담을 준다. 본 논문에서는 저렴하고 쉽게 싫증나지 않도록 지속적인 업데이트가 가능한 키넥트를 사용한 동작 인식 체감형 게임을 개발하였고 이에 대하여 설명한다. 기존 콘솔 댄스 게임에서는 자신을 모습을 볼 수 없을 뿐만 아니라 지정한 동작만을 비교하는 반면에 본 논문에서 개발한 체감형 댄스 게임에서는 자신의 모습을 직접 확인 가능하며, 매 초 마다 20회 정도 전체 동작을 비교해 높은 정확도와 흥미를 부여한다. 이와 같은 기능을 제공함에 따라 사용자의 정성적인 평가에 따르면 개발한 시스템의 만족도가 높은 것으로 나타났다.
Console game has high market occupancy in the world game market and has popular favor for many players. Especially, the experience console game in which body movement is used to control the game has made its own market. However, previous experience console games can easily make players to be boring ...
Console game has high market occupancy in the world game market and has popular favor for many players. Especially, the experience console game in which body movement is used to control the game has made its own market. However, previous experience console games can easily make players to be boring and require additional payments to update the game. In this paper, we present an experience dance game using Kinet, which has high interest and can be continuously updated. Differently from previous console games, the presented game makes the player to see how they are playing and to know what the next action is. Also, the accuracy of the player motion is compared 20 times in each second to get high interests of players. Through these functions, the presented game can achieve high satisfaction rates based on the qualitative evaluation of users.
Console game has high market occupancy in the world game market and has popular favor for many players. Especially, the experience console game in which body movement is used to control the game has made its own market. However, previous experience console games can easily make players to be boring and require additional payments to update the game. In this paper, we present an experience dance game using Kinet, which has high interest and can be continuously updated. Differently from previous console games, the presented game makes the player to see how they are playing and to know what the next action is. Also, the accuracy of the player motion is compared 20 times in each second to get high interests of players. Through these functions, the presented game can achieve high satisfaction rates based on the qualitative evaluation of users.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 이와 같은 기존 콘솔 게임이 가지고 있는 문제를 해결한 체감형 댄스 게임 시스템을 제시한다. 먼저, 보급률이 높은 컴퓨터와 키넥트만을 이용하여 댄스 게임을 구현하여 비용 부담을 줄이고 컴퓨터 소프트웨어라는 특성을 이용하여 업데이트를 쉽게 한다.
본 논문에서는 저렴하고 쉽게 싫증나지 않도록 지속적 업데이트가 가능한 체감형 게임을 제안하였다. 이는 지속적으로 다양한 콘텐츠를 사용자에게 제공할 수 있도록 한다.
제안 방법
4와 같이 화면에 출력하고 사용자 동작을 검출한다. 그리고 동작 비교 기법을 이용하여 현재 사용자 동작과 비교 데이터의 일치율을 계산한다. 매 프레임 마다 일치율을 계산하여 30 프레임 중 가장 높은 일치율을 정해진 기준에 따라 키워드 출력 및 사용자에게 점수를 부여한다.
본 논문에서 제안하는 게임을 닌텐도 Wii의 “Just Dance2” 게임과 동작 비교 횟수, 비교 데이터 수를 기준으로 비교하였다. 다만, Just Dance2 게임의 경우 내부 알고리즘 등 정보가 공개되어 있지 않기 때문에 하드웨어 정보를 조사하여 알고리즘을 추정하였다. 게임에 사용되는 wii 리모콘은 내부에 3축의 가속도와 기울기를 인식할 수 있는 ADXL330가속도계를 탑재하고 있다[8][9].
제안하는 게임의 성능을 평가하기 위하여 CPU Intel i5-3세대, RAM 8GB, Intel HD 4000 VGA가 장착된 컴퓨터에서 동작 매칭에 대한 수행 속도를 측정하였다. 다양한 동영상에 대하여 약 323초 동안 게임을 재생하였고, 총 6,540 프레임에 대하여 동작 매칭을 수행하였다. 이 시간 동안 동작 매칭에 약 568 msec가 소요되었고 약 1프레임 당 0.
Mi는 현재 사용자 동작에 대하여 측정된 관절 각도이고, Ri는 데이터베이스에 저장되어 있는 비교 데이터의 관절 각도이다. 두 각도 사이의 차이값에 대하여 절대값을 취한 후 180도를 기준으로 하여 해당 관절의 동일성 퍼센티지를 구한다. 총 20개의 관절 각도에 대하여 동일성 퍼센티지의 평균을 계산할 수 있고 이를 일치율로 사용하였다.
본 논문에서 제안하는 체감형 콘솔 게임은 키넥트가 연결된 컴퓨터와 노래 및 관절 데이터 등을 관리하는 서버로 구성이 되어 있다. Fig.
본 실험에서는 2012년 공학교육 페스티벌(전국대회)와 금오공과대학교 2012 Engineering Fair 등 전시회에서 참관객들에게 원하는 시스템을 이용할 수 있도록 한 뒤 해당 사용자에게 0점에서 10점 사이의 점수를 받아 평균점수를 이용 하여 호응도를 분석하였다. Table 5는 기존의 시스템과 본 논문의 시스템을 전시하여 이용한 횟수 및 평점을 도표화한 것이다.
사용자가 자리를 비울 시(스켈레톤 미인식시)에는 게임이 일시 정지되며, 여러 명의 스켈레톤이 인식될 시에는 깊이가 가장 가까운 스켈레톤을 인식하여 게임을 진행한다.
동시에 키넥트는 깊이 영상처리를 이용하여 사용자를 찾고, 사용자의 관절들을 Skeleton Stream에 (X, Y, Z) 좌표 값으로 저장한다. 저장되어 있는 관절들의 좌표 값들을 이용 하여 동작 저장 기법에서 설명한 것과 같은 방식으로 관절들 간의 각을 계산하고 Skeleton Angles 객체에 누적 저장한 후 녹화가 마무리되면 해당 객체에 저장된 모든 관절 정보를 DWM 포맷 파일에 저장한다. 동영상 파일과 DWM 파일은 게임 폴더 내의 컨텐츠 폴더에 저장되고, 저장된 커스텀 데이터는 시스템 데이터와 같은 방식으로 플레이 할 수 있다.
제안하는 게임에서는 사용자에게 안무를 쉽게 익히기 위한 편의성을 제공하기 위해 반복모드를 지원한다. 설정 창에서 반복모드를 선택한 후 반복할 시간을 선택하면 사용자가 다음영상으로 넘어갈 때까지 영상이 반복된다.
제안하는 게임의 성능을 평가하기 위하여 CPU Intel i5-3세대, RAM 8GB, Intel HD 4000 VGA가 장착된 컴퓨터에서 동작 매칭에 대한 수행 속도를 측정하였다. 다양한 동영상에 대하여 약 323초 동안 게임을 재생하였고, 총 6,540 프레임에 대하여 동작 매칭을 수행하였다.
제안한 게임에서는 노래 데이터 및 비교 데이터의 추가를 위하여 키넥트로부터 사용자의 동작을 인식하고 해당 동작을 서버의 데이터베이스에 저장한다. Fig.
제안한 게임에서는 키넥트를 이용하여 사용자 동작을 인식하고 해당 동작을 데이터베이스에 미리 저장해둔 비교 데이터와 비교한다. Fig.
키넥트는 총 3 개의 렌즈로 구성이 되어 있다. 중앙에 위치한 RGB 인식 렌즈를 통하여 영상 촬영을 수행하며, 동시에 적외선 렌즈를 통하여 적외선을 픽셀 단위로 투사한다. 깊이 인식 렌즈에서는 장면에 투사된 적외선 픽셀들을 촬영하고 이를 통하여 대상의 깊이 연산을 가함으로 거리의 인식과 사람의 골격을 인식할 수 있도록 제작된 장치이다.
두 각도 사이의 차이값에 대하여 절대값을 취한 후 180도를 기준으로 하여 해당 관절의 동일성 퍼센티지를 구한다. 총 20개의 관절 각도에 대하여 동일성 퍼센티지의 평균을 계산할 수 있고 이를 일치율로 사용하였다.
매 프레임마다 일치율을 계산하여 30프레임 중 가장 높은 일치율을 측정해 Table 2의 기준에 따라 키워드 출력 및 점수를 부여한다. 특히 동작 매칭 기법을 이용하여 사용자 현재 동작이 저장된 데이터와 다를 경우 실시간으로 화면을 통해 알려준다. Fig.
파일 서버를 구축하고 게임 런쳐 실행 시 Fig. 5과 같이 사용자 컴퓨터 내 시스템 파일에 대한 존재 유무와 손상을 확인한다. 이 때 이상이 있는 파일이 있을 경우 해당 파일을 전송하여 최신 데이터를 유지한다.
대상 데이터
키 프레임의 수는 실제 영상 마다 다르므로 곡의 시간(초)를 180초로 가정하면 Table 4와 같은 결과를 얻을 수 있다. Just Dance2는 총 360개의 비교 데이터를 사용하고, 본 논문에서는 3,600개의 비교 데이터를 사용한다. 이를 통하여 제안하는 게임이 기존 시스템의 동작 비교보다 10배 이상의 많은 비교 수행을 통하여 동작 매칭의 정확도를 향상하였음을 알 수 있다.
다만, Just Dance2 게임의 경우 내부 알고리즘 등 정보가 공개되어 있지 않기 때문에 하드웨어 정보를 조사하여 알고리즘을 추정하였다. 게임에 사용되는 wii 리모콘은 내부에 3축의 가속도와 기울기를 인식할 수 있는 ADXL330가속도계를 탑재하고 있다[8][9]. 또한 PixArt 광학 센서를 탑재하고 있어서 리모콘이 어디를 가리키고 있는지 감지할 수 있다[10].
초당 비교하는 데이터의 묶음을 키 프레임이라고 표현하자면, Table 3과 같이 Just Dance2는 키 프레임 당 2개의 비교 데이터를 사용한다. 즉, 키 프레임 수*2개 비교 데이터를 사용하고, 제안한 게임은 곡의 시간(초)*20개(각도)의 비교 데이터를 사용한다.
먼저 Kinect SDK를 이용하여 인식된 사용자의 동작을 가져온다[7]. 해당 동작에서 Fig. 8에 표시된 것과 같이 (머리-늑골), (늑골-골반), (오른쪽 어깨-오른쪽 팔꿈치), (오른쪽 팔꿈치-오른쪽 손), (골반-오른쪽 무릎), (오른쪽 무릎-오른쪽 발), (왼쪽 어깨-왼쪽 팔꿈치), (왼쪽 팔꿈치-왼쪽 손), (골반-왼쪽 무릎), 및 (왼쪽 무릎-왼쪽 발)의 10개 관절에 대해 각각 X-Y축, X-Z축의 각도를 계산하여 총 20개 각도 데이터를 서버로 보낸다.
데이터처리
본 논문에서 제안하는 게임을 닌텐도 Wii의 “Just Dance2” 게임과 동작 비교 횟수, 비교 데이터 수를 기준으로 비교하였다.
성능/효과
14에 제시하였다. 게임 메뉴 선택, 노래 선택, 게임 옵션 선택, 게임 플레이 장면들을 확인할 수 있고, 실제 자신의 모습이 제시되고, 앞으로의 제시될 장면에 대한 출력을 통하여 게임의 흥미가 높음을 확인할 수 있다.
기존의 시스템은 사용자 자신의 모습을 NPC 아바타로 대체하여 화면에 보여준다. 본 논문에서는 사용자 자신의 모습을 화면에 그대로 보여줌으로써 사용자가 자신의 모습을 확인할 수 있고, 사용자들에게 더 흥미를 끌 수 있다.
2배 높은 평점을 받았다. 이로써 본 논문에서처럼 사용자 화면을 보여주는 것은 사용자들에게 호기심과 흥미를 유도하고 게임의 재미를 더 한다는 것을 알 수 있다.
Just Dance2는 총 360개의 비교 데이터를 사용하고, 본 논문에서는 3,600개의 비교 데이터를 사용한다. 이를 통하여 제안하는 게임이 기존 시스템의 동작 비교보다 10배 이상의 많은 비교 수행을 통하여 동작 매칭의 정확도를 향상하였음을 알 수 있다.
호응도 분석 결과를 보면, 제안하는 게임은 닌텐도 Wii보다 약 6배 많은 이용횟수와 1.4배 높은 평점을 받았다. MS XBOX360보다 약 2배 많은 이용횟수와 1.
후속연구
이와 같은 게임을 이용하여 사용자의 스트레스 해소 및 건강 향상 효과를 기대할 수 있다. 그러나 제안한 게임의 상용화를 위해서는 최적화, 사용자 인터페이스 향상, 효율적인 데이터 관리 방안 수립 등의 보완이 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
Wii가 하락세를 겪는 이유는 무엇인가?
특히 사용자가 직접 컨트롤러가 되어 제어하는 체감형 콘솔 게임은 닌텐도 사의 Wii 출시 이후로 소니 PlayStation Move, Microsoft X360 Kinect 등이 등장하며 많은 인기를 끌어왔다[3, 4]. 하지만 별도의 컨트롤러와 외부 장치를 필요로 하고 차별성을 부각시킨 콘텐츠의 확보 어려움으로 인하여 Wii는 하락세를 겪고 있다.
키넥트는 무엇인가?
Microsoft 사는 Wii 메커니즘을 업그레이드하여 XBOX360에 컨트롤러 단말 없이 온몸으로 조작할 수 있는 혁신적인 영상 인식 장치인 키넥트(Kinect)를 추가함으로써 체감형 콘솔 게임 시장에 진입하였다. 이를 통하여 대부분 콘솔 게임기 판매량이 감소하는 추세를 보임에도 불구하고 XBOX360은 지속적으로 상승세를 보일 수 있었다[5].
키넥트를 구성하는 깊이 인식 렌즈는 어떤 장치인가?
중앙에 위치한 RGB 인식 렌즈를 통하여 영상 촬영을 수행하며, 동시에 적외선 렌즈를 통하여 적외선을 픽셀 단위로 투사한다. 깊이 인식 렌즈에서는 장면에 투사된 적외선 픽셀들을 촬영하고 이를 통하여 대상의 깊이 연산을 가함으로 거리의 인식과 사람의 골격을 인식할 수 있도록 제작된 장치이다.
참고문헌 (10)
Korea Creative Contents Agency (KOCCA), "2012 Foreign Contents Market Trend Survey (The First Half Year)", KOCCA Research Report, 2012, pp. 85-92.
J. Kang, "The Share and Future of World Game Market," KOCCA Statistics Briefing, vol. 13(13), 2013.
Entertainment Software Association (ESA), "The 2013 Essential Facts About the Computer and Video Game Industry," Annual Research Reports, 2013.
Korea Creative Contents Agency (KOCCA), "Content Technology (CT) In-Depth Report Vol. 5: Technology and Market Trend of Experience Console Game", KOCCA Research Report, 2010.
Y. Mehdi, "Xbox Beyond the Box", The Official Microsoft Blog in TechNet Blogs, May 29, 2012.
Nintendo Homepage, "http://www.nintendo.co.kr/".
Microsoft Kinect SDK, "http://www.microsoft.com/en-us/kinectforwindows/develop/".
H. Wisniowski, "Analog Devices And Nintendo Collaboration Drives Video Game Innovation With iMEMS Motion Signal Processing Technology," Analog Devices, Inc., (http://www. analog.com/en/press-release/May_09_2006_ADI_Nintendo_Collaborat-ion/ press.html), May 9, 2006.
K. Castaneda, "Nintendo and PixArt Team Up," Nintendo World Report, May 13, 2006.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.