[논문]FPS 게임에서 제스처 인식과 VR 컨트롤러를 이용한 게임 상호 작용 제어 설계

이용환; 안효창

FPS 게임에서 제스처 인식과 VR 컨트롤러를 이용한 게임 상호 작용 제어 설계
Design of Gaming Interaction Control using Gesture Recognition and VR Control in FPS Game 원문보기

반도체디스플레이기술학회지 = Journal of the semiconductor & display technology, v.18 no.4, 2019년, pp.116 - 119

이용환 (원광대학교 디지털콘텐츠공학과) , 안효창 (극동대학교 에너지IT 학과)

Abstract ▼ AI-Helper

User interface/experience and realistic game manipulation play an important role in virtual reality first-person-shooting game. This paper presents an intuitive hands-free interface of gaming interaction scheme for FPS based on user's gesture recognition and VR controller. We focus on conventional interface of VR FPS interaction, and design the player interaction wearing head mounted display with two motion controllers; leap motion to handle low-level physics interaction and VIVE tracker to control movement of the player joints in the VR world. The FPS prototype system shows that the design interface helps to enjoy playing immersive FPS and gives players a new gaming experience.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 중점적으로 다루는 영역은 새로운 하드웨어 구조를 제안하는 것이 아니며, 기존에 상용화되고 있는 다수의 컨트롤러를 연결하여 게임 플레이어로 하여금 가상 환경에서 보다 효과적인 게임 제어를 제공하는 인터페이스를 제시한다. 웨어러블 장비로써, 사용자의 손동작을 인식하는 립모션(Leap Motion) 컨트롤러와 FPS 게임에서 핵심적 제어를 위해 총과 화면을 제어하는 VIVE 트랙커를 활용한다.
본 논문에서는 가상현실(VR) 환경에서 1인칭슈팅 게임(FPS)에 대한 새로운 인터페이스와 사용자 상호동작을 설계하고 프로토타입 시스템을 구현하였다. 립모션을 통해 인식하는 플레이어의 손동작과 총기에 부착된 트랙커를 통해 VR FPS 에서 사용자의 존재감을 향상시켰으며, 현실적인 행동을 모형화하고 플레이어의 특정 동작에 대해 사용자 피드백을 주어 높은 몰입감을 갖는 게임 인터페이스를 개발하였다.
본 논문에서는 사용자 동작 인식과 VR 컨트롤러를 기반으로 VR FPS에서 몰입감을 갖는 핸즈프리(Hands free) 게임의 상호 동작 인터페이스를 설계하고 프로토타입 시스템을 개발한다. 플레이어의 손 동작을 인식하기 위해 립모션을 장착하고 VR 환경을 제공하기 위해 VIVE HMD와 현실감 높이는 트랙커가 장착된 총기류(Gun)를 활용한다.
게임의 몰입도와 사용자의 흥미를 충족시켜야 한다. 본 논문에서는 자연스러운 플레이어의 움직임을 추출하기 위해 립모션을 통해 사용자 손 동작을 인식하여 몰입감 높은 게임 인터페이스를 연구하고자 한다.

제안 방법

본 논문에서는 가상현실(VR) 환경에서 1인칭슈팅 게임(FPS)에 대한 새로운 인터페이스와 사용자 상호동작을 설계하고 프로토타입 시스템을 구현하였다. 립모션을 통해 인식하는 플레이어의 손동작과 총기에 부착된 트랙커를 통해 VR FPS 에서 사용자의 존재감을 향상시켰으며, 현실적인 행동을 모형화하고 플레이어의 특정 동작에 대해 사용자 피드백을 주어 높은 몰입감을 갖는 게임 인터페이스를 개발하였다. 이를 통해 다양한 형태의 VR 상호동작을 지원하는 몰입형 VR 게임과 훈련 시뮬레이션 등에서 높은 몰입감을 제공하면서 사용자 관심도를 높이는 콘텐츠 제작이 가능하리라 판단된다.
게임 제어를 위한 트리거(Trigger)에는 (1) HMD의 위치와 방향, (2) 총에 장착된 VIVE 트랙커의 위치와 방향, (3)총의 버튼과 (4) HMD에 장착된 립모션을 통한 손 동작 인식이 해당된다. 본 연구에서는 2가지 총기류(Fig. 2)를 대상으로 FPS에서 수행되는 동작과 플레이어의 상황을 제어하도록 설계한다. 게임 진행의 일관성 유지와 플레이어의 혼돈을 방지하기 위해 앞에 기술한 세 번째 트리거에 대해 공용의 제어만을 지원하여 동일한 동작과 이벤트를 처리하도록 설계하며, 2개의 총기류에서 상이한 인터페이스가 요구되는 경우, 네 번째 트리거인 손 동작을 통해 서로 다른 동작 제어를 관리한다.
인터페이스 구성에 따라, 사용자가 두 손으로 총기를 잡고 손에 든 총기와 HMD에 부착된 립 모션 추적으로 수행할 수 있는 사용자의 특정 행위를 정의하고 이를 제어하는 상호동작을 설계한다. 사용자 특정 행위의 제어는 FPS 게임에서 사용자가 대표적으로 수행하는 4가지의 게임 행위를 설정하고 상호작용을 정의한다(Table 1).
제안 시스템은 게임 플레이어, 인터페이스와 제어를 담당하는 웨어러블 장치 및 게임 시스템으로 구성되며, 각 요소들 간의 인터페이스는 Fig. 1과 같다.
플레이어는 총기를 들고 내려놓을 수 있으며, 한 손의 동작은 립모션을 통해서 플레이어의 제스처를 인식하였다. 총기의 그립감을 높이기 위해 총을 들고 내려놓기와 총기 발사 시점에서 총기에 바이브레이션을 제공하여 플레이어의 몰입감을 높였다.

성능/효과

VR FPS 게임 실행 성능을 검토하기 위해, 유니티 분석툴인 Profiler를 이용하여 CPU와 메모리 사용량을 점검한 결과, 게임 실행시간에 대해 CPU는 평균 23%, 메모리는10% 수준의 사용량을 보였다(Fig. 4).

후속연구

립모션을 통해 인식하는 플레이어의 손동작과 총기에 부착된 트랙커를 통해 VR FPS 에서 사용자의 존재감을 향상시켰으며, 현실적인 행동을 모형화하고 플레이어의 특정 동작에 대해 사용자 피드백을 주어 높은 몰입감을 갖는 게임 인터페이스를 개발하였다. 이를 통해 다양한 형태의 VR 상호동작을 지원하는 몰입형 VR 게임과 훈련 시뮬레이션 등에서 높은 몰입감을 제공하면서 사용자 관심도를 높이는 콘텐츠 제작이 가능하리라 판단된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	게임 제어를 위한 트리거는 무엇이 해당하는가?	게임 제어를 위한 트리거(Trigger)에는 (1) HMD의 위치와 방향, (2) 총에 장착된 VIVE 트랙커의 위치와 방향, (3)총의 버튼과 (4) HMD에 장착된 립모션을 통한 손 동작 인식이 해당된다. 본 연구에서는 2가지 총기류(Fig.
	일반적으로 게임 인터페이스는 무엇을 이용하여 게임을 조작하는가?	가상현실 기술은 최근 기술 발달로 인해 많은 기업과 연구분야에서 가상현실 산업시장에 뛰어 들고 있다[1, 12]. 일반적으로 게임 인터페이스는 키보드, 마우스 또는 조이스틱 등을 이용하여 게임을 조작한다. 그러나 사용자 동작 인식, 손동작 추적 및 HMM을 이용한 학습 등이 게임인터페이스에 적용되면서 사용자의 요구가 다양해지고 있다[5].
	게임산업의 대표주자인 Nintendo에서는 닌텐도 Wii 게임의 조이스틱은 모션 센서가 있는 Wii 본체와의 통신으로 사용자 모션을 인식하고 이에 따른 게임 캐릭터 이동 및 동작을 제어하여 플레이어로 하여금 보다 게임에 몰입할 수 있도록 제공하는데 어떤 문제점이 있는가?	게임산업의 대표주자인 Nintendo에서는 닌텐도 Wii 게임의 조이스틱은 모션 센서가 있는 Wii 본체와의 통신으로 사용자 모션을 인식하고 이에 따른 게임 캐릭터 이동 및 동작을 제어하여 플레이어로 하여금 보다 게임에 몰입할 수 있도록 제공한다[8, 9]. 그러나 장치를 착용하여야 하며, 조이스틱과 Wii 본체의 통신으로 플레이어의 손만을 모션으로 인식하여 인터페이스의 한계가 있으며, 인식률을 고려하여 게임 중에 손 동작의 인식 저하가 발생하는 문제가 있다. Microsoft사에서 제공하는 Xbox 360의 Kinect를 사용하면 특별한 장비를 장착하지 않고 사용자의 플레이어의 동작을 인식하여 게임을 할 수 있다[10].

참고문헌 (12)

VRDC, "VR/AR Innovation Report", 2017. Available at https://arinsider.co/wp-content/uploads/2018/04/VRDCDeveloper-Survey-2017.pdf
Leif P. Berg, Judy M. Vance, "Industry Use of Virtual Reality in Product Design and Manufacturing: A Survey", Digital Repository of Iowa State University, Mechanical Engineering Publications, 2017.
Adrien Fonnet, Yannick Prie, "Survey of Immersive Analytics", IEEE Transactions on Visualization and Computer Graphics, 2019. DOI: 10.1109/TVCG.2019.2929033

상세보기
Mattis T. Willemsen, "Evaluating Player Performance and Usability of Graphical FPS Interfaces in VR", Master Thesis, Blekinge Institute of Technology, 2019.
Peng Lu, Yisong Chen, Chao Dong, "Stereo Visionbased 3D Game Interface, International Symposium on Multi-Spectral Image Processing and Pattern Recognition, Vol. 7496, 2009.
Ying Yin, Randall Davis, "Real-time Continuous Gesture Recognition for Natural Human-Computer Interaction", IEEE Symposium on Visual Languages and Human-Centric Computing, 2014.
Peng Lu, Yisong Chen, and Chao Dong, "Stereo Visionbased 3D Game Interface", International Symposium on Multi-Spectral Image Processing and Pattern Recognition, Vol. 7496, 2009.
Cheng Guo, Ehud Sharlin, "Exploring the Use of Tangible User Interface for Human-Robot Interaction: A Comparative Study", In Proceedings. of Human-Robot Interaction CHI, 2008.
Joao Luiz Bernardes, Ricardo Nakamura, Daniel Calife, Daniel Makoto Tokunaga, "Integrating the Wii Controller with enJine: 3D Interfaces extending the Frontiers of a Didactic Game Engine", Computers in Entertainment, 2009.
I-Tsun Chiang, Jong-Chang Tsai, Shang-Ti Chen, "Using Xbox 360 Kinect Games on Enhancing Visual Performance Skills on Institutionalized Older Adults with Wheelchairs", International Conference on Digital Game and Intelligent Toy Enhanced Learning, 2012.
ChangHyun Lee, Youngseop Kim, YeonMin Kim, InHo Park, JaeHak Choi, YongHwan Lee, Woori Han, "Study on the Content Development of Mobile AR HMD through a Real Time 360 Image Processing", Journal of the Semiconductor & Display Technology, vol.15, issue. 2, pp. 66-69, 2016.
Yong-Hwan Lee, Youngseop Kim, "Detection of Art Exhibitions using Augmented Reality Technology", Journal of the Semiconductor & Display Technology, vol.17, no.4, pp. 101-104, 2018.

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증