최근 컴퓨터 비젼이나 게임과 같은 분야에서 사람의 모션을 이용한 다양한 콘텐츠들이 개발되고 있다. 모션을 이용하여 콘텐츠를 제작하거나 응용프로그램을 개발하게 되면, 사용자는 게임이나 콘텐츠에 더욱 몰입감을 느낄 수 있고, 그에 따른 콘텐츠 사용의 만족도가 향상된다. 본 논문에서는 웹 카메라를 이용해서 캡처한 영상으로부터 모션을 인식하고, 이를 별도의 장비 없이 게임의 인터페이스로 활용할 수 있는 방법을 개발한다. 제안된 방법은 MHI(Motion History Image)와 피부색 검출 결과를 결합하여 입력영상으로부터 사람의 머리 부분을 분할하고, MHI 시퀀스(Sequence)를 이용하여 방향과 이동거리를 계산한다. 실험결과에서 제안된 사람의 머리 모션 인식 결과를 실제 게임에 적용하여 게임 캐릭터를 제어하기 위해 사용하였다. 제안된 방법은 사용자의 몰입감 정도를 향상시킬 수 있음을 증명하였고, 그로인해 기능성 게임의 사용자 인터페이스로의 가능성을 확인하였다.
최근 컴퓨터 비젼이나 게임과 같은 분야에서 사람의 모션을 이용한 다양한 콘텐츠들이 개발되고 있다. 모션을 이용하여 콘텐츠를 제작하거나 응용프로그램을 개발하게 되면, 사용자는 게임이나 콘텐츠에 더욱 몰입감을 느낄 수 있고, 그에 따른 콘텐츠 사용의 만족도가 향상된다. 본 논문에서는 웹 카메라를 이용해서 캡처한 영상으로부터 모션을 인식하고, 이를 별도의 장비 없이 게임의 인터페이스로 활용할 수 있는 방법을 개발한다. 제안된 방법은 MHI(Motion History Image)와 피부색 검출 결과를 결합하여 입력영상으로부터 사람의 머리 부분을 분할하고, MHI 시퀀스(Sequence)를 이용하여 방향과 이동거리를 계산한다. 실험결과에서 제안된 사람의 머리 모션 인식 결과를 실제 게임에 적용하여 게임 캐릭터를 제어하기 위해 사용하였다. 제안된 방법은 사용자의 몰입감 정도를 향상시킬 수 있음을 증명하였고, 그로인해 기능성 게임의 사용자 인터페이스로의 가능성을 확인하였다.
Recently, various contents using human motion are developed in computer vision and game industries. If we try to apply human motion to application programs and contents, users can experience a sense of immersion getting into it so that the users feel a high level of satisfaction from the contents. I...
Recently, various contents using human motion are developed in computer vision and game industries. If we try to apply human motion to application programs and contents, users can experience a sense of immersion getting into it so that the users feel a high level of satisfaction from the contents. In this research, we analyze human head motion using images captured from an webcam and then we apply the result of motion recognition to a game without special devices as an interface. The proposed method, first, segments human head region using an image composed of MHI(Motion History Image) and the result of skin color detection, and then we calculate the direction and distance by the MHI sequence. In experiments, the proposed method for human head motion recognition was tested for controlling a game player. From the experimental results we proved that the proposed method can make a gammer feel more immersed into the game. Furthermore, we expect the proposed method can be an interface of a serious game for medical or rehabilitation purposes.
Recently, various contents using human motion are developed in computer vision and game industries. If we try to apply human motion to application programs and contents, users can experience a sense of immersion getting into it so that the users feel a high level of satisfaction from the contents. In this research, we analyze human head motion using images captured from an webcam and then we apply the result of motion recognition to a game without special devices as an interface. The proposed method, first, segments human head region using an image composed of MHI(Motion History Image) and the result of skin color detection, and then we calculate the direction and distance by the MHI sequence. In experiments, the proposed method for human head motion recognition was tested for controlling a game player. From the experimental results we proved that the proposed method can make a gammer feel more immersed into the game. Furthermore, we expect the proposed method can be an interface of a serious game for medical or rehabilitation purposes.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 피부색 모델과 MHI 시퀀스를 결합하여 사람의 머리 모션을 검출하고 그 결과를 이용하여 게임을 제어하는 방법을 제안하였다. 제안된 방법은 닌텐도 Wii나 XBox, 혹은 키넥트 센서와 같은 부가적인 장비의 설치 없이 웹 카메라만을 이용하여 모션을 인식하고 게임을 제어할 수 있기 때문에 저비용, 고효율의 게임인터페이스 구축이 가능하다.
가설 설정
이때 사용자는 상하좌우로 움직이며 게임의 캐릭터를 제어할 수 있다. 게임의 사용자가 카메라 영상의 경계를 넘어설 경우에는 넘어선 방향으로 계속 움직이는 것으로 설정하였다.
제안 방법
YCrCb 칼라공간에서 명암값 영상(Y)을 이용하여 이전영상과의 차이를 계산한다. 이와 동시에 Cr값과 Cb값을 이용한 피부색 영역을 검출한다.
3]에서 보는 바와 같이 (Δxl, Δxr)로 구성되고 Y도 (Δyu, Δyd)이며, 그 값은 각각 증가하거나 감소할 수 있다. 계산된 모션의 크기와 방향을 게임에 반영함으로써 게임 캐릭터의 움직임이 스크린상의 2차원평면에 상하 좌우로 움직일 수 있도록 설계한다.
모션 인식의 정확도를 측정하기 위해 게임에 참여한 사용자가 게임을 제어하는 동안 의도와 다른 움직임의 회수를 측정하도록 하였다. 실험은 4명의 사용자가 각 50회씩 상하좌우 모션을 실험하였으며, 한 번의 움직임으로 한 번의 모션을 인식하는 것으로 측정하였다.
2] (a)는 ψ(x, y, t) 영상을 의미하고, (b)는 MHIτ(x, y, t) 영상의 예를 각각 보여준다. 사람의 머리 모션의 방향과 거리를 계산하기 위해 사용자의 움직임에 의해 발생하는 MHI 시퀀스의 크기 변화를 이용한다.
모션 인식의 정확도를 측정하기 위해 게임에 참여한 사용자가 게임을 제어하는 동안 의도와 다른 움직임의 회수를 측정하도록 하였다. 실험은 4명의 사용자가 각 50회씩 상하좌우 모션을 실험하였으며, 한 번의 움직임으로 한 번의 모션을 인식하는 것으로 측정하였다. [Table 1]에서처럼 실험 결과 전체적으로 97.
이 단계는 모션과 주변의 복잡한 환경 - 피부색이 포함된 배경에서의 움직임 -으로 인한 거짓 긍정율(Flase Positive Rate)을 줄여준다. 영역의 크기에 따른 필터링을 위해 먼저 연결성분 조사(Connected Component Analysis)를 통해 연결된 영역을 검사하고, 그 영역들 중에 제일 큰 영역이 얼굴 후보영역이라 결정한다.
본 논문에서는 피부색 모델과 MHI 시퀀스를 결합하여 사람의 머리 모션을 검출하고 그 결과를 이용하여 게임을 제어하는 방법을 제안하였다. 제안된 방법은 닌텐도 Wii나 XBox, 혹은 키넥트 센서와 같은 부가적인 장비의 설치 없이 웹 카메라만을 이용하여 모션을 인식하고 게임을 제어할 수 있기 때문에 저비용, 고효율의 게임인터페이스 구축이 가능하다.
현재 시장에 출시된 카메라기반의 게임으로는 대표적으로 마이크로소프트[5-6]와 소니[7]가 있다. 제안된 연구는 컴퓨터에 설치된 웹 카메라를 이용하여 사용자의 모션을 인지하고, 이를 컴퓨터 게임의 입력으로 전달하는 인터페이스를 개발한다. 따라서 모션 인식을 위해서는 닌텐도 Wii처럼 어떠한 물리적 센서를 사용자가 들고 있어야 하거나, Microsoft 의 Kinect와 같이 비싼 장비를 사용하지 않아도 되는 장점이 있다.
모션으로 제어하는 게임이라는 것이 카메라 입력을 그대로 이용할 수 있다는 장점 때문에 최근 컴퓨터 게임의 입력으로 자주 사용된다. 제안된 연구에서는 MHI[8-9]와 피부색 모델[10-12]을 이용하여 영상에서 사람의 피부색이 분포한 얼굴 영역을 분할한다. 제안된 방법의 흐름도는 [Fig.
4]에서 보는 바와 같이 입력영상을 아무런 처리 없이 MHI로 만들게 되면, 원하지 않는 잡음과 거짓 긍정율이 매우 높게 발생한다. 제안된 연구에서는 사람의 머리 모션만을 검출하기 위해 스킨 컬러 범위에 있는 영역과 이전영상과의 차이가 발생한 공통된 부분을 이용하여 MHI 시퀀스를 구성하였고, 머리 부분의 모션만을 구하기 위해 영역크기 필터링을 수행하였다. [Fig.
대상 데이터
제안된 인터페이스는 Windows 8.1 운영체제와 Visual C++ 2012 컴파일러 환경에서 실험하였고 OpenCV 2.4.9버전의 라이브러리를 이용하였다.
성능/효과
이런 종류의 자연스럽고 직과적인 인터페이스는 전통적인 키보드나 마우스에 비해 다양한 장점을 가지는데, 기술자나 전문가가 아니더라도 일반 사용자가 쉽게 배우고 익혀서 사용할 수 있다는 점을 들 수 있다. 결과적으로 사용자가 마우스와 키보드와 같은 전형적인 입력장치를 사용하는 것보다 콘텐츠에 대한 몰입도와 흥미유발효과가 높다. 또한, 이러한 종류의 게임 인터페이스는 사용자가 자리에 앉아 게임하기보다 뛰고, 흔들고, 움직이면서 게임을 즐기기 때문에 칼로리 소모량을 높이고 훨씬 건강에 도움이 된다고 보고되고 있다[4].
참고문헌 [14]의 게임 인터페이스는 착석 하여 고개만 좌우로 움직이는 방법으로 사용자의 움직임이 최소화 되었다. 그러나 제안된 방법은 게임 과정동안 앉았다 일어나기를 반복해야하는 경우가 발생 하기 때문에 게임 사용자로 하여금 운동의 효과를 유발함을 확인할 수 있었다. 또한, 게임을 마친 사용자에게 설문한 결과로 키보드를 이용한 게임보다 흥미유발과 몰입감이 느낄 수 있었다는 의견이었다.
그러나 제안된 방법은 게임 과정동안 앉았다 일어나기를 반복해야하는 경우가 발생 하기 때문에 게임 사용자로 하여금 운동의 효과를 유발함을 확인할 수 있었다. 또한, 게임을 마친 사용자에게 설문한 결과로 키보드를 이용한 게임보다 흥미유발과 몰입감이 느낄 수 있었다는 의견이었다. [Table 2]에서 보는 바와 같이 제안된 방법이 기능성게임의 사용자 인터페이스로의 적용 가능성과 실효성을 입증한 것이라 할 수 있다.
제안된 방법의 효율성을 입증하기 위해 또한 게임에 참가한 각 사용자는 참고문헌 [14]에서 제시된 1차원적인 직선움직임으로 게임을 제어하는 경우보다 2차원적인 게임 캐릭터의 제어를 위해 보다 많은 움직임을 보였다. 참고문헌 [14]의 게임 인터페이스는 착석 하여 고개만 좌우로 움직이는 방법으로 사용자의 움직임이 최소화 되었다.
후속연구
향후과제로 3차원 모션 인식 인터페이스로 확장하여, 기능성 게임 인터페이스, 3차원 수화인식 시스템이나 제스처 인식 시스템의 사용자 인터페이스로 발전시킬 계획이다.
질의응답
핵심어
질문
논문에서 추출한 답변
시장에 출시된 카메라기반의 게임과 관련하여 대표적 예로는 무엇이 있는가?
또한, 이러한 종류의 게임 인터페이스는 사용자가 자리에 앉아 게임하기보다 뛰고, 흔들고, 움직이면서 게임을 즐기기 때문에 칼로리 소모량을 높이고 훨씬 건강에 도움이 된다고 보고되고 있다[4]. 현재 시장에 출시된 카메라기반의 게임으로는 대표적으로 마이크로소프트[5-6]와 소니[7]가 있다. 제안된 연구는 컴퓨터에 설치된 웹 카메라를 이용하여 사용자의 모션을 인지하고, 이를 컴퓨터 게임의 입력으로 전달하는 인터페이스를 개발한다.
Microsoft가 만든 카메라기반의 게임에서 모션 인식은 어떤 장비를 필요로 하는가?
제안된 연구는 컴퓨터에 설치된 웹 카메라를 이용하여 사용자의 모션을 인지하고, 이를 컴퓨터 게임의 입력으로 전달하는 인터페이스를 개발한다. 따라서 모션 인식을 위해서는 닌텐도 Wii처럼 어떠한 물리적 센서를 사용자가 들고 있어야 하거나, Microsoft 의 Kinect와 같이 비싼 장비를 사용하지 않아도 되는 장점이 있다.
조정하기 편한 자연스럽고 직관적인 인터페이스의 장점은 무엇인가?
예를 들면 사용자가 어떤 소리를 내어 제어하거나 손을 흔드는 등의 모션을 통해 명령어를 전달할 수도 있고[2], 마술지팡이와 같은 막대기를 흔들면서 제어할 수 있는 인터페이스도 연구 중이다[3]. 이런 종류의 자연스럽고 직과적인 인터페이스는 전통적인 키보드나 마우스에 비해 다양한 장점을 가지는데, 기술자나 전문가가 아니더라도 일반 사용자가 쉽게 배우고 익혀서 사용할 수 있다는 점을 들 수 있다. 결과적으로 사용자가 마우스와 키보드와 같은 전형적인 입력장치를 사용하는 것보다 콘텐츠에 대한 몰입도와 흥미유발효과가 높다. 또한, 이러한 종류의 게임 인터페이스는 사용자가 자리에 앉아 게임하기보다 뛰고, 흔들고, 움직이면서 게임을 즐기기 때문에 칼로리 소모량을 높이고 훨씬 건강에 도움이 된다고 보고되고 있다[4]. 현재 시장에 출시된 카메라기반의 게임으로는 대표적으로 마이크로소프트[5-6]와 소니[7]가 있다.
참고문헌 (14)
J. Pyy, "Applicability of Web Camera and Motion Detection for Controlling Computer Games," Master Thesis, AALTO University, 2010.
H. Perttu, "Novel Applications of Real-Time AudioVisual Signal Processing Technology for Art and Sports Education and Entertainment," Doctoral Dissertation, Helsinki University of Technology, 2007.
L. Lanningham-Foster, R. C. Foster, S. K. McCrady, T. B. Jensen, N. Mitre, J. A. Levine, "Activity-Promoting Video Games and Increased Energy Expenditure," the Journal of Pddiatrics, Vol. 154, Issue 6, 2009.
Micordoft, Xbox.com, http://www.xbox.com/en-US/live/projectnatal/, available 2009.
C. G. Kim, B. S. Song, "Development of Home Tranining Syustem with Selft-Controlled Feedback for Stroke Patients," KSIIS, Vol. 18, No. 1, pp. 37-46, 2013.
Sony Computer Entertainment Inc. "Motion Controller for PlayStation 3," available 2010.
A. Bobick, J. Davis, "The recognition of human movement using temporal templates," IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. 23, No. 3, pp.257-267, 2001.
Md. Atiqur Rahman Ahad, J. K. Tan, H. Kim, S. Ishikawa, "Motion history image: its variants and applications," Machine Vision and Applications, Vol. 23, Issue 2, pp 255-281, March 2012.
R. L. HSU, M. ABDEL-MOTTALEB, and A. K. JAIN, "Face detection in color images," IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 24, no. 5, 696-706, 2002.
P. Kakumanu, S. Makrogiannis, and N. Bourbakis, "A survey of skin-color modeling and detection methods," Pattern Recognition, Vol. 40, pp. 1106-1122, 2007.
A. Conci, E Nunes, J. J. Pantrigo, A. Sanchez, "Comparing color and texture-based algorithms for human skin detection", Computer Interaction, Vol. 5, pp. 168-173, 2008.
http://opencv.org/
S. Lee, Y. W. Rhee, C. W. Lee, "Motion Detection using Image Segmentation," Proc. of KSIIS Spring Conference, pp. 112-114, June 2014.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.