[논문]3차원 인체 포즈 인식을 이용한 상호작용 게임 콘텐츠 개발

최윤지; 박재완; 송대현; 이칠우

doi:10.5392/jkca.2011.11.12.619

3차원 인체 포즈 인식을 이용한 상호작용 게임 콘텐츠 개발
Developing Interactive Game Contents using 3D Human Pose Recognition 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.11 no.12, 2011년, pp.619 - 628

최윤지 (전남대학교 전자컴퓨터공학부) , 박재완 (전남대학교 전자컴퓨터공학부) , 송대현 (전남대학교 전자컴퓨터공학부) , 이칠우 (전남대학교 전자컴퓨터공학부)

초록
AI-Helper

일반적으로 비전기반 3차원 인체 포즈 인식 기술은 HCI(Human-Computer Interaction)에서 인간의 제스처를 전달하기 위한 방법으로 사용된다. 특수한 환경에서 단순한 2차원 움직임 포즈만 인식할 수 있는 2차원 포즈모델 기반 인식 방법에 비해 3차원 관절을 묘사한 포즈모델은 관절각에 대한 정보와 신체 부위의 모양정보를 선행지식으로 사용할 수 있어서 좀 더 일반적인 환경에서 복잡한 3차원 포즈도 인식할 수 있다는 장점이 있다. 이 논문은 인체의 3차원 관절 정보를 이용한 포즈 인식 기술을 인터페이스로 활용한 상호작용 게임 콘텐츠 개발에 관해 기술한다. 제안된 시스템에서 사용되는 포즈는 인체 관절 중 14개 관절의 3차원 위치정보를 이용해서 구성한 포즈 템플릿과 현재 사용자의 포즈를 비교해 인식된다. 이 방법을 이용하여 제작된 시스템은 사용자가 부가적인 장치의 사용 없이 사용자의 몸동작만으로 자연스럽게 게임 콘텐츠를 조작할 수 있도록 해준다. 제안된 3차원 인식 기술을 게임 콘텐츠에 적용하여 성능을 평가한다. 향후 다양한 환경에서 더욱 강건하게 포즈를 인식할 수 있는 연구를 수행할 계획이다.

Abstract ▼ AI-Helper

Normally vision-based 3D human pose recognition technology is used to method for convey human gesture in HCI(Human-Computer Interaction). 2D pose model based recognition method recognizes simple 2D human pose in particular environment. On the other hand, 3D pose model which describes 3D human body skeletal structure can recognize more complex 3D pose than 2D pose model in because it can use joint angle and shape information of body part. In this paper, we describe a development of interactive game contents using pose recognition interface that using 3D human body joint information. Our system was proposed for the purpose that users can control the game contents with body motion without any additional equipment. Poses are recognized comparing current input pose and predefined pose template which is consist of 14 human body joint 3D information. We implement the game contents with the our pose recognition system and make sure about the efficiency of our proposed system. In the future, we will improve the system that can be recognized poses in various environments robustly.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 인체의 3차원 포즈 인식을 위한 방법으로 3차원 관절 정보를 이용한 포즈 인식 시스템과 이것을 인터페이스로 활용한 상호작용 게임콘텐츠 개발에 대해 기술하였다. 인체에서 특징이 되는 14개 관절의 3차원 좌표 값을 이용해 각 포즈에 대한 포즈 템플릿을 구성하고, 현재 포즈와 포즈 템플릿의 거리를 비교해 포즈를 인식했다.
하지만 영상에서 인체를 분할하는 것은 매우 복잡하고 어려운 과정이다. 본 논문에서는 포즈의 특징을 정의하고 인식하는 것에 중점을 두고 있기 때문에 인체 형상을 분할하는 문제를 간단히 하기 위해 Microsoft사의 Kinect[14] 카메라와 NUI Skeleton API[15]를 사용해 인체 영역을 분할하고 인체의 관절각 정보를 획득하였다. NUI Skeleton API는 Kinect 센서 앞에 있는 사람을 인식해 신체의 주요 20개 부위에 해당하는 관절[표 1] 좌표와 회전 정보를 제공해 준다.
본 논문은 이러한 시각 기술 기반으로 한 3차원 포즈 인식 시스템의 개발과 이것을 인터페이스로 활용하여 사용자의 직관적인 움직임으로 콘텐츠와 상호작용 이 가능한 콘텐츠 개발에 관해 기술한다. 본 논문의 구성은 다음과 같다.

제안 방법

인체에서 특징이 되는 14개 관절의 3차원 좌표 값을 이용해 각 포즈에 대한 포즈 템플릿을 구성하고, 현재 포즈와 포즈 템플릿의 거리를 비교해 포즈를 인식했다. 그리고 측면포즈 8개와 정면포즈 8개로 총 16개의 포즈를 정의해 제안하는 게임 콘텐츠에 적용해 보았다. 평균 94%의 높은 인식률을 보였고 측면 포즈에 비해 정면 포즈의 인식률이 높았다.
본 논문에서 제안하는 다중 사용자 포즈 인식 콘텐츠는 3차원 깊이 카메라를 이용한 포즈 인식과 모바일을 인터페이스로 활용한 포즈 인식 게임으로 화면에서 다가오는 벽을 통과하는 게임이다. 사용자는 다가오는 벽에 뚫린 구멍과 똑같은 포즈를 취해야 벽을 통과해 점수를 획득하며 벽은 16개의 포즈 중에 임의로 선택된다.
시각 기반의 인체 포즈 인식 연구 분야는 관점에 따라 다양하게 나누어 질 수 있다. 본 논문에서는 시각 기반의 인체 포즈 인식 방법을 2D 방법과 3D 방법으로 나누어 살펴보았다. 2D 기반의 포즈 인식 방법은 인체 부분별 검출을 통한 포즈 추정 방법과 포즈의 모양이나 특징 추출을 통한 포즈 추정 방법으로 나누어진다.
본 논문에서는 총 16개의 포즈를 정의하였으며, 각 포즈별로 개별적인 포즈 템플릿을 구성해 포즈를 인식하였다. 각 포즈 템플릿은 14개의 관절에 대한 관절 벡터의 모음으로 정의할 수 있다.
이 시스템은 사용자가 들어오면 칼리브레이션 및 배경 제거 후 각 사용자에 대한 3차원 좌표 정보를 획득한다. 사용자가 정의된 16가지 포즈 중 임의의 포즈를 취하면 사용자의 포즈와 가장 가까운 포즈 템플릿을 계산해서 구한다. 포즈 번호를 구하기 위한 방법은 아래 식(2)로 표현한다.
게임의 중요한 인터페이스 요소는 사용자의 몸동작이다. 이와 더불어 게임에 실감나는 효과를 더하기 위해 모바일 인터페이스를 추가로 구성하였다. 모바일은 도입부에서 사용자의 준비 상태를 전송받기 위해, 게임 도중 아이템을 사용하여 상대방을 공격하거나 방어하기 위해, 그리고 게임의 결과와 게임진행시 찍힌 사진을 전송 받기 위한 목적으로 사용된다.
본 논문에서는 인체의 3차원 포즈 인식을 위한 방법으로 3차원 관절 정보를 이용한 포즈 인식 시스템과 이것을 인터페이스로 활용한 상호작용 게임콘텐츠 개발에 대해 기술하였다. 인체에서 특징이 되는 14개 관절의 3차원 좌표 값을 이용해 각 포즈에 대한 포즈 템플릿을 구성하고, 현재 포즈와 포즈 템플릿의 거리를 비교해 포즈를 인식했다. 그리고 측면포즈 8개와 정면포즈 8개로 총 16개의 포즈를 정의해 제안하는 게임 콘텐츠에 적용해 보았다.
절에서 설명한 것과 같이 16가지 유형의 포즈를 인식하기 위해서 각 포즈에 해당하는 템플릿을 구성해야 한다. 제안하는 포즈 시스템은 2명의 사용자에 대한 포즈를 각각 인식할 수 있게 구성하였다. 이 시스템은 사용자가 들어오면 칼리브레이션 및 배경 제거 후 각 사용자에 대한 3차원 좌표 정보를 획득한다.
제외시킨 6개의 관절은 포즈가 달라져도 큰 변화를 갖지 않거나 손, 발과 같은 관절과 매우 가까워 해당 관절 값의 사용 유무가 포즈를 정의함에 있어 큰 의미를 갖지 않는 관절이다. 획득한 14개 신체 관절[그림 6]의 3차원 좌표(x,y,z)를 얻은 후 14개 신체 관절의 3차원 위치 좌표 정보를 바탕으로 각 포즈에 대한 개별적인 포즈 템플릿을 구성하였다. 각 포즈 템플릿은 14개 관절에 대한 관절 벡터로 구성된다.

대상 데이터

각 포즈 템플릿은 14개의 관절에 대한 관절 벡터의 모음으로 정의할 수 있다. 각 포즈에 대한 특징을 추출하기 위해 NUI Skeleton API에서 제공하는 20개의 인체 관절 중 왼쪽 손목, 오른쪽 손목, 왼쪽 발꿈치, 오른쪽 발꿈치, 어깨 중심점 그리고 엉덩이 중심점을 제외하고 14개 관절(머리, 오른쪽 어깨, 왼쪽 어깨, 오른쪽 팔꿈치, 왼쪽 팔꿈치, 오른 손, 왼 손, 몸 중심, 오른쪽 엉덩이, 왼쪽 엉덩이, 오른쪽 무릎, 왼쪽 무릎, 오른 발, 왼 발)을 사용했다. 제외시킨 6개의 관절은 포즈가 달라져도 큰 변화를 갖지 않거나 손, 발과 같은 관절과 매우 가까워 해당 관절 값의 사용 유무가 포즈를 정의함에 있어 큰 의미를 갖지 않는 관절이다.
모바일은 안드로이드 플랫폼을 기반으로 하는 갤럭시S를 사용하였으며 모바일과 PC 사이의 데이터 전송은 Wi-Fi 무선 통신을 통해 이루어진다. 통신은 TCP/IP 소켓 통신을 사용하며, PC는 서버로 동작하고 사용자가 가진 두 개의 모바일은 클라이언트로 동작하게 된다.
사용자는 모바일 상에서 ’전송‘ 버튼을 터치해 전면 디스플레이에 보이는 사진을 모바일로 전송받을 수 있다.
제스처 인터페이스기술(Gesture Interface Technology)은 최근 미국 매사추세츠공과대학(MIT)이 발표한 ‘2011년 10대 유망기술’[1] 중 하나로 선정되었다.

성능/효과

모바일은 도입부에서 사용자의 준비 상태를 전송받기 위해, 게임 도중 아이템을 사용하여 상대방을 공격하거나 방어하기 위해, 그리고 게임의 결과와 게임진행시 찍힌 사진을 전송 받기 위한 목적으로 사용된다. 또한 모바일의 햅틱 기능을 이용해 사용자가 게임 도중 벽에 부딪혔을 때 진동과 효과음으로 실감나는 효과를 주었다.
[그림 9]에서 정의한 16개의 포즈에 대한 인식률은 [표 3]과 같다. 실험 결과 16개의 포즈 중 14개의 포즈가 90%이상의 인식률을 보였다. 하지만 포즈를 취할 때 정면 혹은 측면에서 몸이 틀어진 경우 다른 포즈로 인식하거나 인식하지 못하는 오류가 있었다.
그리고 측면포즈 8개와 정면포즈 8개로 총 16개의 포즈를 정의해 제안하는 게임 콘텐츠에 적용해 보았다. 평균 94%의 높은 인식률을 보였고 측면 포즈에 비해 정면 포즈의 인식률이 높았다.

후속연구

향후에는 카메라의 시점에서 사용자의 자세가 틀어진 경우에도 강건하고 효율적으로 포즈를 인식하는 방안에 대해 연구를 수행하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	3차원 관절을 묘사한 포즈모델의 장점은?	일반적으로 비전기반 3차원 인체 포즈 인식 기술은 HCI(Human-Computer Interaction)에서 인간의 제스처를 전달하기 위한 방법으로 사용된다. 특수한 환경에서 단순한 2차원 움직임 포즈만 인식할 수 있는 2차원 포즈모델 기반 인식 방법에 비해 3차원 관절을 묘사한 포즈모델은 관절각에 대한 정보와 신체 부위의 모양정보를 선행지식으로 사용할 수 있어서 좀 더 일반적인 환경에서 복잡한 3차원 포즈도 인식할 수 있다는 장점이 있다. 이 논문은 인체의 3차원 관절 정보를 이용한 포즈 인식 기술을 인터페이스로 활용한 상호작용 게임 콘텐츠 개발에 관해 기술한다.
	현재 제스처 인터페이스 기술은 어떤 분야에 응용되고 있나?	제스처 인터페이스기술(Gesture Interface Technology)은 최근 미국 매사추세츠공과대학(MIT)이 발표한‘2011년 10대 유망기술’[1] 중 하나로 선정되었다. 현재 제스처 인터페이스 기술은 가상현실, 스마트 감시 시스템, 항공 교통 모니터링 시스템, 게임, 스포츠와 같은 엔터테인먼트 등 여러 분야에서 응용되고 있다. 더욱이 최첨단의 제작기술과 표현기술의 발전은 디지털 콘텐츠 시장을 급속도로 성장시켜 사람과 컴퓨터간의 효과 적인 상호작용을 위한 더욱 편리하고 자연스러운 사용자 인터페이스(User Interface)를 요구하고 있다.
	시각 기반의 인체 포즈 인식 방법의 2D 방법과 3D 방법은 각각 어떻게 나뉘는가?	본 논문에서는 시각 기반의 인체 포즈 인식 방법을 2D 방법과 3D 방법으로 나누어 살펴보았다. 2D 기반의 포즈 인식 방법은 인체 부분별 검출을 통한 포즈 추정 방법과 포즈의 모양이나 특징 추출을 통한 포즈 추정 방법으로 나누어진다. 그리고 3D기반의 포즈 인식 방법은 카메라의 수에 따라 단일시점기반 방법(single-view)과 다시점기반 방법 (multi-view)로 나눌 수 있다.

참고문헌 (16)

MIT, "10 Emerging technologies 2011," Technology Review, 2011(5).
홍동표, 우운택, "제스처기반 사용자 인터페이스에 대한 연구 동향", Telecommunications Review, 제18권, 제3호, 2008.

상세보기
전성국, 홍광진, 정기철, "회전무관 3D Star Skeleton 특징 추출", 정보과학회논문지, 제36권, 제7호, pp.836-850, 2009.

원문보기 상세보기
I. Haritaoglu, D. Harwood, and L. S. Davis, "Ghost: A human body part labeling system using silhouettes," Proc. of the 14th International Conference on Pattern Recognition, pp.77-82, 1998.
H. Fujiyoshi, A. J. Lipton, and T. kanade, "Real-Time Human motion analysis by image skeletonization," IEICE Transaxtions on Information Systems, pp.113-120, 2004.
A. Baumberg and D. Hogg, "An adaptive eigenshape model," Proc. of British Machine Vision Conference, Vol.1, pp.87-96, 1995.
오치민, 3차원 인체포즈 인식을 위한 그림구조 모델과 파티클필터 추적, 전남대학교 석사학위논문, 2009.
G. Mori and J. Malik, "Estimating Human Body Configurations using Shape Context Matching," Proc. of the 7th European Conference on Computer Vision Copenhagen(LNCS) , Vol.2352, pp.150-180, 2002.
Y. Kameda, M. Minoh, and K. Ikeda, "Three dimensional pose estimation of an articulated object from its silhouette image," Proc. of the Asian Conference on Computer Vision, pp.612-615, 1993.
B. Boulay, F. Brenmond, and M. Thonnat "Applying 3d human model in a posture recognition system," Pattern Recognition Letter, Vol.27, pp.1788-1796, 2006.

상세보기
D. M. Gavrila and L.S. davis, "3-D model-based tracking of humans in action: a multi-view approach," Proc. of IEEE Computer Vision and Pattern Recognition, 2006.
I. Cohen and H. Li, "Posture and gesture Recognition using 3D body Shapes Decomposition," Proc. of IEEE Computer Society Conference on Computer vision and Pattern Recognition, 2005.
박재완, 오치민, 이칠우, "가상 놀이 공간 인터페이스를 위한 HMM기반 상반신 제스처 인식", 한국콘텐츠학회논문지, 제10권, 제8호, pp.11-17, 2010.

원문보기 상세보기
Microsoft Corp. Redmond WA. Kinect for Xbox360
http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/
J. Shotton, A. Fitzgibbon, M. Cook, M. Finocchio, R. Moore, A. Kipman, and a. Blake, "Real-Time Human Pose recognition in Parts from single depth Images," CVPR, 2011.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증