[논문]Kinect Sensor를 이용한 실시간 3D 인체 전신 융합 모션 캡처

김성호

doi:10.14400/jdc.2016.14.1.189

Kinect Sensor를 이용한 실시간 3D 인체 전신 융합 모션 캡처
Realtime 3D Human Full-Body Convergence Motion Capture using a Kinect Sensor 원문보기

디지털융복합연구 = Journal of digital convergence, v.14 no.1, 2016년, pp.189 - 194

초록
AI-Helper

최근 카메라, 캠코더 및 CCTV 등의 사용이 활발해지면서 영상 처리 기술의 수요가 급증하고 있다. 특히 키넥트 센서와 같은 깊이(Depth) 카메라를 사용한 3D 영상 기술에 대한 연구개발이 더욱더 활성화되고 있다. 키넥트 센서는 RGB, 골격(Skeleton) 및 깊이(Depth) 영상을 통해 인체의 3D 골격 구조를 실시간 프레임 단위로 획득할 수 있는 고성능 카메라이다. 본 논문에서는 키넥트 센서를 사용하여 인체의 3D 골격 구조를 모션 캡처하고 범용으로 사용되고 있는 모션 파일 포맷($^*.trc$ 및 $^*.bvh$)으로 선택하여 저장할 수 있는 시스템을 개발한다. 또한 본 시스템은 광학식 모션 캡처 파일 포맷($^*.trc$)을 자기식 모션 캡처 파일 포맷($^*.bvh$)으로 변환할 수 있도록 하는 기능을 가진다. 마지막으로 본 논문에서는 키넥트 센서를 사용하여 캡처한 모션 데이터가 제대로 캡처되어졌는지 모션 캡처 데이터 뷰어를 통하여 확인한다.

Abstract ▼ AI-Helper

Recently, there is increasing demand for image processing technology while activated the use of equipments such as camera, camcorder and CCTV. In particular, research and development related to 3D image technology using the depth camera such as Kinect sensor has been more activated. Kinect sensor is a high-performance camera that can acquire a 3D human skeleton structure via a RGB, skeleton and depth image in real-time frame-by-frame. In this paper, we develop a system. This system captures the motion of a 3D human skeleton structure using the Kinect sensor. And this system can be stored by selecting the motion file format as trc and bvh that is used for general purposes. The system also has a function that converts TRC motion captured format file into BVH format. Finally, this paper confirms visually through the motion capture data viewer that motion data captured using the Kinect sensor is captured correctly.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그 이유는 모션 캡처 데이터의 파일 포맷이 3D 캐릭터 애니메이션을 위해서 범용으로 사용되어지고 있기 때문이다. 그러므로 본 논문에서는 키넥트 센서를 사용하여 TRC 및 BVH 파일 포맷 등으로 실시간 모션 캡처하고 그 결과를 모션 캡처 파일로 저장할 수 있는 시스템을 개발하였다. 또한 저장된 TRC 파일을 BVH로 변경할 수 있는 기능과 함께 모션 데이터 3D 뷰어를 통하여 재확인할 수 있도록 하였다.
키넥트 센서는 기존의 모션 캡처 장비에 비하면 매우 저가이면서 그 기능이 매우 강력하여 교육, 의료, 게임 등 매우 다양한 분야에서 사용되고 있으며 매우 활발하게 응용 프로그램들이 연구 개발되고 있다. 그러므로 본 논문에서는 키넥트 센서를 사용하여 실시간으로 인체의 전신 모션 캡처를 시행하고, 3D 모션 캡처 데이터를 생성하여 기존의 모션 캡처 장비에서 캡처한 모션 데이터와 동일한 포맷을 가지는 3D 모션 캡처 데이터를 생성하기 위한 시스템을 개발하고자 한다. 그리고 키넥트 센서로 캡처한 모션 캡처 데이터를 모션 데이터 뷰어를 통하여 제대로 캡처가 되었는지 가시적으로 확인할 수 있도록 한다.
본 논문에서는 키넥트 센서를 사용하여 TRC 및 BVH 파일 포맷 등으로 사용자의 필요에 의해 선택하여 캡처하는 것이 가능하도록 한다. 이것은 기존의 서로 다른 종류의 고가 모션 캡처 장비를 사용하여 서로 다른 모션 캡처 파일 포맷의 모션 데이터를 획득하는 것보다 경제적, 시간적으로 훨씬 저렴하며 쉽고 빠르게 사용자가 필요로 하는 모션 캡처 데이터 파일 포맷을 생성해 낼 수 있다는 점에서 매우 유용하기 때문이다.
본 논문은 마이크로소프트사의 키넥트 센서를 사용하여 매우 쉽게 3D 모션 캡처를 수행하고, 범용 3D 모션 데이터를 획득하는 것을 목적으로 한다. 키넥트 센서는 RGB 및 깊이(Depth) 이미지 인식 센서를 갖춘 카메라이며, 가장 자연스러운 상태에서 모션 캡처를 할 수 있는 NUI(Natural User Interface) 장비들 중의 하나[17]이다.

제안 방법

본 시스템은 3D 뷰어에서 TRC 및 BVH 파일 포맷을 각각 읽어 재생시켜 봄으로서 모션 캡처 데이터가 제대로 캡처되어졌는지를 가시적으로 확인할 수 있도록 하였다. 그러므로 본 시스템의 사용자 인터페이스는 RGB, 골격(Skeletal), 깊이(Depth), 원근 뷰(Perspective View)와 실시간 모션 데이터 뷰어, 3D 뷰어 및 속성(Properties) 등으로 구성되어진다. 여기서 원근 뷰는 키넥트 센서로 캡처되어지는 모션 데이터를 3D 공간에서 실시간으로 보여주며, 실시간 모션 데이터 뷰어는 캡처되어지는 모션 데이터를 출력시켜준다.
그리고 골격(Skeletal) 및 깊이(Depth) 이미지로부터 BVH 및 TRC 파일 포맷의 모션 데이터를 사용자의 선택에 의하여 획득하도록 설계하였다. 또한 캡처된 TRC 파일 포맷을 BVH 파일 포맷으로 변환(Converter)이 가능하게 함으로서 모션 데이터 사용의 편리성을 향상시켰다.
그러므로 본 논문에서는 키넥트 센서를 사용하여 실시간으로 인체의 전신 모션 캡처를 시행하고, 3D 모션 캡처 데이터를 생성하여 기존의 모션 캡처 장비에서 캡처한 모션 데이터와 동일한 포맷을 가지는 3D 모션 캡처 데이터를 생성하기 위한 시스템을 개발하고자 한다. 그리고 키넥트 센서로 캡처한 모션 캡처 데이터를 모션 데이터 뷰어를 통하여 제대로 캡처가 되었는지 가시적으로 확인할 수 있도록 한다.
그러므로 본 논문에서는 키넥트 센서를 사용하여 TRC 및 BVH 파일 포맷 등으로 실시간 모션 캡처하고 그 결과를 모션 캡처 파일로 저장할 수 있는 시스템을 개발하였다. 또한 저장된 TRC 파일을 BVH로 변경할 수 있는 기능과 함께 모션 데이터 3D 뷰어를 통하여 재확인할 수 있도록 하였다. 기존 고가의 모션 캡처 장비들을 사용하여 모션 캡처를 하게 되면 서로 다른 파일 포맷을 위해 경제적, 시간적으로 매우 불편하고 어려운 과정을 거쳐야만 가능했다.
bvh) 포맷으로 캡처하는 과정이다. 본 시스템에서는 실시간 모션 캡처를 수행한 후 모션 캡처 파일로 저장하고, 시스템에 내장된 모션 데이터 뷰어를 통하여 모션 캡처가 제대로 수행되었는지 재확인할 수 있도록 하였다. 모션 데이터 뷰어는 OpenGL로 구현한 3D 환경이기 때문에 카메라의 이동, 회전 및 확대/축소 등의 기능들을 기본적으로 사용하여 다양하게 입체적으로 확인할 수 있다.
또한 캡처된 TRC 파일 포맷을 BVH 파일 포맷으로 변환(Converter)이 가능하게 함으로서 모션 데이터 사용의 편리성을 향상시켰다. 본 시스템은 3D 뷰어에서 TRC 및 BVH 파일 포맷을 각각 읽어 재생시켜 봄으로서 모션 캡처 데이터가 제대로 캡처되어졌는지를 가시적으로 확인할 수 있도록 하였다. 그러므로 본 시스템의 사용자 인터페이스는 RGB, 골격(Skeletal), 깊이(Depth), 원근 뷰(Perspective View)와 실시간 모션 데이터 뷰어, 3D 뷰어 및 속성(Properties) 등으로 구성되어진다.
본 시스템은 키넥트 센서, 4GB RAM, i3-3220 3.30GHz CPU 등과 같은 H/W 및 Windows 7(x86), Kinect SDK v1.8, Kinect Runtime v1.8, Kinect Developer Toolkit v1.8, OpenNI v2.2, NiTE v2.2, OpenGL API, Visual Studio 2013 C++ 등과 같은 S/W 환경에서 구현하였다.
1]은 본 논문에서 제안하는 시스템의 흐름도이다. 즉, 키넥트 센서를 사용한 모션 캡처를 위해서 키넥트 센서의 원리[13]를 이해하고, 키넥트 센서로부터 RGB, 골격(Skeletal) 및 깊이(Depth) 이미지를 획득한다.

성능/효과

그리고 골격(Skeletal) 및 깊이(Depth) 이미지로부터 BVH 및 TRC 파일 포맷의 모션 데이터를 사용자의 선택에 의하여 획득하도록 설계하였다. 또한 캡처된 TRC 파일 포맷을 BVH 파일 포맷으로 변환(Converter)이 가능하게 함으로서 모션 데이터 사용의 편리성을 향상시켰다. 본 시스템은 3D 뷰어에서 TRC 및 BVH 파일 포맷을 각각 읽어 재생시켜 봄으로서 모션 캡처 데이터가 제대로 캡처되어졌는지를 가시적으로 확인할 수 있도록 하였다.

후속연구

지금까지 주로 많이 사용되는 모션 데이터 파일 포맷의 종류[11]로는 TRC, BVH, C3D 등이 있었다. 그러나 본 논문에서는 범용으로 사용되고 있는 TRC 및 BVH 파일 포맷에 한하여 제안하고 사용하기로 한다. TRC 파일 포맷은 Motion Analysis사에서 제작한 모션 캡처 파일 포맷이다.
기존 고가의 모션 캡처 장비들을 사용하여 모션 캡처를 하게 되면 서로 다른 파일 포맷을 위해 경제적, 시간적으로 매우 불편하고 어려운 과정을 거쳐야만 가능했다. 그러나 본 연구의 결과물은 키넥트 센서와 같은 매우 저가의 장비를 사용하여 매우 쉽고 빠르게 각 분야에서 필요로 하는 모션 캡처 데이터를 획득할 수 있다는 점에서 매우 유용하다고 판단된다. 그러나 키넥트 센서 1개를 사용하여 캡처한 모션 데이터는 제대로 된 3D 모션 데이터라고 보기에는 아직 무리가 있다.
그러나 키넥트 센서 1개를 사용하여 캡처한 모션 데이터는 제대로 된 3D 모션 데이터라고 보기에는 아직 무리가 있다. 그러므로 향후 연구에서는 3개 이상의 키넥트 센서를 정면, 측면, 후면 등과 같이 서로 다른 방향에 설치하고 하나의 데이터로 보정 및 후처리함으로서 간단한 동작뿐만 아니라 복잡한 응용동작까지 제대로 된 3D 모션 데이터를 획득할 수 있도록 해야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	키넥트 센서가 가진 장점은?	키넥트 센서는 RGB 및 깊이(Depth) 이미지 인식 센서를 갖춘 카메라이며, 가장 자연스러운 상태에서 모션 캡처를 할 수 있는 NUI(Natural User Interface) 장비들 중의 하나[17]이다. 키넥트 센서는 기존의 모션 캡처 장비에 비하면 매우 저가이면서 그 기능이 매우 강력하여 교육, 의료, 게임 등 매우 다양한 분야에서 사용되고 있으며 매우 활발하게 응용 프로그램들이 연구 개발되고 있다. 그러므로 본 논문에서는 키넥트 센서를 사용하여 실시간으로 인체의 전신 모션 캡처를 시행하고, 3D 모션 캡처 데이터를 생성하여 기존의 모션 캡처 장비에서 캡처한 모션 데이터와 동일한 포맷을 가지는 3D 모션 캡처 데이터를 생성하기 위한 시스템을 개발하고자 한다.
	모션 캡처 시스템은 무엇인가?	모션 캡처 시스템은 광학식, 자기식 및 기계식 등 다양한 종류의 장비들로 구성[16]되어져 있으며 컴퓨터 게임, 애니메이션, 영화 등 캐릭터의 동작을 필요로 하는 거의 모든 분야에서 필수적으로 사용되고 있는 최첨단 3D 동작 데이터 획득 방법이다. 그러나 기존의 모션 캡처 시스템들은 대부분 고가여서 중소기업들이 직접 구매하여 사용하기에는 경제적인 부담이 매우 컸다.
	본 논문에서 키넥트 센서를 사용하여 캡처한 모션 데이터가 교육, 연구 및 다양한 산업 분야에서 활용될 수 있는 이유는?	일반적으로 3D 모션 캡처 데이터는 3D 캐릭터 애니메이션이 적용되는 PC 및 스마트폰 게임, 애니메이션, 광고 및 영화 등 매우 다양한 분야에서 광범위하게 사용되어지고 있는데, 본 논문에서 키넥트 센서를 사용하여 캡처한 모션 데이터도 교육, 연구 및 각종 산업 분야에서 충분히 사용되어질 수 있다. 그 이유는 모션 캡처 데이터의 파일 포맷이 3D 캐릭터 애니메이션을 위해서 범용으로 사용되어지고 있기 때문이다. 그러므로 본 논문에서는 키넥트 센서를 사용하여 TRC 및 BVH 파일 포맷 등으로 실시간 모션 캡처하고 그 결과를 모션 캡처 파일로 저장할 수 있는 시스템을 개발하였다.

참고문헌 (19)

K. Berger, K. Ruhl, C. Brummer, Y. Schroder, A. Scholz, M. Magnor, "Markerless motion capture using multiple color-depth sensors," In Proc. Vision, Modeling and Visualization (VMV), 2011.
Xiaolin Wei, Peizhao Zhang, Jinxiang Chai, "Accurate realtime full-body motion capture using a single depth camera," ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH Asia 2012.
A. Hadjakos. "Pianist Motion Capture with the Kinect Depth Camera," In Proceedings of the International Conference on Sound and Music Computing, Copenhagen, Denmark, 2012.
Jeff K. T. Tang, Jacky C. P. Chan, Howard Leung, "Interactive dancing game with real-time recognition of continuous dance moves from 3D human motion capture," Proceedings of the 5th International Conference on Ubiquitous Information Management and Communication Article No. 50, 2011.
Zheng Xiao, "3D Human Postures Recognition using Kinect," 2012 4th International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC), pp. 26-27, PP.344-347, 2012.
M. bin Mohd Sidik, M. bin Sunar, I. bin Ismail, M. bin Mokhtar, and N. Jusoh, "A study on natural interaction for human body motion using depth image data," in Proc. IEEE International Workshop on Digital Media and Digital Content Management (DMDCM, 2011), pp. 97-102, 2011.
Andrea Sanna1, Fabrizio Lamberti1, Gianluca Paravati1, Felipe Domingues Rocha1, "A kinect-based interface to animate virtual characters," Journal on Multimodal User Interfaces, (C) OpenInterface Association 2012, 10.1007/s12193-012-0113-9, 2012.

상세보기
Myung-hwan Choi, Byoung-keon Park, Bon-yeol Koo, Je-wook Chae, Jay-jung Kim, "Human motion analysis based on a markerless motion capture using Kinect," The 8th Conference on National Defense Technology, pp. 619-623, 2012.
Mankyu Sung, "3D Character Motion Synthesis and Control Method for Navigating Virtual Environment Using Depth Sensor," Journal of Korea Multimedia Society Vol.15 No.6, pp. 827-836, 2012.

원문보기 상세보기
Hyun-Cheol Yoon, Jong-Seung Park, "Gesture-based Game Character Animation Using Motion Data Captured From the Kinect Sensor," Korean Society for Computer Game, Vol.26 No.2, pp. 147-153, 2013.
List of motion and gesture file formats, http://en.wikipedia.org/wiki/List_of_motion_and_gesture_file_formats
http://blogs.msdn.com/b/eternalcoding/archive/2011/06/13/unleash-the-power-of-kinect-for-windows-sdk.aspx
http://cta-diderot.brucity.be/?page_id11
http://www.laserfocusworld.com/articles/2011/01/lasers-bring-gesture-recognition-to-the-home.html
http://tech.integrate.biz/kinect_mocap.htm
http://channel9.msdn.com/coding4fun/kinect/Saving-Kinect-Streams-Skeleton-Stream-to-BVH-Converter-and-Stream-Saver-Application
Han Suk Choi, "Kinect-based Motion Recognition Model for the 3D Contents Control," Journal of the Korea Contents Association, Vol.14, No.1, pp.24-29, 2014.
Yeong-Hyeon Byeon, Myung-Won Lee, and Keun-Chang Kwak, "A Trend Analysis of Motion Capture Systems for Sports Motion Analysis," Journal of KIIT. Vol.11, No.5, pp.191-201, 2013
Zhang, Zhengyou. "Microsoft kinect sensor and its effect." MultiMedia, IEEE 19.2 (2012): 4-10.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증