[논문]RGB 이미지를 이용한 관절 추정 네트워크와 결합된 FBX 형식 애니메이션 생성 시스템

이유진; 김상준; 박구만

doi:10.5909/jbe.2021.26.5.519

[국내논문] RGB 이미지를 이용한 관절 추정 네트워크와 결합된 FBX 형식 애니메이션 생성 시스템
FBX Format Animation Generation System Combined with Joint Estimation Network using RGB Images 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.26 no.5, 2021년, pp.519 - 532

이유진 (서울과학기술대학교 IT미디어공학과) , 김상준 (서울과학기술대학교 정보통신미디어공학전공) , 박구만 (서울과학기술대학교 전자IT미디어공학과)

초록
AI-Helper

최근 게임, 영화, 애니메이션 다양한 분야에서 모션 캡처를 이용하여 신체 모델을 구축하고 캐릭터를 생성하여 3차원 공간에 표출하는 콘텐츠가 증가하고 있다. 마커를 부착하여 관절의 위치를 측정하는 방법에서 촬영 장비에 대한 비용과 같은 문제를 보완하기 위해 RGB-D 카메라를 이용하여 애니메이션을 생성하는 연구가 진행되고 있지만, 관절 추정 정확도나 장비 비용의 문제가 여전히 존재한다. 이에 본 논문에서는 애니메이션 생성에 필요한 장비 비용을 줄이고 관절 추정 정확도를 높이기 위해 RGB 이미지를 관절 추정 네트워크에 입력하고, 그 결과를 3차원 데이터로 변환하여 FBX 형식 애니메이션으로 생성하는 시스템을 제안한다. 먼저 RGB 이미지에 대한 2차원 관절을 추정하고, 이 값을 이용하여 관절의 3차원 좌표를 추정한다. 그 결과를 쿼터니언으로 변환하여 회전한 후, FBX 형식의 애니메이션을 생성한다. 제안한 방법의 정확도 측정을 위해 신체에 마커를 부착하여 마커의 3차원 위치를 바탕으로 생성한 애니메이션과 제안된 시스템으로 생성한 애니메이션의 오차를 비교하여 시스템 동작을 입증하였다.

Abstract ▼ AI-Helper

Recently, in various fields such as games, movies, and animation, content that uses motion capture to build body models and create characters to express in 3D space is increasing. Studies are underway to generate animations using RGB-D cameras to compensate for problems such as the cost of cinematography in how to place joints by attaching markers, but the problem of pose estimation accuracy or equipment cost still exists. Therefore, in this paper, we propose a system that inputs RGB images into a joint estimation network and converts the results into 3D data to create FBX format animations in order to reduce the equipment cost required for animation creation and increase joint estimation accuracy. First, the two-dimensional joint is estimated for the RGB image, and the three-dimensional coordinates of the joint are estimated using this value. The result is converted to a quaternion, rotated, and an animation in FBX format is created. To measure the accuracy of the proposed method, the system operation was verified by comparing the error between the animation generated based on the 3D position of the marker by attaching a marker to the body and the animation generated by the proposed system.

Keyword

표/그림 (14)

그림 그림 1. 2차원 관절 추정 흐름도 Fig. 1. Flowchart of 2D Joint Estimation
그림 그림 2. FCRN를 이용한 깊이 추정 흐름도 Fig. 2. Flowchart of Depth Estimation Using FCRN
그림 그림 3. 3차원 관절 데이터 생성 네트워크 Fig 3. 3D joint data generation network
그림 그림 4. FBX SDK 구조 Fig. 4. FBX SDK Structure
그림 그림 5. 제안 시스템 구조 Fig. 5. Proposal system structure
그림 그림 6. 2차원 및 3차원 관절 추정 구성도 Fig. 6. 2D and 3D joint estimation diagram
표 표 1. BODY_25와 Human3.6M 데이터셋의 관절 번호와 계산식 Table 1. Joint number and formula for BODY_25 and Human3.6M datasets
그림 그림 7. 애니메이션에 표출되는 최종 관절 구조(좌)와 부모-자식 관계(우) 정의 Fig. 7. Defining the final joint structure (left) and parent-child relationship (right) displayed in the animation
그림 그림 8. 상반신의 방향 벡터 구성 Fig. 8. Composition of the direction vector of the upper body
표 표 2. 각 관절의 direction과 up 유도 Table 2. Induction of direction and up of each joint
그림 그림 9. 신체 모델 초기 설정을 위한 x, y, z Fig. 9. x, y, z for initial body model setup
표 표 3. 각 관절의 초기 위치 및 길이 설정 Table 3. Set the initial position and length of each joint
표 표 4. 입력된 RGB 신체 이미지와 추정된 2차원 및 3차원 관절 이미지, 최종 애니메이션 이미지 Table 4. Input RGB body images, estimated 2D and 3D joint images, and final animation images
그림 그림 10. 관절 별 평균 오차(mm) Fig. 10. Average error per joint(mm)

참고문헌 (21)

S. Kim, "Realtime 3D Human Full-Body Convergence Motion Capture using a Kinect Sensor," Journal of Digital Convergence, Vol.14, No.1, pp.189-194, Jan 2016, https://doi.org/10.14400/JDC.2016.14.1.189

원문보기 상세보기
J. Jeong, M. Yoon, S. Kim, and G. Park, "Design and production of real-time 3D animation viewer engine based on motion capture," The Institute of Electronics and Information Engineers, 531-535, Jun 2019.
Kinect animation studio, http://marcojrfurtado.github.io/KinectAnimationStudio/index.html
Y. Yang and D. Ramanan, "Articulated Human Detection with Flexible Mixtures of Parts," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.35, No.12, pp.2878-2890, Dec 2013

상세보기
B. Sapp and B. Taskar, "MODEC: Multimodal decomposable models for human pose estimation," Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., pp.3674-3681, 2013.
J. Tompson, A. Jain, Y. LeCun, and C. Bregler, "Joint training of a convolutional network and a graphical model for human pose estimation," Adv. Neural Inf. Process. Syst., Vol.2, pp.1799-1807, Jan 2014.
Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7291-7299, 2017.
J. Martinez, R. Hossain, J. Romero, and J. J. Little, "A Simple Yet Effective Baseline for 3d Human Pose Estimation," Proc. IEEE Int. Conf. Comput. Vis., vol. 2017-October, pp.2659-2668, 2017.
OpenMMD, https://github.com/peterljq/OpenMMD
Kumarapu, Laxman and Prerana Mukherjee. "AnimePose: Multi-person 3D pose estimation and animation." Pattern Recognit. Lett. 147, pp.16-24. 2021.

상세보기
Iro Laina, Christian Rupprecht, Vasileios Belagiannis, Federico Tombari, and Nassir Navab. "Deeper depth prediction with fully convolutional residual networks," In 3D Vision (3DV), 2016 Fourth International Conference on, pp.239-248. IEEE, 2016.
Bo Li, Chunhua Shen, Yuchao Dai, A. van den Hengel and Mingyi He, "Depth and surface normal estimation from monocular images using regression on deep features and hierarchical CRFs," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1119-1127, 2015, doi: 10.1109/CVPR.2015.7298715.
Liu, Fayao, Chunhua Shen and Guosheng Lin. "Deep convolutional neural fields for depth estimation from a single image." 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.5162-5170, 2015.
K. He, X. Zhang, S. Ren and J. Sun, "Deep Residual Learning for Image Recognition," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.770-778, 2016. doi: 10.1109/CVPR.2016.90.
FBX SDK, https://www.autodesk.com/developer-network/platformtechnologies/fbx-sdk-2020-0
MS COCO dataset, https://cocodataset.org/#home
MPII dataset, http://human-pose.mpi-inf.mpg.de/
AI Challenger dataset, http://dataju.cn/Dataju/web/datasetInstanceDetail/440
M. Yoon, Research of FBX generation using deep learning, Master's Thesis of Seoul National University of Science and Technology, Seoul, Korea, 2020.
S. Kim, Y. Lee, and G. Park. "Real-Time Joint Animation Production and Expression System using Deep Learning Model and Kinect Camera." Journal of Broadcast Engineering 26(3), pp.269-282, May 2021.

원문보기 상세보기
Human3.6M dataset, http://vision.imar.ro/human3.6m/description.php

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증