[논문]딥러닝 모델과 Kinect 카메라를 이용한 실시간 관절 애니메이션 제작 및 표출 시스템 구축에 관한 연구

김상준; 이유진; 박구만

doi:10.5909/jbe.2021.26.3.269

딥러닝 모델과 Kinect 카메라를 이용한 실시간 관절 애니메이션 제작 및 표출 시스템 구축에 관한 연구
Real-Time Joint Animation Production and Expression System using Deep Learning Model and Kinect Camera 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.26 no.3, 2021년, pp.269 - 282

김상준 (서울과학기술대학교 정보통신미디어공학전공) , 이유진 (서울과학기술대학교 미디어IT공학과) , 박구만 (서울과학기술대학교 미디어IT공학과)

초록
AI-Helper

증강현실과 가상현실 같은 3차원 콘텐츠 보급이 증가함에 따라 실시간 컴퓨터 애니메이션 기술의 중요성이 높아지고 있다. 하지만 컴퓨터 애니메이션 제작 과정은 대부분 수작업 혹은 마커를 부착하는 모션캡쳐 방식으로 이루어져 있다. 때문에 사실적인 영상을 얻기 위해서는 숙련된 전문가에게도 매우 오랜 시간이 필요하다. 이러한 문제점을 해결하기 위해 최근에는 딥러닝 모델과 센서를 기반으로 하는 애니메이션 제작 시스템과 알고리즘이 나오고 있다. 이에 본 논문에서는 딥러닝과 Kinect 카메라 기반 FBX 형식의 애니메이션 제작 시스템에서 자연스러운 인체 움직임을 구현하는 4가지 방법에 대해 연구했다. 각 방법은 환경적 특성과 정확도를 고려하여 선택된다. 첫 번째 방법은 Kinect 카메라를 사용한다. 두 번째 방법은 Kinect 카메라와 보정 알고리즘을 사용한다. 세 번째 방법은 딥러닝 모델을 사용한다. 네 번째 방법은 딥러닝 모델과 Kinect를 사용한다. 제안 방법을 오차와 처리 속도를 실험한 결과, 네 번째 딥러닝 모델과 Kinect를 동시에 사용하는 방법이 다른 방법에 비해 가장 좋은 결과를 보였다.

Abstract ▼ AI-Helper

As the distribution of 3D content such as augmented reality and virtual reality increases, the importance of real-time computer animation technology is increasing. However, the computer animation process consists mostly of manual or marker-attaching motion capture, which requires a very long time for experienced professionals to obtain realistic images. To solve these problems, animation production systems and algorithms based on deep learning model and sensors have recently emerged. Thus, in this paper, we study four methods of implementing natural human movement in deep learning model and kinect camera-based animation production systems. Each method is chosen considering its environmental characteristics and accuracy. The first method uses a Kinect camera. The second method uses a Kinect camera and a calibration algorithm. The third method uses deep learning model. The fourth method uses deep learning model and kinect. Experiments with the proposed method showed that the fourth method of deep learning model and using the Kinect simultaneously showed the best results compared to other methods.

주제어

표/그림 (15)

그림 그림 1. Kinect World Space 좌표 시스템^[18] Fig. 1. Kinect World Space Coordinate System^[18]
그림 그림 2. FBX 형식의 mesh 그리고 Skeleton^[19] Fig. 2. mesh and Skeleton of FBX format^[19]
그림 그림 3. 데이터셋에 따른 OpenPose 성능 평가 Fig. 3. Evaluate OpenPose performance based on datasets
그림 그림 4. FAVE의 설계구조 Fig. 4. FAVE Design Structure
그림 그림 5. FBX 생성을 위한 관절 계층 구조 Fig. 5. Joint hierarchical structure for FBX generation
그림 그림 6. BSL을 이용한 관절 보정 절차 Fig. 6. Joint correction procedure using BS
그림 그림 7. 표준 골격 형태로의 관절 위치 변환 Fig. 7. Transforming the position of the joint into a default skeleton
그림 그림 8. 폐색 데이터를 이용한 애니메이션 생성 (좌) - 딥러닝을 이용한 방법 (우) - 키넥트를 이용한 방법 Fig. 8. Animation generation with occlusion data (left) - Deep learning method (right) - kinect method
그림 그림 9. 딥러닝을 이용한 방법의 관절 추정 흐름도 Fig. 9. Joint Estimation Flowchart of Methods Using Deep Learning
그림 그림 10. 딥러닝과 Kinect를 이용한 방법의 관절 추정 흐름도 Fig. 10. Joint Estimation Flowchart of Methods Using Deep Learning and Kinect
표 표 1. 수행 동작과 실험결과 Table 1. User Action and Experimental Results
그림 그림 11. 8개의 관절 오차 Fig. 11. 8 joint errors
표 표 2. 방법에 따른 오류 Table 2. Errors according to methods
표 표 3. 제작 파일 호환성 Table 3. Authoring File Compatibility
표 표 4. 필요 장비 Table 4. Equipment required

참고문헌 (29)

Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh, "OpenPose: realtime multi-person 3D poseestimation using Part Affinity Fields", In arXiv preprintarXiv:1812.08008, 2018.
R. A. Guler, N. Neverova, and I. Kokkinos. Densepose: Dense human pose estimation in the wild. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.
Bruno Artacho, Andreas Savakis, "UniPose: Unified Human Pose Estimation in Single Images and Videos" Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 7035-7044
Moon, Gyeongsik, Ju Yong Chang, and Kyoung Mu Lee. "V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map." Proceedings of the IEEE conference on computer vision and pattern Recognition. 2018.
Sun, X., Xiao, B., Liang, S., Wei, Y.: Integral human pose regression. arXiv preprint arXiv:1711.08229 (2017)
[Internet] Microsoft Kinect v3 https://azure.microsoft.com/ko-kr/services/kinect-dk/
[Internet] ASUS Xtion PRO LIVe https://www.asus.com/kr/3DSensor/Xtion_PRO_LIVE/
[Internet] ASUS Xtion2 https://www.asus.com/kr/3D-Sensor/Xtion-2/
[Internet] LEAP Motion https://developer.leapmotion.com/#101
[Internet] "OpenMMD" https://github.com/peterljq/OpenMMD
D. Mehta, S. Sridhar, O. Sotnychenko, H. Rhodin,M. Shafiei, H.-P. Seidel, W. Xu, D. Casas, and C. Theobalt, "Vnect: Real-time 3d human pose estimation with a singlergb camera", In ACM Transactions on Graphics, volume 36, 2017.

상세보기
[Internet] "Instructions"http://marcojrfurtado.github.io/KinectAnimationStudio/usage.html
[Internet] "Avateering with kinect v2 - Joint Orientations" https://peted.azurewebsites.net/avateering-with-kinect-v2-joint-orientations/
[Internet] "Brekel Body v2" https://brekel.com/brekel-pro-body-v2/
J. Martinez, R. Hossain, J. Romero, and J. J. Little. A simple yet effective baseline for 3d human pose estimation. In IEEE International Conference on Computer Vision, ICCV, 2017.
Iro Laina, Christian Rupprecht, Vasileios Belagiannis, Federico Tombari, and Nassir Navab. Deeper depth prediction with fully convolutional residual networks. In 3D Vision (3DV), 2016 Fourth International Conference on, pages 239-248. IEEE, 2016.
Jun hee Kim, Sae-Woung Yoo and Kyung-Won Min, Microsoft Kinect-based Indoor Building Information Model Acquisition., Computational Structural Engineering Institute of Korea 31(4), 207-214.
Sang-Joon Kim, "Design and Implementation of Authoring Tool for Dynamic Projection Mapping Content," Degree thesis (Bachelor's degree), Seoul Media Graduate School: New Media Studies Department 2019.2
A. Toshev and C. Szegedy. Deeppose: Human pose estimation via deep neural networks. In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages1653-1660. IEEE, 2014.
[Internet] Leeds Sports Pose(LSP) https://sam.johnson.io/research/lsp.html
[Internet] MPII Human Pose http://human-pose.mpi-inf.mpg.de/
[Internet] MS COCO https://cocodataset.org/#home
[Internet] AI Challenger http://dataju.cn/Dataju/web/datasetInstanceDetail/440
[Internet] Human3.6M http://vision.imar.ro/human3.6m/description.php
[Internet] CMU Panoptic http://domedb.perception.cs.cmu.edu/
Alexander Toshev, Christian Szegedy "DeepPose: Human Pose Estimation via Deep Neural Networks" arXiv preprint arXiv: 1312.4659, 2013
S.-E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh. Convolutional pose machines. In CVPR, 2016
Jiefeng Li, Can Wang, Hao Zhu, Yihuan Mao, Hao-Shu Fang, and Cewu Lu. Crowdpose: Efficient crowded scenes pose estimation and a new benchmark. arXiv preprint arXiv:1812.00324, 2018
J. heon jeong, S. joon kim, M. suk Yoon and G. man Park "Body Segment Length and Joint Motion Range Restriction for Joint Errors Correction in FBX Type Motion Capture Animation based on Kinect Camera ", JBE Vol. 25, No. 3, May 2020

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증