[논문]디지털 휴먼 컨텐츠 생성 시스템의 설계

이상윤; 이대식; 유영모; 이계훈; 유현수

doi:10.17661/jkiiect.2022.15.4.271

디지털 휴먼 컨텐츠 생성 시스템의 설계
The Design of Digital Human Content Creation System 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.15 no.4, 2022년, pp.271 - 282

이상윤 (Tricomtek co., Ltd, Research & Development Center) , 이대식 (Tricomtek co., Ltd, Research & Development Center) , 유영모 (Tricomtek co., Ltd, Research & Development Center) , 이계훈 (Tricomtek co., Ltd, Research & Development Center) , 유현수 (Tricomtek co., Ltd, Research & Development Center)

초록
AI-Helper

본 논문에서는 디지털 휴먼 컨텐츠 생성 시스템을 제안한다. 디지털 휴먼 컨텐츠 생성 시스템은 전신 스케닝을 통해 3D AI 모델링 작업을 하고, 3D 모델링 후처리와 텍스쳐링, 리깅 작업으로 제작된다. 이를 가상현실 컨텐츠 정보와 결합함으로써 가상현실 내에서 가상 모델의 자연스러운 동작이 이뤄질 수 있고, 하나의 시스템에서 효율적으로 디지털 휴먼 컨텐츠를 생성할 수 있다. 따라서 자원을 최소화하는 가상현실 기반의 디지털 휴먼 컨텐츠 생성이 가능하도록 하는 효과가 있다. 또한 사람에 의한 3D 모델링 및 텍스쳐링 작업은 전처리 과정을 필요로 하지 않는 자동화된 전처리 공정을 제공하며, 다양한 디지털 휴먼 컨텐츠를 효율적으로 관리하는 기술을 제공고자 한다. 특히 가상 모델을 구성하기 위한 3D 모델링 및 텍스쳐링 등의 전처리 공정은 인공지능에 의해 자동으로 수행되도록 함으로써 신속하고 효율적인 가상 모델 구성이 이뤄질 수 있다는 장점이 있다. 또한 시그니처 모션을 통해 디지털 휴먼 컨텐츠 구성 및 관리가 용이하게 이뤄질 수 있다는 장점이 있다.

Abstract ▼ AI-Helper

In this paper, we propose a digital human content creation system. The digital human content creation system works with 3D AI modeling through whole-body scanning, and is produced with 3D modeling post-processing, texturing, rigging. By combining this with virtual reality(VR) content information, natural motion of the virtual model can be achieved in virtual reality, and digital human content can be efficiently created in one system. Therefore, there is an effect of enabling the creation of virtual reality-based digital human content that minimizes resources. In addition, it is intended to provide an automated pre-processing process that does not require a pre-processing process for 3D modeling and texturing by humans, and to provide a technology for efficiently managing various digital human contents. In particular, since the pre-processing process such as 3D modeling and texturing to construct a virtual model are automatically performed by artificial intelligence, so it has the advantage that rapid and efficient virtual model configuration can be achieved. In addition, it has the advantage of being able to easily organize and manage digital human contents through signature motion.

주제어

표/그림 (17)

그림 그림 1. 디지털 휴먼 영상 형성을 위한 전자 장치 및 방법과 그를 수행하도록 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램[7] Fig. 1. Electronic apparatus and method for digital human image formation and program stored in computer readable medium performing the same[7]
그림 그림 2. 디지털 휴먼 컨텐츠 생성 시스템의 구성도 Fig. 2. Configuration diagram of Digital Human Content Creation System
그림 그림 3. 디지털 휴먼 서버의 구성도 Fig. 3. Configuration diagram of digital human server
그림 그림 4. 가상 모델 생성 스튜디오의 구성 및 디지털 휴먼 서버와의 네트워크 연결을 나타내는 모식도 Fig. 4. Schematic diagram showing the configuration of virtual model creation studio and network connection with digital human server
그림 그림 5. 모션 정보 수집 스튜디오의 구성 및 디지털 휴먼 서버와의 네트워크 연결을 나타내는 모식도 Fig. 5. Schematic diagram showing the configuration of motion information collection studio and network connection with digital human server
그림 그림 6. 가상 모델 생성 스튜디오의 구성을 나타내는 모식도 Fig. 6. Schematic diagram showing the configuration of the virtual model creation studio
그림 그림 7. 디지털 휴먼 컨텐츠 생성 방법의 순서도 Fig. 7. Flowchart of digital human content creation method
그림 그림 8. 가상 모델을 구성하는 단계를 설명하는 순서도 Fig. 8. Flowchart outlining the steps to construct a virtual model
그림 그림 9. 가상 모델을 구성하는 단계를 설명하는 모식도 Fig. 9. Schematic diagram explaining the steps to construct a virtual model
그림 그림 10. 사용자 모델의 포즈 이미지를 설명하는 모식도 Fig. 10. Schematic diagram explaining the pose image of the user model
그림 그림 11. 실제 모델과 AI 자동 3D 캡처 모델링 Fig. 11. Real model and AI automatic 3D capture modeling
그림 그림 12. 모델링 및 텍스쳐 보정 결과 Fig. 12. Modeling and texture correction results
그림 그림 13. 몸, 얼굴 리그 추가 작업 Fig. 13. Body and face rigs additional work
그림 그림 14. 디지털 휴먼과 모션 캡쳐 장치 리그 동기화 Fig. 14. Digital human and motion capture device rigs synchronize
그림 그림 15. 실시간 모션 동기화 결과 Fig. 15. Real-time motion synchronization results
그림 그림 16. 기존의 디지털 휴먼 제작과 본 논문에서 설계한 디지털 휴먼 제작 기간 비교 Fig. 16. Comparison of Original digital human production and designed in this paper digital human production period
표 표 1. 디지털 휴먼 트윈 1건 별 소요 비용 Table 1. Cost per digital human twin Unit: 1,000 won

AI 본문요약
AI-Helper

문제 정의

또한 사람에 의한 3D 모델링(3D Modeling) 및 텍스쳐링(Texturing) 등의 전처리 과정을 필요로 하지 않는 자동화된 전처리 공정을 제공하며, 다양한 디지털 휴먼 컨텐츠를 효율적으로 관리하는 기술을 제공고자 한다.
본 논문에서는 디지털 휴먼 컨텐츠 생성 방법은 디지털 휴먼 서버, 컨텐츠 관리 서버 및 이와 네트워크 연결된 메타버스 클라우드 서버를 포함하는 디지털 휴먼 컨텐츠 생성 시스템에서 이루어진다.
본 논문에서는 디지털 휴먼 컨텐츠를 제작하였다. 디지털 휴먼 컨텐츠 제작은 전신 스케닝을 통해 3D AI 모델링 작업을 하고, 3D 모델링 후처리와 텍스쳐링, 리깅 작업으로 제작된다.
본 논문에서는 종래 기술이 가지는 문제점을 해결하기 위한 것으로 사용자 모델을 통한 이미지 수집부터 가상현실 기반의 디지털 휴먼 컨텐츠 생성까지 하나의 시스템에서 이루어지도록 하는 디지털 휴먼 컨텐츠 생성 시스템을 제공하고자 한다.
본 논문에서는 종래기술이 가지는 문제점을 해결하기 위한 것으로 사용자 모델을 통한 이미지 수집부터 가상현실 기반의 디지털 휴먼 컨텐츠 생성까지 하나의 시스템에서 이루어지도록 하는 디지털 휴먼 컨텐츠 생성 시스템을 설계하였다. 따라서 필요 자원을 최소화하는 가상현실 기반의 디지털 휴먼 컨텐츠 생성이 가능하도록 하는 효과가 있다.

제안 방법

대상체의 이미지로부터 디지털 휴먼 영상의 얼굴 이미지 형성을 위한 제1 특징점 및 디지털 휴먼 영상의 모발 이미지 형성을 위한 제2 특징점을 추출한다.
따라서 디지털 휴먼 컨텐츠 생성 시스템을 설계한다. 디지털 휴먼 컨텐츠 생성 시스템의 구성도는 그림 2와 같다.
또한 사람에 의한 3D 모델링 및 텍스쳐링 등의 전처리 과정을 필요로 하지 않는 자동화된 전처리 공정을 제공하며, 다양한 디지털 휴먼 컨텐츠를 효율적으로 관리하는 기술을 제공하였다. 특히 가상 모델을 구성하기 위한 3D 모델링 및 텍스쳐링 등의 전처리 공정은 인공지능에 의해 자동으로 수행되도록 함으로써 신속하고 효율적인 가상 모델 구성이 이뤄질 수 있다는 장점이 있다.
본 논문에서는 후처리 공정은 텍스쳐링 단계(a31) 및 리깅 단계(a32)를 자동으로 이루어질 수 있도록 함으로써 효율적으로 디지털 휴먼 컨텐츠를 생성할 수 있다.
사용자 단말은 표시장치이고, 디지털 휴먼 컨텐츠를 시청하는 사용자의 스마트폰, 태블릿, PC 모니터, HMD(Head Mount Display) 등 가상현실 컨텐츠를 시청할 수 있는 다양한 형태의 표시장치이고, 이동 가능하도록 구성함으로써 언제 어디서나 다양한 디지털 휴먼 컨텐츠를 활용할 수 있도록 하고, 이를 위해 무선으로 네트워크를 구성한다.
제1 3차원 데이터를 이용하여 대상체의 제1 영상을 형성하고, 미리 설정된 표정 템플릿을 뎁스 카메라로 촬영하여 제2 3차원 데이터를 형성하고, 제2 3차원 데이터를 이용하여 대상체의 표정을 나타내는 제2 영상을 형성하고, 3차원 애니메이션 포인트를 이용하여 제1 영상과 제2 영상을 합성하여 디지털 휴먼 영상을 형성한다.

대상 데이터

가상 모델 기초 모델링 정보는 텍스쳐링(Texturing) 및 리깅(Rigging) 등의 후처리를 거쳐 입체감 있는 3차원의 가상 모델을 구성할 수 있다.

성능/효과

디지털 휴먼 컨텐츠 생성 시스템은 디지털 휴먼 서버, 컨텐츠 관리 서버 및 메타버스 클라우드 서버 외에도 메타버스 클라우드 서버에서 생성된 디지털 휴먼 컨텐츠를 표시할 수 있도록 하는 표시장치를 더 구비할 수 있으며, 가상 모델을 구성하기 위해 사용자 모델의 사용자 이미지를 수집할 수 있도록 하는 가상 모델 생성 스튜디오 및 사용자 모델의 모션 정보를 수집할 수 있도록 하는 모션 정보 수집 스튜디오를 더 구비할 수 있다.
본 논문에서는 종래기술이 가지는 문제점을 해결하기 위한 것으로 사용자 모델을 통한 이미지 수집부터 가상현실 기반의 디지털 휴먼 컨텐츠 생성까지 하나의 시스템에서 이루어지도록 하는 디지털 휴먼 컨텐츠 생성 시스템을 설계하였다. 따라서 필요 자원을 최소화하는 가상현실 기반의 디지털 휴먼 컨텐츠 생성이 가능하도록 하는 효과가 있다.
또한 시그니처 모션을 통해 디지털 휴먼 컨텐츠 구성 및 관리가 용이하게 이루어질 수 있다는 장점이 있다.
종래 텍스쳐링 단계 및 리깅 단계는 디자이너 또는 그래픽 엔지니어가 가상 모델을 구성하기 위해 수작업을 통해 후처리하도록 함으로써 디지털 휴먼 컨텐츠 생성에 많은 시간과 인력이 소비된다는 문제가 있었으며, 볼류메트릭 카메라를 이용하는 경우에도 텍스쳐링 및 리깅의 품질이 좋지 않아 추가적인 작업을 필요로 하였다.

후속연구

스마트 워치 형태의 바디모션 캡쳐 장치는 모션 정보를 제공하는 사용자 모델의 바이오 정보를 추가적으로 수집할 수 있으며 사용자 모델의 바이오 정보를 토대로 디지털 휴먼 서버로 전달되는 사용자 모델의 모션 정보가 일부 또는 전부가 전달되지 않도록 제어될 수 있다.

참고문헌 (7)

J. Jin, M. J. Choi, "University Students and Professors' Recognition of Dropout In Covid-19 Non-Face-To-Face Classroom Environment," Journal of Korea Entertainment Industry Association, vol. 15, no. 8, pp.279-290, 2021.
A. R. Shin, H. S. Shim, "A Learning Satisfaction in face-to-face/non-face-to-face Educational Environments of New Dental Hygiene Students," Journal of Korea Entertainment Industry Association, vol. 21, no. 6, pp.804-813, 2021.
J. S. Lee, J. Y. Kim, "A Study on Spatial Characteristics of Immersion and Reality in Cases of VR and AR Technology and Contents," Journal of Korea Institute of Interior Design, vol. 28, no. 3, pp.13-24, 2019.

상세보기
W. S. Kim, K. Nah, "A Study on the Avatar Design Characteristics of Immersive Virtual Reality - Based on Social Network-Based Virtual Reality Contents," Journal of Korean Society of Design Culture, vol. 24, no. 1, pp.91-104, 2018.

상세보기
Y. B. Lee, S. U. Hwang,I. G. Kim, "The Effect of Appearance Design Stage on Social Presence When Interacting with Digital Humans in VR," Journal of Digital Contents Society, vol. 21, no. 6, pp.1113-1122, 2020.

상세보기
H. E. Lee, Y. G. Kim, K. T. Kim, "Analysis of Factors Affecting Reality of Digital Human Facial Expression in Virtual Reality Environment," Journal of the Korea Intitute of the spatial design, vol. 16, no. 1, pp.383-392, 2021.
B. G. OH, "Electronic Apparatus and Method for Digital Human Image Formation, and Program Stored in Computer Readable Medium Performing the Same," Korean Intellectual Property Office, April, 2018.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증