[논문]3D 캐릭터의 얼굴 블렌드쉐입(blendshape)의 제작연구 -언리얼 엔진의 페이셜 캡처를 중심으로

러우이쓰; 최동혁

doi:10.5392/jkca.2022.22.08.073

3D 캐릭터의 얼굴 블렌드쉐입(blendshape)의 제작연구 -언리얼 엔진의 페이셜 캡처를 중심으로
A Study on the Fabrication of Facial Blend Shape of 3D Character - Focusing on the Facial Capture of the Unreal Engine 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.22 no.8, 2022년, pp.73 - 80

러우이쓰 (동서대학교 일반대학원 영상콘텐츠학과) , 최동혁 (동서대학교 소프트웨어융합대학 영상애니메이션학과)

초록
AI-Helper

얼굴 표정은 영화나 애니메이션에서 캐릭터의 특징을 나타내기 위한 중요한 수단이며, 페이셜 캡쳐 기술은 3D 캐릭터의 페이셜 애니메이션 제작을 보다 빠르고 효과적으로 지원할 수 있다. 블렌드쉐입(blendshape) 기법은 고품질의 3D 얼굴 애니메이션을 생성하기 위해 가장 널리 사용되는 방법이지만, 전통적인 블렌드쉐입은 제작에 시간이 오래 걸리는 경우가 많다. 따라서 블렌드쉐입의 제작 기간을 줄이기 위해 전통적인 제작의 효과에 크게 뒤지지 않는 결과를 얻으려는 것이 이번 연구의 목적이다. 본문은 블렌드쉐입의 제작을 위해 크로스 모델(Cross-Model)로 블렌드쉐입을 전달 방법을 사용하고, 전통적인 블렌드쉐입의 제작 방법과 비교하여 새로운 방식의 타당성을 검증하였다. 이번 연구는 언리얼 엔진이 개발한 키트 보이(kite boy)를 실험 대상으로 삼고, 각각 두 가지 블렌드쉐입 제작 기법을 사용하여 페이셜 캡처 테스트를 실시하고, 블렌드쉐입과 연동된 얼굴 표정 제작 방법의 효과를 비교 분석하였다.

Abstract ▼ AI-Helper

Facial expression is an important means of representing characteristics in movies and animations, and facial capture technology can support the production of facial animation for 3D characters more quickly and effectively. Blendshape techniques are the most widely used methods for producing high-quality 3D face animations, but traditional blendshape often takes a long time to produce. Therefore, the purpose of this study is to achieve results that are not far behind the effectiveness of traditional production to reduce the production period of blend shape. In this paper, in order to make a blend shape, the method of using the cross-model to convey the blend shape is compared with the traditional method of making the blend shape, and the validity of the new method is verified. This study used kit boy developed by Unreal Engine as an experiment target conducted a facial capture test using two blend shape production techniques, and compared and analyzed the facial effects linked to blend shape.

주제어

표/그림 (13)

그림 그림 1. Facial anim tech
그림 그림 2. The process of creating a blendshape
그림 그림 3. Bebylon: Battle Royale with iPhone motion capture(from digitalartsonline.co)
그림 그림 4. 아이폰을 이용한 언리얼 엔진에서 페이셜 캡처의 프로세스
그림 그림 5. 크로스 모델로 블렌드쉐입을 전달의 제작 기법(단계1~3)
그림 그림 6. 크로스 모델로 블렌드쉐입을 전달의 제작 기법(단계4~5)
그림 그림 7. 크로스 모델로 블렌드쉐입을 전달의 제작 기법(단계6~7)
표 표 1. 크로스 모델로 블렌드쉐입을 전달의 제작 시간
그림 그림 8. Animation blueprint의 AnimGraph
그림 그림 9. Animation blueprint의 Event Graph
그림 그림 10. Unreal engine에서 iPhone을 이용한 페이셜 캡처
표 표 2. 블렌드쉐입 효과 대비
표 표 3. 언리얼 엔진에서 두 가지 블렌드쉐입 제작 기법을 이용하여 페이셜 캡처의 표정 대비

AI 본문요약
AI-Helper

문제 정의

각 표정의 블렌드쉐입은 모델의 버텍스(vertex)를 이동 조정해 제작해야 하는데, 블렌드쉐입의 조정을 반복해야 더 나은 표정 표현이 가능하기 때 문이다. 따라서 블렌드쉐입 제작 기간을 줄이면서도 전통적 제작의 효과에 필적하는 수준에 도달하는 것이 이번 연구의 목적이다. 본문은 블렌드쉐입 제작을 위해크로스 모델로 블렌드쉐입의 전달 방법을 사용하고, 전통적인 블렌드쉐입 제작 방법과 비교하여 새로운 방식의 타당성을 검증하였다.
본문은 언리얼 엔진에 아이폰을 이용해 페이셜 캡처한 얼굴 애니메이션을 제작하는 경우 새로운 표정 블렌드쉐입 제작 방안을 제시해 얼굴 표정 애니메이션 제작의 효율성을 향상시키는 방법을 연구하였다. 먼저 블렌드쉐입의 정의와 언리얼 엔진에서 아이폰을 이용한 페이셜 캡처 프로세스를 이론적 배경으로 기술하였다.

제안 방법

먼저 블렌드쉐입의 정의와 언리얼 엔진에서 아이폰을 이용한 페이셜 캡처 프로세스를 이론적 배경으로 기술하였다. 다음으로 연구 과정에 필요한 전통적인 표정 블렌드쉐입 제작 기법의 특성에 맞춰 새로운 크로스 모델로 블렌드쉐입을 전달 기법을 제시하였다. 마지막으로 두 가지 기법을 사용해 얻은 표정 블렌드쉐입과 언리얼 엔진에서 연동된 표정 효과를 비교해 장단점을 분석하였다.
다음으로 연구 과정에 필요한 전통적인 표정 블렌드쉐입 제작 기법의 특성에 맞춰 새로운 크로스 모델로 블렌드쉐입을 전달 기법을 제시하였다. 마지막으로 두 가지 기법을 사용해 얻은 표정 블렌드쉐입과 언리얼 엔진에서 연동된 표정 효과를 비교해 장단점을 분석하였다.
본문은 언리얼 엔진에 아이폰을 이용해 페이셜 캡처한 얼굴 애니메이션을 제작하는 경우 새로운 표정 블렌드쉐입 제작 방안을 제시해 얼굴 표정 애니메이션 제작의 효율성을 향상시키는 방법을 연구하였다. 먼저 블렌드쉐입의 정의와 언리얼 엔진에서 아이폰을 이용한 페이셜 캡처 프로세스를 이론적 배경으로 기술하였다. 다음으로 연구 과정에 필요한 전통적인 표정 블렌드쉐입 제작 기법의 특성에 맞춰 새로운 크로스 모델로 블렌드쉐입을 전달 기법을 제시하였다.
이 과정을 보면 전통적인 표정 블렌드쉐입 제작에는 장시간이 소요되지만 섬세한 얼굴 표정을 얻을수 있음을 알 수 있다. 본 논문은 블렌드쉐입을 크로스 모델로 전달하는 기법을 전통적 블렌드쉐입 제작 방식에 대한 대안으로 제시함으로써 제작 효율성을 개선한다. 새로운 프로세스는 기존 제작 프로세스와 대부분 일치하지만 블렌드쉐입이 만들어지는 과정에서 차이가 있다.
따라서 블렌드쉐입 제작 기간을 줄이면서도 전통적 제작의 효과에 필적하는 수준에 도달하는 것이 이번 연구의 목적이다. 본문은 블렌드쉐입 제작을 위해크로스 모델로 블렌드쉐입의 전달 방법을 사용하고, 전통적인 블렌드쉐입 제작 방법과 비교하여 새로운 방식의 타당성을 검증하였다.
이번 연구는 언리얼 엔진이 개발한 키트 보이(kite boy)를 실험 대상으로 하여, 크로스 모델로 블렌드쉐입이 전달하는 방법으로 얼굴 표정의 블렌드쉐입을 재제작한 후 기존 블렌드쉐입과 비교 분석한다. 이후 두 기법으로 얻은 모델을 언리얼 엔진에서 페이셜 캡처 테스트를 해 서로 다른 감정을 위한 표정 효과로 다시 비교했다.
이번 연구는 언리얼 엔진이 개발한 키트 보이(kite boy)를 실험 대상으로 하여, 크로스 모델로 블렌드쉐입이 전달하는 방법으로 얼굴 표정의 블렌드쉐입을 재제작한 후 기존 블렌드쉐입과 비교 분석한다. 이후 두 기법으로 얻은 모델을 언리얼 엔진에서 페이셜 캡처 테스트를 해 서로 다른 감정을 위한 표정 효과로 다시 비교했다.
크로스 모델 전달 기법을 사용해 제작 시간을 크게 줄인 점을 잘 드러내기 위해 녹화 프로그램을 통해 제작 시간을 기록하였다. 또한 정확한 기록을 위해 몇 단계로 나눠 녹화를 진행하였다.

대상 데이터

일단 블렌드쉐입의 제작 효과 비교해보도록 하였다. 대조 대상은 기존 기법으로 제작된 블렌드쉐입, 크로스모델로 블렌드쉐입을 전달 기법으로 제작된 블렌드쉐입, 그리고 전자의 수정된 블렌드쉐입이다. 이 세 가지를 비교하여 두 기법의 특징을 대비 분석하였다.
에픽(Epic)은 GDC2015에서 'The boy and his Kite'를 선보였다
이번 연구의 3D 제작 소프트웨어는 Unreal Engine 4.26과 Autodesk Maya2019로 구분한다. 블렌드쉐입제작은 주로 Maya에서 이루어지며, 언리얼 엔진을 통한 페이셜 캡처 테스트 결과를 블렌드쉐입 제작 효과대비 기준의 하나로 삼는다.
이 단계에서 제작진이 페이셜 애니메이션의 질적 향상을 위해 많은 노력을 기울였음을 짐작할 수 있다. 이에 2018년 이 캐릭터를 기반으로 Face AR Sample을 개발하여 언리얼 엔진에서 애플(Apple)의 ARKit face tracking 능력을 선보였다. 이 프로젝트에서는 아이폰X와 그 이상버전의 휴대폰을 페이스 캡처 기기로 키트 보이와 연동해 보다 빠르게 양질의 페이스 애니메이션을 만들 수 있었다[2][3].
본 연구의 실험 대상으로 이 작품의 캐릭터인 키트 보이를 선택한 이유는 Epic Games의 learn에서 Face AR Sample이 사용한 캐릭터가 키트보이이기 때문이다. 해당 캐릭터의 페이셜 애니메이션 파이프라인은 매우 범용적이고 블렌드쉐입 500개 정도 사용했다. 이 블렌드쉐입의 제작은 Ekman이 1978년 제안한 Facial Action Coding System을 기반으로 하여 얼굴 표정을 제어하였다.

데이터처리

다음으로는 두 가지 기법으로 얻은 캐릭터 파일을 언리얼 엔진에 도입해 얼굴 연동 테스트를 진행한다. 이번 테스트에서는 일치한 animation blueprint를 사용해 본인이 기존에 발표한 논문--A Study on Facial Capture Techniques of Custom Characters Based on Unreal Engine[7]과 일치한 정서를 기준으로 한 테스트 방식을 적용해 비교 분석한다.

이론/모형

해당 캐릭터의 페이셜 애니메이션 파이프라인은 매우 범용적이고 블렌드쉐입 500개 정도 사용했다. 이 블렌드쉐입의 제작은 Ekman이 1978년 제안한 Facial Action Coding System을 기반으로 하여 얼굴 표정을 제어하였다. GDC나 그 후 라이브 트레이닝 비하인드에서 제작진이 페이셜 블렌드쉐입의 구체적인 제작 시기는 밝히지 않았지만, 그가 전하는 내용에 따르면 몇 주 이상 걸릴 것으로 보인다.

성능/효과

비교 분석 결과 블렌드쉐입 제작의 측면에서 기존 방식의 블렌드쉐입은 표정이 섬세하고 얼굴 근육의 움직임이 효과적이지만 제작 시간이 오래 소요된다. 크로스모델로 블렌드쉐입을 전달 기법으로 제작된 블렌드쉐입은 얼굴 표정은 비교적 섬세하지 못하지만 제작 기간은 현저히 줄어든다.
크로스모델로 블렌드쉐입을 전달 기법으로 제작된 블렌드쉐입은 얼굴 표정은 비교적 섬세하지 못하지만 제작 기간은 현저히 줄어든다. 언리얼 엔진에서 얼굴 연동 테스트를 보면 두 기법 모두 기본적인 정서 표현에서 좋은 효과를 볼 수 있으며, 기존 블렌드쉐입 기법은 블렌드쉐입의 질이 높기 때문에 얼굴 근육의 표현에서 우월하며, 특히 이마와 입 주위의 근육이 우수하다.
캐릭터와 같은 로폴리곤 모델(Low-polygon Model) 을 사용할 경우 고도의 섬세한 표정이 필요 없는 상황에서 크로스 모델로 블렌드쉐입을 전달 기법으로 블렌드쉐입을 제작하면 제작 시간을 절감할 수 있어 작업의 효율성을 크게 높일 수 있다. 제작 인력이 부족하고 제작주기가 짧은 프로젝트 제작이나 개인 창작의 경우, 이러한 제작 프로세스는 작업 환경에 더 부합하며, 애니메이션의 품질을 크게 저하시키지 않고 작업 효율성을 높일 가능성이 높다.
물론 이 두 기법을 결합해서 사용할 수도 있다. 크로스 모델로 블렌드쉐입을 전달 기법을 사용한 후 기존 기법을 사용하여 개선하면 블렌드쉐입제작 과정에 많은 시간을 절약할 수 있다. 본 논문을 통해 캐릭터 페이셜 애니메이션을 중심으로 한 고품질 VFX영상 제작이나 게임엔진을 활용한 실시간 XR콘텐츠 개발에 도움이 되기를 희망한다.
비교 분석 결과 블렌드쉐입 제작의 측면에서 기존 방식의 블렌드쉐입은 표정이 섬세하고 얼굴 근육의 움직임이 효과적이지만 제작 시간이 오래 소요된다. 크로스모델로 블렌드쉐입을 전달 기법으로 제작된 블렌드쉐입은 얼굴 표정은 비교적 섬세하지 못하지만 제작 기간은 현저히 줄어든다. 언리얼 엔진에서 얼굴 연동 테스트를 보면 두 기법 모두 기본적인 정서 표현에서 좋은 효과를 볼 수 있으며, 기존 블렌드쉐입 기법은 블렌드쉐입의 질이 높기 때문에 얼굴 근육의 표현에서 우월하며, 특히 이마와 입 주위의 근육이 우수하다.

후속연구

크로스 모델로 블렌드쉐입을 전달 기법을 사용한 후 기존 기법을 사용하여 개선하면 블렌드쉐입제작 과정에 많은 시간을 절약할 수 있다. 본 논문을 통해 캐릭터 페이셜 애니메이션을 중심으로 한 고품질 VFX영상 제작이나 게임엔진을 활용한 실시간 XR콘텐츠 개발에 도움이 되기를 희망한다.

참고문헌 (13)

박정호, 김종용, 송종훈, 박상훈, 윤승현, "블렌드쉐입을 위한 다수 삼각 메쉬의 동시 단순화 기법," 컴퓨터그래픽스학회논문지, 제25권, 제3호, pp.75-83, 2019.
https://www.youtube.com/watch?vclakekAHQx0
https://www.youtube.com/watch?vhNgcQ0BeGCs
https://knowledge.autodesk.com/support/maya/learn-explore/caas/CloudHelp/cloudhelp/2022/ENU/Maya-CharacterAnimation/files/GUID-01EFEC6D-41EA-46AA-81B1-C171DA4316F4-htm.html
김용관, "3D 애니메이션 캐릭터의 Facial Animation 제작의 알고리즘에 관한 연구 : FACE ROBOT 제작 사례 중심으로," 애니메이션연구, 제4권, 제2호, pp.53-72, 2008.
소요환, "페이셜 모션 캡처를 활용한 사실적인 얼굴 애니메이션 제작 파이프라인 연구," 커뮤니케이션디자인학연구, 제38호, pp.321-332, 2012.
L. YISI, "A Study on Facial Capture Techniques of Custom Characters Based on Unreal Engine," ICCC2021 International Conference on Convergence Content, p.237, 2021.
신유성, "브랜드쉐입을 이용한 캐릭터제작 파이프라인 구축에 관한 연구," 커뮤니케이션디자인학연구, Vol.49, No.2, pp.86-95, 2014.
김용관, "AU 기반으로 한 얼굴 모션캡처 활용을 위한 마커 위치 추적 연구 로우 폴리곤 캐릭터 적용을 기준 으로," 한국애니메이션학회 애니메이션연구, 제10권, 제4호, pp.45-60, 2014.
김해윤, 박동주, 이태구, "3D 캐릭터의 얼굴 표정 애니메이션 마커리스 표정 인식 기술 비교 분석 페이스웨어와 페이스쉬프트 방식 중심으로," 한국만화애니메이션학회 만화애니메이션 연구, 제37호, pp.221-245, 2014.
송재원, 임재호, 이동하, "메쉬 변형 전달 기법을 통한 블렌드쉐입 페이셜 리그 복제에 대한 연구," 멀티미디어학회논문지, 제24권, 제9호, pp.1279-1284, 2021.
H. Byun, "Real-time Facial Modeling and Animation based on High Resolution Capture," Journal of Korea Multimedia Society, Vol.11, No.8, pp.1138-1145, 2008.
P. Ekman, What the Face Reveals: Basic and Applied Studies of Spontaneous Expression using the Facial Action Coding System, Oxford University Press, 1997.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증