선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서, 우리는 효율적인 얼굴 애니메이션 제작을 위하여 블렌드쉐입의 가중치가 아닌 페이셜 리그로 직접 페이셜 캡처 데이터를 옮겨줄 수 있는 새로운 페이셜 리타겟팅 방식을 제안한다. 또한, 기존의 대응점 방식이 가지고 있는한계점을 극복하기 위하여, 아티스트에 의해 주어진 예제 기반 페이셜 리타겟팅 방식을 사용하였다.
- 우리의 연구는 폐이셜캡쳐된 데이터를 애니메이터가 작업하기 쉽고 편리한 페이셜 리그에 매핑하는 새로운 리타겟팅 방식을 제안한다. 이를 통하여 애니메이션 프로덕션에서는 기존 키 프레임 애니메이션 파이프라인에 폐이셜 캡쳐 데이터를 그대로 접목시킴으로써 고품질의 얼굴 애니메이션을 효율적으로 제작할 수 있다.
- 우리는 이 연구에서 페이셜 리그를 일종의 블랙 박스(Black box)로 간주하였다. 즉 우리는 폐이셜리그가 구성된 방식을 알지 못하더라도 폐이셜 리그에 대해 매핑을 수행할 수 있는 일반적인 방법론을 제안하는 것을 목표로 하였다. 이를 위하여, 우리는 주어진 캡처 데이터의 몇 가 지 표정에 대해 아티스트가 제작한 예제 데이터를 기반으로 매핑을 수행하는 예제 기반 페이셜 리타겟팅 방식을 사용하였다.
가설 설정
- 모든 캡처 된 마커와 페 이 셜 리그 파라미 터 를 한꺼번 에 학습 시 키 는 것은 비효율적 인데, 이는 해부학적으로 사람 얼굴의 각 영역이 얼굴아래에 있는 근육에 의해 비교적 일정한 방향으로 그룹을 지어 움직이기 때문이다. 우리는 구분된 각 얼굴 영역은 상호 간 독립 적으로 움직인다고 가정하였고, 따라서 각 얼굴 영 역별로 분할하여 연산을 수행함으로써 더 정확하게 얼굴 애니메이션이 옮겨질 수 있도록 하였다. 대표적인 얼굴 표정의 정량적 분석 도구인 FACS(Facial Action Coding System)는 사람의 감정을 표현하기 위한 얼굴 근육을 43개로 디테일하게 분류한다.
제안 방법
- Section 3.1에서 구분한 얼굴의 각 영역에 따라 각 영역의 3D 마커 데이터에 대하여 PCA 를 통해 데이터 차원 간소화를 수행하였다. 为개의 마커로 이루어진 3차원 마커 데이터는 3k의 차원을 가지며, 따라서 n 개의 예제 데이터를 생성했을 때 마커 데이터매트릭스는 狄 X n 의 차원을 가지게 된다.
- 대표적인 얼굴 표정의 정량적 분석 도구인 FACS(Facial Action Coding System)는 사람의 감정을 표현하기 위한 얼굴 근육을 43개로 디테일하게 분류한다. [16], 그러나 우리의 방법에서 이런 수준의 세밀한 분류는 불필요하므로, 단순화된 모델인 Waters [1기의 분류(그림 3)에 근거해서 얼굴을 4~8개의 영역으로 구분하였다. 이때, 분할하는 얼굴 영역의 개수를 고정하지 않은 이유는, 얼굴 영역의 분류와 갯수는 페이셜 리그가 얼굴을 변형시키는 방식에 따라서 어느 정도 달라질 수 있기 때문이다.
- 그림 6과 같이, 우리는 아티스트가 손쉽게 마커 및 페이셜 리그의 그룹을 나누고, 각 그룹에 표정예제 데이터를 추가, 삭제, 수정할 수 있는 유저 인터페이스를 제공하였다. 아티스트는 캡처된 데 이 터를 보며 의미론적으로 동일한표정을만들어줄 수 있는데, 3D마커 데 이 터뿐만 아니라 함께 촬영된 비디오 데 이 터가 있다면 이미지 시퀀스 형태로 불러들여 싱크를 맞춘 다음 실제 촬영한 배우의 표정을 보며 직관적으로 동일한 표정을 만들어 줄 수 있다.
- 예제 기반 페이셜 리타겟팅은 다양한 방식으로 시도되었으나 [12] [13] [14], 아티스트가 직접 다루는 고차원의 폐이셜 리그에 대하여 학습 및 리타겟팅을 수행하지는 않고 있다. 따라서, 우리는 아티스트가 친숙하게 사용하는 페이셜 리그에 대해 직접 리타 겟팅을 수행함으로써 아티스트가 간편하게 페이셜 캡처 결과물을 수정하고 콘텐츠에 활용할 수 있도록 하였다. 또한 우리의 방식은 번거로운 대응점 지정과정 없이 소수의 예제데이터만을 학습 시킴으로써 폐이셜 리 타겟팅을수행할 수 있고, 대상이 되는 캐릭터 얼굴이 사람과 아주 다르게 생긴 캐릭터라고하더 라도 문제 없이 얼굴 애니메이션을 옮겨줄 수 있다.
- 제안한다. 또한, 기존의 대응점 방식이 가지고 있는한계점을 극복하기 위하여, 아티스트에 의해 주어진 예제 기반 페이셜 리타겟팅 방식을 사용하였다. 예제 기반 페이셜 리타겟팅은 다양한 방식으로 시도되었으나 [12] [13] [14], 아티스트가 직접 다루는 고차원의 폐이셜 리그에 대하여 학습 및 리타겟팅을 수행하지는 않고 있다.
- 먼저 우리는 제안한 방법이 효율적임을 보이기 위하여, 하나의 캐릭터에 대한페이셜 리그리타겟팅을 다양한 방식으로 수행한 뒤 그 결과를 비교하였다. 실험은 그림 6에서 확인할 수 있는 캐릭터를 대상으로 했으며, 폐이 셜 리그는 내부적인 작동 방식을 알지 못하는 블랙박스이고, 도합 96개의 리그 파라미터들을 가진다.
- 먼저, 우리 방식에 대한 정량적 평가를 수행하기 위하여, 아티스트가 모션캡처 데 이 터 에 싱크를 맞추어 수작업으로 제작한 키 프레임 애니메이션을 지상검증자료(Ground Truth) 로 사용하였다. 우리는 PCA 차원의 갯수 및 예제의 갯수 등을 다르게 적용한 우리 방법의 결과물과 키프레임 데이터 간의 매프레임 페이셜 리그 파라미터의 평균 오차를 계산하였다.
- 우리는 각 얼굴 영역별로 간소화된 마커 데이터 m 과 이와 연관된 폐이 셜 리그 데이터 p 를 데이터 짝으로 하는 매트릭스 M 과 P 를 만들었다. 그리고, 이 데이터 매트릭스를 예제로 하는 페이셜 리그매핑 모델 T 를 RBF 회귀 분석 모델을 통하여 학습시켰다.
- 우리는 다양한 폐이셜 리 그를 블랙박스로 간주하고 모션 데 이 터 매핑을 수행하기 위하여, 캡처된 폐이셜 데이터 중 대표적인 서로 다른 몇 개의 표정에 대하여 아티스트가 폐이셜 리그로 제작한 예제를 기반으로 한 예제 기반 페이셜 리타겟팅을 수행하였다. 우리는 마커 기반 페이셜 캡처 데이터를 사용하므로, 입력으로 주어지는 모션캡처된 마커 데이터 중에서 고정된 한 프레임의 표정 데이터를 벡터 m 이라고 한다.
- 우리는 먼저 캡처된 3D마커 데이터를 몇 개의 얼굴 영역으로 구분하였다. 모든 캡처 된 마커와 페 이 셜 리그 파라미 터 를 한꺼번 에 학습 시 키 는 것은 비효율적 인데, 이는 해부학적으로 사람 얼굴의 각 영역이 얼굴아래에 있는 근육에 의해 비교적 일정한 방향으로 그룹을 지어 움직이기 때문이다.
- 로 표현할 수 있다. 우리는 이 데이터 매트릭스 M과 P를 통하여 폐이셜리그에 대한 모션 데이터 매핑을 수행하는 모델 T 를 학습시킨다. 따라서, 새로운 마커 데이터 mnew 가 주어졌을 때, 학습된 모델T를 통하여 페이 셜 리그 파라미터 pnew 를 구할 수 있고, 이를 매프레임마다 수행함으로써 대상이 되는 페이셜 리그에 캡처된 모션 데이터를 옮겨줄 수 있다.
- 물론 하나의 페이셜 리그가 구성된 방식을 분석하여 디포머와 인터페이스 의 작동을 역방향으로 수행할 수는 있지만 이는 특정 폐이셜리그에 국한된 해결 수단이다. 우리는 이 연구에서 페이셜 리그를 일종의 블랙 박스(Black box)로 간주하였다. 즉 우리는 폐이셜리그가 구성된 방식을 알지 못하더라도 폐이셜 리그에 대해 매핑을 수행할 수 있는 일반적인 방법론을 제안하는 것을 목표로 하였다.
- 또한, 그림 8에서 알 수 있듯이, 우리의 방식은 10개 20개가량의 서로 다른 얼굴 표정 데이터를 학습시켰을 때 최적의 결과를 얻을 수 있었고, 학습 데이터가 지나치게 과도할 경우 오버피팅 문제로 인하여 원치 않은 리타겟팅 결과물을 생성할 수 있다. 이를 방지하기 위하여 먼저 적은 수의 예제를 통하여 결과물을 생성한 이후, 학습 데이터를 추가해 나가며 결과를 확인하는 방식으로리타겟팅을수행함으로써 최적의 예제 갯수를 찾을수 있다.
- 이를 위하여, 먼저 우리는 캡처된 데이터를 폐 이셜 리그와의 상관관계에 따라 일정한 몇 개의 얼굴 영역으로 분할한 뒤, 각 영역의 3D마커 데이터를 주성분 분석(PCA)을 통하여 데이터 차원을 감소시켰다. 그리고, 캡처 된 데 이 터와 의 미론적으로 동일한 몇 개의 예제 표정을 아티스트가 제작하면, 차원 감소된 마커 데이터와 페이셜 리그 예제 데이터를 RBF(Radial Basis Function) 회귀분석 모델을 통하여 학습시켰다.
대상 데이터
- 페이셜 리그의 각 파라미터의 이름과최대, 최소 값 등은 미리 주어지고, 실행 시간에서 각 파라미터의 최대, 최소 값을 넘는 값으로 계산될 경우 최대, 최소값으로 결과가 고정된다. 실험에 사용한 폐이셜 캡처 데이터는 6아lz의 속도로 캡처된 99개의 마커로 이루어진 데이터이고, 총 프레임 수는 640프레임이며, 머리의 글로벌한 회전 값을 제외시키는 후보정을 거친 데이터를 사용하였다.
- 그 결과를 비교하였다. 실험은 그림 6에서 확인할 수 있는 캐릭터를 대상으로 했으며, 폐이 셜 리그는 내부적인 작동 방식을 알지 못하는 블랙박스이고, 도합 96개의 리그 파라미터들을 가진다. 페이셜 리그의 각 파라미터의 이름과최대, 최소 값 등은 미리 주어지고, 실행 시간에서 각 파라미터의 최대, 최소 값을 넘는 값으로 계산될 경우 최대, 최소값으로 결과가 고정된다.
데이터처리
- 를 만들었다. 그리고, 이 데이터 매트릭스를 예제로 하는 페이셜 리그매핑 모델 T 를 RBF 회귀 분석 모델을 통하여 학습시켰다. RBF 는 대표적인 예제 기반기계학습 모델 중의 하나로, 학습 과정이 빠르고 실시간에 가까울 정도로 빠른 실행시간을 보여주는 장점이 있다.
- 감소시켰다. 그리고, 캡처 된 데 이 터와 의 미론적으로 동일한 몇 개의 예제 표정을 아티스트가 제작하면, 차원 감소된 마커 데이터와 페이셜 리그 예제 데이터를 RBF(Radial Basis Function) 회귀분석 모델을 통하여 학습시켰다. 이를 통하여 새로운 얼굴표정이 주어졌을 때 이미 학습된 데이터의 보간을 통하여 성공적으로 얼굴 표정을 옮겨줄 수 있었다.
- 우리는 PCA 차원의 갯수 및 예제의 갯수 등을 다르게 적용한 우리 방법의 결과물과 키프레임 데이터 간의 매프레임 페이셜 리그 파라미터의 평균 오차를 계산하였다. 그림 6의 캐릭터의 경우폐이셜 리그 파라미터들이 모두 -1~1의 동일한 범위를 가지고있으므로, 각폐이셜 리그 파라미터에 대한 별도의 표준화 과정 없이 그대로에러를 측정할 수 있었다.
이론/모형
- 우리는 기저함수로 们(히") =、/||”如 - mJ' + 评 형태의 하디의 다중이차곡면식(Hadry's multiquadric)을 활용하였다. 기저 함수에서 dj 는 叫 와 叫 사이의 최소 거리를 의미한다.
- 우리는 우리의 방법이 실제 애니메이션 프로덕션에 효율적으로 적용될 수 있음을 보이기 위하여, 대표적인 3D 저작도구인 Autodesk Maya2016 의 플러그인 형태로 구현한 뒤 실험을 수행하였다. 그림 6과 같이, 우리는 아티스트가 손쉽게 마커 및 페이셜 리그의 그룹을 나누고, 각 그룹에 표정예제 데이터를 추가, 삭제, 수정할 수 있는 유저 인터페이스를 제공하였다.
- 즉 우리는 폐이셜리그가 구성된 방식을 알지 못하더라도 폐이셜 리그에 대해 매핑을 수행할 수 있는 일반적인 방법론을 제안하는 것을 목표로 하였다. 이를 위하여, 우리는 주어진 캡처 데이터의 몇 가 지 표정에 대해 아티스트가 제작한 예제 데이터를 기반으로 매핑을 수행하는 예제 기반 페이셜 리타겟팅 방식을 사용하였다. 이 방식은 폐이셜 리그를 블랙박스로 간주하더라도 학습된 데이터를 통하여 폐이셜리타겟팅을수행할 수 있는 일반화된 해결방법을 제공함과 동시에, 대상이 되는 얼굴이 캡처 데이터와 비율이나 생김새가 많이 다른 동물이나 괴물 같은 경우에도 의미론적으로 동일한 표정을 학습시킴으로써 성공적으로 얼굴 표정이 옮겨지도록 한다.
성능/효과
- 그림 7의 왼쪽 그래프는 PCA 를 통해 감소시킨 캡쳐데이터의 차원에 따른 결과물의 오차를 보여준다. 그래프에서 알 수 있듯이 15차원보다 더 높은 차원을 사용해도 결과물의 에러값은 크게 변화가 없음을 확인할 수 있었다. 그림 7 의 오른쪽 그래프는 우리가 제안한 대로 얼굴 영역별 그룹화를 수행하였을 때와 그룹화를 수행하지 않았을 때의 오차를 보여준다.
- 그림 7 의 오른쪽 그래프는 우리가 제안한 대로 얼굴 영역별 그룹화를 수행하였을 때와 그룹화를 수행하지 않았을 때의 오차를 보여준다. 도표에 보이는 바오* 같이 PCA의 차원이 달라지더 라도 그룹화를 수행한 쪽이 항상 더 적은 오차를 보이는 것을 확인할 수 있었다.
- 이는 학습되는데 이 터 의 차원을 감소시키 고 서로 관련성이 높은 데 이 터간 학습모델을 만 듬으로써 더 정확한 폐이 셜 리타겟팅을 가능하게 한다. 또한, 우리는 모션캡처된 3차원 마커 데이터를 그대로 사용하지 않고, 분할된 얼굴 영역을 기준으로 PCA를 통한 데이터 차원감소를 수행함으로써, 개별마커 데이터에서 오는 데이터의 노이즈를 줄이고 더 적은 데이터로 리타겟팅을 수행함으로써 계산의 효율과 정확성을 높였다.
- 우리가 제안하는 방식의 개요도는 그림 1을 통하여 확인할 수 있다. 본 논문의 결과물에서 확인할 수 있는 것처럼, 우리의 방식은 예제 표정의 추가, 삭제 가 자유롭고, 예제 표정을 만드는 과정이 직관적이며, 한 번 학습 모델이 만들어지면 리타겟팅을 수행하는 속도가 실시간에 가까울 만큼 매우 빠르다. 또한 아티스트에게 친숙한 페이셜 리그에 직접리타겟팅을 수행하므로 작업의 효율성도 크게 향상시킬 수 있다.
- 우리가 제안하는 방식은 데이터 기반 방식이므로, 불필요한 대응점 지정 단계를 수행하지 않아도 될 뿐만 아니라, 사람의 얼굴과 크게 다르게 생겨 대응점으로는 얼굴 애니메이션이 옮겨지기 어려운 캐릭터에도 의미론적으로 동일한 표정을 학습시킴으로써 얼굴 애니메이션을 옮겨줄 수 있다는 장점이 있다. 그림 11는 비인간형 캐릭터 얼굴에 대하여 우리의 방식을 적용한 결과물들을 보여주고 있다.
- 이를 통하여 애니메이션 프로덕션에서는 기존 키 프레임 애니메이션 파이프라인에 폐이셜 캡쳐 데이터를 그대로 접목시킴으로써 고품질의 얼굴 애니메이션을 효율적으로 제작할 수 있다. 우리의 결과물은 얼굴 간 대응점 지정 없이 몇 개의 예제만으로도 쉽고 간편하게 페이셜 리타겟팅을 수행할 수 있으며, 각 예제를 만드는 과정은 아티스트가 캡처된 데이터를 보고 직관적으로 제작할 수 있으며 필요에 따라 손쉽게 추가, 수정, 삭제가 가능하다.
- 우리의 방식은 RBF 학습 과정에서 연산하는 행렬의 크기는 상대적으로 작고, 실행단계에서 더 큰 행렬 연산을 수행하므로 실행시간이 학습 시 간보다 더 큰 것을 확인할 수 있다. 종합적 인 계산시간은 그래프의 수치에서 확인할 수 있듯이, RBF 네트워크를 학습 및 실행하는 연산시간 자체가 0.3초 이내에 수행되므로 예제의 추가, 삭제, 수정이 인터랙티브하게 이루어질 수 있음을 보여주고 있다.
- 이 r 개의 축에 원본 3D 마커 데이터를 프로젝션 시킴으로써, 차원의 데 이 터를 h 차원으로 줄일 수 있다. 차원의 갯수 “ 는 유저파라미 터로 리타겟팅의 결과에 따라 유저가 조절하며 선택할 수 있지만, 우리는 이 논문에서 실험한 모든 예제의 경우 최대 15차원의 데이터를사용하여도 충분히 좋은 결과물을 얻을 수 있음을 확인할 수 있었다. 이는 얼굴 마커 의 움직임이 얼굴 표면이라는 비교적 평면적인 3D 곡면에서 크게 벗어나지 않으며, 분할된 각 영역 안에서 비교적 단순한 움직임을 보이기 때문이다.
후속연구
- 따라서, 학습 과정에서 FACS 와 같은 정량화된 얼굴 모션 분석 기법에 근거하여 보다 효율적으로 얼굴 애니메이션 표현의 기저(basis) 에 해당하는 표정들을 학습시키는 방식으로 사람이 만들 수 있는 전체 표정 공간을 보장하는 학습 모델을 만들 수 있을 것이다. 하지만 이 방식의 경우 아티스트가 FACS 에 대한 이해와 함께 FACS 에 기반한 얼굴 표정 학습을수행하여야 하며, 캡처된 마커 데이터도 FACS 에 기반한 데이터 수집이 필요하다는 단점 또한 존재한다.
- 하지만 이 방식의 경우 아티스트가 FACS 에 대한 이해와 함께 FACS 에 기반한 얼굴 표정 학습을수행하여야 하며, 캡처된 마커 데이터도 FACS 에 기반한 데이터 수집이 필요하다는 단점 또한 존재한다. 본 논문에서 우리가 제안한 방식은 사람의 모든 표정 공간에 대한 완벽한 매핑 모델을 제작하기보다는, 아티스트가 대표적인 몇 개의 표정에 대해 빠르고 직관적으 로 학습시킬 수 있다는 데 강점이 있으므로, 향후 이 두 가지 방식의 장점을 조합한 사용성과 정확도가 모두 보장되는 얼굴 애니메이션 리타겟팅모델의 개발은 좋은 연구 방향이 될 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.