선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이후 전역 좌표계 기준 (0, 0, 0) 지점으로 초기 위치를 통일 시 켰으며, z축방향 (0, 0, 1)을 바라보도록 방향성을 통일시켰다. 본 논문에서 사용된 모델은 캐릭터 신체를 기준으로 하는 좌표계 의 값을 사용하기 때문에 좌표와 방향성을 통일하는 작업이 필요한 것은 아니지만, 실험 시 다양한 모션 데이터에 대한 ground truth와 모델의 출력을 간단히 육안으로 확인할 수 있는 환경을 만들기 위해 수행되었다.
- 본 논문에서는 무게 중심 정보를 통해 현재 프레임의 전신 포즈를 예측하는 모델을 제 안한다. 무게 중심 정보는 각 유형의 동작에 대응되는 독자적인 패턴을 나타내므로 이 특성을 활용하면 네트워크의 입력으로들어가는 데이터셋에 각 동작유형의 라벨을 따로 명 시하지 않아도 다양한 유형 의 동작들을 모델 스스로가 판단하고 처리할 수 있다.
- 뛰어오르는 동작과 쭈그려 앉는 동작에서는 y값의 변화가 커진다. 본 논문에서는 무게 중심 정보에 추가로 좀 더 자연스러운 결과물을만들기 위해 모션 이력 정보를추가로 활용하여 무게중심을 통한 포즈 예측의 정확성을 높였다.
- 반면 데이 터-기반 접근법은 모션 캡쳐 장비를 이용해 얻어낸 실제 사람의 여러 모션 데이터를통해 계산모델을구축하여 대상의 행동구조를 모델링하는 기술이다. 본 논문은 데이터-기반 접근법에 기반하여 연구를 수행했다. 데이터-기반 접근법의 주요 목표는 모션 캡쳐 데이터셋과 같은 고품질의 데이터 집합을 활용하여임 의 의 환경 에서 캐 릭 터 의 자연스러운 동작을 생성하는 것이다.
- 이에 본 논문에서는무게 중심이라는 캐릭터 정보에 주목했다. 무게 중심 정보는 캐릭터의 동작을 결정하는 매개변수로 사용하는데 필요한 장점을 충분히 가지고 있다.
제안 방법
- 네트워크가 작동 하려면 과거 일정 시간 동안의 모션 이 력과 현재 시점 에서의 무게중심 위치 정보가 있어야 하므로 。번째 프레임부터 시작하여 정해진 임의의 시간 동안의 이력이 담긴 모션 클립을 주고 그 이후부터의 모션을 예측하도록 했다. 모션 예측 실험은 두 가지 설정 하에 진행되었으며 네트워크 결과물의 품질은 결과물을 출력시킨 후 육안으로 평가하였다. 첫 번째 설정으로 네트워크에 입 력하는 모션 이력을 갱신할 때 네트워크의 출력값에 상관 없이 ground truth에서 현재 프레임의 모션 데이터를 연속적으로 나열한 이력 데이터에 추가했다.
- 하므로 。번째 프레임부터 시작하여 정해진 임의의 시간 동안의 이력이 담긴 모션 클립을 주고 그 이후부터의 모션을 예측하도록 했다. 모션 예측 실험은 두 가지 설정 하에 진행되었으며 네트워크 결과물의 품질은 결과물을 출력시킨 후 육안으로 평가하였다.
- 본 논문에 사용된 모델을 학습시 키는데 필요한 데이 터셋을 준비하기 위해 가공되지 않은모션 캡쳐 데이터를전처리하고 입력 및 출력 벡터를 만들었다. 네트워크는 이 학습 데이터셋을 이용하여 end-to-end 방식으로 학습되었다.
- 본 연구는 AMD 근牛이 젠 7 2700 CPU와 GeForce RTX 2070, 16GB RAM 등으로 구성된 장비에서 수행되 었으며 Python ver. 3.6 환경에 서 Pytorch ver. 1.3.1 을 사용하여 모델을 구현하고 학습시 켰다.
- 서로 fps 및 초기 위치와 초기 방향이 다르다. 본 연구에서는 먼저 각 모션 캡쳐 데이터들을 3Ofps로 샘플링하는 과정을 수행하였다. 이후 전역 좌표계 기준 (0, 0, 0) 지점으로 초기 위치를 통일 시 켰으며, z축방향 (0, 0, 1)을 바라보도록 방향성을 통일시켰다.
- 모션 이력은 일정 시간 동안의 연속된 포즈 데이터들로구성되며 시간이 흐름에 따라 자동으로 갱 신된다. 생 성 모델은 CNN과 fully-connected network로 구성된 간단한 형태의 신경망으로 구성 되었다.
- 무게 중심 좌표를 구한다. 원본 모션 캡쳐 데이터에는 캐릭터의 신체 부위별 질량에 대한 정보는 없으므로 본 연구에서는 각 신체 부위에 임의의 질량 값을 설정한후 캐릭터 전신의 무게중심 좌표를 구했다(Fig. 1 오른쪽 참조). 본 논문에서 설정한 각 신체 부위별 질량은 Table 1에서 확인할 수 있다.
- 본 연구에서는 먼저 각 모션 캡쳐 데이터들을 3Ofps로 샘플링하는 과정을 수행하였다. 이후 전역 좌표계 기준 (0, 0, 0) 지점으로 초기 위치를 통일 시 켰으며, z축방향 (0, 0, 1)을 바라보도록 방향성을 통일시켰다. 본 논문에서 사용된 모델은 캐릭터 신체를 기준으로 하는 좌표계 의 값을 사용하기 때문에 좌표와 방향성을 통일하는 작업이 필요한 것은 아니지만, 실험 시 다양한 모션 데이터에 대한 ground truth와 모델의 출력을 간단히 육안으로 확인할 수 있는 환경을 만들기 위해 수행되었다.
- 모션 예측 실험은 두 가지 설정 하에 진행되었으며 네트워크 결과물의 품질은 결과물을 출력시킨 후 육안으로 평가하였다. 첫 번째 설정으로 네트워크에 입 력하는 모션 이력을 갱신할 때 네트워크의 출력값에 상관 없이 ground truth에서 현재 프레임의 모션 데이터를 연속적으로 나열한 이력 데이터에 추가했다. 실험결과 예측(prediction) 시간에 상관 없이 비교적 안정적인 결과물을 출력하는 것을 확인했다(Fig.
- 학습된 네트워크의 성능은 학습 데이터셋에서 학습에 사용하지 않고 제외해 둔 일부 데 이 터셋을 테스트 데 이 터셋으로 사용하여 평가했다. 네트워크가 작동 하려면 과거 일정 시간 동안의 모션 이 력과 현재 시점 에서의 무게중심 위치 정보가 있어야 하므로 。번째 프레임부터 시작하여 정해진 임의의 시간 동안의 이력이 담긴 모션 클립을 주고 그 이후부터의 모션을 예측하도록 했다.
대상 데이터
- It has 15 body parts. Right : Visualization of COM.
- 걷는 동작 56개, 쭈그려 걷는 동작 6개, 기타 동작 10개로 구성된 총 72개의 데이터가 실험에 사용되었다 (사용된 데이터의 자세한 정보는 Table 3참조). 학습시 에 여러 환경 값을 설정하여 실험했으며 그 중 이력 크기 90, 커널 크기 10, 계층 수 3, 채널 수(또는 필터 수)를 첫 번째 계층은 32, 두 번째는 64, 세 번째는 128로 설정했을 때 가장 좋은 결과가 나타나는 것을 확인했다 (각 설정 값은 Table 4참조).
- 네트워크를 학습하기 위해 다양한 스타일의 걷는 동작, 쭈그려 걷는 동작 및 제자리 운동을 비롯한 기타 동작을 표현하는 모션캡쳐 데이터를 사용했다. 학습이 더 잘 되도록 모션 데이터의 각 프레임마다 앞서 설정한 모션 이력 길이만큼의 하위 모션 클립을 만들어 간단한 증강(augmentation) 효과를 주었다.
- 본 논문의 학습 데이터 는 가공되지 않은 모션 캡쳐 데이터를 사용하여 만들어진다. 다양한 스타일의 걷기, 제자리 운동 및 쭈그려 앉아 걷기로 구성된 모션 데이 터가 사용되었다.
- 실험에 사용된 생성 모델은 시계열 데이터를 처리하기 위한 3개 계층(layer)으로 구성된 CNN과 현재 모션을 예측하기 위한 2개 계층으로 구성된 fully-connected network가 결합된 간단한 구조를 가진다(Fig. 2 참조). 전체 네트워크는 현재 프레임 Z에서 무게중심 이 위치하는 3차원 위치 값 G와 과거 z 프레임 동안의 모션정보 값 虹을 입력 받아 현재 모션 정보를 예측한 값 汕를 출력한다.
- 실험에 사용된 캐릭터의 골격은 모션 캡쳐 데이터에 맞춰 15 개의 관절부로 구성했다(Fig. 1 왼쪽 참조). 따라서 캐릭터 신체는 각 관절들의 자유도(15 X 3)에 root의 위치 정보(x, y, z 좌표) 가 더해져 총48만큼의 자유도를 가진다.
데이터처리
- 즉 현재 프레임의 무게 중심 정보와과거 일정 시점까지의 모션 이 력이 담긴 데이터를 받아 현재 프레임 의 모션을 예측하는 것이 네트워크의 학습 목표인 전형 적 인 추론 작업이다. 본 논문에서는 ground truth와 예측한 결과물 간의 평균 제곱 오차(mean squared error)를 비용 함수로 사용했다. 이는 다음과 같은 간단한 수식으로 표현할 수 있다.
이론/모형
- 벡터를 만들었다. 네트워크는 이 학습 데이터셋을 이용하여 end-to-end 방식으로 학습되었다.
- 2018[ 15]은 캐릭터 애니메이션에 Recurrent Neural Network(RNN)를 활용했다. 본 논문에서는 Holden et al. 2015[1]에서 제안한 방법과 비슷하게 CNN 모델을 구성했고 이를 사용하여 모션 데이터를 학습시켰다. 이에 대한 자세한 내용은 Section 3.
- 또한 CNNe 이미지 분류[16], 음성 인식[1 기 등의 분야 뿐만 아니라 모션 데이터의 매 니폴드(manifold)를 학습하는 데 적용해도 좋은 성과를 나타낸다는 것이 알려졌다[1]. 이에 본 논문에서는 Holden et al. 2015[1]가 제안한 방법으로 CNN 을 사용하여 시계열 데이터를 처 리하는 네트워크를 만들었다.
- 학습시 에 여러 환경 값을 설정하여 실험했으며 그 중 이력 크기 90, 커널 크기 10, 계층 수 3, 채널 수(또는 필터 수)를 첫 번째 계층은 32, 두 번째는 64, 세 번째는 128로 설정했을 때 가장 좋은 결과가 나타나는 것을 확인했다 (각 설정 값은 Table 4참조). 최적화를 위해 Stochastic Gradient Descent(SGD) 알고리즘을 사용했다. 이와 같은 환경 에서 학습을 완료하기까지 약 10-12시간이 소요되었다.
성능/효과
- 두 번째 설정으로는 연속적으로 나열된 이력 데이터에 네트워크의 예측 값을 추가하는 방법이었는데 모션 예측 시간이 길어질수록 모션 이력에 네트워크의 오차가 쌓여나가 결과물의 품질이 빠르게 악화되는 문제가 있었다.
- 사용자와 상호작용이 가능한 모델을 만들기 위해 현재 모델의 학습 및 실행방식을 개선하는 것이 필요하다. 본 논문의 모델은 모션 이 력에 ground truth가 들어가는 방식에서는 성공적으로 작동하는 것을 확인했다. 하지만 다르게 말해서 이는 ground truth가 계속해서 공급되어야 지속적으로 품질 높은 모션을 만들어 낼 수 있는 방식으로, 상호작용 가능한 응용 프로그램에 적합한 형태는 아니다.
- 본 논문의 시스템에 사용자의 조작을 입력 받아 무게중심을 원하는 위치로 변환시킬 수 있는 인터페이스를추가하면 상호작용이 가능한 캐릭터 애니메이션 모델을 구현할 수 있다. 이 시스템에서 사용자는 마우스로 무게중심을 드래그 앤 드롭하는 것과 같은 간단한 조작만으로 달리기, 쭈그려 앉아 걷기 같은 다양한 동작을 구현해 낼 수 있다.
- 학습 및 결과 출력에 각 관절의 각도를 이용했으므로 원본 모션과의 오차는 관절 각도의 차이를 기준으로 계산되었다. 비교 결과 가장 데이터가 많은 걷는동작이 오차가 제일 낮았으며 비교적 데이터가 적은 쭈그려 걷는 동작도 잘 만들어 내는 것을 확인했다. 기타 동작의 경우 제자리 운동이나 뒤로 걷는 동작 등 소수의 여러 동작들로 구성되어 있기에 가장 낮은 정확도를 보였다.
- 본 논문의 실험 결과로도 무게중심의 위치정보가 다양한 유형 의 모션을 다룰 수 있는 가능성을 보여줄 수 있으나 공중제비 같은 특수한 동작에 대한 학습 결과를 실질적으로 확인할 수 없었던 것은 아쉬운 점이다. 실험 결과에서 학습된 모델이 만들어 낸 결과물에서 발이 미끄러지듯움직이는 문제가 발생하는 것이 관찰되었다. 이런 현상은 여러 캐릭터 애니메이션 연구들에서 꾸준히 언급된 현상이며, 학습 데이터가 부족한 경우 발생하기 쉽다는 것이 보고된 바 있다[4].
- 첫 번째 설정으로 네트워크에 입 력하는 모션 이력을 갱신할 때 네트워크의 출력값에 상관 없이 ground truth에서 현재 프레임의 모션 데이터를 연속적으로 나열한 이력 데이터에 추가했다. 실험결과 예측(prediction) 시간에 상관 없이 비교적 안정적인 결과물을 출력하는 것을 확인했다(Fig. 5 참조).
- 정보는 Table 3참조). 학습시 에 여러 환경 값을 설정하여 실험했으며 그 중 이력 크기 90, 커널 크기 10, 계층 수 3, 채널 수(또는 필터 수)를 첫 번째 계층은 32, 두 번째는 64, 세 번째는 128로 설정했을 때 가장 좋은 결과가 나타나는 것을 확인했다 (각 설정 값은 Table 4참조). 최적화를 위해 Stochastic Gradient Descent(SGD) 알고리즘을 사용했다.
후속연구
- 여러 유형 의 동작들 간의 전환이 있는 학습 데이터셋을 만들 수 있는 데이터 증강 기법을 활용하고 이를 통해 네트워크를 학습시켜 볼 수도 있다. 그 결과학습이 완료된 모델은 캐릭터가 다양한 모션간의 전환을 자연스럽게 할 수 있게 만들어 줄 것이다.
- 이를 통해 사용자는 전처리 과정에서 각 동작 유형에 대해 수동으로 라벨링 해 줘야 하는 부담을 덜어 편의성과 효율성을 얻을 수 있으며 다양한동작에 대한잘못된 라벨링이 발생할 위험을 피할 수 있다. 본 논문에서 제안하는 기법은 사용자가 무게중심을 직접 조작하면 모델에서 이를 입력받아 적합한 모션을 예측하는 형태로 활용될 수 있을 것이다.
- 한계점이 있다. 본 논문의 실험 결과로도 무게중심의 위치정보가 다양한 유형 의 모션을 다룰 수 있는 가능성을 보여줄 수 있으나 공중제비 같은 특수한 동작에 대한 학습 결과를 실질적으로 확인할 수 없었던 것은 아쉬운 점이다. 실험 결과에서 학습된 모델이 만들어 낸 결과물에서 발이 미끄러지듯움직이는 문제가 발생하는 것이 관찰되었다.
- 앞으로의 주된 연구는 이 논문에서 보인 모델의 한계점을 극복하고 생성된 결과물의 품질을 향상시키는 방향이 될 것이다. 대표적으로 발이 미끄러지는 문제는 캐릭터 의 모션을 부자연스럽 게 만드는 치명적인 문제이며 자연스러운동작을 위해서는 필수적으로 해결해야 할 문제이다.
- 2018[15]에서는 이 러한 문제를 발의 지면 접촉 정보를 매개변수화 한 뒤 입력 데이 터 에 추가하여 네 트워 크를 학습시 키는 방법을 제안한 바 있다. 이 방법을 비롯하여 여러 해결 방법들을 본 연구에서 사용된 모델에 접목시 켜 개선된 결과를 확인할 수 있을 것이다. 사용자와 상호작용이 가능한 모델을 만들기 위해 현재 모델의 학습 및 실행방식을 개선하는 것이 필요하다.
- 이 시스템에서 사용자는 마우스로 무게중심을 드래그 앤 드롭하는 것과 같은 간단한 조작만으로 달리기, 쭈그려 앉아 걷기 같은 다양한 동작을 구현해 낼 수 있다. 이는 사용자와의 상호작용이 중요한 비디오/컴퓨터 게임 분야에 효과적으로 적용하거나관련 업계 종사자가 캐 릭 터 모션을 간단히 만들 수 있게 보조하는데 유용하게 사용될 수 있을 것이다.
- 또한 무게중심 값은 핵심입력값이며 사용자의 직접적인 조작을 받는 값이므로 안정적인 성능을 보장할 안전장치가 필요하다. 하지만 현재 연구에 사용된 모델은 잘못된 입 력값에 대한 안전장치가 없기 에 입 력으로 들어오는 무게중심 값에 갑작스럽고 과도한 변화가 생기는 경우 해당 프레임 뿐만아니라그이후의 모든 프레임에서 의미 없는 결과를 만들게 될 것이다. 이 문제는 입력으로 들어오는 무게중심 값에 제한을 두어 이전 프레임 대비 일정 거리 이상 떨어진 좌표값이들어오는 경우 방향성만 유지한 채 최대 제한 거리 내의 좌표값으로 수정해 주는 안전장치를 도입하는 것으로 해결할 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.