본 논문에서는 인체 모션 데이터를 공간적 제약이 많은 환경 속에 있는 휴머노이드의 몸체에 맞추어 리타겟팅하는 기술을 소개한다. 주어진 모션 데이터는 물체를 손으로 잡거나 장애물 사이를 피해 다니는 등의 세밀한 인터랙션을 포함하고 있다고 가정한다. 또한 휴머노이드의 관절 구조는 인체 관절 구조와 다르며 주변 환경의 모양도 원본 모션이 촬영 될 당시와 서로 다르다고 가정한다. 이러한 조건 하에서 단순히 몸체의 변화만 고려한 리타겟팅 기법을 적용한다면 원본 모션 데이터에서 나타난 인터랙션의 내용을 그대로 보존하기 어렵다. 본 논문에서는 모션 데이터를 휴머노이드 몸체에 맞게 리타겟팅하는 문제와 인터랙션의 내용을 보존하는 문제를 나누어서 독립적으로 해결하는 방법을 제안한다. 먼저 환경 모델과의 인터랙션은 무시하고 모션 데이터를 휴머노이드 몸체에 맞게 리타겟팅 한다. 다음, 환경 모델의 모양을 휴머노이드 모션에 부합하도록 변형하여 원본 데이터에서 나타난 인터랙션이 재현되도록 한다. 마지막으로 휴머노이드 몸체와 환경 모델 사이의 공간적 상관 관계에 대한 제약 조건을 설정하고 환경 모델은 다시 원래 모양으로 되돌린다. 보스턴 다이나믹 사의 아틀라스 로봇 모델을 사용한 실험을 통해 제시된 방법의 유용성을 검증하였다. 향후 모션 데이터 트레킹을 통한 휴머노이드 동작 제어 문제에 사용될 수 있을 것으로 기대된다.
본 논문에서는 인체 모션 데이터를 공간적 제약이 많은 환경 속에 있는 휴머노이드의 몸체에 맞추어 리타겟팅하는 기술을 소개한다. 주어진 모션 데이터는 물체를 손으로 잡거나 장애물 사이를 피해 다니는 등의 세밀한 인터랙션을 포함하고 있다고 가정한다. 또한 휴머노이드의 관절 구조는 인체 관절 구조와 다르며 주변 환경의 모양도 원본 모션이 촬영 될 당시와 서로 다르다고 가정한다. 이러한 조건 하에서 단순히 몸체의 변화만 고려한 리타겟팅 기법을 적용한다면 원본 모션 데이터에서 나타난 인터랙션의 내용을 그대로 보존하기 어렵다. 본 논문에서는 모션 데이터를 휴머노이드 몸체에 맞게 리타겟팅하는 문제와 인터랙션의 내용을 보존하는 문제를 나누어서 독립적으로 해결하는 방법을 제안한다. 먼저 환경 모델과의 인터랙션은 무시하고 모션 데이터를 휴머노이드 몸체에 맞게 리타겟팅 한다. 다음, 환경 모델의 모양을 휴머노이드 모션에 부합하도록 변형하여 원본 데이터에서 나타난 인터랙션이 재현되도록 한다. 마지막으로 휴머노이드 몸체와 환경 모델 사이의 공간적 상관 관계에 대한 제약 조건을 설정하고 환경 모델은 다시 원래 모양으로 되돌린다. 보스턴 다이나믹 사의 아틀라스 로봇 모델을 사용한 실험을 통해 제시된 방법의 유용성을 검증하였다. 향후 모션 데이터 트레킹을 통한 휴머노이드 동작 제어 문제에 사용될 수 있을 것으로 기대된다.
In this paper, we introduce a technique to retarget human motion data to the humanoid body in a constrained environment. We assume that the given motion data includes detailed interactions such as holding the object by hand or avoiding obstacles. In addition, we assume that the humanoid joint struct...
In this paper, we introduce a technique to retarget human motion data to the humanoid body in a constrained environment. We assume that the given motion data includes detailed interactions such as holding the object by hand or avoiding obstacles. In addition, we assume that the humanoid joint structure is different from the human joint structure, and the shape of the surrounding environment is different from that at the time of the original motion. Under such a condition, it is also difficult to preserve the context of the interaction shown in the original motion data, if the retargeting technique that considers only the change of the body shape. Our approach is to separate the problem into two smaller problems and solve them independently. One is to retarget motion data to a new skeleton, and the other is to preserve the context of interactions. We first retarget the given human motion data to the target humanoid body ignoring the interaction with the environment. Then, we precisely deform the shape of the environmental model to match with the humanoid motion so that the original interaction is reproduced. Finally, we set spatial constraints between the humanoid body and the environmental model, and restore the environmental model to the original shape. To demonstrate the usefulness of our method, we conducted an experiment by using the Boston Dynamic's Atlas robot. We expected that out method can help the humanoid motion tracking problem in the future.
In this paper, we introduce a technique to retarget human motion data to the humanoid body in a constrained environment. We assume that the given motion data includes detailed interactions such as holding the object by hand or avoiding obstacles. In addition, we assume that the humanoid joint structure is different from the human joint structure, and the shape of the surrounding environment is different from that at the time of the original motion. Under such a condition, it is also difficult to preserve the context of the interaction shown in the original motion data, if the retargeting technique that considers only the change of the body shape. Our approach is to separate the problem into two smaller problems and solve them independently. One is to retarget motion data to a new skeleton, and the other is to preserve the context of interactions. We first retarget the given human motion data to the target humanoid body ignoring the interaction with the environment. Then, we precisely deform the shape of the environmental model to match with the humanoid motion so that the original interaction is reproduced. Finally, we set spatial constraints between the humanoid body and the environmental model, and restore the environmental model to the original shape. To demonstrate the usefulness of our method, we conducted an experiment by using the Boston Dynamic's Atlas robot. We expected that out method can help the humanoid motion tracking problem in the future.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이러한 연구들은 캐릭터의 모양과 함께 관절의 연결 구조가크게 변하고 동시에 환경의 모양도 변하는 경우에는 적용되기 어렵다. 본 논문에서는 Rami Ali Al-Asqhar [14]의 기술을 바탕으로 주어진 휴머노이드 모델의 관절구조와 새로운 환경 모델의 모양을 고려하여 복잡한 인터랙티브 모션을 리타겟팅하는 기술을 소개한다.
본 논문에서는 주어진 인터랙션 모션 데이터를 새로운 환경 속에 놓인 휴머노이드의 인터랙션 모션으로 리타겟팅하는기술을 제시한다. 접근 방법은 원본 모션을 휴머노이드 몸체로 리타겟팅하는 문제와 인터랙션 모션의 공간적 상관관계를 유지하는 문제를 나누어서 각각 해결한 후 다시 합치는 것이다.
Alessandro Di Fava 와 동료들 [10]은 주변 환경과의 인터랙션을 고려한 실험을 진행하였으나, 인간 모션 주변의 환경과 휴머노이드 주변의 환경이 유사한 경우에만 적용 가능하다. 본 논문에서는 휴머노이드 주변 환경이 원본모션데이터가캡쳐될 때의 주변 환경과 크게 다른 경우에 대한 인터 랙션 모션리 타겟 팅 문제를 다룬다.
본 논문은 인간모션 데 이 터로 리 타겟 팅된 휴머노이드와 주변환경과의 상관 관계를 계산하여 인터랙션 모션으로리타겟팅하는 방법을 제시하였다. 본 논문에서 제안한 방법을 사용하면, 여러 환경과 인터랙션 모션을 이용하여 휴머노이드를 변형 할 수 있다.
본 논문은 향후 가상의 휴머노이드를 물리적 환경에서 적용하는 연구로 확장할 예정이다. 본 논문의 궁극적인 목적은 실제 휴머노이드 로봇에게 적용하는 것으로, 물리적 법칙이 적용된 모션을 사용하면 물리적으로 안정적인 휴머노이드 모션을 제작 할 수 있을 것으로 본다. 또한 자동차와 더불어 자전 거와 오토바이 같은 다양한 환경 에서 실험하여도, 물리적 법칙을 적용한 휴머노이드가 다양한 환경과 인터 랙션 동작을 할 수 있는 방향으로 발전 할 것으로 본다.
가설 설정
되돌린다. 디스크립터 포인트는 환경 모델 표면에 붙어 있다고 가정한다. 즉 환경 모델 모양이 변형될 때 모든디스크립터 포인트에도동일한 변형이 가해져 해당하는 지역 좌표계의 위치와 방향이 동시에 변화하게 된다.
제안 방법
아래와 같이 계산된 AP| 를 P)더하는 과정을 반복함으로써 길이를 보정할 수 있다. (본 연구 실험에서는 3 번 반복 적용하였다).
공간적 상관관계를 계산한다. 먼저 R. A. A1-A sqhar 와 그 동료들 [4] 이 제안한 상관관계 디스크립터 (Relationship Descriptor) 를 이용하여 휴머노이드 모션과 환경 모델 사이의 상관관계를 계산하는 방법을 설명하고, 계산된 상관관계를 제약조건으로 설정한 후 환경 모델의 모양의 원래대로 되돌리는 방법을 설명할 것이다.
이와 같은 어려움을 피하고 보다 정확하고 정교한 인터 랙션복원을 기대하기 위해 본 논문에서 제시하는 방법은 환경 모델의 세부 내용을 모두 파악하고 있는 사용자가 직접 그 모양을 변형하여 휴머노이드 모션에 맞추도록 하는 것이다. 본 논문에서 실시된 실험에서는 구현의 편의를 위해 선형변형 (Linear deformation) 만을 허용하는 사용자인터페이스를 구현하여 사용하였다. 하지만 필요한 경우 환경 모델에 대한 비선형 변형을 허용 할 수 있다.
방법을 제시하였다. 본 논문에서 제안한 방법을 사용하면, 여러 환경과 인터랙션 모션을 이용하여 휴머노이드를 변형 할 수 있다. 비록 아틀라스 모델만으로 실험하였으나, 향후 다른 휴머노이드 모델에도 적용할 수 있을 것으로 본다.
본 논문은 주변 환경과 휴머노이드의 인터 랙션을 계산하기 위하여 주변 환경 모델을 사용자가 직접 손으로 위치와 크기를 변형시켰다. 이는 주변 환경에 대해 많은 정보를 가지고 있는 사용자가 직접 변형하는 것이 자동으로 환경 모델을 변형하는 것보다 사물에 대한 판단이 수월하기 때문이다.
본논문의 구성은 첫 번째로 인간모션 데이터와환경 모델을 변형하는 방법에 대해 서술하며, 두 번째로 로봇 모션과 주변 환경 간의 공간적 관계를 계산하는 방법에 대해 설명한다. 마지막으로 제안하는 기법을 이용해 적용한 실험 결과를 설명한다.
사람이 자동차 운전석에 타는 모션 데이터를 사용하여 휴머노이드 로봇이 자동차에 타는 모션을 만드는 실험을 진행하였다. 보스톤 다이 나믹사에서 제작한 아틀라스 로봇 모델과 폴라리스라는 자동자 모델을 사용하였다.
확대 또는 축소한다. 이를 위해 두 몸체를 티-포즈 (T-Pose) 자세로 만든 상태에서 일대 일 대응이 가능한 관절들 (허리, 고관절, 무릎, 발목, 어깨, 팔꿈치, 손목, 목)의 위치 가서로 일치되도록 원본 모션 데이터의 각 뼈 마디 길이를 조정 한다. 크기가 조정된 모션을 M'= {m;|l < i V n} 라고 하자.
따라서 단순히 기하학적 모양만을 비교하여 서로 다른 두 모델 사이의 부분별 대응관계를 정밀하게 설정하기 어렵다. 이와 같은 어려움을 피하고 보다 정확하고 정교한 인터 랙션복원을 기대하기 위해 본 논문에서 제시하는 방법은 환경 모델의 세부 내용을 모두 파악하고 있는 사용자가 직접 그 모양을 변형하여 휴머노이드 모션에 맞추도록 하는 것이다. 본 논문에서 실시된 실험에서는 구현의 편의를 위해 선형변형 (Linear deformation) 만을 허용하는 사용자인터페이스를 구현하여 사용하였다.
즉, 일정한 시간 간격으로 hj 를 샘플링하여 IK (Inverse Kinematics)를 적용한 후, 각 구간 사이는 스플라인 보간 (Spline Interpolation)을 적용해 채움으로써 전체 모션을 완성한다. 오차가 임계치 이하로 떨어질 때까지 샘플링 해상도를 높여가면서 이 과정을 반복한다.
표현법 이다. 즉, 전 역 좌표계를 사용하는 대신, 환경 모델 표면에서 샘플링 된 점을 원점으로 하는 지역 좌표계를 사용하여 관절의 위치를 표현한다. 예를 들어 모션 데이터에 특정 프레임에서 나타난 j 번째 관절의 위치를 하나의 상관관계 디스크립터를 사용하여 표현한다면 다음과 같은 식으로 표현된다.
환경 모델과휴머노이드 사이의 올바른 인터 랙션이 재현되는 상태에서 공간적 상관관계를 계산한다. 먼저 R.
대상 데이터
Human body consists of 19 ball-and-socket joints. Atlas body consists of 28 hinge joints.
Both characters have a difference in number and type of joints. Human body consists of 19 ball-and-socket joints. Atlas body consists of 28 hinge joints.
사람이 자동차 운전석에 타는 모션 데이터를 사용하여 휴머노이드 로봇이 자동차에 타는 모션을 만드는 실험을 진행하였다. 보스톤 다이 나믹사에서 제작한 아틀라스 로봇 모델과 폴라리스라는 자동자 모델을 사용하였다. 그림 2(a)는 원본 모션 데 이 터의한 장면 이다.
본 논문에서 제시하는 방법의 유용성을 증명하기 위해, 실제 존재하는 휴머노이드 로봇인 보스턴 다이나믹스 (Boston Dynamics)사의 아틀라스 (Atlas) 로봇과 폴라리스 (Polaris) 자동차 모델을 사용하여 실험을 하였다. 그 결과, 시 각적으로합당한 로봇 동작이 생성 되었음을 확인하였다.
본 논문을 위해 실시된 실험에서는 Intel® Core™ i7-4770 CPU 와 GeForce GT 750Ti 가 장착되어 있는 컴퓨터를 사용하였다. 사람이 자동차 운전석에 타는 모션 데이터를 사용하여 휴머노이드 로봇이 자동차에 타는 모션을 만드는 실험을 진행하였다.
이론/모형
위의 최적화문제를풀기 위해서 Jehee Lee 와 Sung Yong Shin [15]가 제시한 멀티해상도 모션 에 디 팅 기법을 사용하였다. 즉, 일정한 시간 간격으로 hj 를 샘플링하여 IK (Inverse Kinematics)를 적용한 후, 각 구간 사이는 스플라인 보간 (Spline Interpolation)을 적용해 채움으로써 전체 모션을 완성한다.
성능/효과
반면, 자유도 1 의 힌지 조인트를 사용하는 경우 4~6 개의 조인트가 필요하다. 그 결과 모션 데이터의 몸체와 휴머노이드의 몸체 가 서로 전체 적 인 모양을 비슷하더 라도 관절 개수와 연 결관 계에는 큰 차이가 있을 수 있다. 이러한 차이 때문에 모든 관절에 대해서 일대일 대응 관계를 설정할 수 없으며, 단순히 관절의 각도를복사하는 방법의 리 타겟 팅은 적용할 수 없다.
모델을 사용하여 실험을 하였다. 그 결과, 시 각적으로합당한 로봇 동작이 생성 되었음을 확인하였다. 즉, 주변 환경을 변화시켜도 로봇의 모션은 흐트러짐이 없이 그대로 유지하되 주변 환경에 맞춰서 자연스럽게 움직이는 결과를 얻었다.
본 논문에서 활용한 주변 환경 모델과 모션 사이의 공간적 관계를 계산한 방법은 여러 환경의 변화에도 자연스러운 모션을 나타낼 수 있다. 그러나 모델의 크기가 급격하게커지 거 나작아지고 위치 가 갑작스럽 게 변하게 될 경우 사용자 눈으로 보기에도 어색하고부자연스러운모션으로 변형된다.
그림 7(b)는자동차 모양을 임의로 변형해 본 결과이다. 아틀라스 모션 공간적 상관관계를 유지하기 위해 최적화 됨을 확인할 수 있다.
그 결과, 시 각적으로합당한 로봇 동작이 생성 되었음을 확인하였다. 즉, 주변 환경을 변화시켜도 로봇의 모션은 흐트러짐이 없이 그대로 유지하되 주변 환경에 맞춰서 자연스럽게 움직이는 결과를 얻었다.
그림 7(a)는 최종 결과를 나타낸다. 환경 모델을 원래 모양으로 되돌리는 과정에서 휴머노이드 모션도 최적화되었으며 그 결과 원본 모션에서의 사람과 자동차 모델 사이의 인터랙션이 그대로재현됨을확인 하였다.그림 7(b)는자동차 모양을 임의로 변형해 본 결과이다.
후속연구
본 논문의 궁극적인 목적은 실제 휴머노이드 로봇에게 적용하는 것으로, 물리적 법칙이 적용된 모션을 사용하면 물리적으로 안정적인 휴머노이드 모션을 제작 할 수 있을 것으로 본다. 또한 자동차와 더불어 자전 거와 오토바이 같은 다양한 환경 에서 실험하여도, 물리적 법칙을 적용한 휴머노이드가 다양한 환경과 인터 랙션 동작을 할 수 있는 방향으로 발전 할 것으로 본다.
이러한 방향으로 향후 공간적 관계 계 산을 향상 시 킬 수 있을 것이 다. 본 논문은 향후 가상의 휴머노이드를 물리적 환경에서 적용하는 연구로 확장할 예정이다. 본 논문의 궁극적인 목적은 실제 휴머노이드 로봇에게 적용하는 것으로, 물리적 법칙이 적용된 모션을 사용하면 물리적으로 안정적인 휴머노이드 모션을 제작 할 수 있을 것으로 본다.
본 논문에서 제안한 방법을 사용하면, 여러 환경과 인터랙션 모션을 이용하여 휴머노이드를 변형 할 수 있다. 비록 아틀라스 모델만으로 실험하였으나, 향후 다른 휴머노이드 모델에도 적용할 수 있을 것으로 본다.
이외에도 물리적 법칙을 적용하여 충돌에 대한 검증을 한 다음 모션을 역기 구학으로 변환시키는 방법도 적용할 수 있다. 이러한 방향으로 향후 공간적 관계 계 산을 향상 시 킬 수 있을 것이 다. 본 논문은 향후 가상의 휴머노이드를 물리적 환경에서 적용하는 연구로 확장할 예정이다.
이는 주변 환경에 대해 많은 정보를 가지고 있는 사용자가 직접 변형하는 것이 자동으로 환경 모델을 변형하는 것보다 사물에 대한 판단이 수월하기 때문이다. 향후 모션에 부합할 수 있는 환경 모델을자동적으로 변형하는 연구도 진행하여, 제안한 방법을 보다 발전시키는 방안도 고려해 본다. 예를 들어 캐릭터의 특정 부분이 반드시 닿아야 하는 위치가 있도록 지정하는 등의 일정한 제약조건을 주는 방법 등이 있다.
참고문헌 (16)
Matsui, Daisuke and Minato, Takashi and MacDorman, Karl F and Ishiguro, Hiroshi, "Generating natural motion in an android by mapping human motion", Intelligent Robots and Systems, 2005. (IROS 2005). 2005 IEEE/RSJ International Conference on, pp. 3301-3308, 2005.
Riley, Marcia and Ude, Ales and Wade, Keegan and Atkeson, Christopher G, "Enabling real-time full-body imitation: a natural way of transferring human movement to humanoids", Robotics and Automation, 2003. Proceedings. ICRA'03. IEEE International Conference on, Vol. 2, pp. 2368-2374, 2003.
Terlemez, O mer and Ulbrich, Stefan and Mandery, Christian and Do, Martin and Vahrenkamp, Nikolaus and Asfour, Tamim "Master Motor Map (MMM) - Framwork and Toolkit for Capturing, Representing, and Reproducing Human Motion on Humanoid Robots," Humanoid Robots (Humanoids), 2014 14th IEEE-RAS International Conference on, pp.894-901, 2014.
Ramos, Oscar E and Mansard, Nicolas and Stasse, Olivier and Benazeth, Christophe and Hak, Sovannara and Saab, Layale, "Dancing Humanoid Robots: Systematic Use of OSID to Compute Dynamically Consistent Movements Following a Motion Capture Pattern," IEEE Robotics \& Automation Magazine, Vol. 22, No. 4, pp. 16-26, 2015.
Di Fava, Alessandro and Bouyarmane, Karim and Chappellet, Kevin and Ruffaldi, Emanuele and Kheddar, Abderrahmane, "Multi-contact motion retargeting from human to humanoid robot," Humanoid Robots (Humanoids), 2016 IEEE-RAS 16th International Conference on, pp. 1081-1086, 2016
Safonova, Alla and Pollard, Nancy and Hodgins, Jessica K, "Optimizing human motion for the control of a humanoid robot." Proc. Applied Mathematics and Applications of Mathematics, Vol. 78, 2003.
Zheng, Yu and Yamane, Katsu, "Human motion tracking control with strict contact force constraints for floating-base humanoid robots." Humanoid Robots (Humanoids), 2013 13th IEEE-RAS International Conference on. pp. 34-41, 2013.
Kim, Mingon and Kim, Sanghyun and Park, Jaeheung, "Human motion imitation for humanoid by Recurrent Neural Network," Ubiquitous Robots and Ambient Intelligence (URAI), 2016 13th International Conference on, pp. 519-520, 2016
Yin, KangKang and Loken, Kevin and van de Panne, Michiel, "SIMBICON: Simple Biped Locomotion Control," ACM Transactions on Graphics (TOG), Vol. 26, No. 3, pp. 105, 2007
Sok, Kwang Won and Kim, Manmyung and Lee, Jehee, "Simulating, Biped Behaviors from, Human Motion Data," ACM Transactions on Graphics (TOG), Vol. 26, No. 3, pp. 107, 2007.
Jain, Sumit and Liu, C Karen, "Controlling physics-based characters using soft contacts." ACM Transactions on Graphics (TOG), Vol. 30, No. 6, pp. 163, 2011
Lee, Yoonsang and Lee, Kyungho and Kwon, Soon-Sun and Jeong, Jiwon and O'Sullivan, Carol and Park, Moon Seok and Lee, Jehee, "Push-Recovery Stability of Biped Locomotion," ACM Transactions on Graphics (TOG), Vol. 34, No. 6, pp. 180, 2015
Choi, Myung Geol and Kim, Manmyung and Hyun, Kyung Lyul and Lee, Jehee, "Deformable Motion: Squeezing into Cluttered Environments" Computer Graphics Forum, Vol. 30, No. 2, pp. 445-453, 2011
Al-Asqhar, Rami Ali and Komura, Taku and Choi, Myung Geol, "Relationship descriptors for interactive motion adaptation," Proceedings of the 12th ACM SIGGRAPH/Eurographics Symposium on Computer Animation, pp. 45-53, 2013
Lee, Jehee and Shin, Sung Yong, "A Hierarchical Approach to Interactive Motion Editing for Human-like Characters," Proceedings of the 26th annual conference on Computer graphics and interactive techniques, pp. 39-48, 1999.
Tonneau, Steve and Al-Ashqar, Rami Ali and Pettr{\'e}, Julien and Komura, Taku and Mansard, Nicolas, "Character contact re-positioning under large environment deformation" Computer Graphics Forum, Vol. 35, No. 2, pp. 127-138, 2016
※ AI-Helper는 부적절한 답변을 할 수 있습니다.