[논문]이미지에서 3차원 인물복원 기법을 사용한 패션쇼 애니메이션 생성기법

안희준; 미나르 마드올 라흐만

doi:10.9723/jksiis.2019.24.5.017

이미지에서 3차원 인물복원 기법을 사용한 패션쇼 애니메이션 생성기법
Fashion-show Animation Generation using a Single Image to 3D Human Reconstruction Technique 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.24 no.5, 2019년, pp.17 - 25

안희준 (서울과학기술대학교 전기정보공학과) , 미나르 마드올 라흐만 (서울과학기술대학교 전기정보공학과)

초록
AI-Helper

본 논문은 단일 이미지를 패션쇼 워킹 영상으로 변환하는 기술을 소개한다. 일반인이 가상으로 패션모델이 되어 보는 흥미로운 응용일 뿐 아니라, 나아가 가상 착용기술과 함께 결합하게 되면 의상착용결과의 동적인 확인이 가능한 기술이다. 본 논문에서 사용한 기술은 이미지에서 3차원 인간신체 모델을 추정 복원해 주는 SMPLify 기법에 기초하여, 인체 모델에서 의상을 포함한 사람으로 모델을 확장하고, 이에 애니메이션 기법을 적용하여 구현되었다. 인체와 의상을 포한한 사람의 3차원 모델은 2차원 이미지 상에서 기하변형과 깊이정보를 사용하여 복원하였다. 패션 데이터 셋에 적용해 본 결과 정자세의 경우에는 성공적인 수준의 결과를 보였으나, 상용수준의 성능을 위해서는 이미지의 분할 기술, 매핑기술 및 가려진 영역의 복원기술 등 선 후처리 기술에 보완이 필요한 것으로 확인되었다.

Abstract ▼ AI-Helper

In this paper, we introduce the technology to convert a single human image into a fashion show animation video clip. The technology can help the customers confirm the dynamic fitting result when combined with the virtual try on technique as well as the interesting experience to a normal person of being a fashion model. We developed an extended technique of full human 2D to 3D inverse modeling based on SMPLify human body inverse modeling technique, and a rigged model animation method. The 3D shape deformation of the full human from the body model was performed by 2 part deformation in the image domain and reconstruction using the estimated depth information. The quality of resultant animation videos are made to be publically available for evaluation. We consider it is a promising approach for commercial application when supplemented with the post - processing technology such as image segmentation technique, mapping technique and restoration technique of obscured area.

주제어

표/그림 (9)

그림 Fig. 1 The Input and Final VTON Image (enlarged)(Left: Upper & Skirt, Right: Upper & Pants)(Ahn, 2018b)
그림 Fig. 2 The Image to Fashion Animation System
그림 Fig. 3 SMPL Model Parameters and Formation(Lopper et al., 2016)
그림 Fig. 4 Rest Pose Construction Formula
그림 Fig. 5 Rest Pose Construction Examples
그림 Fig. 6 SMPLify Result Analysis (Fashion Dataset)(Leg/Height, Ankle/Confidence)
그림 Fig. 7 2D Node Corresponding Points and Deformation Result (Top Left: Mapping from Edge Nodes to Mask Silhouette, Top Right: Mapping from Mask Silhouette to Edge Nodes, Bottom Left: Deformed Mesh, and Bottom Right: Re-projected)
그림 Fig. 8 3D Reconstructed Example (the Original, 0^o, 45^o, 90^o, and 135^o Angle Views)
그림 Fig. 9 Fashion Show Walking Animation Results 150th Frame (The Video Clips are available at Youtube Site)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

결과 제시는 정성적인 성능평가를 같이하며, 특히 제안된 방식의 문제점들을 분석한다. 결론에서 발견된 문제점들에 대한 장-단기적 해법에 대하여 논거하고, 나아가 본 논문이 가상 착용기술과 결합하였을 때 어떤 결과물을 나을 수 있을지에 대하여 기술한다.
본 논문은 한 장의 의상을 입은 전신 이미지로 패션쇼에 모델로 동작하는 애니메이션 영상을 만드는 기술을 제안한다. 논문은 앞서 계속 연구 중인 가상착용기술에 대한 연구의 과정에서 사용자가 의상을 입었을 때 단순히 하나의 이미지 이상의 다양한 각도와 동작에서 어떻게 보여질 것인가 하는 것을 평가하기 위한 목적으로 시작되었다. 현재는 그 중간 결과로 의상 교체 없이 이미지의 대상으로부터 3차원 모델을 복원하고 이를 애니메이션 하는 기술을 개발하였다.
또한, 서론에서도 언급한 바와 같이 본 논문은 가상착용 결과의 효과적인 시각화하기 위한 기술의 일부로 개발되었다. 즉 단순히 최종적으로 가상착용 결과 3차원 모델을 다각적으로 보여주고 동적으로 움직이는 것을 목적으로 하였지만, 3차원 복원 기술은 다양한 영역에 적용할 수 있을 것으로 판단된다.
본 논문에서는 주어진 2차원 이미지의 사람의 실루엣 정보를 이용하는 방법을 개발하였다. 단계 1) 우선 이를 위하여 인체 모델의 3D 메시 노드를 카메라 모델을 사용하여 2차원 이미지에 투영한다.
본 논문은 한 장의 의상을 입은 전신 이미지로 패션쇼에 모델로 동작하는 애니메이션 영상을 만드는 기술을 제안한다. 논문은 앞서 계속 연구 중인 가상착용기술에 대한 연구의 과정에서 사용자가 의상을 입었을 때 단순히 하나의 이미지 이상의 다양한 각도와 동작에서 어떻게 보여질 것인가 하는 것을 평가하기 위한 목적으로 시작되었다.
동작파일은 최근 애니메이션 업체나 사람의 동작을 연구하는 기관들에 의하여 MoCap이라는 이름으로 이러한 파일을 제공하고 있다. 이 논문에서는 이를 이용하여 동작파일의 조인트 정보를 적용하여 패션쇼에서 걷기 하는 애니메이션 영상을 제작한다.
본 논문에서는, 전면 의상확보가 가능한 정면으로 서있는 자세를 중심으로만 실험하였다. 하지만 정면자세에도 팔이 몸을 가르고 있거나 다리를 교차하고 있는 자세 등이 포함되어 있고, 모자를 쓰고 있거나 긴 머리 로 몸의 일부를 가리는 등 쉽지 않는 문제요소를 가지고 있어서, 이러한 요소가 결과에 어떤 영향을 미치는지, 현재까지 개발된 기법들로 어느 수준까지 해결이 가능한지를 확인하고자 하였다.

제안 방법

본 논문에서는 주어진 2차원 이미지의 사람의 실루엣 정보를 이용하는 방법을 개발하였다. 단계 1) 우선 이를 위하여 인체 모델의 3D 메시 노드를 카메라 모델을 사용하여 2차원 이미지에 투영한다. (# = K • #).
3차원 복원은 2차원 복원에 SMPL 신체 모델의 깊이정보를 사용하여 카메라 투영방식으로 이루어진다. 3차원적으로 복원된 구성을 확인하기 위하여 Fig. 8에 복원된 3차원 데이터를 여러 가지 각도에 확인하였다. 3차원 구성자체는 인체자세와 의상을 포함한 사람의 외형차가 크지 않아 상당히 유사하게 복원되었다.
, 2014) 파일로 변형한 내용을 사용한다. BVH 파일의 움직임의 방향이 정면이 아니기 때문에 Offset은 사용하지 않았으며, 대신 카메라의 위치를 조절하여 이동을 시뮬레이션 하였다. 동영상 결과의 샘플화면은 Fig.
SMPLify 계산을 위해서는 우선 2차원 이미지에서 골격 정보를 얻어야 하는데, 사람이 직접 입력할 수도 있지만 최근에 딥러닝 기법을 사용하여 이미지로부터 골격을 예측하는 기술이 상당한 정확도 (95%이상)를 보이기 때문에 이를 사용한 자동화된 결과를 활용하였다. 이 논문에서는 OpenPose (Cao et al.
제3절에서 샘플 이미지를 통하여 실험한 단계별 결과 및 최종 애니메이션 영상을 보인다. 결과 제시는 정성적인 성능평가를 같이하며, 특히 제안된 방식의 문제점들을 분석한다. 결론에서 발견된 문제점들에 대한 장-단기적 해법에 대하여 논거하고, 나아가 본 논문이 가상 착용기술과 결합하였을 때 어떤 결과물을 나을 수 있을지에 대하여 기술한다.
그러나 세부적인 변형 알고리즘이나 3차원 구성방식에서 차이가 있다. 방법론적으로 보아 PhotoWakeup은 신체부분을 하나씩 모델링하여 합치는 방식을 적용한 반면 본 논문에서는 매핑방식을 달리하여 머리 부분과 몸통으로만 구분하여 처리하였고, TPS 변환을 사용함으로서 비선형적 변형에 강인하도록 하였다. 또한 기본 포즈로 만드는 알고리즘도 추가로 제시되었다.
모델의 자세는 앞을 보고 서있는 자세부터, 옆으로 서있는 자세, 앉아 있는 자세 등 매우 다양하다. 본 논문에서는, 전면 의상확보가 가능한 정면으로 서있는 자세를 중심으로만 실험하였다. 하지만 정면자세에도 팔이 몸을 가르고 있거나 다리를 교차하고 있는 자세 등이 포함되어 있고, 모자를 쓰고 있거나 긴 머리 로 몸의 일부를 가리는 등 쉽지 않는 문제요소를 가지고 있어서, 이러한 요소가 결과에 어떤 영향을 미치는지, 현재까지 개발된 기법들로 어느 수준까지 해결이 가능한지를 확인하고자 하였다.
이러한 현상은 두가지 원인으로 생각해볼 수 있는데 하나는 일반인 들을 상대로 한 통계분포에 비하여 실험에 사용한 패션모델들의 경우 다리가 긴 체형인 경우가 많기 때문인 것과 SMPlify 최적화에서 2차원 골격 추정의 신뢰도를 최적화 알고리즘에 사용하는데, 2차원 추정에서 신뢰도가 떨어지기 때문인 경우로 볼 수 있다. 실제 두 가지 원인을 확인하기 위해 데이터베이스를 통하여 데이터를 확인하였다. Fig.
, 1989) 변환을 사용하였다. 우선 2차원 투영된 경계점들이 2차원 이미지의 실루엣과 매칭 되도록 TPS 변수를 추정한다. 즉,
의상은 형태가 매우 다양하고 예측하는 것이 현재로는 어렵다. 이 논문에서는 입력 이미지의 사람의 실루엣을 사용하여 의상의 형태를 복원하는 방법을 사용한다. 우선 사람의 실루엣을 얻는 방법은 논문 (Ahn, 2018a)에서와 같이 딥러닝 사람분할기법을 사용하여 구하는데, 본 논문에서는 DeepLab2 (Chen et al.
이렇게 얻어진 기본포즈로 모델을 기준으로 하여 LBS 방식으로 애니메이션을 수행하였다. 패션쇼와 유사한 환경을 위하여 배경은 패션쇼 무대 사진을 이용하였고, 카네기 멜론대학에서 생성한 걷기자세를 BVH (Bio Vision Hierarchy)(Guo et al.
다음 단계는 대상의 인체 3차원 모델을 SMPLify 방식으로 복원하는 단계이다. 이렇게 획득한 인체 모델과 2차원 분할된 의상을 포함한 사람의 마스크를 사용하여 전체 사람의 3차원 메시 모델을 획득하고, 최종적으로 이 3차원 모델을 골격을 사용하여 Kinematics 기법을 적용하여 원하는 애니메이션 동영상을 만들게 된다.
그러나 매칭점이 크게 차이나는 경우 해당 노드 이외에 노드가 영향을 받음을 보였다. 이를 해결하기 위하여 머리 부분과 몸통부분을 나누고 각기 따로 TPS 모델과 적용을 하여 이를 합치는 방법을 사용하였다. 또한 PhotoWakeup은 2차원 변형알고리즘도 Mean Value Coordinate 방식을 사용하였다.
논문은 앞서 계속 연구 중인 가상착용기술에 대한 연구의 과정에서 사용자가 의상을 입었을 때 단순히 하나의 이미지 이상의 다양한 각도와 동작에서 어떻게 보여질 것인가 하는 것을 평가하기 위한 목적으로 시작되었다. 현재는 그 중간 결과로 의상 교체 없이 이미지의 대상으로부터 3차원 모델을 복원하고 이를 애니메이션 하는 기술을 개발하였다. 본 논문에서는 애니메이션 예로 패션쇼만을 대상으로 하지만, 다른 형태의 애니메이션으로의 변경도 기본 알고리즘의 변화 없이 가능하다.

대상 데이터

SMPLify 논문에서는 알고리즘이 다양한 자세에서 적용가능한지를 확인하기 위하여 스포츠 활동 LSP (Leeds Sports Pose) 데이터 셋을 사용하였으나, 본 논문에서는 상대적으로 자세가 단순한 패션모델들에 의한 이미지를 사용하였다. 정자세에 가까운 이미지의 경우는 상당히 우수한 자세매칭이 됨을 확인하였다.
본 논문에서 사용한 이미지 데이터들은 (Ahn, 2018a)에서 사용한 패션 이미지 데이터 셋을 사용하였다. 이 데이터 셋은 10,000개의 주로 여성의 패션모델사진으로 구성되어 있다.
본 논문에서 사용한 이미지 데이터들은 (Ahn, 2018a)에서 사용한 패션 이미지 데이터 셋을 사용하였다. 이 데이터 셋은 10,000개의 주로 여성의 패션모델사진으로 구성되어 있다. 모델의 자세는 앞을 보고 서있는 자세부터, 옆으로 서있는 자세, 앉아 있는 자세 등 매우 다양하다.

이론/모형

단계 5) 최종적인 렌더링은 OpenGL 방식의 텍스쳐 렌더러를 사용한다. 3차원 모델의 색상정보는 이미지를 사용하고, 프로젝션 정보를 이용하여 텍스쳐의 메시 모델로 사용한다.
#. 단계 5) 최종적인 렌더링은 OpenGL 방식의 텍스쳐 렌더러를 사용한다. 3차원 모델의 색상정보는 이미지를 사용하고, 프로젝션 정보를 이용하여 텍스쳐의 메시 모델로 사용한다.
연구의 분야도 다양하게 자세 예측, 의상, 동작 예측 등으로 연구되어왔다. SMPLify (Bogo et al., 2016) 기법은 독일 막스플랑크 연구소에서 2016년에 발표한 SMPL 3차원 인체 모델의 3-D 골격위치의 프로젝션과 2-D 골격 좌표를 매칭하여 SMPL모델의 자세 변수와 형태 변수를 추정하는 방식을 사용한다.
이를 해결하기 위하여 머리 부분과 몸통부분을 나누고 각기 따로 TPS 모델과 적용을 하여 이를 합치는 방법을 사용하였다. 또한 PhotoWakeup은 2차원 변형알고리즘도 Mean Value Coordinate 방식을 사용하였다.
단계 2) 이렇게 얻어진 2차원 노드들을 이미지의 마스크 전체를 커버하도록 2차원 상에서 변형한다. 본 논문에서는 경계 노드들과 마스크의 실루엣 그리고 앞서 구한 조인트를 사용하고 이차원 변형방식인 TPS (Thin Plate Spine) (Bookstein et al., 1989) 변환을 사용하였다. 우선 2차원 투영된 경계점들이 2차원 이미지의 실루엣과 매칭 되도록 TPS 변수를 추정한다.
이 논문에서는 입력 이미지의 사람의 실루엣을 사용하여 의상의 형태를 복원하는 방법을 사용한다. 우선 사람의 실루엣을 얻는 방법은 논문 (Ahn, 2018a)에서와 같이 딥러닝 사람분할기법을 사용하여 구하는데, 본 논문에서는 DeepLab2 (Chen et al., 2017)를 이용하였다.
SMPLify 계산을 위해서는 우선 2차원 이미지에서 골격 정보를 얻어야 하는데, 사람이 직접 입력할 수도 있지만 최근에 딥러닝 기법을 사용하여 이미지로부터 골격을 예측하는 기술이 상당한 정확도 (95%이상)를 보이기 때문에 이를 사용한 자동화된 결과를 활용하였다. 이 논문에서는 OpenPose (Cao et al., 2017)을 사용하여 추출한 골격을 사용하였다. 근본적인 측면에서 3차원 골격과 2차원골격의 일치성 추정한 2차원 골격의 정확성 등에 문제가 있을 수도 있으나, 이 부분은 본 논문의 대상에서 벗어나는 것으로 충분한 정확성이 만족된 것으로 보고 여기서는 더 이상 고려하지 않는다.

성능/효과

SMPLify 논문에서는 알고리즘이 다양한 자세에서 적용가능한지를 확인하기 위하여 스포츠 활동 LSP (Leeds Sports Pose) 데이터 셋을 사용하였으나, 본 논문에서는 상대적으로 자세가 단순한 패션모델들에 의한 이미지를 사용하였다. 정자세에 가까운 이미지의 경우는 상당히 우수한 자세매칭이 됨을 확인하였다. 하지만, 특이하게도 전반적으로 다리부분이 짧게 예측되는 경우가 많이 발생하였다.

후속연구

3차원 인체모델과 생성은 그 응용의 중요성으로 매우 방대하게 연구되어 왔다. 본 논문에서 전부 언급하기는 어려우므로, 본 논문의 기초인 SMPLify(Bogo et al., 2016)에 설명된 관련 연구를 참조하길 바란다. 본 연구에서 중요한 기술적인 요소는 인체모델과 이미지를 바탕으로 의상까지 포함하는 사람의 3차원 메시를 복원하는 부분이다.
몇 가지 성능적인 부분에서 지적할 만한 사항은 다음과 같다. 우선 본 논문에서 개발한 알고리즘의 문제는 아니지만, 이미지 분할 알고리즘이 인물의 실루엣을 확보하는 기술에 한계가 있어, 경계면에 매끄럽고 자연스럽지 못하다. 단기적으로는 알파 블렌딩 등으로 시각적으로 눈에 뜨지 않게 할 수는 있을 것으로 보이지만 궁극적으로는 물체분할 기술에 개선이 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	SMPLify은 어떤 기법인가?	SMPLify (Bogo et al., 2016) 기법은 독일 막스플랑크 연구소에서 2016년에 발표한 SMPL 3차원 인체 모델의 3-D 골격위치의 프로젝션과 2-D 골격 좌표를 매칭하여 SMPL모델의 자세 변수와 형태 변수를 추정하는 방식을 사용한다.
	매칭점이 크게 차이나는 경우 해당 노드 이외에 노드가 영향을 받는 문제를 해결하기 위하여 사용한 방법은?	그러나 매칭점이 크게 차이나는 경우 해당 노드 이외에 노드가 영향을 받음을 보였다. 이를 해결하기 위하여 머리 부분과 몸통부분을 나누고 각기 따로 TPS 모델과 적용을 하여 이를 합치는 방법을 사용하였 다. 또한 PhotoWakeup은 2차원 변형알고리즘도 Mean Value Coordinate 방식을 사용하였다.
	BVH 파일이란?	BVH 파일은 각 조인트들의 관계가 계층적으로 정의되어 있고, 각 조인트들의 기본 각에서 변위값들을 일정시간 간격으로 저장하고 있다. 입력 이미지상 의 사람의 자세는 초기 기본 조인트 각과 다른 값을 가지고 있기 때문에 BVH파일을 적용하기 위해서는 기본자세로 일단 변형을 해줘야 한다.

참고문헌 (12)

Ahn H., (2018a). Online Virtual Try On using Mannequin Cloth Pictures, Journal of the Korea Industrial Information Systems Research, 23(6), 29-38.
Ahn H., (2018b). Image-based Virtual Try-On System, Journal of Korean Computer Game Society, 31(3), 37-45.
Bogo, F., Kanazawa, A., Lassner, C., Gehler, P., Romero, J., and Black, M. J. (2016). Keep It SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image, European Conference on Computer Vision, pp. 561-578.
Bookstein, F. L. (1989). Principal Warps: Thin-plate Splines and the Decomposition of Deformations, IEEE Transactions on PAMI, 11(6), 567-585.

상세보기
Cao, Z., Simon, T., Wei, S. E., and Sheikh, Y. (2017). Realtime Multi-person 2D Pose Estimation using Part Affinity Fields, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7291-7299.
Chen, L. C., Papandreou, G., Kokkinos, I., Murphy, K., and Yuille, A. L. (2017). Deeplab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected Crfs, IEEE Transactions on PAMI, 40(4), 834-848.
Guo, H., Miao, Z., Zhu, F., Zhang, G., and Li, S. (2014). Automatic Labanotation Generation based on Human Motion Capture Data, Chinese Conference on Pattern Recognition, pp. 426-435.
Liu, F., Shen, C., and Lin, G. (2015). Deep Convolutional Neural Fields for Depth Estimation from a Single Image, Proceedings of the IEEE CVPR, pp. 5162-5170.
Loper, M., Mahmood, N., Romero, J., Pons-Moll, G., and Black, M. J. (2016). SMPL: A Skinned Multi-person Linear Model, ACM Transactions on Graphics (TOG), 34(6), 248-258.
Parent R. (2012). Computer Animation, Algorithms and Techniques, 3rd Edition, Morgan Kaufmann.
Zanfir, M., Popa, A. I., Zanfir, A., and Sminchisescu, C. (2018). Human Appearance Transfer, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5391-5399.
Weng, C. Y., Curless, B., and Kemelmacher-Shlizerman, I. (2019). Photo Wake-up: 3d Character Animation from a Single Photo, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5908-5917.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증