$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

딥러닝을 이용한 3차원 사람모델형상 변형
3D Human Shape Deformation using Deep Learning 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.25 no.2, 2020년, pp.19 - 27  

김대희 ,  황본우 (한국전자통신연구원) ,  이승욱 (한국전자통신연구원) ,  곽수영 (한밭대학교 전자제어공학과)

초록
AI-Helper 아이콘AI-Helper

최근 가상현실증강 현실 기술을 이용한 다양한 응용분야가 각광받으면서 빠르고 정확한 3차원 모델 생성이 요구되고 있다. 본 논문에서는 옷을 입은 3차원 사람 모델을 포인트 클라우드의 형상으로 변형하는 온-사이트 학습 (On-site learning) 기반 형상 변형 방법을 제안한다. 제안하는 알고리즘은 사전 학습과 온-사이트 학습 두 개의 파트로 구성되어 있으며, 각각의 학습은 인코더 네트워크, 템플릿 변형 네트워크, 디코더 네트워크로 구성된다. 딥러닝 네트워크 학습은 3차원 포인트 클라우드와 템플릿 정점 사이의 챔퍼 거리 (Chamfer distance)를 주요 손실 함수로 사용하는 비지도 학습을 적용한다. 입력된 포인트 클라우드 형태의 데이터에 대해 온-사이트 학습을 진행함으로써 추론의 결과물에 대한 높은 정확도를 얻을 수 있으며 이를 실험을 통해 제시한다.

Abstract AI-Helper 아이콘AI-Helper

Recently, rapid and accurate 3D models creation is required in various applications using virtual reality and augmented reality technology. In this paper, we propose an on-site learning based shape deformation method which transforms the clothed 3D human model into the shape of an input point cloud....

주제어

표/그림 (12)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 논문에서는 3D-CODED 방법의 왜곡에 대한 문제점을 온-사이트 학습방법을 통해 개선한 형상 변형 네트워크를 제안하고 3D-CODED의 변형 모델보다 개선된 성능을 보이는 결과를 제시한다.
  • 본 논문에서는 3차원 프린팅 및 애니메이션 등 다양한 응용에 적용 가능한 옷을 입고 있는 사람에 대한 3차원 형상을 다양한 자세로 변형하는 방법을 제안한다. 포인트 클라우드로 표현된 다양한 자세의 입력 형상과 텍스쳐를 표현한 템플릿이 주어졌을 경우 두 입력의 상관관계를 파악하여 템플릿의 형상을 옷을 입은 다양한 자세의 형상으로 변환하는 네트워크를 제안한다.
  • 형상 변형을 위해서는 데이터를 표현하는 방식에 따라 네트워크의 모델링 방식이 달라진다. 본 논문에서는 비 유클리디언 방식으로 표현된 3차원 데이터에 대한 형상 변형 네트워크를 다룬다.
  • 기존의 머신러닝에서 많이 사용하는 비지도학습방법을 적용하게 되면 변형된 형상의 정확도가 떨어지는 문제점이 있다. 본 논문에서는 이러한 문제점을 개선하기 위해서 사전 학습된 모델로 유추한 정보를 초깃값으로 두고 지정된 형상 간의 변형을 전체 네트워크의 재학습을 통해 더 세밀한 변형 결과를 얻는 온 사이트 학습을 제안한다.
  • 본 논문에서는 템플릿을 입력받은 형상으로 변형하는 방법에 대해 다루었다. 변형의 정확도를 위해 포인트 클라우드 형태를 직접 입력하는 방식의 포인트 넷을 사용하였으며, 정확도를 높이기 위해 온-사이트 학습 기반의 형상 변형 방법을 제안했다.
  • 포인트 클라우드로 표현된 다양한 자세의 입력 형상과 텍스쳐를 표현한 템플릿이 주어졌을 경우 두 입력의 상관관계를 파악하여 템플릿의 형상을 옷을 입은 다양한 자세의 형상으로 변환하는 네트워크를 제안한다. 본 논문은 사람 형태에서 다양한 옷에 대하여 세밀한 형상 변형을 위해 전체 네트워크의 온사이트 학습 (On-site learning)을 통해 더 높은 정확도를 얻고자 한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
3차원 데이터를 표현하는 방식은 무엇으로 나눌 수 있는가? 3차원 데이터를 표현하는 방식은 프리미티브 (Primitive), 프로잭션 (Projection), RGB-D, 다시 점으로 표현하는 유클리디언 (Euclidean) 방식과 메쉬 (Mesh), 그래프, 포인트 클라우드 (Point cloud)로 표현하는 비 유클리디언 (Non euclidean) 으로 나눌 수 있다.
이미지 특징 추출 네트워크는 무엇인가? 네트워크는 이미지 특징 추출 네트워크와 계층적 메쉬 변형 네트워크로 구성되어 있다. 이미지 특징 추출 네트워크는 입력 이미지에서 지각적 특징(Perceptual feature)을 추출하는 2차원 콘볼루션 뉴럴 네트워크이며, 추출된 특징은 타원체 메쉬를 3차원 모델로 점진적으로 변형시키기 위한 메쉬 변형 네트워크에 의해 활용된다. 계층적 메쉬 변형 네트워크는 그래프 기반 콘볼루션 뉴럴 네트워크를 사용하며, 3개의 메쉬 변형층과 메쉬 변형층 사이에 2개의 그래프 언풀링층(Graph unpooling layer)로 구성된다.
광학 장치를 이용한 3차원의 외형 복원에서 능동 센싱방식의 장단점은 무엇인가? 수동 센서방식은 영상의 해상도가 증가함에 따라 처리하는 데이터의 양이 급속히 늘어나므로 해상도에 한계가 있으며 조명의 영향을 많이 받는 문제가 있다. 능동 센서방식은 정확도는 높지만 가격이 비싸며 숙련된 엔지니어가 필요하다. 최근에는 광학 소자 기술의 발전으로 인해 낮은 가격으로 보급이 확산되고 있으며, 컴퓨팅 성능의 발전으로 카메라의 해상도 및 처리 능력이 향상되면서 인체의 3차원 복원에 관한 연구가 각광 받고 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (11)

  1. Allen, B., Curless, B., Popovic, Z. (2002). Articulated Body Deformation from Range Scan Data, Transactions On Graphics, 21(3), 612-619. 

  2. Allen, B., Curless, B., Popovic, Z. (2003). The Space of Human Body Shapes: Reconstruction and Parameterization from Range Scans, Transactions On Graphics, 22(3), 587-594. 

  3. Chen, X., Pang, A., Zhu, Y., Li, Y., Luo, X., Zhang, G., Wang, P., Zhang, Y., Li, S., Yu, J. (2019). Towards 3D Human Shape Recovery Under Clothing, arXiv preprint arXiv:1904.02601. 

  4. Daz Productions, https://www.daz3d.com/(accessed Aug 10, 2019) 

  5. Fan, H., Su, H., Guibas, L. (2017). A Point Set Generation Network for 3D Object Reconstruction from a Single Image, The IEEE Conference on Computer Vision and Pattern Recognition, July. 21-26, Honolulu, USA, pp. 605-613. 

  6. Groueix, T., Fisher, M., Kim, Vladimir, G., Russell, Bryan, C., Aubry, M. (2018). 3D-CODED: 3D Correspondences by Deep Deformation, The European Conference on Computer Vision, Sep. 8-14, Munich, Germany, pp. 230-246. 

  7. Jaderberg, M., Simonyan, K., Zisserman, A. (2015). Spatial Transformer Networks, The Advances in Neural Information Processing Systems, Dec. 7-12, Montreal, Canada, pp. 2017-2025. 

  8. Loper, M., Mahmood, N., Romero, J., Moll, G., Black, MJ. (2015) SMPL: A Skinned Multi-person Linear Model, The ACM Transactions On Graphics, 34(6), 248. 

  9. Qi, CR., Su, H., Mo, K., Guibas, LJ. (2017). Pointnet: Deep Learning on Point Sets for 3D Classification and Segmentation, The IEEE Conference on Computer Vision and Pattern Recognition, July. 21-26, Honolulu, USA, pp. 652-660. 

  10. Wang, N., Zhang, Y., Li, Z., Fu, Y., Liu, W., Jiang, Yu-Gang. (2018). Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images, The European Conference on Computer Vision, Sep. 8-14, Munich, Germany, pp. 52-67. 

  11. Zuffi, S., Black, MJ. (2015). The Stitched Puppet: A Graphical Model of 3D Human Shape and Pose, The IEEE Conference on Computer Vision and Pattern Recognition, June. 7-12, Boston, USA, pp. 3537-3546. 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로