[논문]마네킨 의상사진 기반 온라인 가상의상착용

안희준

doi:10.9723/jksiis.2018.23.6.029

마네킨 의상사진 기반 온라인 가상의상착용
Online Virtual Try On using Mannequin Cloth Pictures 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.23 no.6, 2018년, pp.29 - 38

초록
AI-Helper

본 논문에서 마네킨에 착용된 의상 이미지를 분할하고 사용자의 사진에 입히는 가상의상착용 (VTON) 기술을 개발하였다. 의상과 모델의 3차원 정보가 필요하지 않는 2차원 이미지 기반 가상착용연구는 실용적인 가치가 크지만, 연구결과 현재 기술로는 의상 분할 시 가림이나 왜곡에 의한 문제 등 제약사항이 존재한다. 본 연구는 마네킨 의상을 사용함으로써 이러한 어려움을 줄였다는 가정 하에서, 딥러닝 기반 영역분할과 자세추정을 통하여 얻은 결과를 사용자 사진에 입히는 알고리즘을 제안하였다. 기존의 연구 대비 성능 개선을 위하여 사전 자세정보의 신뢰성 검사, 외곽선을 이용한 변형개선, 분할 영역개선 등을 사용하였다. 결과로 시각적으로 만족할 만한 의상착용의 경우가 전체의 50%이상으로 상당히 개선된 결과를 얻었다.

Abstract ▼ AI-Helper

In this paper, we developed a virtual cloth try-on (VTON) technology that segement the cloth image worn on the mannequin and applies it to the user 's photograph. The two-dimensional image-based virtual wear study which does not require three-dimensional information of cloth and model is of practical value, but the research result shows that there are limitations of of the current technology for the problem of occlusion or distortion. In this study, we proposed an algorithm to apply the results obtained from the DNN- based segmentation and posture estimation to the user 's photograph, assuming that the mannequin cloth reduces the difficulties in this part. In order to improve the performance compared with the existing one, we used the validity check of the pre-attitude information, the improvement of the deformation using the outline, and the improvement of the divided area. As a result, a significantly improved result image of more than 50% was obtained.

주제어

표/그림 (11)

그림 Fig. 1 Model Cloth Based VTON System Results [5] (Top: Successful, Middle and Bottom: Unsuccessful)
그림 Fig. 2 VTON System Application Scenario Example
표 Table 1 Joints and Labels
그림 Fig. 3 Parsing Results (Success and Fail) [5]
그림 Fig. 4 Pose Estimation Results
그림 Fig. 5 Detected Wrong Pose Estimated Cased
그림 Fig. 6 Estimation Method for the Hip Boundary Location
그림 Fig. 7 Boundary Key Points Extracted (left:short clothes, middle: long upper cloth and pants, right: skirt)
그림 Fig. 8 The Input and Final VTON Image (Enlarged) (Left: Upper and Skirt, Right Upper and Pants)
그림 Fig. 9 Boundary Enhancement and Blending Effects (Left: Before, Right: After)
그림 Fig. 10 VTON Results with Uncovered Area from Input Clothes

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 의상과 모델의 3차원 정보가 필요하지 않는 이미지기반 VTON기술의 실용화에 대하여 연구하였다. 결과 품질에 입력 의상정보의 완전성이 매우 중요하다는 저자들의 이전 연구 결과를 바탕으로 마네킨 이미지를 사용한 방식을 제안하였고, 수집된 데이터를 바탕으로 VTON을 적용하였다.

가설 설정

실험에는 필터링 범위변수는 σ = 5로 사용하였다. 여기서 입력이미지의 배경이 일반적인 경우로 가정하였다. 만약 특정 단색으로 구성된 경우라면 크로마키 방식을 이용하여 훨씬 더 쉽게 정교한 결과를 얻을 수 있다.

제안 방법

본 논문에서는 의상과 모델의 3차원 정보가 필요하지 않는 이미지기반 VTON기술의 실용화에 대하여 연구하였다. 결과 품질에 입력 의상정보의 완전성이 매우 중요하다는 저자들의 이전 연구 결과를 바탕으로 마네킨 이미지를 사용한 방식을 제안하였고, 수집된 데이터를 바탕으로 VTON을 적용하였다. 또한 마네킨 이미지의 특성을 이용하고 기존 알고리즘을 개선하여 경계점을 이용한 매칭 및 변형, 입력 정보의 자세오류 검출, 경계영역 개선 및 시각적 처리 등을 수행하였다.
결과 품질에 입력 의상정보의 완전성이 매우 중요하다는 저자들의 이전 연구 결과를 바탕으로 마네킨 이미지를 사용한 방식을 제안하였고, 수집된 데이터를 바탕으로 VTON을 적용하였다. 또한 마네킨 이미지의 특성을 이용하고 기존 알고리즘을 개선하여 경계점을 이용한 매칭 및 변형, 입력 정보의 자세오류 검출, 경계영역 개선 및 시각적 처리 등을 수행하였다. 그 결과 기존의 모델 영상을 사용한 경우에 비하여 큰 개선을 보였다.
본 연구에서는 상의, 바지, 치마의 3가지 주 의상에 대하여 각기 다른 방식을 적용하였다. 치마의 경우는 보통 체형보다는 의상의 형태를 유지하므로 경계정보를 사용하지 않았다 (향후, 치마의 종류에 따라 다르게 적용할 계획이다.
본 연구에서는 단기적인 방안으로 일차적으로 그랩-컷 (Grab-Cut) [16] 알고리즘과 알파-블렌딩 (Alpha-Blending) [17]방식 사용하여 개선하는 방식을 사용하였다. 일차로 그래프-컷 알고리즘을 통하여 대상 의상영역과 이외의 영역의 색상분포정보 모델을 만들고 이를 바탕으로 하여 변화가 큰 화소 경계를 재-검출함으로써 영역마스크를 개선한다. 이후에 수정된 의상영역 마스크를 식 (4)의 알파-블랜딩으로 경계영역의 변화를 완만하게 주면 시각적 측면에서 경계영역의 오류가 눈에 띄지 않아 자연스러운 결과영상을 얻을 수 있다 (Fig.

대상 데이터

10K 데이터 셋을 이용한 학습과 검증 영상에서 의상 분할은 18개의 레이블로 구성되어있고 정답(Ground Truth)영상이 제공된다. Fig.
또한 포즈추출을 위해서는 [6]와 [7]에서 사용되는 포즈 모델의 14가지 골격을 사용한다. 또한 3절에서 사용한 마네킨 영상은 인터넷을 통하여 해외 쇼핑몰에서 200개의 임의의 이미지를 확보하였다.
총 10,003개의 이미지 중 9003개는 학습용 1000개는 시험용으로 사용하였다. 또한 포즈추출을 위해서는 [6]와 [7]에서 사용되는 포즈 모델의 14가지 골격을 사용한다. 또한 3절에서 사용한 마네킨 영상은 인터넷을 통하여 해외 쇼핑몰에서 200개의 임의의 이미지를 확보하였다.
최근에 역시 딥러닝에 의한 방식으로 다중 인물의 실시간 자세 인식까지도 어느 정도 가능한 수준의 결과가 발표 되었다. 본 연구는 단계적으로 2016, 2017년에 발표된 ArtTrack [11]과 DeeperCut[12]을 사용한다. 저자들이 네트워크 구현과 기학습된 파라메터를 제공하고 있어서 재학습 없이 사용하였으며, 모델을 10k데이터셋에 적용하여 자세예측결과를 얻었다.
트레이닝과 테스트에 사용한 데이터는 논문 [4]에서 제공한 10kdata를 사용하였다. 총 10,003개의 이미지 중 9003개는 학습용 1000개는 시험용으로 사용하였다. 또한 포즈추출을 위해서는 [6]와 [7]에서 사용되는 포즈 모델의 14가지 골격을 사용한다.
신경망 모델은 요소기술 논문의 저자가 공개하거나, 많은 사용자를 통해서 검증된 코드를 기반으로 부족한 부분은 직접 추가 설계 구현하였다. 트레이닝과 테스트에 사용한 데이터는 논문 [4]에서 제공한 10kdata를 사용하였다. 총 10,003개의 이미지 중 9003개는 학습용 1000개는 시험용으로 사용하였다.

이론/모형

철판으로 모델링하는 TPS(Thin Plate Spline) [13] 방식과 삼각형은 최대한 크기와 형태를 유지하도록 하는 ARAP (As-Rigid-As-Possible)[14]을 구현하여 비교한 결과 TPS을 적용한 결과는 의상착용과 같이 크게 형태가 변하는 경우에는 자연스럽지 못함을 보였다. 따라서 본 연구에서는 ARAP 방식을 적용하였다. 참고로, 의상 핏팅에 대한 연구인 [15]에서도 ARAP 방식을 이용하였으나, 이 논문과 달리 매칭점을 사용자가 직접 입력하는 반자동 방식이 사용되었다.
본 연구에서 사용된 구현환경은 Python 기반으로, 신경망 네트워크는 Tensorflow 기반으로 구현하였다. 신경망 모델은 요소기술 논문의 저자가 공개하거나, 많은 사용자를 통해서 검증된 코드를 기반으로 부족한 부분은 직접 추가 설계 구현하였다.
영역분할 기술은 컴퓨터 비젼의 오랜 연구주제로 많은 연구가 있으나 최근 딥러닝에 방식에 의한 시멘틱 영상 분할기술이 기존의 알고리즘의 성능을 크게 능가하고 있다[8, 9]. 본 연구에서 사용한 영역 분할 기술은 딥러닝기반의 시멘틱분할기술의 대표적인 모델인 FCN (FullyConvolutional Neural Network) [8]을 사용하였다. FCN 모델의 전단은 Convolutional 방식으로 특징추출을 통하여 Class 분류, 즉 의미 추출을 수행하며, 후단은 Deconvolution 방식으로 영역분할을 수행한다.
본 연구에서는 단기적인 방안으로 일차적으로 그랩-컷 (Grab-Cut) [16] 알고리즘과 알파-블렌딩 (Alpha-Blending) [17]방식 사용하여 개선하는 방식을 사용하였다. 일차로 그래프-컷 알고리즘을 통하여 대상 의상영역과 이외의 영역의 색상분포정보 모델을 만들고 이를 바탕으로 하여 변화가 큰 화소 경계를 재-검출함으로써 영역마스크를 개선한다.
FCN만을 적용한 결과는 화소별로 분류가 일어나게 되므로 독립적인 작은 영역으로 분할이 많이 발생할 수 있다. 이점을 완화하기 위하여 후처리 기술로 그래프 모델에 기반을 둔 Fully Connected Gaussian Edge CRF [10]을 사용하였다. 이 방식은 화소사이를 그래프형태로 연결하고 연결의 인과관계를 화소간의 색상 특성과 거리의 가우시안함수로 모델링하는 방법이다.

성능/효과

DNN 기반 시멘틱 분할로 얻어지는 의상영격 구분 결과는 마네킨 의상의 경우 평균적으로 80-95%정도의 정확도를 얻을 수 있었다. 하지만 의상 내부에 비하여 경계선상 화소들의 정확도는 상대적으로 낮아, 경계를 기준으로 5화소 범위의 정확도는 평균정확도 대비 10-20%가량 낮은 특성을 보인다.
경계역역을 영역불할 정보를 활용하면 정확도록 추출 가능한 것을 확인하였다. 여기서 특별히 위치 예측이 어려운 곳이 힙(엉덩이)에 해당하는 영역이다.
또한 마네킨 이미지의 특성을 이용하고 기존 알고리즘을 개선하여 경계점을 이용한 매칭 및 변형, 입력 정보의 자세오류 검출, 경계영역 개선 및 시각적 처리 등을 수행하였다. 그 결과 기존의 모델 영상을 사용한 경우에 비하여 큰 개선을 보였다.
최근에 CP-VTON[18]방식의 DNN 기반의 VTON이 제안되었는데 이 결과를 보면 이런 문제를 상당히 해결할 수 있을 것으로 보인다. 단 본 저자들이 실험한 결과 모델이 입고 있는 옷과 입히려는 옷의 형태가 비슷한 경우에 한하여 성공적인 결과를 보이고 그렇지 않은 경우에는 기존의 옷의 형태로 변형하는 문제점을 가지고 있는 것을 확인하였다. 현재 이러한 부분을 해결하기 위한 방안을 연구하고 있다.
본 연구에서 사용되는 10k데이터는 자세에 대한 기존에 작성된 정답(Ground Truth)이 존재하지 않기 때문에, 정량적인 평가는 불가능하다. 따라서 본 논문에서는 다양한 포즈에 대하여 육안으로 확인한 LSP 데이터의 결과이상의 수준인 것을 육안으로 확인하였다. Fig.
본 논문에서 제안한 마네킨 의상 입력과 개선된 방식을 사용함으로써, 기존의 방식에 비하여 상대적으로 상당히 실용적가능성이 있는 결과를 얻을 수 있었다. 특히 입력 의상의 왜곡이나 가리워짐의 경우는 확연히 줄었고, 경계매칭을 통하여 부정확한 포즈예측이 있는 경우에도 의상과 모델의 매칭 정도를 높일 수 있었다.
본 연구에서는 실용성을 고려하여 가리워짐이나 변형이 많지 않은 마네킨 의상을 입력으로 사용하는 경우에 대하여 기존의 알고리즘을 하여 상당한 품질의 개선을 얻을 수 있었다. 본 논문은 우선 제 2절에서 본연구의 근간이 되는 이미지기반 VTON 시스템 전체 처리흐름과 각 요소기술에 대하여 설명한다.
특히 입력 의상의 왜곡이나 가리워짐의 경우는 확연히 줄었고, 경계매칭을 통하여 부정확한 포즈예측이 있는 경우에도 의상과 모델의 매칭 정도를 높일 수 있었다. 의상의 착용결과에 대해서는 정량적인 기준이 모호하여 이 논문에서는 제시하지 못하나, 자체 시각 평가 결과 자세와 분할정보가 성공한 입력의 경우 50% 정도는 매우 만족할 만한 최종결과를 (Fig. 8), 30%내외는 약간 어색하지만 형태가 갖추어진, 나머지 20%는 모델의 신체가 제대로 커버되니않는 등 착용에 실패 (Fig.
앞 단계에서 생성된 영역 분할정보와 자세정보를 바탕으로 의상을 입히는 방식은, 모델과 입히려는 의상에 해당하는 골격을 매칭 되도록 드르누이 삼각형 메쉬를 변형하는 방식을 사용한다. 철판으로 모델링하는 TPS(Thin Plate Spline) [13] 방식과 삼각형은 최대한 크기와 형태를 유지하도록 하는 ARAP (As-Rigid-As-Possible)[14]을 구현하여 비교한 결과 TPS을 적용한 결과는 의상착용과 같이 크게 형태가 변하는 경우에는 자연스럽지 못함을 보였다. 따라서 본 연구에서는 ARAP 방식을 적용하였다.
본 논문에서 제안한 마네킨 의상 입력과 개선된 방식을 사용함으로써, 기존의 방식에 비하여 상대적으로 상당히 실용적가능성이 있는 결과를 얻을 수 있었다. 특히 입력 의상의 왜곡이나 가리워짐의 경우는 확연히 줄었고, 경계매칭을 통하여 부정확한 포즈예측이 있는 경우에도 의상과 모델의 매칭 정도를 높일 수 있었다. 의상의 착용결과에 대해서는 정량적인 기준이 모호하여 이 논문에서는 제시하지 못하나, 자체 시각 평가 결과 자세와 분할정보가 성공한 입력의 경우 50% 정도는 매우 만족할 만한 최종결과를 (Fig.

후속연구

6에서도 대상 모델은 엉덩이와 넓적다리 부위가 유난히 큰 체형이며 이에 따라서 오차가 발생하는 것을 확인하였다. 따라서 체형에 대한 통계적인 조사와 연구가 필요할 것으로 판단된다. 이렇게 해서 얻어진 대표 결과를 Fig.

질의응답

핵심어	질문	논문에서 추출한 답변
	가상 의상 착용 기술을 도입하기 위해서는 무엇이 필요한가?	국내에서는 ETRI 등이 이 기술을 개발하여 시연을 한바있으며, 해외에서는 TriMirror, Fit Me 등의 회사가 이를 개발하여 상품화하고 개선작업을 진행 중이다[3]. 그러나 게임에 사용되는 3차원 그래픽스 렌더링 기술을 사용한 방식으로 의상과 사용자의 3차원 모델정보가 필요하다. 의상과 고객의 3차원정보를 얻기 위해서는 상당한 시간, 돈, 노력이 필요하므로 범용화가 잘 진행되고 잇지 못하다.
	의상과 고객의 3차원 정보를 얻기 위해서 무엇이 필요한가?	그러나 게임에 사용되는 3차원 그래픽스 렌더링 기술을 사용한 방식으로 의상과 사용자의 3차원 모델정보가 필요하다. 의상과 고객의 3차원정보를 얻기 위해서는 상당한 시간, 돈, 노력이 필요하므로 범용화가 잘 진행되고 잇지 못하다.
	의류 제품은 특히 반품이 많이 발생하고 저가 제품위주로 거래가 형성되어 있는데, 이러한 문제를 완화하기 위하여 최근 어떠한 기술이 개발되고 있는가?	이러한 문제를 완화하기 위하여 최근 가상 의상 착용 (Virtual Try-On: VTON) 기술이 개발되고 있다. 국내에서는 ETRI 등이 이 기술을 개발하여 시연을 한바있으며, 해외에서는 TriMirror, Fit Me 등의 회사가 이를 개발하여 상품화하고 개선작업을 진행 중이다[3].

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증