[논문]GAN을 활용한 가상 피팅 서비스 개발 연구

박상희; 노주영; 송상연; 신승화; 김기천

GAN을 활용한 가상 피팅 서비스 개발 연구
A Study on Virtual Fitting Service Using GAN 원문보기

박상희 (건국대학교 컴퓨터공학과) , 노주영 (건국대학교 응용통계학과) , 송상연 (건국대학교 컴퓨터공학과) , 신승화 (건국대학교 컴퓨터공학과) , 김기천 (건국대학교 컴퓨터공학과)

사회가 발전함에 따라 사람들의 의류 소비 패턴 매장 매출보다 모바일 쇼핑몰 매출이 늘고 있다. 스마트 뱅킹, 쇼핑몰 애플리케이션 등 모바일 서비스가 일상생활로 스며들면서 모바일로 의류를 구매하는 것은 쉬워졌다. 하지만, 온라인이라는 특성상 옷을 택배로 받고, 입어야 옷이 어울리는 지 아닌 지를 판단할 수 있다는 고질적인 문제점이 있다. 이러한 문제점은 반품 또는 교환으로 이루어지고 이는 쇼핑몰과 소비자 모두에게 굉장히 낭비되는 비용이다. 본 논문에서는 사람의 사진에 옷을 입힌 사진을 제공함으로써, 사람이 옷을 실제로 입지 않더라도 그 때의 fit 을 제공하고자 한다. 이때, 단순한 합성이 아니라, 딥러닝 중 GAN(Generative Adversarial Network)를 사용해 기존 기술의 문제점을 해결하고자 한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 웹가 앱으로 사용자가 지정된 input 을 upload 하면 학습된 모델을 통해 이용자가 가상으로 옷을 입는 모습을 보여주는 서비스를 제공하기 위해 StyleGAN 의 고화질 이미지 생성 능력을 활용하여 시스템을 설계 구현을 목표로 하였다. 많은 사람이 모바일 쇼핑몰을 이용함에 따라, 교환 및 환불의 수도 늘어간다.

제안 방법

현재 데이터의 개수는 10,000(pair)개를 사용하고 있고, Google Colab 에서 학습하고 있다. Epoch 은 1000 이고, batch_size 와 learning rate 는 입력 이미지의 크기에 따라 달라져, size 는 4x4, 16x16: 128, 32x32 ~64x64: 32, 128x128: 16, 256x256~512x512: 4이고, rate는 ~128x128: 0.0015, 256x256: 0.002로 설계했다.
Zalando 연구팀이 CAGAN 을 활용하여 모델이 옷을 입은 사진과 옷 단독 사진, 그리고 합성하고 싶은 옷 단독 사진 총 3 가지 이미지를 입력으로 넣어 합셩하고 싶은 옷을 모델이 입은 사진을 생성하는 연구를 진행하였다. [3] 이 모델에서 네트워크는 CycleGAN을 사용하였다.
구조는 StyleGAN 의 구조와 거의 유사하다 크게 condition 이미지를 축소 학습하는 Mapping Network 와 합성 이미지를 생성하는 Generator, condition 이미지와 실제/합성 이미지를 통해 구별하는 Discriminator 로 구성했다. 변경된 부분은 Mapping Network과 Discriminator 의 입력이다.
이 때, 입력 이미지 또한 화질을 4x4 와 같이 줄여 입력으로 넣는다. 학습을 Generator 가 생성한 이미지와 모델이 실제로 입은 이미지를 비교하여 학습한다. 학습이 끝나면 Mapping Network 에 Model 과 Cloth 이미지만을 입력하여 합성된 512x512x3 이미지를 Generator가 생성한다.

대상 데이터

데이터는 온라인 쇼핑몰을 대상으로 크롤링해 수집한다. 4 가지 종류가 하나의 데이터 셋을 이루며 (a) 모델 사진 (b)는 옷 사진을 입력 받고 이는 원본에 해당한다.
현재 데이터의 개수는 10,000(pair)개를 사용하고 있고, Google Colab 에서 학습하고 있다. Epoch 은 1000 이고, batch_size 와 learning rate 는 입력 이미지의 크기에 따라 달라져, size 는 4x4, 16x16: 128, 32x32 ~64x64: 32, 128x128: 16, 256x256~512x512: 4이고, rate는 ~128x128: 0.

이론/모형

Zalando 연구팀이 CAGAN 을 활용하여 모델이 옷을 입은 사진과 옷 단독 사진, 그리고 합성하고 싶은 옷 단독 사진 총 3 가지 이미지를 입력으로 넣어 합셩하고 싶은 옷을 모델이 입은 사진을 생성하는 연구를 진행하였다. [3] 이 모델에서 네트워크는 CycleGAN을 사용하였다. (그림 2)의 구조의 Generator 에서는 모델에 옷을 합성하고, 다시 합성한 사진을 원본 사진으로 복원하여 원본 사진과 비교해서 학습한다.
하지만 StyleGAN 은 입력 이미지의 크기가 1024x1024 까지 가능하다. 또한, Style Mapping, Stochastic Variation, Style mixing 등의 기법을 통해 고화질 이미지 생성을 할 수 있어 StyleGAN 을 사용하기로 했다.
StyleGAN 의 경우 Z 를 Mapping Network 를 통해 나온 W 를 학습에 사용한다. 하지만, 본 논문의 경우 Model, Cloth 이미지를 합성하는 것이 목적이기에 Mapping Network 에 condition 으로 Model, Cloth 이미지를 사용한다. 또한, latent variable 인 Z 를 사용해 이미지를 생성하는 것이 아니기에 Z 를 제거한다.

성능/효과

[6] 학습 과정 중 discriminator 와 generator 모델을 저해상도에서 고해상도로 점진적으로 확장함으로써 상당한 고화질 이미지 합성이 가능하다. Progressive growing GAN 의 generator network 에 초첨을 맞추어, 2 가지 요소인 style mapping, style mixing 와 PGGAN 의 특징인 progressive learning 을 통해 성능을 향상하였다.

후속연구

하지만, 기존의 기술들은 소비자와 쇼핑몰의 만족을 이끌어내지 못했다. 결과적으로 소비자와 쇼핑몰의 막족을 이끌어내 교환 및 환불로 인한 비용을 줄일 수 있을 거라 기대한다.
우리는 사용자에게 가상으로 옷을 입은 모습을 보여줘야 하기 때문에 사람의 얼굴이나 관절이 왜곡되면 안된다. 그래서 고해상도의 이미지에서도 좋은 성능을 보인다는 StyleGAN 을 적용해볼 예정이다.
실제로 이러한 낮은 성능으로 인해 실사용까지 이어지지 않았다. 따라서 실제 이용률 증대를 위해, 고화질 및 성능 개선을 한 새로운 딥러닝 네트워크 구조에 대한 연구가 필요하다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

GAN을 활용한 가상 피팅 서비스 개발 연구
A Study on Virtual Fitting Service Using GAN 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

GAN을 활용한 가상 피팅 서비스 개발 연구 A Study on Virtual Fitting Service Using GAN 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

GAN을 활용한 가상 피팅 서비스 개발 연구
A Study on Virtual Fitting Service Using GAN 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper