[논문]워터쉐드와 U-net을 이용한 마네킹 패션 이미지의 자동 3D 데이터 추출 방법

박영민

doi:10.17703/jcct.2023.9.3.825

워터쉐드와 U-net을 이용한 마네킹 패션 이미지의 자동 3D 데이터 추출 방법
Automatic 3D data extraction method of fashion image with mannequin using watershed and U-net 원문보기

Journal of the convergence on culture technology : JCCT = 문화기술의 융합, v.9 no.3, 2023년, pp.825 - 834

박영민 (숙명여자대학교 융합학부, 영남대학교 컴퓨터공학과)

초록
AI-Helper

인터넷 쇼핑에서 상품의 사진과 동영상을 대체해 3D콘텐츠와 웹 3D 소프트웨어로 사용자에게 친숙한 이미지를 제공하려는 시도가 이어지고 있다 본 연구에서는 2D 이미지를 3D로 변환하여 고객들이 다양한 위치에서 상품을 파악할 수 있는 웹 3D 기술에 접목시키고 변환에 필요한 비용과 계산 시간을 줄일 수 있는 자동 변환기술을 제안하였다. 단 8대의 카메라 만을 사용하여 마네킹을 회전하는 턴테이블 위에 올려 놓고 촬영하는 시스템을 개발하였다. 이러한 시스템에서 촬영한 이미지에서 옷 부분만 추출하기 위해 U-net을 이용하여 마커를 제거하고, 배경 영역과 마네킹 영역의 컬러 특징 정보를 파악하여 옷 영역만을 추출하는 알고리즘을 제안하였다. 이 알고리즘을 이용하면 이미지를 촬영한 후 옷 영역만을 추출하는데 걸리는 시간이 이미지 하나당 2.25초며, 한 개의 옷에 대해 64장의 이미지를 촬영하는 경우에 총 144초(2분 4초)가 소요되어 매우 우수한 성능으로 3D오브젝트를 추출할 수 있다.

Abstract ▼ AI-Helper

The demands of people who purchase fashion products on Internet shopping are gradually increasing, and attempts are being made to provide user-friendly images with 3D contents and web 3D software instead of pictures and videos of products provided. As a reason for this issue, which has emerged as the most important aspect in the fashion web shopping industry, complaints that the product is different when the product is received and the image at the time of purchase has been heightened. As a way to solve this problem, various image processing technologies have been introduced, but there is a limit to the quality of 2D images. In this study, we proposed an automatic conversion technology that converts 2D images into 3D and grafts them to web 3D technology that allows customers to identify products in various locations and reduces the cost and calculation time required for conversion. We developed a system that shoots a mannequin by placing it on a rotating turntable using only 8 cameras. In order to extract only the clothing part from the image taken by this system, markers are removed using U-net, and an algorithm that extracts only the clothing area by identifying the color feature information of the background area and mannequin area is proposed. Using this algorithm, the time taken to extract only the clothes area after taking an image is 2.25 seconds per image, and it takes a total of 144 seconds (2 minutes and 4 seconds) when taking 64 images of one piece of clothing. It can extract 3D objects with very good performance compared to the system.

주제어

표/그림 (19)

그림 그림 1. 워터쉐드 영역분할 Figure 1. The watershed segmentation
그림 그림 2. U-net의 구조 Figure 2. The structure of U-net
그림 그림 3. 포토그래매트리 방식의 3D 변환 과정 Figure 3. Photographic 3D conversion process
그림 그림 4. 패션 촬영을 위한 카메라 배치 Figure 4. Camera placement for fashion shots
그림 그림 5. 이미지 획득을 위한 4K USB 카메라 Figure 5. 4K USB camera for image acquisition
그림 그림 6. 배경, 마네킹, 특수마커 제거 알고리즘 Figure 6. The propose algorithm to remove background, mannequin, and special marker
그림 그림 7. 이미지 저장을 위한 폴더 구조 Figure 7. The structure of fold to store images
그림 그림 8. 원본 이미지 저장 Figure 8. Saving original images
표 표 1. 이미지 획득 시스템의 사양 Table 1. The specification of Image Acquisition System
그림 그림 9. 마커 제거를 위한 딥러닝 모델 적용 함수 Figure 9. Deep learning model function for marker removal
그림 그림 10. 원본 이미지의 유형에 따른 마커 제거 이미지 Figure 10. Images removed marks according to the type of original images
그림 그림 11. 일반화 적용 결과 Figure 11. The result images applied color nomalize
그림 그림 12. 외곽선 개선 결과 비교 Figure 12. The comparison of contour improvement results
그림 그림 13. 옷 영역 추출 결과 Figure 13. The final result to extract cloth region
그림 그림 14. 마커 추출 결과(유형 1) Figure 14. Result of extracting markers(Type 1)
그림 그림 15. 마커 추출 결과(유형 2) Figure 15. Result of extracting markers(Type 2)
그림 그림 16. 마커 추출 결과(유형 3) Figure 16. Result of extracting markers(Type 3)
그림 그림 17. 마커 추출 결과 이미지 Figure 17. Result image of extracting markers
그림 그림 18. 2D 패션 이미지로부터 3D 오브젝트 추출 결과 Figure 18. Result of extracting 3D object from 2D fashion image

참고문헌 (8)

Pak, Ok Mi, Lee, Woon Young, "A Case Study？of Artificial Intelligence(AI) Reflected in the？Fashion Industry", Journal of the Korean Society of？Design Culture, Vol. 26, No. 4, pp189-205, 2020. 20,？DOI: http://dx.doi.org/10.18208/ksdc.2020.26.4.189

상세보기
Deok Hyun Seon,ㆍ Chang min Jeong,ㆍ Jin Woo？Hwang,ㆍ Young Seok Ock, "A Study on the？Factors Influencing Returns in Online Clothing？Shopping Malls", The Journal of Internet Electronic？Commerce Research, Vol. 21, No. 4, 2021, DOI :？10.37272/JIECR.2021.06.21.4.17

상세보기
Myung-Ja Tak, Kim Cheeyon, "A Study on？Production of iPhone-Based Augmented Reality 3D？Fashion Fitting Contents", Journal of Korea？Multimedia Society Vol. 16, No. 6, June 2013(pp.？708-719) DOI : https://doi.org/10.9717/kmms.2013.16.6.708

원문보기 상세보기
L. Vincent and P. Soille, "Watershed in digital？space, An efficient algorithm based on immersion？simulation," IEEE Trans. Patt. Anall. Machine Intell,？Vol. 13, No. 6, pp. 538-598, June 1991.
F. Meyer and S. Beucher, "Morphological？segmentation," J. Visual Commun Image？Representation, Vol. 1, No. 1, September 1990.
S. Beucher and F. Meyer, ''The morphological？approach to segmentation: The watershed？transformation,'' in Mathematical Morphology in Image Processing. New York: Marcel Dekker, 1993,？pp. 443-481.
G. Healey, ''Segmenting images using normalized？color,'' IEEE Trans. Syst., Man, Cybern., vol. 22,？pp. 64-73, 1992.
Olaf Ronneberger, Philipp Fischer, Thomas Brox,？"U-Net: Convolutional Networks for Biomedical？Image Segmentation", International Conference on？Medical Image Computing and Computer-Assisted？Intervention, pp234-241, 2015. DOI : https://doi.org/10.48550/arXiv.1505.04597

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증