[논문]Generative Adversarial Network를 활용한 Image2Vec기반 이미지 검색 모델 개발

조재춘; 이찬희; 이동엽; 임희석

doi:10.14400/jdc.2018.16.12.301

Generative Adversarial Network를 활용한 Image2Vec기반 이미지 검색 모델 개발
An Development of Image Retrieval Model based on Image2Vec using GAN 원문보기

디지털융복합연구 = Journal of digital convergence, v.16 no.12, 2018년, pp.301 - 307

조재춘 (고려대학교) , 이찬희 (고려대학교 컴퓨터학과) , 이동엽 (고려대학교 컴퓨터학과) , 임희석 (고려대학교 컴퓨터학과)

초록
AI-Helper

검색에서 이미지는 시각적 속성이 중요지만, 기존의 검색방법은 문서 검색을 위한 방법에 초점이 맞춰져 있어 이미지의 속성 정보가 미반영된 키워드 중심의 검색 시스템이 대부분이다. 본 연구는 이러한 한계를 극복하고자 이미지의 벡터정보를 기반으로 유사 이미지를 검색할 수 있는 모델과 스케치로 검색 쿼리를 제공하여 유사 이미지를 검색할 수 있는 시스템을 개발하였다. 제안된 시스템은 GAN을 이용하여 스케치를 이미지 수준으로 업 샘플링하고, 이미지를 CNN을 통해 벡터로 변환한 후, 벡터 공간 모델을 이용하여 유사 이미지를 검색한다. 제안된 모델을 구현하기 위하여 패션 이미지를 이용하여 모델을 학습시켰고 패션 이미지 검색 시스템을 개발하였다. 성능 측정은 Precision at k를 이용하였으며, 0.774와 0.445의 성능 결과를 보였다. 제안된 방법을 이용하면 이미지 검색 의도를 키워드로 표현하는데 어려움을 느끼는 사용자들의 검색 결과에 긍정적 효과가 나타날 것으로 기대된다.

Abstract ▼ AI-Helper

The most of the IR focus on the method for searching the document, so the keyword-based IR system is not able to reflect the feature information of the image. In order to overcome these limitations, we have developed a system that can search similar images based on the vector information of images, and it can search for similar images based on sketches. The proposed system uses the GAN to up sample the sketch to the image level, convert the image to the vector through the CNN, and then retrieve the similar image using the vector space model. The model was learned using fashion image and the image retrieval system was developed. As a result, the result is showed meaningful performance.

주제어

표/그림 (6)

표 Table 1. Amazon Categories Sample
그림 Fig. 1. Extraction of Feature in Image using Global Average Pooling Layer
그림 Fig. 2. Image Feature Embedding using T-SNE
표 Table 2. Result of Precision
그림 Fig. 3. The Structure of Vector-based Image Retrieval and Sketch-based Image Retrieval Model
표 Table 3. Result of Precision at 5

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 기존 텍스트 기반 검색방법의 한계점을 극복하고 사진 이미지 검색방법의 제한점을 해결할 수 있는 Image2Vec기반의 이미지 검색 모델을 개발하였다. 이를 통해, 사용자가 이미지를 업로드 하면 이미지로부터 자질을 벡터값으로 추출하고, 벡터 공간 기반 유사 이미지를 검색한다.
본 연구는 사용자가 검색을 위해 텍스트 대신 이미지를 사용하고, 이미지나 스케치 그림과 유사한 이미지들을 검색 결과로 얻을 수 있는 Image2Vec 기반 이미지 검색 모델을 개발하였다. 제안된 모델 개발을 위해 선행 연구로 자질 추출 모델을 개발하였다.

제안 방법

Image2Vec 기반 이미지 검색 모델을 개발하기 위하여 벡터기반 이미지 검색 모델을 우선 개발한 후, 스케치를 그리면 딥러닝 기술을 이용하여 스케치 그림을 이미지 수준으로 업샘플링하고, 업샘플링된 이미지로부터 얻은 자질 벡터 값으로 벡터기반 유사 이미지 검색을 하는 스케치기반 이미지 검색 모델을 추가 개발하였다. Fig.
본 연구에서 제안하는 스케치기반 이미지 검색 모델의 경우 기존 연구가 존재하지 않고 키워드 검색 등 이를 대체할 다른 방법도 존재하지 않으므로 성능 비교를 위한 기준 모델을 생성할 수 없다. 따라서 기준 모델로는 검색 결과를 무작위로 제시하는 방법을 사용하였다. 벡터기반 이미지 검색 모델의 경우 유사한 선행 연구가 존재하나[24], 비공개 데이터를 사용하여 실험 조건이 다르고 재현도 불가능하므로 성능의 직접적인 정량적 비교는 적절하지 않다.
또한, 이미지 검색 시간 (time complexity)을 줄이기 위해 Approximate Nearest Neighbor (ANN) 검색 기반의 Hdidx 라이브러리를 활용하여 추출된 이미지 자질을 인덱싱(Indexing)하여 검색 엔진에 저장한다. Hdidx 라이브러리를 이용하여 고차원 (high-dimensional space)의 추출된 이미지 자질을 압축된 이진 코드 (compact binary codes)로 변형하여 유사도 검색 시 검색 시간을 줄일 수 있다.
이때 이미지로부터 얻어진 실숫값을 n 차원의 벡터 공간에 매핑하면, 유사한 특징을 갖는 이미지는 벡터 공간상 가까운 자리에 위치하게 된다. 사용자가 검색하는 이미지의 자질을 추출하여 실숫값 벡터로 변환하고, 기존 패션 이미지들의 벡터값들과 거리가 가까운 순으로 정렬하는 방법으로 벡터 기반 이미지 검색을 수행한다.
이후 벡터 기반 이미지 검색 모델을 개발하고 이에 스케치 그림을 이미지로 변환하는 기술을 추가 적용하여 최종적으로 스케치기반 이미지 검색 모델을 개발하였다. 스케치 그림을 이미지로 변환하기 위해, 사용자가 제시한 스케치를 GAN을 이용하여 이미지 수준으로 업샘플링하며, 이를 CNN을 통해 이미지 자질 벡터로 변환하고 벡터 공간 모델로부터 유사 이미지들을 획득하였다.
실험을 위해, 남성 의류를 대상으로 검색 성능을 정량적으로 측정하여 구현된 시스템의 검증 실험을 수행하였다. 실험 데이터는 국내 의류 전자상거래 서비스로부터 수집된 사진 및 카테고리 정보를 활용하였다.
대부분의 의류 판매 웹페이지의 경우 의류의 이미지와 해당 의류가 속한 카테고리 정보가 제공되므로, 이를 이용하여 학습용 데이터 구축이 가능하다. 의류 이미지가 수집되면 Canny Edge Detection[24]이나 Holisticallynested Edge Detection[25] 등의 알고리즘을 이용하여 이를 스케치로 변할 수 있으므로, 이것으로 스케치 업샘플링 모듈을 훈련 시켰다.
스케치기반 이미지 검색 모델은 패션 이미지의 카테고리 분류 모델을 지도학습으로 훈련시키며, 이로부터 이미지의 자질 벡터를 얻을 수 있다. 이렇게 만들어진 이미지 자질 추출기를 이용하여 검색 대상이 되는 패션 이미지들을 벡터화시켜 두고, 스케치 업샘플링 모델로 만들어진 쿼리 이미지도 같은 방법으로 벡터화하여 cosine similarity 등의 유사도 측정 방법으로 유사 상품 검색 결과를 얻는다.
본 연구는 기존 텍스트 기반 검색방법의 한계점을 극복하고 사진 이미지 검색방법의 제한점을 해결할 수 있는 Image2Vec기반의 이미지 검색 모델을 개발하였다. 이를 통해, 사용자가 이미지를 업로드 하면 이미지로부터 자질을 벡터값으로 추출하고, 벡터 공간 기반 유사 이미지를 검색한다.
제안된 모델 개발을 위해 선행 연구로 자질 추출 모델을 개발하였다. 이후 벡터 기반 이미지 검색 모델을 개발하고 이에 스케치 그림을 이미지로 변환하는 기술을 추가 적용하여 최종적으로 스케치기반 이미지 검색 모델을 개발하였다. 스케치 그림을 이미지로 변환하기 위해, 사용자가 제시한 스케치를 GAN을 이용하여 이미지 수준으로 업샘플링하며, 이를 CNN을 통해 이미지 자질 벡터로 변환하고 벡터 공간 모델로부터 유사 이미지들을 획득하였다.
Table 1은 총 4단계 깊이(depth)로 구성된 아마존 카테고리 중 일부를 나타낸다. 이후 학습된 이미지 분류 모델을 이용하여 패션 상품 이미지의 자질들을 추출하고, 이 자질들이 얼마나 유의미한 의미가 있는지 확인하기 위해 정밀도를 분석하였다. Table 2는 아마존 패션 이미지를 이용하여 학습한 패션 이미지 카테고리 분류기의 성능을 나타낸다.
본 연구는 사용자가 검색을 위해 텍스트 대신 이미지를 사용하고, 이미지나 스케치 그림과 유사한 이미지들을 검색 결과로 얻을 수 있는 Image2Vec 기반 이미지 검색 모델을 개발하였다. 제안된 모델 개발을 위해 선행 연구로 자질 추출 모델을 개발하였다. 이후 벡터 기반 이미지 검색 모델을 개발하고 이에 스케치 그림을 이미지로 변환하는 기술을 추가 적용하여 최종적으로 스케치기반 이미지 검색 모델을 개발하였다.
Generative Adversarial Network (GAN)은 상호 대립되는 두 신경망을 교차로 훈련 시키는 생성 모델로[21], 이미지 생성분야에서 기존의 방법보다 선명한 결과물을 얻을 수 있어 최근에 주목받고 있다[22,23]. 제안된 모델도 GAN을 이용하여 스케치 그림을 패션 이미지 수준으로 업샘플링한다.

대상 데이터

실험을 위해, 남성 의류를 대상으로 검색 성능을 정량적으로 측정하여 구현된 시스템의 검증 실험을 수행하였다. 실험 데이터는 국내 의류 전자상거래 서비스로부터 수집된 사진 및 카테고리 정보를 활용하였다. Isola 에서 제안된 방법을 활용하여 남성 의류 중 상의에 대해서 학습을 시켰으며, 검색의 대상이 되는 상품 모집단은 남성 의류 카테고리(총 5개)로 제한하였다[26].
유사이미지를 검색하고 자질을 추출하기 이전에, 패션이미지의 카테고리를 분류하기 위해 아마존 (amazon.com) 패션 상품 이미지를 수집하였고 최근 비전 분야에서 높은 성능을 나타내고 있는 pre-train된 34층 레이어의 Deep Residual Network 모델을 이용하여 33개의 상품 카테고리로 이루어진 약 6만 6천 건을 학습하였다. Table 1은 총 4단계 깊이(depth)로 구성된 아마존 카테고리 중 일부를 나타낸다.
학습된 Deep Residual Network에서 상품 이미지의 자질을 추출하기 위해 global average pooling 레이어를 이용하였다. 이전 연구에 따르면, 이미지의 자질 추출을 하기 위해 fully connected layer를 이용하지만 오버 피팅(over fitting) 되기 쉽고 dropout regularization에 의존성이 높다는 단점이 존재한다[13,14].

이론/모형

2를 보인다고 할 수 있다. 시험 데이터는 총 1,000개의 쿼리로 구성하였으며, 이는 학습 데이터에 포함되지 않은 의류 사진 1,000건을 Hollistically-nested Edge Detection(HED) 방법에 따라 처리하여 생성하였다.

성능/효과

기준 모델을 영가설로 한 통계적 유의성 검사 결과 두 실험 모두 제안된 모델들이 p < 0.01로 기준 모델과 통계적으로 유의미한 차이가 있는 것으로 나타났다.
Table 3은 각 모델의 성능 실험 결과를 보인다. 벡터기반 이미지 검색 모델은 1,000개의 의류 상품 이미지에 대해 유사 상품 검색을 수행하고 성능을 측정한 결과, 시험 데이터 총 1,000개의 쿼리로 부터 검색된 5,000개의 의류 상품 이미지 중에서 검색 대상과 의류 카테고리가 일치한 이미지 개수는 3,871개로 Precision at 5는 0.774로 나타났다. 스케치기반 이미지 검색 모델의 성능을 측정한 결과, 시험 데이터 총 1,000개의 쿼리로 부터 5,000개의 검색 결과를 얻었으며, 이 중 2,227건의 상품이 적절한 검색 결과로 Precision at 5 값은 0.
774로 나타났다. 스케치기반 이미지 검색 모델의 성능을 측정한 결과, 시험 데이터 총 1,000개의 쿼리로 부터 5,000개의 검색 결과를 얻었으며, 이 중 2,227건의 상품이 적절한 검색 결과로 Precision at 5 값은 0.445로 나타났다.
01로 기준 모델과 통계적으로 유의미한 차이가 있는 것으로 나타났다. 이는 제안된 모델들이 영가설을 기각하고 유의한 성능 향상을 보였음을 의미하므로 실험결과인 0.744와 0.445는 의미있는 성능 향상으로 볼 수 있다.
2는 T-SNE을 이용하여 이미지 자질을 축소한 후, 이를 3차원 공간에 임베딩 한 결과를 나타낸다. 이를 통해 유사한 이미지를 가지는 상품들끼리 임베딩 공간에서 군집화를 이루고 있음을 확인할 수 있었고 이를 통해 추출된 자질이 의미 있는 이미지 표현 (representation)을 구성하고 있음을 나타냈다.
0%)이 그 뒤를 따르고 있다[1]. 전자상거래는 2016년에 1조 9220억 달러(약 2,142조 원) 규모를 이룰 것으로 예상하며, 2018년까지 추가로 약 23% 성장을 달성할 것으로 예측되었다. 또한, 이 중 가장 성장세가 뚜렷한 항목세 가지로 의류, 항공, 숙박 예약 분야가 지목되었으며 패션 의류 분야의 성장세는 매우 뚜렷하며, 성장 가능성이 매우 크다[2].

후속연구

제안된 모델은 의미 있는 성능을 보였으며, 이미지가 중요한 패션 분야에서 이를 이용하면 기존의 키워드 검색 능력이 부족한 잠재적 소비자들도 효과적인 패션 상품 검색을 할 수 있는 서비스가 가능하며, 이를 통해 서비스 만족도와 판매 수익을 높일 수 있을 것으로 기대된다. 현재 제안된 모델을 기반으로 다양한 도메인의 이미지를 이용하여 이미지 검색 시스템을 개발하고 있으며, 구현된 Image2Vec기반 이미지 검색 시스템을 쇼핑몰 사이트에 도입하여 추가적인 성능 분석과 소비자들의 구매패턴을 분석하기 위한 과제로 향후 연구로 진행 중이다.
제안된 모델은 의미 있는 성능을 보였으며, 이미지가 중요한 패션 분야에서 이를 이용하면 기존의 키워드 검색 능력이 부족한 잠재적 소비자들도 효과적인 패션 상품 검색을 할 수 있는 서비스가 가능하며, 이를 통해 서비스 만족도와 판매 수익을 높일 수 있을 것으로 기대된다. 현재 제안된 모델을 기반으로 다양한 도메인의 이미지를 이용하여 이미지 검색 시스템을 개발하고 있으며, 구현된 Image2Vec기반 이미지 검색 시스템을 쇼핑몰 사이트에 도입하여 추가적인 성능 분석과 소비자들의 구매패턴을 분석하기 위한 과제로 향후 연구로 진행 중이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	global average pooling 레이어를 사용할 때의 장점은?	이전 연구에 따르면, 이미지의 자질 추출을 하기 위해 fully connected layer를 이용하지만 오버 피팅(over fitting) 되기 쉽고 dropout regularization에 의존성이 높다는 단점이 존재한다[13,14]. 반면에 global average pooling 레이어를 이용할 경우, feature map의 spatial average 값을 직접적으로 카테고리 정보와 매핑하기 때문에 모델의 해석이 가능하게 할 수 있다는 장점이 있다[15].
	벡터기반 이미지 검색 모델은 어떻게 사용자가 검색하는 이미지와 비슷한 이미지를 찾아내는가?	앞서 기술된 image2vec 기반 자질 추출 기술을 사용하면 이미지는 n 차원의 실숫값 벡터로 변환된다. 이때 이미지로부터 얻어진 실숫값을 n 차원의 벡터 공간에 매핑하면, 유사한 특징을 갖는 이미지는 벡터 공간상 가까운 자리에 위치하게 된다. 사용자가 검색하는 이미지의 자질을 추출하여 실숫값 벡터로 변환하고, 기존 패션 이미지들의 벡터값들과 거리가 가까운 순으로 정렬하는 방법으로 벡터 기반 이미지 검색을 수행한다.
	기존 패션 검색 시스템의 문제점은?	그러나 기존 전자상거래 플랫폼은 텍스트 중심의 검색으로 소비자가 원하는 패션상품을 검색하고 있다. 기존 패션 검색 시스템은 상품의 속성 정보(상품명, 카테고리, 브랜드명 등)를 중심으로 텍스트 기반 검색방법을 사용하고 있다. 디자인 요소가 강한 패션산업의 특성상 텍스트 기반의 검색방법은 검색결과의 만족도에서 한계점을 보인다. 최근 패션 사진을 이용하여 상품을 검색하는 시스템들이 오픈되었지만, 구체적인 성과나 의미 있는 성능을 내지 못하고 있다.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증