선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 장에서는 딥 러닝 기술에서 이미지 검색 업체의 서비스 사례와 기술에 대해서 간략히 학습한다. 그런 후, 소비자에게 O2O 쇼핑 플랫폼에서 온ㆍ오프라인을 연계한 서비스디자인 사례 중심으로 살펴본다.
- 본 장에서는 현재 업체에서 서비스 중인 쇼핑몰 플랫폼에 있는 원본 데이터를 재정리하여 본 시스템 구현을 위한 학습 데이터 생성 과정에 대해서 소개한다. 그런 후, 학습 데이터로 구현한 검색시스템의 구현 방법과 구조에 대해서 살펴본다. 마지막으로 본 시스템에서 제안하고자 하는 딥러닝 이용한 서비스디자인에 대해서 학습 한다.
- 본 논문에서는 이미지 기반의 검색기술을 사용하여 서비스디자인이 가능한 시스템 구축을 하였다. 시스템 구축에 필요한 데이터는 현재 서비스 중인 쇼핑몰 업체의 플랫폼에 있는 데이터 이미지를 사용하였다.
- 본 시스템은 O2O 쇼핑 플랫폼에서 B2C(Business toConsumer)형태의 서비스로 고객에게 상품 구입을 위해 보다 편리한 서비스를 제안한다. 본 시스템은 오프라인 쇼핑 시나 또는 주변에 원하는 상품과 동일 또는 유사 상품 정보를 찾기 위해 스마트 폰으로 촬영한 이미지를 이용하여 온라인 검색을 한다.
- 본 시스템은 O2O 플랫폼을 기반으로 하는 서비스로 B2C 형태의 전자상거래에서 고객에게 경험적 체험을 통해서 보다 편리한 서비스를 제안한다. 오프라인 쇼핑 시에 동일 또는 유사 상품에 대해서 가격 비교를 위해 온라인 검색을 활용한다.
- 실험 테스트는 딥러닝 학습을 위해 분류군으로 나누어진 약 9만개의 상품 데이터 이미지를 시스템에서 학습한 후, 학습 데이터 외에 각 카테고리 학습 데이터 10%에 해당하는 검증 데이터를 속도와 정확도에 대해 수치화한 결과 값을 분석한다. 본 실험 결과를 기반으로 본 시스템의 서비스디자인 설계를 통해서 다양한 활용방안을 제안한다.
- 최근 새로운 개념의 서점으로 주목받고 있는 반디앤루니스 서점의 서비스 디자인 사례에 대해서 살펴본다. 전국에 있는 반디앤루니스 서점은 공간적·시각적·체험적 디자인을 통해 새로운 고객 경험을 제공하는 혁신적인 고객의 라이프사이클을 이용한 서비스를 제안하였다.
제안 방법
- Output과 Pooling Layer를 제외한 모든 Layer의 출력은 ReLU Activation을 사용하였으며 2개의 Fully Connected layer의 출력에는 0.3 ratio의 Drop Out을 사용하여 Overfitting이 되는 것을 방지했다. 적은 수의 Layer와 Kernel 를 이용해 Classification을 진행해야하기 때문에 Overfitting이 빈번하고 빠른 Epoch에서 발생한다.
- 4]는 학습을 진행 과정 중 50 epoch 까지의 Train loss, Validation loss, Validation accuracy 이다. [Fig. 4]에서 확인할 수 있듯이 매우 빠르게 성능이 증가하고 Overfiiting이 발생하지 않도록 Hyper Parameter를 수정했다.
- CNN은 이미지 데이터의 각 픽셀이 연관성을 가지면서 계산을 한다. 계산량이 많은 작은 필터들을 이용해서 일부 위치의 패턴만을 모델링한 후에 데이터의 픽셀 수를 줄이고 전 영역을 공통적으로 모델링이 되도록 한다. 그리고 컨볼루션 필터들은 같은 가중치 값으로 다른 위치에 적용한다.
- 구현한 시스템에서 상품의 카테고리 분류의 정확도 테스트를 위해서 현재 운영 중인 쇼핑몰 서비스 업체에서 사용되고 상품이미지 카테고리 중에서 식품과 관련된 13개의 카테고리로 분류 학습을 하였다. 식품과 관련된 카테고리로 제한한 이유는 업체에서 제공한 데이터 수에 따른 학습 성능의 효율성을 고려하여 실험을 하면서 재분류를 하였다[Table 1].
- 정의된 카테고리에 업체의 이미지 데이터들이 얼마나 정확히 분류 되는지를 실험을 통해서 수치화하였다. 그런 후 수치화 된 결과 값의 분석을 통해서 상용화 모색과 함께 고객에게 편리한 구매 서비스를 위한 서비스 모델을 제안하였다.
- 본 실험에서는 앞서 언급한 3가지의 요인인 과도한 문자와 로고로 포장된 이미지, 개별 상품을 박스화한 이미지와 같이 상품을 이해하는데 일반적이지 않다고 판단되는 이미지는 삭제하고 실험을 하였다. 그런 후에 상품 분류 학습 데이터를 제외한 검증 데이터를 이용하여 13개의 카테고리 분류에 대해 정확도 실험을 하였다[Table 2], [Fig. 6].
- 그런 후, 학습 데이터로 구현한 검색시스템의 구현 방법과 구조에 대해서 살펴본다. 마지막으로 본 시스템에서 제안하고자 하는 딥러닝 이용한 서비스디자인에 대해서 학습 한다.
- 본 논문에서는 O2O 쇼핑몰 상품 이미지 검색 시스템을 통해서 이미지 기반 자동 카테고리 검색 속도와 정확도를 측정하였다. 본 시스템에서 속도는 실제 상용화에서 사용되는 개별이미지 검색 응답은 즉시 가능하므로 시간의 문제는 없다.
- 적은 수의 Layer와 Kernel 를 이용해 Classification을 진행해야하기 때문에 Overfitting이 빈번하고 빠른 Epoch에서 발생한다. 본 논문은 Drop Out과 Learning parameter와 Hyper parameter를 수정하며 Overfitting을 방지하였다.
- 본 시스템 테스트 성능 향상을 위해 여러 차례의 분류 및 검색 실험을 통해서 데이터 정리를 하였다. 업체에서 현재 쇼핑몰에서 사용 중인 상품이미지는 딥 러닝 학습 데이터로 사용되기에는 불필요한 요소가 많이 있었다.
- 본 시스템에서는 이미지 입력 정보에 관련 구매 상품을 검색하고 구매한 고객의 상품 구매 정보 데이터를 학습을 통해서 다양한 서비스디자인을 제공한다. 개인 선호상품에 대한 정보를 보내주고 이동 중에 개인이 필요한 상품이 장소가 나타나면 개인 맞춤형 서비스 제공한다.
- 본 시스템도 O2O 플랫폼을 기반으로 하는 서비스가 가능하며 B2C 형태의 상거래에서 활용을 한다. 본 시스템은 고객의 상품 구매 정보 데이터를 딥 러닝으로 학습을 한 후에 개인 맞춤형 서비스를 하며, 유사 소비 패턴을 파악하여 새로운 고객에 대한 마케팅 전략에 활용한다. 실제로 현재 쇼핑업계에서는 딥러닝 기반으로 고객 구매 정보를 이용하여 고객에게 구매의 편리함을 제공하며 가격 할인 등의 다양한 서비스를 통해서 고객 마케팅에 활용하고 있다.
- 본 시스템은 O2O 쇼핑 플랫폼에서 B2C(Business toConsumer)형태의 서비스로 고객에게 상품 구입을 위해 보다 편리한 서비스를 제안한다. 본 시스템은 오프라인 쇼핑 시나 또는 주변에 원하는 상품과 동일 또는 유사 상품 정보를 찾기 위해 스마트 폰으로 촬영한 이미지를 이용하여 온라인 검색을 한다. 검색을 통해서 추천 상품 받고 구매를 한다[Fig.
- 본 시스템의 딥 러닝 기술 중 CNN(Convolutional Neural Network)을 이용하여 스마트폰과 서버 연동으로 응용이 되므로 최대한 빠르게 동작이 가능하도록 구조를 간략화 하였다. CNN은 이미지 인식을 위해 딥 러닝에서 가장 많이 사용되는 네트워크 모델이다[17].
- 본 실험에서는 앞서 언급한 3가지의 요인인 과도한 문자와 로고로 포장된 이미지, 개별 상품을 박스화한 이미지와 같이 상품을 이해하는데 일반적이지 않다고 판단되는 이미지는 삭제하고 실험을 하였다. 그런 후에 상품 분류 학습 데이터를 제외한 검증 데이터를 이용하여 13개의 카테고리 분류에 대해 정확도 실험을 하였다[Table 2], [Fig.
- 본 실험의 정확도는 자체 데이터를 사용하여 객관적인 비교 실험 결과 값이 없는 상태에서 실험을 하였다. 실험의 전체 정확도는 86.
- 본 연구에서 제안하는 시스템은 CNN에서 가장 대중적으로 사용되는 AlexNet[21]의 간략화 한 형태의 네트워크로 3개의 Convolutional layer와 2개의 Fully connected layer, 13개의 카테고리를 구분하기 위한 Output Layer로 구성하였다. 입력 영상은 128x128의 크기로 기존 ImageNet에서 사용한 227x227 보다는 작은 이미지를 이용했다.
- 본 장에서는 실험환경 및 방법을 간략히 살펴보고 구현한 이미지기반의 검색 시스템을 통해서 검색 테스트를 한 실험한 결과에 대해 분석을 한다. 실험 테스트는 딥러닝 학습을 위해 분류군으로 나누어진 약 9만개의 상품 데이터 이미지를 시스템에서 학습한 후, 학습 데이터 외에 각 카테고리 학습 데이터 10%에 해당하는 검증 데이터를 속도와 정확도에 대해 수치화한 결과 값을 분석한다.
- 학습 성능을 높이기 위해 Augmentation을 통해 학습 데이터의 수량을 증가 시켰다. 사용한 Augmentation의 종류는 Flip(상하, 좌우), Rotation, Crop, Blur, Sharpening과 조명 변화를 포함한 6가지의 처리를 random하게 처리했다. 그런 후, Augmentation을 통해 원본 데이터 약 6천장 보다 15배가 많은 약 9만장의 학습 데이터를 사용하여 실험을 하였다.
- 구현한 시스템에서 상품의 카테고리 분류의 정확도 테스트를 위해서 현재 운영 중인 쇼핑몰 서비스 업체에서 사용되고 상품이미지 카테고리 중에서 식품과 관련된 13개의 카테고리로 분류 학습을 하였다. 식품과 관련된 카테고리로 제한한 이유는 업체에서 제공한 데이터 수에 따른 학습 성능의 효율성을 고려하여 실험을 하면서 재분류를 하였다[Table 1].
- 본 장에서는 실험환경 및 방법을 간략히 살펴보고 구현한 이미지기반의 검색 시스템을 통해서 검색 테스트를 한 실험한 결과에 대해 분석을 한다. 실험 테스트는 딥러닝 학습을 위해 분류군으로 나누어진 약 9만개의 상품 데이터 이미지를 시스템에서 학습한 후, 학습 데이터 외에 각 카테고리 학습 데이터 10%에 해당하는 검증 데이터를 속도와 정확도에 대해 수치화한 결과 값을 분석한다. 본 실험 결과를 기반으로 본 시스템의 서비스디자인 설계를 통해서 다양한 활용방안을 제안한다.
- 본 시스템은 O2O 플랫폼을 기반으로 하는 서비스로 B2C 형태의 전자상거래에서 고객에게 경험적 체험을 통해서 보다 편리한 서비스를 제안한다. 오프라인 쇼핑 시에 동일 또는 유사 상품에 대해서 가격 비교를 위해 온라인 검색을 활용한다. 이를 위해 보다 빠르고 정확한 검색을 위해 이미지를 스마트폰으로 사진 촬영을 하여 서버로 해당 상품에 대해서 유사 상품을 추천하고 다른 매점의 가격정보와 비교해서 물품을 구입하게 한다.
- 입력 영상은 128x128의 크기로 기존 ImageNet에서 사용한 227x227 보다는 작은 이미지를 이용했다. 위와 같이 네트워크의 구조를 축소하고 입력 영상을 줄인 이유는 제안하는 시스템은 딥 러닝을 위한 GPU 기반의 일반적인 성능의 PC에서 서비스가 가능하도록 위한 방법이다.
- 상품을 세분화했을 때 데이터 량이 많으면 분류 성능은 높일 수는 있으나 이번 실험 데이터의 각 세분화 된 카테고리 테이터의 학습 데이터가 충분하지 않았다. 이런 상황에서 여러 차례 학습 실험을 한 후에 그 중에 실험 결과가 좋은 13개의 카테고리로 분류하였다[Fig. 1].
- 이를 바탕으로 O2O 서비스를 ‘플랫폼 기반 서비스’와 ‘상거래 사업 확장’으로 구분하였다.
- 오프라인 쇼핑 시에 동일 또는 유사 상품에 대해서 가격 비교를 위해 온라인 검색을 활용한다. 이를 위해 보다 빠르고 정확한 검색을 위해 이미지를 스마트폰으로 사진 촬영을 하여 서버로 해당 상품에 대해서 유사 상품을 추천하고 다른 매점의 가격정보와 비교해서 물품을 구입하게 한다. 이와 같이 구매자들에 의해 쌓인 구매 정보는 유형 별로 패턴화하여 고객 마켓팅에 활용하고 다양한 서비스디자인에 대한 제안을 위한 빅데이터로 활용한다[23,24].
- 이와 같이 구매가 이루어진 고객들이 DB의 구매 정보 등을 이용하여 개인 별로 특성에 맞게 딥러닝 기술과 융합안 서비스디자인을 제안 한다. 예를 들면 온라인으로 구매한 물건을 구매 시간과 귀가 동선 등에 맞추어 특정 위치에서 상품을 찾는 서비스를 제공한다.
- 시스템 구축에 필요한 데이터는 현재 서비스 중인 쇼핑몰 업체의 플랫폼에 있는 데이터 이미지를 사용하였다. 정의된 카테고리에 업체의 이미지 데이터들이 얼마나 정확히 분류 되는지를 실험을 통해서 수치화하였다. 그런 후 수치화 된 결과 값의 분석을 통해서 상용화 모색과 함께 고객에게 편리한 구매 서비스를 위한 서비스 모델을 제안하였다.
- 업체에서 제공한 원본 데이터는 약 25,747개 이미지 파일과 107개의 폴더에 있는 상품 데이터로 이루어져 있었으며 이 중에 식품과 관련된 이미지 14,936개의 파일과 79개의 폴더로 추출하였다. 추출한 식품을 자연물과 가공물 두 가지로 크게 구분한 후에 과일, 채소와 같이, 같은 범주에서 관련 상품을 묶어서 13개의 세분류로 나누었다. 상품을 세분화했을 때 데이터 량이 많으면 분류 성능은 높일 수는 있으나 이번 실험 데이터의 각 세분화 된 카테고리 테이터의 학습 데이터가 충분하지 않았다.
- 학습 성능을 높이기 위해 Augmentation을 통해 학습 데이터의 수량을 증가 시켰다. 사용한 Augmentation의 종류는 Flip(상하, 좌우), Rotation, Crop, Blur, Sharpening과 조명 변화를 포함한 6가지의 처리를 random하게 처리했다.
- 학습은 총 150 Epoch를 진행했으며 [Fig. 4]는 학습을 진행 과정 중 50 epoch 까지의 Train loss, Validation loss, Validation accuracy 이다. [Fig.
대상 데이터
- 사용한 Augmentation의 종류는 Flip(상하, 좌우), Rotation, Crop, Blur, Sharpening과 조명 변화를 포함한 6가지의 처리를 random하게 처리했다. 그런 후, Augmentation을 통해 원본 데이터 약 6천장 보다 15배가 많은 약 9만장의 학습 데이터를 사용하여 실험을 하였다.
- 본 시스템 구현을 위한 실험환경은 Intel Core i7 CPU4.40GHz, 16.0GB RAM과 NVIDIA GeForce GTX 1080 비디오 카드를 사용해 학습을 진행하였다. 본 실험에 사용된 데이터는 B2C 유형의 쇼핑몰 서비스 업체에서 실제 사용하는 상품이미지 데이터를 기반으로 실험을 하였다.
- 0GB RAM과 NVIDIA GeForce GTX 1080 비디오 카드를 사용해 학습을 진행하였다. 본 실험에 사용된 데이터는 B2C 유형의 쇼핑몰 서비스 업체에서 실제 사용하는 상품이미지 데이터를 기반으로 실험을 하였다. 실험을 위해 분류한 13개의 카테고리( 과일류, 채소류, 정육류, 어류, 면류, 음료류, 차류, 곡류, 계란, 담배, 분유이유식, 빙과류, 소스류)에 약 9만 개의 이미지 데이터로 학습을 하였다.
- 본 논문에서는 이미지 기반의 검색기술을 사용하여 서비스디자인이 가능한 시스템 구축을 하였다. 시스템 구축에 필요한 데이터는 현재 서비스 중인 쇼핑몰 업체의 플랫폼에 있는 데이터 이미지를 사용하였다. 정의된 카테고리에 업체의 이미지 데이터들이 얼마나 정확히 분류 되는지를 실험을 통해서 수치화하였다.
- 본 실험에 사용된 데이터는 B2C 유형의 쇼핑몰 서비스 업체에서 실제 사용하는 상품이미지 데이터를 기반으로 실험을 하였다. 실험을 위해 분류한 13개의 카테고리( 과일류, 채소류, 정육류, 어류, 면류, 음료류, 차류, 곡류, 계란, 담배, 분유이유식, 빙과류, 소스류)에 약 9만 개의 이미지 데이터로 학습을 하였다. 검증 데이터는 학습한 데이터 외에 있는 각 카테고리 이미지 10%의 개수를 사용하여 실험을 하였다[Fig.
- 업체에서 제공한 원본 데이터는 약 25,747개 이미지 파일과 107개의 폴더에 있는 상품 데이터로 이루어져 있었으며 이 중에 식품과 관련된 이미지 14,936개의 파일과 79개의 폴더로 추출하였다. 추출한 식품을 자연물과 가공물 두 가지로 크게 구분한 후에 과일, 채소와 같이, 같은 범주에서 관련 상품을 묶어서 13개의 세분류로 나누었다.
- 본 연구에서 제안하는 시스템은 CNN에서 가장 대중적으로 사용되는 AlexNet[21]의 간략화 한 형태의 네트워크로 3개의 Convolutional layer와 2개의 Fully connected layer, 13개의 카테고리를 구분하기 위한 Output Layer로 구성하였다. 입력 영상은 128x128의 크기로 기존 ImageNet에서 사용한 227x227 보다는 작은 이미지를 이용했다. 위와 같이 네트워크의 구조를 축소하고 입력 영상을 줄인 이유는 제안하는 시스템은 딥 러닝을 위한 GPU 기반의 일반적인 성능의 PC에서 서비스가 가능하도록 위한 방법이다.
성능/효과
- 본 실험의 정확도는 자체 데이터를 사용하여 객관적인 비교 실험 결과 값이 없는 상태에서 실험을 하였다. 실험의 전체 정확도는 86.6%이었으며, 그 중에 90%가 넘는 분류군에는 소스류, 과일, 채소, 정육, 면류, 음료, 차류, 곡류 등으로 13개의 군 중에 7개의 군으로 실험 결과가 나왔다. 그리고 전체 평균 보다 낮게 나온 분류군은 빙과류, 어류와 계란 등이 있었다.
- 전체 이미지 학습 시간은 약 4 시간 이상이 소요되었으나 13개의 카테고리에 있는 테스트 이미지 약 10%는 검증하는 데 30분 정도 만에 결과를 확인할 수 있었다. 이와 같은 속도라면 상용화 과정에서 사용자가 필요로 하는 개별 이미지 검색에는 즉시 응답이 가능하다.
- 실험 결과에 대한 오차 행렬(Confusion Matrix)은 [Table 2]와 같다. 전체적으로 85% 이상의 정확도를 보이나 어류에서 매우 낮은 성능인 약 42%를 보였다. 이는 어류의 데이터가 다른 카테고리에 비해 상당히 부족한 것도 이유일 수 있으나 윈본 이미지가 채소와 비슷하게 빽빽이 묶음의 형상으로 되어있는 이미지가 많았는데 이들의 이미지가 약 37%로 채소로 오 분류한 결과로 추측이 된다.
- 이는 어류의 데이터가 다른 카테고리에 비해 상당히 부족한 것도 이유일 수 있으나 윈본 이미지가 채소와 비슷하게 빽빽이 묶음의 형상으로 되어있는 이미지가 많았는데 이들의 이미지가 약 37%로 채소로 오 분류한 결과로 추측이 된다. 하지만 데이터 수가 많은 소스류나 음료의 경우는 각각 95.6%와 94.0%로 상대적으로 다른 분류군에 비해 높은 정확성을 확인할 수 있었다. 가공 식품 개별 포장에 많았던 문자나 로고는 공통적으로 대부분의 상품에 있는 관계로 분류에 방해 요인은 아니었음을 증명하였다.
후속연구
- 본 시스템의 상용화를 위해서는 이와 같은 이미지 검색의 상품이미지의 분류 성능을 높이고 좀 더 높은 해상도의 이미지와 많은 양의 데이터가 필요하다. 카테고리 군도 사과, 배, 감과 같이 좀 더 개별 상품으로 세분류가 필요하다.
- 개별 상품이미지 데이터를 양적으로 충분히 학보 되면 이미지 기반으로 상품 자동 검색을 통해서 많은 상품 속에서 정확한 서비 등의 다양한 서비스가 가능하다. 향후에 본 시스템은 검색 이미지를 서버와 연동하여 개별 상품검색의 성능을 높이고 온ㆍ오프라인 연계를 통한 다양한 서비스디자인을 제안할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.