[논문]Online to Offline 상점의 자동화 : 초소형 깊이의 Yolov8과 특징점 기반의 상품 인식

시종욱; 김대민; 김성영

doi:10.17661/jkiiect.2024.17.3.121

[국내논문] Online to Offline 상점의 자동화 : 초소형 깊이의 Yolov8과 특징점 기반의 상품 인식
Automation of Online to Offline Stores: Extremely Small Depth-Yolov8 and Feature-Based Product Recognition

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.17 no.3, 2024년, pp.121 - 129

시종욱 (Dept. Computer.AI Convergence Engineering, Kumoh National Institute of Technology) , 김대민 (Dept. Computer Engineering, Kumoh National Institute of Technology) , 김성영 (Dept. Computer Engineering, Kumoh National Institute of Technology)

초록
AI-Helper

디지털 기술의 급속한 발전과 코로나19 팬데믹으로 인해 온라인 상거래가 크게 성장하면서, 소상공인들이 이러한 시장 변화에 적극적으로 대응할 수 있는 지원 방안의 필요성이 대두되었다. 이에 본 논문은 O2O(Online to Offline) 전략을 활용해 실제 매장 진열대에 전시된 상품들을 자동으로 촬영하고 이를 이용해 가상 상점을 만들 수 있는 기초적인 기술을 제시한다. 본 연구의 핵심은 진열된 상품의 위치와 이름을 정확히 파악하여 인식하는 것이며, 이를 위해 단일 클래스를 대상으로 하며 YOLOv8에 기반한 경량화 모델인 ESD-YOLOv8을 제안한다. 검출된 상품은 특징점 기반의 기술을 통해 상품명이 식별되며, 이는 새 상품을 사진 형태로 추가함으로써 신속하게 갱신할 수 있는 능력을 갖추고 있다. 실험을 통해 상품명 인식은 74.0%의 정확도, 위치 검출은 0.3M개의 파라미터만으로 F2-Score 기준 92.8%의 성능을 보였다. 이를 통해 제안된 방법이 높은 성능과 최적화된 효율성을 갖추고 있음을 확인하였다.

Abstract ▼ AI-Helper

The rapid advancement of digital technology and the COVID-19 pandemic have significantly accelerated the growth of online commerce, highlighting the need for support mechanisms that enable small business owners to effectively respond to these market changes. In response, this paper presents a foundational technology leveraging the Online to Offline (O2O) strategy to automatically capture products displayed on retail shelves and utilize these images to create virtual stores. The essence of this research lies in precisely identifying and recognizing the location and names of displayed products, for which a single-class-targeted, lightweight model based on YOLOv8, named ESD-YOLOv8, is proposed. The detected products are identified by their names through feature-point-based technology, equipped with the capability to swiftly update the system by simply adding photos of new products. Through experiments, product name recognition demonstrated an accuracy of 74.0%, and position detection achieved a performance with an F2-Score of 92.8% using only 0.3M parameters. These results confirm that the proposed method possesses high performance and optimized efficiency.

Keyword

표/그림 (9)

그림 그림 1. O2O 상점에 특화된 제안하는 ESD-YOLOv8 모델의 구조 Fig. 1. Proposed ESD-YOLOv8 Model Architecture Specialized for O2O Stores
그림 그림 2. 특징점을 이용한 상품명 인식 Fig. 2. Product name using feature points
표 표 1. ESD-Yolov8의 세부사항 Table 1. Detailed information of ESD-YOLOv8
그림 그림 3. 데이터세트의 상품 좌표와 크기에 대한 분포 Fig. 3. Distribution of product coordinates and sizes in the dataset
표 표 2. 학습 및 평가를 위한 데이터 개수 Table 2. Number of data for train and test
표 표 3. 상품 검출을 위한 기존 YOLOv8과 제안 모델의 구조와 성능 비교 Table 3. Comparison of the YOLOv8 structures for product detection and the proposed model
표 표 4. ESC-YOLOv8의 상품 검출에 대한 혼동 행렬 Table 4. Confusion Matrix for Product Detection using ESC-YOLOv8
표 표 5. 특징 추출기와 매칭기 조합의 성능 비교 Table 5. Performance Comparison of Combination with Feature Descriptor and Matcher
그림 그림 4. ESD-YOLOv8과 특징점을 이용한 진열대 상품의 검출 결과 예시 Fig. 4. Example of Product Detection on Shelves Using ESD-YOLOv8 and Feature Points

AI 본문요약
AI-Helper

문제 정의

이러한 전략을 O2O(Online to Offline)이라 하며[3-4], 오프라인 상품을 온라인 상에서 거래할 수 있는 플랫폼을 의미한다. 본 논문에서는 O2O 전략을 활용하여 실제 진열대에 있는 상품들을 촬영하여 가상 상점을 구성하는 데 기반이 되는 상품 인식 기술을 제안한다. 이러한 O2O 상점은 자동 촬영으로 상품을 인식하고 이를 바탕으로 개인 온라인 상점을 구축하도록 한다.
기존의 객체 인식 모델을 사용할 경우, 모델을 지속적으로 재학습하고 파라미터를 조정해야 하므로, 신제품을 인식하는 데 시간이 많이 소요되는 단점이 있다. 이에 본 논문에서는 진열대 사진에서 상품의 위치를 검출하기 위한 목적으로 단일 클래스를 사용하는 객체 검출 모델을 채택하고, 검출된 결과를 기반으로 영상 처리 기술의 특징점 추출 및 매칭 과정을 통해 구체적인 상품을 식별할 수 있는 시스템을 제안한다. 이 방식은 새로운 상품이 추가될 때 간단히 사진을 후보 데이터에 추가하는 것만으로도 신속하게 대응할 수 있어 효율적이다.
이 방식은 새로운 상품이 추가될 때 간단히 사진을 후보 데이터에 추가하는 것만으로도 신속하게 대응할 수 있어 효율적이다. 본 논문에서는 대표적인 1단계 객체 감지기인 YOLOv8[5]을 기반으로 파라미터를 줄여 O2O 상점을 위한 최적화를 목적으로 개선된 모델을 제안한다. 기존의 모델은 여러 클래스에 대하여 고려하였기 때문에, 파라미터 수가 많고 모델의 구조가 깊기에 추론 속도가 느린 단점이 있다.
본 논문에서는 O2O 상점의 자동화를 하여 딥러닝과 영상처리 기술을 융합한 시스템을 제안하였다. 이 방법은 진열대에 상품이 추가되더라도 추가적인 학습이 필요 없다는 것이 큰 장점이다.

제안 방법

이 과정을 통해 YOLOv8은 입력 영상 내의 객체들을 정확하게 탐지하고 분류할 수 있다. 제안하는 방법은 YOLOv8을 O2O 상점에 특화된 모델을 만드는 것이며 이에 따라 여러 가지 부분을 수정한다. 서론에서 소개한 바와 같이 객체의 위치 검출만을 위해 사용하기 때문에 다양한 상품들은 "상품"이라는 하나의 클래스로 통합되며, 그림 1과 같이 O2O 상점에서 효율적으로 사용할 수 있는 경량화된 모델을 제안한다.
기존 모델의 깊이를 초소형으로 구성하여 실제 환경에서 빠르게 추론할 수 있도록 하는 것이 주된 목표이다. 전체적인 구조는 기존의 YOLOv8과 동일하며 모든 계층에서의 출력에서 깊이를 조정한 ESD-YOLOv8을 제안한다. 각 계층에서의 출력층의 크기는 표 1과 같다.
제안하는 ESD-Yolov8을 통해 진열대 영상에서 각 상품의 좌표를 나타내는 위치 정보를 추출하고 식별된 영상과 정답 상품 영상 간 유사성을 평가하기 위해 특징 매칭 기법을 적용하여 상품명을 판단한다. 이 과정에서, 영상의 특징점과 해당 디스크립터를 추출 후, 추출된 정보를 정합하여 유사한 객체를 식별한다.
본 논문에서는 Windows 10 운영체제를 기반으로 하며, GTX 1080 Ti 2대를 사용하여 ESC-YOLOv8 모델의 학습 및 평가를 진행한다. ESD-YOLOv8 모델은 사전 학습된 모델을 사용하지 않으므로, 초기 상태에서 무작위로 초기화된 채로 1000 epoch 동안 학습한다.
제안된 방법의 우수성을 확인하기 위해 상품을 올바르게 감지했는지를 평가하는 지표로 혼동 행렬을 사용한다. 또한, 객체 검출 모델에서 하나의 클래스에 대한 평균적인 정밀도를 계산하기 위해 F2-score와 AP(Average precision) 사용하여 평가한다.

대상 데이터

Faster R-CNN[11]은 Fast R-CNN[10]을 개선한 연구로, RPN(Region Proposal Network)을 사용하여 더욱 빠르게 후보 영역을 제안하도록 수정하였다. RPN은 슬라이딩 윈도우와 앵커 박스를 사용해 후보 영역을 예측하며, NMS로 최종 후보를 선정한다. 이와 같이, 각 객체 탐지 모델은 특유의 방식으로 영상 내 객체를 식별하며, 다양한 상황에 적용할 수 있다[12-13].
본 논문에서는 진열대에서 "상품"으로 라벨링한 객체를 감지하기 위해 편의점, 슈퍼마켓 등에서 직접 수집한 448장의 영상 데이터를 활용하여 학습과 평가를 수행한다
평가를 위해 제공된 다양한 크기의 YOLOv8 모델은 사전 훈련된 모델을 파인 튜닝하여 사용되며, 추가 학습 epoch는 50으로 설정한다. 입력 크기, 레이어 수, 파라미터 수, 그리고 FLOPs 값은 표 3과 같다.

데이터처리

제안된 방법의 우수성을 확인하기 위해 상품을 올바르게 감지했는지를 평가하는 지표로 혼동 행렬을 사용한다. 또한, 객체 검출 모델에서 하나의 클래스에 대한 평균적인 정밀도를 계산하기 위해 F2-score와 AP(Average precision) 사용하여 평가한다. AP는 0.
특징 검출기와 매칭기를 결합하여 상품명을 분류하는 실험에서, 각각의 진열대 사진에 대한 상품 후보 사진들을 지정해두고 진행한다. 특징 검출기에는 SIFT[14], SURF[15], ORB[16]를, 특징 매칭기에는 BFMatcher와 FLANNMatcher를 사용하여 모든 조합을 통해 성능을 평가한다. 모든 매칭 함수는 τ를 0.

이론/모형

본 연구는 진열대에 있는 상품들을 인식하기 위해 객체 검출 기술을 활용한다. 진열대 상품은 다양한 행사나 신제품 출시 등으로 인해 그 위치와 구성이 자주 변경되는 특성을 가지고 있다.
ORB[15]는 FAST 기술로 초기 키포인트를 신속하게 탐지한 후, Harris 코너 검출기를 활용해 중요도가 높은 상위 N개의 키포인트를 선별한다. 이어서 영상의 스케일 변화에 강인한 특성을 확보하기 위해 다양한 크기의 이미지 피라미드를 적용하며, 회전에 대한 불변성을 제공하기 위해 수정된 BRIEF[17] 디스크립터를 사용한다.
본 논문에서는 특히 SURF[15]을 통한 특징점과 디스크립터를 계산하고 매칭을 진행한다. 매칭 간에 사용되는 매칭 함수는 KnnMatch를 채택한다.
본 논문에서는 특히 SURF[15]을 통한 특징점과 디스크립터를 계산하고 매칭을 진행한다. 매칭 간에 사용되는 매칭 함수는 KnnMatch를 채택한다. 이는 k-nn 알고리즘을 통해 구성된 매칭 함수로 k개의 최근접 이웃 개수만큼 디스크립터에서 찾아서 반환하는 기능을 한다.

성능/효과

기존 YOLOv8과 같은 15, 18, 21번째 계층의 출력인 특징맵을 통해 객체를 검출하는 것은 동일하지만, 이 특징맵들의 크기는 (80,80,64), (40,40,32), (20,20,32)으로 매우 얕은 깊이임을 알 수 있다. 모든 층의 채널 개수가 Large 모델의 6.
입력 크기, 레이어 수, 파라미터 수, 그리고 FLOPs 값은 표 3과 같다. 제안하는 방법의 경량화 작업은 Nano 모델과 비교하였을 때 파라미터 수가 10% 수준임을 보인다.
이는 Recall을 보다 강조하는 F2 Score를 통해 평가한다. 이 결과를 통해 제안된 방법이 Large 모델과 비교하여 5.5% 상승했음을 확인할 수 있다. 그러나 AP를 통해 측정한 결과에서는 제안된 방법이 가장 우수하다고 말하기는 어렵다.
이는 위치 검출 결과에 위치한 상품에 대하여 실제 인식된 상품명이 올바른지에 대한 정확도를 의미한다. 분석 결과, SURF와 BFMatcher 조합이 74%의 정확도로 가장 우수한 성능을 보였으며, 이는 다른 모든 조합 중 최고의 성능을 의미한다. 동일한 조건에서, FLANNMatcher와 SURF 조합 또한 같은 정확도를 보여주었다.
동일한 조건에서, FLANNMatcher와 SURF 조합 또한 같은 정확도를 보여주었다. 이러한 결과는 SURF가 특징 검출기로서 뛰어난 성능을 나타내며, 매칭기의 종류가 SURF의 성능에 큰 영향을 미치지 않음을 시사한다. SIFT 또한 BFMatcher와 FLANNMatcher에 대해 동일하게 57.
이러한 결과는 SURF가 특징 검출기로서 뛰어난 성능을 나타내며, 매칭기의 종류가 SURF의 성능에 큰 영향을 미치지 않음을 시사한다. SIFT 또한 BFMatcher와 FLANNMatcher에 대해 동일하게 57.6%의 정확도를 보여주었는데, 이는 SURF보다 낮지만 ORB에 비해 높은 정확도이다. 이는 SIFT가 SURF와 비교했을 때는 다소 낮은 성능을 보인다는 것을 나타낸다.
이는 ORB가 제안하는 실험의 조건에서는 다른 두 특징 검출기에 비해 상대적으로 낮은 성능을 가짐을 의미한다. 또한, KnnMatch 함수에서 매칭 쌍의 거리 비율을 이용한 필터링은 효과적으로 잘못된 매칭을 줄이고 정확한 매칭 결과를 도출하는 데 큰 역할을 하는 것을 확인할 수 있다.
이 방법은 진열대에 상품이 추가되더라도 추가적인 학습이 필요 없다는 것이 큰 장점이다. 실험 결과, O2O 상점에 최적화된 제안 모델이 Yolov8s 대비 10%의 파라미터만으로도 높은 성능을 보임을 확인하였다. 또한, 상품명 인식을 위해 다양한 조합을 평가한 결과, 검출기로 SURF를 사용할 때 가장 높은 정확도를 나타냈으며 매칭기와의 조합은 성능 차이가 없음을 보였다.
실험 결과, O2O 상점에 최적화된 제안 모델이 Yolov8s 대비 10%의 파라미터만으로도 높은 성능을 보임을 확인하였다. 또한, 상품명 인식을 위해 다양한 조합을 평가한 결과, 검출기로 SURF를 사용할 때 가장 높은 정확도를 나타냈으며 매칭기와의 조합은 성능 차이가 없음을 보였다.

후속연구

기존의 모델은 여러 클래스에 대하여 고려하였기 때문에, 파라미터 수가 많고 모델의 구조가 깊기에 추론 속도가 느린 단점이 있다. 하지만, 제안 방법에서는 클래스 하나에 대해서만 고려하기 때문에 O2O 상점에 적합하고 빠른 속도로 추론이 가능한 경량화된 모델이 필요하다.
그림 2는 이에 대한 예시를 나타내며 오른쪽 사진과 가장 유사한 특징점을 검출하여 매칭하는 과정을 살펴보면 실제 정답 사진에 가장 많은 매칭점이 있음을 확인할 수 있다. 매칭 쌍의 거리를 고려하여 잘못된 매칭을 최소화하였기 때문에 정확한 특징점에 대한 매칭 결과를 보다 정확하게 활용할 수 있다.
향후 연구에서는 상품의 다양한 각도와 조명 조건에서도 견고하게 인식할 수 있는 알고리즘의 개선이 요구된다. 또한, 실시간 데이터 처리 능력과 상품 후보들을 데이터베이스로 관리하여 시스템의 범용성과 적용 범위를 넓히는 것이 중요하다.
또한, 실시간 데이터 처리 능력과 상품 후보들을 데이터베이스로 관리하여 시스템의 범용성과 적용 범위를 넓히는 것이 중요하다. 이러한 문제점들을 해결한다면, 제안 방법이 소상공인들이 온라인과 오프라인의 경계를 넘나들며 비즈니스를 성장시키는 데 더욱 큰 도움을 줄 수 있을 것으로 기대한다.

참고문헌 (17)

https://www.sisaweek.com/news/articleView.html?idxno155389？
https://www.segye.com/newsView/20221212516736？
D. Kim, J. Si, S. Lee, and S. Kim, "Calculation of Product Location Based on Object Detection and Product name recognition through Image Similarity Measurement", Proceedings of KIIT Conference, pp.494-495, 2023.？
D. Kim, J. Si, and S. Kim, "Feature Point Matching for Product Name Recognition in O2O Stores", Proceedings of KSCI Conference, pp.79-80, 2024.？
YOLOv8, https://github.com/ultralytics/ultralytics？
J. Redmon, S. Divvala, and R. Girshick, "You Only Look Once: Unified, Real-Time Object Detection", In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 779-788, 2016.？
W. Liu, A. C. Berg, et al., "SSD: Single Shot MultiBox Detector", European Conference on Computer Vision, pp. 21-37, 2016.？
T. Y. Lin, P. Dollar et al., "Focal loss for dense object detection", In Proceedings of the IEEE international conference on computer vision, pp. 2980-2988, 2017.？
R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Region-Based Convolutional Networks for Accurate Object Detection and Segmentation", IEEE transactions on pattern analysis and machine intelligence, Vol 38, No. 1, pp. 142-158, 2015.？
R. GIRSHICK, "Fast r-cnn", Proceedings of the IEEE international conference on computer vision, pp.1440-1448, 2015.？
S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", Vol. 39, No. 6, pp.1137-1149, 2015.？
J. Si, G. Kim, J. Kim, and S. Kim, "Enhanced Location-based Facility Management in Mobile Environments using Object Recognition and Augmented Reality", The Journal of Korean Institute of Information Technology, Vol. 21, No. 11, pp. 183-192, 2023.？

상세보기
J. Si, M. Kim, and S. Kim, "Converting Close-Looped Electronic Circuit Image with Single I/O Symbol into Netlist", The Journal of Korean Institute of Information Technology, Vol. 19, No. 8, pp. 1-10, 2021.？

상세보기
G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110, 2004.？

상세보기
H. Bay, T. Tuytelaars, and L. Van Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding, Vol. 110, No. 3, pp. 346-359, 2008.？
E. Rublee, V. Rabaud, K. Konolige and G. Bradski, "ORB: An efficient alternative to SIFT or SURF", International Conference on Computer Vision, pp. 2564-2571, 2011.？
M. Calonder, V. Lepetit, C. Strecha, and P. Fua. "Brief: Binary robust independent elementary features", European Conference on Computer Vision, pp. 778-792, 2010.

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증