[논문]딥러닝 객체 탐지 기술을 사용한 스마트 쇼핑카트의 구현

오진선; 천인국

doi:10.5762/kais.2020.21.7.262

딥러닝 객체 탐지 기술을 사용한 스마트 쇼핑카트의 구현
Implementation of Smart Shopping Cart using Object Detection Method based on Deep Learning 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.21 no.7, 2020년, pp.262 - 269

오진선 (순천향대학교 컴퓨터공학과) , 천인국 (순천향대학교 컴퓨터공학과)

초록
AI-Helper

최근 다양한 쇼핑 환경에서 결제에 소요되는 시간을 줄이기 위한 많은 시도들이 이루어지고 있다. 또한 4차 산업혁명시대에 들어서면서 인공지능 기술이 고도화되고 있으며, IoT 장비들은 더욱 소형화되고 저렴해져서 이 두 가지 기술을 융합시킴으로써 사용자의 시간을 절약할, 인간을 대신하는 무인 환경을 구축하는 것에 대한 접근이 용이해졌다. 본 논문에서는 저가 IoT 장비들과 딥러닝 객체 탐지 기술을 기반으로 하는 스마트 쇼핑카트 시스템을 제안한다. 제안된 스마트 카트 시스템은 실시간 상품 인식을 위한 카메라와 라즈베리파이, 트리거 역할을 하는 초음파 센서, 상품이 쇼핑카트에 들어온 것인지 나간 것인지를 판단하기 위한 무게 센서, 가상의 장바구니에 대한 UI를 제공하는 스마트폰 어플리케이션, 학습된 데이터가 저장되는 딥러닝 서버로 구성된다. 각 모듈 간의 통신은 TCP/IP 네트워크 및 HTTP 네트워크로 이루어지며, 서버의 상품 인식을 위해서는 객체탐지 기술이 구현된 YOLO darknet 라이브러리를 사용한다. 사용자는 스마트폰의 앱을 통하여 스마트 카트에 넣은 물건들의 목록을 점검하고 자동으로 결제할 수 있다. 본 논문에서 제안된 스마트 카트 시스템은 가성비가 높은 무인 상점을 구현하는데 응용될 수 있다.

Abstract ▼ AI-Helper

Recently, many attempts have been made to reduce the time required for payment in various shopping environments. In addition, for the Fourth Industrial Revolution era, artificial intelligence is advancing, and Internet of Things (IoT) devices are becoming more compact and cheaper. So, by integrating these two technologies, access to building an unmanned environment to save people time has become easier. In this paper, we propose a smart shopping cart system based on low-cost IoT equipment and deep-learning object-detection technology. The proposed smart cart system consists of a camera for real-time product detection, an ultrasonic sensor that acts as a trigger, a weight sensor to determine whether a product is put into or taken out of the shopping cart, an application for smartphones that provides a user interface for a virtual shopping cart, and a deep learning server where learned product data are stored. Communication between each module is through Transmission Control Protocol/Internet Protocol, a Hypertext Transmission Protocol network, a You Only Look Once darknet library, and an object detection system used by the server to recognize products. The user can check a list of items put into the smart cart via the smartphone app, and can automatically pay for them. The smart cart system proposed in this paper can be applied to unmanned stores with high cost-effectiveness.

주제어

표/그림 (12)

그림 Fig. 1. Front view of Smart Shopping Cart
그림 Fig. 2. Back view of Smart Shopping Cart
그림 Fig. 3. System schematic diagram of smart shopping cart
표 Table 1. Overview of the modules used in Smart Shopping Cart
그림 Fig. 4. System operation diagram of smart shopping cart
그림 Fig. 5. The Screen of the Smartphone App
그림 Fig. 6. Neural network architecture of YOLO object detection
그림 Fig. 7. Workflow of YOLO object detection
그림 Fig. 8. Annotation with YOLO-mark
그림 Fig. 9. Graph of loss function after training 16200 epochs
표 Table 2. AP of each classes and mAP
표 Table 3. The comparison of smart shopping systems

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 앞서 제안된 무인 상점의 단점을 최소화하기 위하여 딥러닝 객체 탐지 기술과 라즈베리파이를사용한 스마트 쇼핑 카트를 제안하고자 한다. 제안하는 시스템은 파이카메라와 초음파 센서, 무게 센서, TCP/IP기반 네트워킹 기능, 딥러닝 서버, 안드로이드 기반의 사용자 스마트폰 앱으로 구성되어있다.

가설 설정

본 연구에서는 5개의 상품 클래스만을 가정하였고 각클래스 당 촬영을 통하여 300-500장 정도 학습 데이터를 생성하였다. 이 학습 데이터는 Fig.

제안 방법

본 논문에서 제안된 스마트카트 시스템은 다른 무인상점 솔루션에 비하여 높은 가성비를 제공한다. 제안된시스템에서는 수용 인원이 증가하더라도 별 영향을 받지않는다.
또 소형 모니터의 뒷면에 바코드 리더를 부착하여 고객이 제품을 수동으로 등록하는 형태도 등장하였다[2,3,4]. 본 논문에서는RFID 대신에 카메라를 사용하여 상품들을 인식하므로모든 상품에 RFID 태그가 부착될 필요가 없으며, 고객이바코드를 찍지 않아도 자동으로 인식한다. 카메라를 이용하여 상품을 인식하는 방법은 이미 아마존 고나 딥러닝학습 알고리즘의 발전으로 인하여 실현성이 입증된 상태이다.
스마트 쇼핑 카트는 배터리를 부착하여서 동작하므로 전력의 소비량을 줄이는 것이 매우 중요하다. 본 시스템에서는 Fig. 1에서 보는 바와 같이 초음파 센서를 카트의 상단에 부착하여 영상 스트리밍의 트리거로 사용한다. 즉영상은 쇼핑시간 내내 전송되는 것이 아니라 카트에 물건을 담거나 꺼낼 때만 영상 촬영 및 전송을 시행하고,이를 중앙 서버에게 알리도록 하는 비동기 방식의 전송을 구현하였다.
상품이 쇼핑 카트 안으로 들어오는 것인지 밖으로 나가는 것인지를 판단하는 방법으로 무게 센서를 활용하였다. Fig.
1회의 트리거 당 스트리밍 데이터를 가져와서 실시간으로 39회의 탐지를 실행하는데 이 39회에 대한 평균 탐지 정밀도를 계산하여 한 회차의 결과로 기록하였다. 이 과정을 상품 클래스별로 각 10회씩 시행하였고, 각 클래스별 평균 예측 값들로부터 본 시스템 전체의평균 예측 정밀도(mean Average Precision, 이하mAP)를 산정하였다. 이 결과를 Table 2에 나타내었다.
본 연구에서는 5개의 상품 클래스만을 가정하였고 각클래스 당 촬영을 통하여 300-500장 정도 학습 데이터를 생성하였다. 이 학습 데이터는 Fig. 8에서 보듯이Annotation tool인 YOLO-mark을 이용하여 총 2800장의 학습용 데이터의 리사이징 및 레이블링 등의 전처리 작업을 진행하였다.
안드로이드 앱은 서버가 인식한 상품의 번호와 수량, 출입정보 데이터를 저장한다. 이후 마트의 상품 데이터들이 저장되어 있는 데이터베이스에 상품번호로 해당 상품을 조회하는 쿼리문을 보내고 응답으로 조회된 상품과 관련된 세부 정보들이 담긴 데이터를 받아 앱의 가상 장바구니에 추가하거나 삭제한다. 쇼핑이 완료되면 앱의 결제하기 기능을 이용하여 총 구매내역과 산정된 금액을 보여주며 결제로 이어지도록 구현했다.
제안하는 시스템은 파이카메라와 초음파 센서, 무게 센서, TCP/IP기반 네트워킹 기능, 딥러닝 서버, 안드로이드 기반의 사용자 스마트폰 앱으로 구성되어있다. 제안된 시스템에서는 실시간으로 스마트 쇼핑 카트에 투입된 상품의 번호와 수량, 상품 투입 정보를 사용자의 스마트폰으로 전송할 수 있고 가상의 장바구니 목록에 상품을 추가하거나 삭제할 수 있으며 자동 결제도 가능하다.
본 논문에서 사용한 객체 탐지 방법은 YOLO이다. 제안된 시스템은 실시간 처리를 요구하기 때문에 속도 측면에서 우수한 YOLO를 응용하여 구현하였다. 하지만 만약 더 우수한 객체 탐지 기법이 등장한다면 추후 연구에서는 객체 탐지 모델의 수정 및 변경을 통하여 속도와 정확도를 더 높일 수 있을 것으로 기대한다.
본 논문에서는 앞서 제안된 무인 상점의 단점을 최소화하기 위하여 딥러닝 객체 탐지 기술과 라즈베리파이를사용한 스마트 쇼핑 카트를 제안하고자 한다. 제안하는 시스템은 파이카메라와 초음파 센서, 무게 센서, TCP/IP기반 네트워킹 기능, 딥러닝 서버, 안드로이드 기반의 사용자 스마트폰 앱으로 구성되어있다. 제안된 시스템에서는 실시간으로 스마트 쇼핑 카트에 투입된 상품의 번호와 수량, 상품 투입 정보를 사용자의 스마트폰으로 전송할 수 있고 가상의 장바구니 목록에 상품을 추가하거나 삭제할 수 있으며 자동 결제도 가능하다.
1에서 보는 바와 같이 초음파 센서를 카트의 상단에 부착하여 영상 스트리밍의 트리거로 사용한다. 즉영상은 쇼핑시간 내내 전송되는 것이 아니라 카트에 물건을 담거나 꺼낼 때만 영상 촬영 및 전송을 시행하고,이를 중앙 서버에게 알리도록 하는 비동기 방식의 전송을 구현하였다. 초음파 센서는 탐지 범위가 쇼핑 카트의면적에 비하여 다소 좁은 편이므로 프로토타입에서는 세개의 센서를 사용하여 이 점을 보완함으로써 정확도를 높였다.
즉영상은 쇼핑시간 내내 전송되는 것이 아니라 카트에 물건을 담거나 꺼낼 때만 영상 촬영 및 전송을 시행하고,이를 중앙 서버에게 알리도록 하는 비동기 방식의 전송을 구현하였다. 초음파 센서는 탐지 범위가 쇼핑 카트의면적에 비하여 다소 좁은 편이므로 프로토타입에서는 세개의 센서를 사용하여 이 점을 보완함으로써 정확도를 높였다.
영상데이터 획득을 위하여파이 카메라를 이용하였다. 파이 카메라와 MJPGStreamer를 이용하여 jpg 형식의 영상을 연속적으로 촬영한 후에 라즈베리파이 호스트의 특정 포트를 통해 실시간으로 영상을 스트리밍 한다. 중앙서버에서는 해당URL을 이용하여 영상 리소스에 접근할 수 있다.
스마트 쇼핑 카트에는 라즈베리파이 보드가 부착되어 있다. 해당 보드에 내장된 Wi-Fi 네트워크 기능을 이용하여 인터넷에 접속해 중앙 서버와의 TCP/IP 서버-클라이언트 네트워크를 구현한다. 영상데이터 획득을 위하여파이 카메라를 이용하였다.

대상 데이터

학습이 종료되면 학습된 가중치 파일을 이용하여 실시간 탐지를 테스트해볼 수 있다. 상품 중에서 콜라, 버터링, 라면, 다우니, 콘프로스트의 5종의 상품을 가지고 테스트하였다. 1회의 트리거 당 스트리밍 데이터를 가져와서 실시간으로 39회의 탐지를 실행하는데 이 39회에 대한 평균 탐지 정밀도를 계산하여 한 회차의 결과로 기록하였다.
해당 보드에 내장된 Wi-Fi 네트워크 기능을 이용하여 인터넷에 접속해 중앙 서버와의 TCP/IP 서버-클라이언트 네트워크를 구현한다. 영상데이터 획득을 위하여파이 카메라를 이용하였다. 파이 카메라와 MJPGStreamer를 이용하여 jpg 형식의 영상을 연속적으로 촬영한 후에 라즈베리파이 호스트의 특정 포트를 통해 실시간으로 영상을 스트리밍 한다.

데이터처리

상품 중에서 콜라, 버터링, 라면, 다우니, 콘프로스트의 5종의 상품을 가지고 테스트하였다. 1회의 트리거 당 스트리밍 데이터를 가져와서 실시간으로 39회의 탐지를 실행하는데 이 39회에 대한 평균 탐지 정밀도를 계산하여 한 회차의 결과로 기록하였다. 이 과정을 상품 클래스별로 각 10회씩 시행하였고, 각 클래스별 평균 예측 값들로부터 본 시스템 전체의평균 예측 정밀도(mean Average Precision, 이하mAP)를 산정하였다.

이론/모형

본 논문에서 사용한 객체 탐지 방법은 YOLO이다. 제안된 시스템은 실시간 처리를 요구하기 때문에 속도 측면에서 우수한 YOLO를 응용하여 구현하였다.
본 논문에서는 딥러닝 기술 중 하나인 그리드 기반의 객체 탐지를 제공하는 YOLO 라이브러리(You OnlyLook Once, 이하 YOLO)를 사용한다. YOLO는 분류기역할 뿐 아니라 위치 알고리즘도 내장되어, 한 이미지 안에서 여러 객체를 탐지할 수 있도록 구현된 오픈소스 라이브러리이다[5].

성능/효과

이 결과를 Table 2에 나타내었다.본 시스템의 평균 정확도는 82.28%로 평가되었다.

후속연구

그간 앞서 소개된 기존의 무인상점을 구현하는 방식을포함하여, 비용의 벽에 막힌 유사 아이디어는 무수히 많이 있었다는 점에서 본 논문에서 제안된 스마트 카트 시스템은 기존 무인 상점과 비교하여 정확도를 높이기 위한 개선이 필요한 것은 자명하나 높은 가성비를 제공하므로 보급의 문제에 있어서만큼은 좋은 점수를 기대할수 있다.
제안된 시스템은 실시간 처리를 요구하기 때문에 속도 측면에서 우수한 YOLO를 응용하여 구현하였다. 하지만 만약 더 우수한 객체 탐지 기법이 등장한다면 추후 연구에서는 객체 탐지 모델의 수정 및 변경을 통하여 속도와 정확도를 더 높일 수 있을 것으로 기대한다.

참고문헌 (7)

T.K. Wankhede, B. Wukkadada and V. Nadar, "Just Walk-Out Technology and its Challenges: A Case of Amazon Go," 2018 International Conference on Inventive Research in Computing Applications (ICIRCA), Coimbatore, 2018, pp. 254-257. DOI: https://doi.org/10.1109/icirca.2018.8597403
Chiang.,Hsin-Han, et al., "Development of smart shopping carts with customer-oriented service", 2016 International Conference on System Science and Engineering (ICSSE), Taiwan, July 7-9, pp.1-2. DOI: https://doi.org/10.1109/ICSSE.2016.7551618
V. V., P. K. P. and C. R. S., "Smart Shopping Cart," 2018 International Conference on Circuits and Systems in Digital Enterprise Technology (ICCSDET), Kottayam, India, 2018, pp. 1-4. DOI: https://doi.org/10.1109/ICCSDET.2018.8821103.
Srinidhi Karjol, Anusha K. Holla, C. B. Abhilash, "An IOT Based Smart Shopping Cart for Smart Shopping", International Conference on Cognitive Computing and Information Processing, 2017, pp. 373-385. DOI: https://doi.org/10.1007/978-981-10-9059-2_33.
JJ. Redmon, S. Divvala, R. Girshick and A. Farhadi, "You Only Look Once: Unified, Real-Time Object Detection," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 779-788. DOI: https://doi.org/10.1109/CVPR.2016.91
MShaoqing Ren, Kaiming He, Ross Girshick, Jian Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", Neural Information Processing Systems 2015, Advances in Neural Information Processing Systems 28, montreal, Canada, Dec 2015, pp. 91-99. DOI: https://doi.org/10.1109/TPAMI.2016.2577031
Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, "SSD: Single Shot MultiBox Detector", Computer Vision - ECCV 2016, European Conference on Computer Vision, Amsterdam, Netherlands, pp.21-37, Oct 2016. DOI: https://doi.org/10.1007/978-3-319-46448-0_2

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증