[논문]중소기업 스마트공장 구축을 위한 OpenCV 기반 재고관리 시스템의 설계 및 구현

장수환; 정종필

doi:10.7236/jiibc.2019.19.1.161

중소기업 스마트공장 구축을 위한 OpenCV 기반 재고관리 시스템의 설계 및 구현
Design and Implementation of OpenCV-based Inventory Management System to build Small and Medium Enterprise Smart Factory 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.19 no.1, 2019년, pp.161 - 170

장수환 (성균관대학교 스마트팩토리융합학과) , 정종필 (성균관대학교 스마트팩토리융합학과)

초록
AI-Helper

다품종 대량 생산 중소기업 공장에서는 제품의 종류가 다양하고 그 수량이 많기 때문에 재고의 관리를 위한 인력과 경비가 낭비되고 있다. 또한 재고의 현황을 실시간으로 확인 할 방법이 마련 되있지 않아서 재고의 과적재, 과부족 현상으로 인한 경제적 피해를 받고 있다. 실시간 데이터 수집 환경을 구축하기 위한 많은 방안이 있지만 대부분 구축비용과 시간이 중소 중견기업이 감당하기 어려운 수준이다. 그렇기 때문에 중소 중견기업의 스마트 공장은 구현되기 어려운 현실을 마주하고 있으며, 적절한 대책을 찾기 힘든 실정이다. 따라서 본 논문에서는 현재 생산품 관리 기술로 많이 채택되는 바코드, QR코드와 함께 라벨에 표기되어 있는 글자추출을 통해 기존 재고관리 방법의 확장에 대한 내용을 구현하고 그 효과를 평가하였다. 기술적으로는 컴퓨터 이미지 처리를 통해서 기존의 생산품의 입출고 관리를 위한 방법인 재고라벨 및 바코드에 대한 자동인식 및 분류를 하기 위한 OpenCV를 이용한 전처리, 구글 비젼 API의 OCR(Optical Character Recognition)기능을 통해서 글자를 추출하고, Zbar를 통해서 바코드를 인식할 수 있게 설계하였고, 값비싼 장비를 사용하지 않고 라즈베리파이를 통해 실시간 영상을 통한 인식으로 재고를 관리할 수 있는 방법을 제안한다.

Abstract ▼ AI-Helper

Multi-product mass production small and medium enterprise factories have a wide variety of products and a large number of products, wasting manpower and expenses for inventory management. In addition, there is no way to check the status of inventory in real time, and it is suffering economic damage due to excess inventory and shortage of stock. There are many ways to build a real-time data collection environment, but most of them are difficult to afford for small and medium-sized companies. Therefore, smart factories of small and medium enterprises are faced with difficult reality and it is hard to find appropriate countermeasures. In this paper, we implemented the contents of extension of existing inventory management method through character extraction on label with barcode and QR code, which are widely adopted as current product management technology, and evaluated the effect. Technically, through preprocessing using OpenCV for automatic recognition and classification of stock labels and barcodes, which is a method for managing input and output of existing products through computer image processing, and OCR (Optical Character Recognition) function of Google vision API. And it is designed to recognize the barcode through Zbar. We propose a method to manage inventory by real-time image recognition through Raspberry Pi without using expensive equipment.

주제어

표/그림 (12)

그림 그림 1. 라벨 / 바코드 이미지 인식 과정 Fig. 1. Label / barcoard image recognition process
그림 그림 2. 바코드 및 QR 인식 프로세스 Fig. 2. Barcode and QR recognition process
그림 그림 3. 라벨 영역 인식 프로세스 Fig. 3. Label area recognition process
그림 그림 4. 라벨 영역 인식 결과 Fig. 4. Label area recognition result
그림 그림 5. 재고 관리 시스템 흐름도 Fig. 5. Inventory managemnet system flow chart
그림 그림 6. 재고 관리 시스템 흐름도 Fig. 6. Label area recognition resullt
그림 그림 7. 텍스트 인식 요청 Fig. 7. Text recognition request
그림 그림 8. 바코드 다중 인식 결과 Fig. 8. Barcode multiple recognition result
그림 그림 9. QRcode 다중 인식 결과 Fig. 9. QRcode multiple recognition result
그림 그림 10. QRcode 다중 인식 결과 Fig. 10. QRcode multiple recognition result
표 표 1. 기존 및 제안 된 프로세스의 비교 Table 1. Comparison of existing and proposed processes
표 표 2. 각 인식 유형 결과의 비교 Table 2. Comparison of existing and proposed processes

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또한, 재고의 종류와 수량이 많아질수록 재고정보에 대한 기록도 복잡해지고 실수가 많이 나올 확률이 높아진다. 그렇기 때문에 많은 공장에서 생산품의 입출고 및 재고의 관리를 위해서 바코드와 라벨을 통해서 프로세스를 구축하려 한다. 이러한 방법이 어느 정도 효율적으로 재고를 관리할 수 있게 보조를 해주는 역할을 하고 있지만, 여전히 인간의 역할에 대한 비중이 높은 편이라서 생산품의 숫자와 종류가 많아질수록 프로세스는 복잡해지고 효율적인 운영이 불가한 상황이 발생하고 있다.
이러한 방법이 어느 정도 효율적으로 재고를 관리할 수 있게 보조를 해주는 역할을 하고 있지만, 여전히 인간의 역할에 대한 비중이 높은 편이라서 생산품의 숫자와 종류가 많아질수록 프로세스는 복잡해지고 효율적인 운영이 불가한 상황이 발생하고 있다. 그렇기 때문에 본 논문에서는 이 방법을 보조하기 위해서 영상 인식을 통한 라벨과 바코드의 정보를 자동으로 추출하고 관리하는 방법에 대한 프로세스와 웹캠과 소형보드를 통해 직접 구현 해보고, 실제 환경에서도 적용가능한지 평가를 하였다.
라즈베리파이 카메라를 통해서는 한 화면에 4개정도가 성공적으로 인식되었다. 바코드와 비교해봤을 때 담을 수 있는 정보량도 훨씬 많기 때문에 실제로 다른 환경에 응용하기에 QR코드의 활용도가 높아보인다.
본 논문에서 제안하는 중소기업형 스마트공장 구축을 위한 OpenCV 기반 바코드와 라벨 인식을 위한 재고관리시스템이다. 그림 1에서 제안하는 시스템의 전체적인 구조를 보여준다.
그리고 인식결과를 디스플레이하고 동시에 그 데이터 스트림을 분류하여 DB에 저장한다. 본 논문에서는 제품의 데이터가 인식되며 제품명 기준으로 수량을 취합하였다.
본 논문에서는 클라우드 비젼 API를 통해서 스틸 내의 텍스트를 인식하고 추출하였는데, OCR기능은TEXT_DETECTION이라고 정의되어 있다[16]. 기본적으로 라즈베리파이 카메라 모듈을 통해 단일 스틸을 캡처한 후 텍스트인식을 진행한다.
이 절에서는 본 논문에서 이미지 전처리에 쓰일 핵심적인 OpenCV의 함수들의 이론을 설명하도록 하겠다. 그림 3은 라벨영역 인식 절차이다[11]

제안 방법

그라디언트의 크기와 방향을 얻은 후 원치 않는 픽셀을 제거하기 위해서 이미지의 전체 스캔을 수행한다. 이를 위해, 모든 픽셀에서 그라디언트 방향에서 인접 픽셀의 로컬 최대값인지 확인한다.
이미지 촬영은 RPi Camera V2으로 3280x 2464이미지 촬영이 가능하며 1080p30, 720p60, 640x480p90 비디오 영상 촬영이 가능하다. 그리고 라즈베리파이에 소프트웨어로는 python 2.7기반 OpenCV를 설치하여 카메라 프레임 단위로 이미지처리 작업하고, Nodejs를 통해서 실시간으로 OCR 결과를 추출하고 시스템에 맞게 가공하였다. 그림 5는 QR/바코드 및 라벨이 인식되는 과정을 말한다.
라즈베리파이에서 추출된 바코드/QR 이미지는 서버에서 인공지능 알고리즘을 통해 바코드에 내제되어 있는정보를 DB에 저장시키고 모니터링 어플리케이션으로 데이터를 시각화한다. 그리고 추출된 라벨영역은 서버에서 미리 학습된 OCR을 API를 통해서 글자를 인식해내서 DB에 저장하고 라즈베리파이를 통해 그 정보를 시각화한다. 라즈베리파이를 사용하여 웹 모니터링 뿐만 아니라 무선랜을 통해서 모바일 디바이스에 그 기능을 확장시킬 수도 있다.
데이터의 저장은 로컬 서버 또는 클라우드를 통해 별도로 DB를 두어서 관리하도록 하여 보안과 안정성을 높이도록 구성하였다. 기능별로 정리하자면 카메라는 이미지 원본을 라즈베리파이에 전송하고, 라즈베리파이는 OpenCV를 통해 이미지에서 개발된 알고리즘으로 관심영역을 검출 및 추출하여 모니터링 할 수 있게 어플리케이션을 배포하고, 그 기능을 연결된 모바일 디바이스에 확장시킬 수 있고, 비젼 API를 통해 추출된 영역에서 글자인식, Zbar를 통해 바코드를 인식할 수 있다.
라즈베리파이를 사용하여 웹 모니터링 뿐만 아니라 무선랜을 통해서 모바일 디바이스에 그 기능을 확장시킬 수도 있다. 또한 사용자의 요구에 맞게 기능을 추가하기 쉽게 모듈화가 간편한 파이썬, 자바스크립트 언어를 이용하여 확장성과 범용성을 모두 지원하도록 구성하였다.
마지막으로 기존 재고관리 프로세스와 본 논문에서 제안하는 프로세스와 비교를 해봤다. 기존 프로세스의 재고관리는 재고의 종류와 수량이 많은 공장에서는 하루에 한번씩 진행 할 수 없고, 일정 주기를 가지고 관리한다.
위에 바코드/QR과는 다르게 형식에 있어서 자유로운 편이고 여러 언어를 지원하기 때문에 범용성 또한 높다. 본 논문의 구현에서는 인식주기를 10초로 설정하여 콘솔 창에 인식된 재고의 이름과 그 수량을 나타내도록 하였다.
3절의 재고 라벨/바코드 인식 프로세스 연구 및 설계에서는 본 논문에서 제안하는 시스템 설계에 대한 내용을 설명한다. 시스템에 기본 절차로는 입력이미지/영상에 ROI (Region Of Interest)를 추출하고, 구글 클라우드 비젼 API를 통해서 텍스트인식을 통해 생산품에 정보를 실시간으로 서버에 전송하고 DB에 저장한다. 4절에서는 구현 및 평가 결과를 제시하고, 5절에서 본 논문의 결론을 설명한다.
그라디언트의 크기와 방향을 얻은 후 원치 않는 픽셀을 제거하기 위해서 이미지의 전체 스캔을 수행한다. 이를 위해, 모든 픽셀에서 그라디언트 방향에서 인접 픽셀의 로컬 최대값인지 확인한다. 결과로 얇은 바이너리 이미지 엣지를 얻는 과정이다.
제안된 방법은 기존에 사람이 작업하는 부분을 대신 처리해주고, 작업자가 고차원적이고 생산적인 일을 할수 있게 환경을 조성하는 스마트 공장의 핵심 취지와도 맞는 역할을 하게 된다.
그림 6은 라벨의 텍스트 영역이 인식된 결과이다. 최종 구현에서는 따로 인식영역을 표시해주지 않고, 텍스트 추출 후 값을 모니터링 화면에 띄워주는 방식으로 진행하였다.
표 1을 통해서 기존 프로세스와 제안 프로세스의 특징을 비교하였다. 주요 특장점으로 재고 데이터 수집의 자동화, 이종 시스템과 연결의 위한 확장성, 원격 스케쥴링제어 및 모니터링 등이 있다.
표 2에서는 논문에서 사용한 웹캠을 통한 QR코드, 바코드 및 텍스트 인식결과를 정리하여 비교하였다.
물론 딥러닝 모델로도 이런 라벨 영역과 바코드 영역에 대한 인식이 가능하게 학습시킬 수 있다. 하지만 딥러닝 모델에서 더욱 많은 데이터를 학습해야하고 복잡성이 커질 수 밖에 없어서 소모되는 컴퓨팅 자원이 높아지기 때문에, 본 논문에서는 이미지 전처리를 통해서 시스템을 좀 더 효율적으로 운영할 수 있도록 설계하였다.

대상 데이터

본 논문의 한가지 목표인 저렴한 시스템 구성을 위해서 디바이스는 라즈베리파이 3B모델을 사용하였고, 사양은 CPU 1.2GHz ARM Cortex-A53 MP4, GPUBroadcom VideoCore IV MP2 400 MHz, RAM 1 GBLPDDR2이다. 이미지 촬영은 RPi Camera V2으로 3280x 2464이미지 촬영이 가능하며 1080p30, 720p60, 640x480p90 비디오 영상 촬영이 가능하다.

이론/모형

라벨 영역을 인식하기 위해서 먼저 원본 이미지로부터 모든 Edge를 검출하고 Edge중에서 라벨로 인식할 부분만을 검출하게 해야한다. Canny Edge Detection 알고리즘으로 이 부분을 진행 할 것이다. cv2.

성능/효과

QR코드에 컨텐츠가 많아지면 QR이미지의 복잡성이 높아져서 라즈베리파이 카메라가 인식을 하기 어려워지기 때문에, 제품명과 용량 등의 제한적인 정보만 입력하였다. 그 결과 한 프레임에 바코드는 2개 인식, QR코드는 4개 인식, 텍스트 라벨도 4개까지 인식되었다.
따라서 본 논문에서 제안한 프로세스와 같이 재고를 데이터화 시켜서 실시간 및 원격으로 모니터링 하여 위와 같은 문제점들을 해소할 수 있다. 또한 제안한 시스템을 구현해 봄으로써, 저사양 소형보드로도 공장 환경에서 활용 가능한 기능을 구현할 수 있고, 낮은 단가로도 실시간 처리 및 모니터링을 충분히 할 수 있다는 것을 알 수 있었다.
그림 8는 라즈베리파이 카메라를 통한 복수개의 바코드인식을 진행 하였을때의 결과이다. 실험을 통해서 실제로 RPi Camera V2로 인식을 진행하였을 때 최대 2개의 바코드를 인식할 수 있었다. 포맷은 EAN 형식밖에 인식이 안되었으며, 숫자만 담을 수 있으며 포함시킬 수 있는 정보량도 낮은편이다.

후속연구

마지막으로 라즈베리파이 같은 저렴한 보드들은 점점 고성능으로 진화해가고 있기 때문에 이러한 개발보드들을 통한 중소기업 대상 스마트공장 구축 솔루션 개발이 활발해질 것이라고 기대한다.
만약 통신 속도 개선과 고수준의 프로세싱을 할 수 있는 컴퓨터가 라즈베리를 대체한다면 텍스트 라벨이 바코드와 QR코드의 인식 방법을 모두 대체할 수 있을 것이다.
본 논문에서 제안하는 방법으로 바코드와 라벨에 대해 준수한 수준의 인식률을 보여주었고, 복수의 바코드와 라벨에 대해서 인식이 가능하여, 실제로 다품종 대량생산 공장에 환경에서도 적용 할 수 있을 것을 기대하고 있다. 또한 사람의 육안으로 검출해내는 것이 아니라 소프트웨어가 내장된 기계에서 정확한 검출 알고리즘을 통해 판별해 내는 것이기 때문에 실시간성, 정확성, 효율성등의 장점을 가진다.
주요 특장점으로 재고 데이터 수집의 자동화, 이종 시스템과 연결의 위한 확장성, 원격 스케쥴링제어 및 모니터링 등이 있다. 제한점으로는 아직 한 카메라에서 많은 수의 재고를 인식하지 못하고, 라즈베리파이로 더 높은 요구의 이미지처리를 하기에는 성능적인 제약이 있다는 것으로 앞으로 보완해야 할 문제점이다.
이런 이유로 재고관리에 대한 전산화 환경이 꼭 필요하기 때문에 RFID, 바코드, QR코드 등의 방법을 도입하고 있지만 이 또한 거래 기업 간의 협약이 이루어지지 않는다면 구현하기 힘든 방법이다. 하지만 논문에서 제안하는 시스템은 카메라와 이미지를 처리할 수 있는 컴퓨터만 있으면 구축할 수 있고, 작업의 요구사항이 높지 않기 때문에 업무적인 효율이 높고, 다른 IoT 디바이스와의 연계로 확장성 또한 기대할 수 있다.
후속 연구에서는 본 논문에서 제안한 시스템에서 실시간 영상처리를 더욱 빠르고 작업 부하를 줄이고 좀 더 정확한 인식을 위한 기술들[17-19]을 활용하는 방안에 대해서 연구할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	다품종 대량 생산 중소 공장에서 인력과 경비가 낭비되는 원인은?	다품종 대량 생산 중소기업 공장에서는 제품의 종류가 다양하고 그 수량이 많기 때문에 재고의 관리를 위한 인력과 경비가 낭비되고 있다. 또한 재고의 현황을 실시간으로 확인 할 방법이 마련 되있지 않아서 재고의 과적재, 과부족 현상으로 인한 경제적 피해를 받고 있다.
	다품종 대량 생산 중소기업 공장에서 재고 현황을 실시간으로 확인하지 못하여 발생하는 피해는?	다품종 대량 생산 중소기업 공장에서는 제품의 종류가 다양하고 그 수량이 많기 때문에 재고의 관리를 위한 인력과 경비가 낭비되고 있다. 또한 재고의 현황을 실시간으로 확인 할 방법이 마련 되있지 않아서 재고의 과적재, 과부족 현상으로 인한 경제적 피해를 받고 있다. 실시간 데이터 수집 환경을 구축하기 위한 많은 방안이 있지만 대부분 구축비용과 시간이 중소 중견기업이 감당하기 어려운 수준이다.
	OpenCV란 무엇인가?	OpenCV는 BSD 라이센스 하에 배포되는 학술적 및 상업적으로 무료인 오픈소스 라이브러리이다. C++, 파이 썬 및 자바 인터페이스가 있으며 더 많은 언어를 지원하 기 위한 개발이 진행되어 있고, 윈도우, 리눅스, 맥 OS, iOS 및 Android등 현재 나와 있는 거의 모든 운영체제에서 지원가능하고 최적화된 C/C++로 작성되었고 멀티 코어 프로세싱을 이용할 수 있다.

참고문헌 (19)

B. Hameed, I. Khan, F. Durr, and K. Rothermel, "An RFID based consistency management framework for production monitoring in a smart real-time factory," Internet of Things (IOT), pp.1-8, 2010. DOI: https://doi.org/10.1109/iot.2010.5678436
Shouqin Zhou, Weiqing Ling, Zhongxiao Peng, "An RFID-based remote monitoring system for enterprise internal production management," International Journal of Advanced Manufacturing Technology, Vol.33, Issue 7/8, pp.837-844, 2007. DOI: https://doi.org/10.1007/s00170-006-0506-6

상세보기
K. Ding and P. Jiang, "RFID-based production data analysis in an IoT-enabled smart job-shop," in IEEE/CAA Journal of Automatica Sinica, Vol.5, No.1, pp.128-138, Jan 2018. DOI: https://doi.org/10.1109/jas.2017.7510418

상세보기
Y. Sato, J. Mitsugi, O. Nakamura and J. Murai, "Theory and Performance Evaluation of Group Coding of RFID Tags," in IEEE Transactions on Automation Science and Engineering, Vol.9, No.3, pp.458-466, July 2012. DOI: https://doi.org/10.1109/tase.2012.2193125

상세보기
Youssef, Sherin M., Salem, Rana M., "Automated barcode recognition for smart identification and inspection automation," In Expert Systems With Applications, Vol.33, No.4, pp.968-977, 2007. DOI: https://doi.org/10.1016/j.eswa.2006.07.013

상세보기
Lin, DT., Lin, MC. and Huang, KY., "Real-time automatic recognition of omnidirectional multiple barcodes and DSP implementation," Machine Vision and Applications, Vol.22 DOI: https://doi.org/10.1007/s00138-010-0299-3

상세보기
Subpratatsavee, P.,Janthong, N.,Kuha, P.,Chintho, C., "HC2D barcode reader using embedded camera in Android phone," 2014 11th International Joint Conference on Computer Science and Software Engineering (JCSSE), pp.254-257, May 2014. DOI: https://doi.org/10.1109/jcsse.2014.6841876
Zhang, C., Wang, J., Han, S., Yi, M., Zhang, Z., "Automatic realtime barcode localization in complex scenes," 2006 International Conference on Image Processing Image Processing, pp.497-500, October 2006. DOI: https://doi.org/10.1109/icip.2006.312435
AKTAS, C., "The Evolution and Emergence of QR Codes. Newcastle upon Tyne," Cambridge Scholars Publishing, 2017.
OpenCV [Internet] https://opencv.org/about.html, 2018.
Robert Laganiere, "OpenCV 3 Computer Vision Application Programming Cookbook," Packt Publishin-Third Edition, 2017.
Priyanka Deelip Wagh, D.R. Patil., "Text detection and removal from image using inpainting with smoothing," 2015 International Conference on Pervasive Computing, pp.1-4. DOI: https://doi.org/10.1109/pervasive.2015.7087154
Tesseract [Internet] https://github.com/tesseract-ocr/tesseract.
Narasimha Reddy Soora and Parag S. Deshpande., "Review of Feature Extraction Techniques for Character Recognition," IETE Journal of Research, Vol.64, No.2, pp.280-295, 2018. DOI: https://doi.org/10.1080/03772063.2017.1351323

상세보기
Z bar code reader [Internet] http://zbar.sourceforge.net/about.html.
Google cloud vision API [Internert] https://cloud.google.com/vision/docs/ocr.
Jin-Kyoung Heo, "Distributed image preprocessing using object activation," The Journal of The Institute of Internet, Broadcasting and Communication, Vol.11, No.1, pp. 87-92, 2011. DOI: https://doi.org/10.7236/JIWIT.2011.11.1.087
Tae-Woo Kim, Hyeon-Joong Yoo, "Color Code Detection and Recognition Using Image Segmentation Based on k-Means Clustering Algorithm," Journal of the Korea Academia-Industrial cooperation Society, Vol.7, No.6, pp.1100-1105, 2006.
Yeon-Hee Kim, Jae-Ho Kim, Yoon-Ho Kim, "Shadow Removal based on Chromaticity and Brightness Distortion for Effective Moving Object Tracking," The Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol8, No4, pp.249-256, 2015. DOI: https://doi.org/10.17661/jkiiect.2015.8.4.249

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증