[논문]2D 바코드의 분진 오염 극복 방법

하은재; 이재성

doi:10.6109/jkiice.2019.23.3.276

2D 바코드의 분진 오염 극복 방법
A Method to Recover 2D barcodes Contaminated with Dust 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.23 no.3, 2019년, pp.276 - 281

하은재 (Department of Electronic Engineering, Korea National University of Transportation) , 이재성 (Department of Electronic Engineering, Korea National University of Transportation)

초록
AI-Helper

푸드 프린터는 반드시 식품의약품안전처의 허가를 받은 식용 잉크 카트리지를 사용해야한다. 잉크 카트리지의 정품 여부를 판독하기 위해 2D 바코드를 사용하는데 색소가 열압력에 의해 발산하여 인쇄가 되기 때문에 바코드에 오염이 발생한다. 본 논문에서는 라떼 아트 프린터에서 식용 색소 분진에 의한 정품 인증 바코드의 오염 문제를 해결하고자 다양한 모폴로지 연산에 기반한 전처리(pre-processing) 알고리즘을 제안하였다. 오염된 바코드 이미지들을 QR코드 리더기로 인식시키기 전에 본 알고리즘을 적용하면 기존의 리더기 대비 인식이 가능한 오염도가 25%에서 40%로 증가함을 알 수 있었으며 45%의 오염도에서도 50%의 확률로 인식이 되는 것을 확인하였다.

Abstract ▼ AI-Helper

Food printers must use food ink cartridges approved by the Ministry of Food and Drug Safety (MFDS). A 2D bar code is used to read whether the ink cartridge is authentic. However, since the dye is diverged by heat pressure and printed, the barcode is contaminated. In this paper, we propose a pre-processing algorithm to solve the problem of barcode contamination by food coloring dust in a latte art printer. The algorithm is based on various morphological operations. We apply this algorithm before reading contaminated barcode images with a general QR code reader. It has been confirmed that, as compared with the existing QR code reader, the contamination rate that can be perceived is increased from 25% to 40% and even at a contamination rate of 45%, the recognition rate reaches 50%.

주제어

표/그림 (5)

그림 Fig. 1 Latte art printer and latte sample
그림 Fig. 2 Processing flow of the algorithm
그림 Fig. 3 Barcode images at each processing stage (a) Barcode image with 40% coloring dust (b) After converting Fig. 3(a) into a gray image and applying the Gray CLOSING operation twice to remove pepper noises (c) After applying THRESHOLD to the noise-free image and set Max_Value to pixels less than the threshold value and set 0 to pixels more than the value (d~e) Images obtained by dilating Fig. 3(c) one to two times, respectively (f~k) The results of applying the erode erosion operation to Fig. 3(e) 1 to 6 times, respectively
그림 Fig. 4 Performance evaluation for recognition rate
그림 Fig. 5 Experimental environment

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 라떼 아트 프린터에서 색소 분진에 의한 극심한 오염도를 극복하기 위해 모폴로지 기법을 사용하여 오염된 이미지를 전처리(pre-processing)하여 개선시킨 다음 QR 코드 디코딩을 수행하도록 하여 극복 가능 오염도를 40% 이상으로 높이는 방법을 제안한다. 2장에서 전처리 과정에 필요한 알고리즘들을 상세히 설명하고, 3장에서 성능평가를 실시하여 알고리즘의 성능을 검증한다.
본 논문에서는 라떼 아트 프린터에서 식용 색소 분진에 의한 색소 카트리지의 정품 인증 바코드의 오염 문제를 해결하고자 다양한 모폴로지 연산에 기반한 일종의 이미지 전처리 알고리즘을 제안하였다. 오염된 바코드 이미지를 바코드 인식기로 인식시키기 전에 전처리과정으로 본 알고리즘을 적용하면 기존의 QR 코드 인식기 대비 인식 가능 오염도가 25%에서 40%로 증가함을 알 수 있으며 무려 45%의 오염도에서도 50%의 확률로 인식이 가능함을 알 수 있었다.
본 알고리즘은 기본적으로 모폴로지 연산을 이용한 salt & pepper 노이즈 제거 방법을 기반으로 하나 커널 마스크의 크기, 모양, 각 연산 단계별 반복 회수, 그리고 thresholding 하기 전과 후에 모폴로지 연산들의 적용 등의 변수들에 대하여 아주 다양한 값들을 적용하여 테스트해본 다음 가장 인식률을 강하게 하는(극복 가능 오염도를 최대화하는) 각 변수의 최적의 값을 찾은 것이 본 논문의 주요 기여 (contribution)이다.
본 절에서는 지금까지 소개된 2D 바코드의 색소 분진에 의한 오염을 극복하는 알고리즘을 구현하고 그 성능을 측정하고자 인위적인 실험 환경하에서 실험을 실 시한다.

제안 방법

2D 바코드 이미지에 5% 단위로 노이즈(오염도)를 추가한 이미지들을 준비하여 몇 %의 오염도까지 극복 가능(즉, 인식 가능)한지 확인하였다. 같은 노이즈를 주었더라도 주변 밝기와 QR 코드의 인식 각도에 따라 인식률이 다소 편차가 있어 평균적인 인식률로 나타내었다 (그림 4).
ZBar QR 코드 디코더는 EAN-13/ UPC-A, UPC-E, EAN-8, Code 128, Code 39, QR Code 등 많은 종류의 QR 코드를 지원한다. 다양한 오염도의 색소 분진을 인위적으로 만드는 것은 현실적으로 불가능하여 포토샵의 노이즈 필터를 이용하여 색소 분진에 의한 노이즈와 매우 유사한 노이즈를 갖는 바코드 이미지를 준비하여 실험하였다. [9] 실제 같은 오염도의 색소 노이즈 이미지 샘플들 몇 개를 본 알고리즘을 적용하여 인식 시켰을 때 인식률은 거의 비슷하게 나타났다.
[7], [8] 컴파일 및 빌드는 Cortex-A53 을 타겟으로 하였으며 라즈베리파이3 B+보드에 포팅하여 라떼 프린터 내부에 내장하였다. 본 논문의 오염 극복 방법을 pre-processing으로 적용한 경우와 적용하지 않은 경우에 대해 각각 QR 코드 인식률을 측정하였다. ZBar QR 코드 디코더는 EAN-13/ UPC-A, UPC-E, EAN-8, Code 128, Code 39, QR Code 등 많은 종류의 QR 코드를 지원한다.
참고로 이진 이미지를 만들 때 black 픽셀과 white 픽셀을 상호 반전되도록 하였기 때문에 이 열림 연산은 실제로는 팽창 후 침식 연산을 수행하는 방식으로 구현이 되었다. 본 오염 극복 단계에 사용되는 영상처리 함수들은 OpenCV 라이브러리를 사용하며 contour 함수를 사용하여 바코드 영역을 ROI 로 설정한 다음 아래 그림의 각 단계에 해당하는 모폴로지 함수들을 실행 한다. 각 단계별 자세한 설명은 다음과 같다(그림 2).
아래의 과정은 오염된 바코드 이미지를 본 논문의 방법을 적용하여 개선하는 과정에 대한 순서도이다. 이미지 확대를 통해 적용하려는 마스크가 파인 홈을 매끄럽게 메꿀 수 있도록 해주며 팽창(dilation) 연산 후 침식 (erosion) 연산을 수행하여 닫힘(closing)을 구현하고 임계값을 기준으로 이진 이미지를 만든 다음 침식(erosion) 연산 후 팽창(dilation) 연산을 진행하여 열림(opening) 을 구현한다. 참고로 이진 이미지를 만들 때 black 픽셀과 white 픽셀을 상호 반전되도록 하였기 때문에 이 열림 연산은 실제로는 팽창 후 침식 연산을 수행하는 방식으로 구현이 되었다.
하지만, 점주가 원가절감 등의 이유로 비허가 잉크를 사용하는 경우 소비자의 건강에 심각한 위협이 될 수 있다. 이에 따라 카트리지 표면에 제조 정보가 담긴 2D 바코드를 새겨 넣고 라떼 프린터에 장착시 프린터 내부의 카메라 시스템이 정품 여부를 판독 하도록 하는 인증 과정을 거치도록 제품을 개선하였다. (정품 인증 실패시 프린터 사용 불가)
여기서 평균적인 인식률이란 오염된 QR 코드 이미지를 인쇄하여 잉크 카트리지에 붙인 다음 라떼 프린터 내 카메라의 다양한 촬영 각도로 영상을 입력 받았을 때의 인식률을 말한다(그림 5). 인식에 필요한 표본 데이터로서 각기 다른 60개의 QR 코드 이미지를 준비 하여 각 QR 코드에 단계별 노이즈를 가한 후 본 논문의 오염 극복 방법을 적용하여 인식여부를 측정하였다. 그림 4 에서 Noise image라는 것은 그림 3 (a)와 같이 노이즈가 꼈으나 본 알고리즘을 적용하지 않은 이미지를 말 하며 개선된 이미지라는 것은 그림 3 (k)와 같이 본 논문의 알고리즘을 거쳐 노이즈가 개선된 이미지를 말한다.
지금까지 설명한 바코드 오염도 극복 영상 처리 알고리즘을 C++를 사용하여 구현하였으며 바코드 인식용, 영상처리 라이브러리는 각각 ZBar, OpenCV 라이브러 리를 사용하였다. [7], [8] 컴파일 및 빌드는 Cortex-A53 을 타겟으로 하였으며 라즈베리파이3 B+보드에 포팅하여 라떼 프린터 내부에 내장하였다.
커피 소비자들의 문화적, 감성적 요구에 부응하고 이미 포화상태에 이른 국내 커피시장에 새로운 돌파구를 제공하기 위해 본 논문의 저자들이 속한 연구팀은 IT 기 술과 커피 제조 기술을 접목시킨 라떼 아트 프린터 플레토(http://latteart-printer.com)를 개발하였다(그림 1).

대상 데이터

지금까지 설명한 바코드 오염도 극복 영상 처리 알고리즘을 C++를 사용하여 구현하였으며 바코드 인식용, 영상처리 라이브러리는 각각 ZBar, OpenCV 라이브러 리를 사용하였다. [7], [8] 컴파일 및 빌드는 Cortex-A53 을 타겟으로 하였으며 라즈베리파이3 B+보드에 포팅하여 라떼 프린터 내부에 내장하였다. 본 논문의 오염 극복 방법을 pre-processing으로 적용한 경우와 적용하지 않은 경우에 대해 각각 QR 코드 인식률을 측정하였다.

성능/효과

라떼 아트 프린터 내부의 색소 오염은 랜덤하게 발생 하는 것으로 조사되었으며 QR 코드는 정사각형이라는 기하학적 형태를 가지며 배경과 코드 요소 값(이하 픽 셀)이 흑과 백으로 명확히 나뉘므로 salt & pepper 노이즈 현상이 발생하는 것으로 파악되었다.
바코드 이미지의 크기가 너무 작으면 커널 마스크가 이미지 위를 지나다니면서 dilation 연산을 할 때 홈을 과도하게 매꿔 오히려 인접 객체와의 연결이 만들어지 게 되므로 모폴로지 연산의 정밀도를 높이기 위하여 이 미지의 크기를 확대한다. 본 논문에서는 모폴로지 (Morplogy) 필터 마스크로 3 x 3 정방 행렬 마스크를 사용하였는데 바코드 이미지를 150 x 150 정도의 크기로 확대하여 마스크를 적용하였을 때 가장 좋은 오염 극복 성능을 보였다.
(1)이 의미하는 바와 같이 커널 마스크 B 의 중심점을 객체 A 가 포함된 소스 이미지의 각 픽셀에 포개었을 때 가려지는 A 의 픽셀 중 maximum 값을 결과 이미지의 해당 픽셀 값으로 하는 연산이며 maximum filter 와 동일하다. 본 연산은 변수 iteration 을 2회로 세팅했을 때 가장 좋은 인식률을 나타내었다.
(2)가 의미하는 바와 같이 마스크 B 가 객체 A 의 영역을 벗어나지 않고 A 안에서 돌아다닌다고 할 때 B 의 원점들을 결과 이미지로 하는 연산이며 minimum filter 와 동일하다. 본 연산은 변수 iteration 을 6회로 세팅했을 때 가장 좋은 인식률을 나타내었다. [3], [4], [5], [6]
본 논문에서는 라떼 아트 프린터에서 식용 색소 분진에 의한 색소 카트리지의 정품 인증 바코드의 오염 문제를 해결하고자 다양한 모폴로지 연산에 기반한 일종의 이미지 전처리 알고리즘을 제안하였다. 오염된 바코드 이미지를 바코드 인식기로 인식시키기 전에 전처리과정으로 본 알고리즘을 적용하면 기존의 QR 코드 인식기 대비 인식 가능 오염도가 25%에서 40%로 증가함을 알 수 있으며 무려 45%의 오염도에서도 50%의 확률로 인식이 가능함을 알 수 있었다. 본 알고리즘은 기본적으로 모폴로지 연산을 이용한 salt & pepper 노이즈 제거 방법을 기반으로 하나 커널 마스크의 크기, 모양, 각 연산 단계별 반복 회수, 그리고 thresholding 하기 전과 후에 모폴로지 연산들의 적용 등의 변수들에 대하여 아주 다양한 값들을 적용하여 테스트해본 다음 가장 인식률을 강하게 하는(극복 가능 오염도를 최대화하는) 각 변수의 최적의 값을 찾은 것이 본 논문의 주요 기여 (contribution)이다.
일반적으로 QR 코드의 복구 가능 오염도는 레벨 M 에서 약 15% (일본 덴소웨이브)로 알려져 있고 최신 ZBar 라이브러리를 사용하여 본 연구팀이 실험해본 결 과 오염도 20% 까지 복구가 가능한 것으로 확인이 되었 다. 하지만 라떼 프린터의 내부 환경은 이보다 심한 오 염도(30~40%)를 보이는 것으로 확인되었기 때문에 이 를 극복할 방법이 필요하다.

후속연구

본 알고리즘은 기본적으로 모폴로지 연산을 이용한 salt & pepper 노이즈 제거 방법을 기반으로 하나 커널 마스크의 크기, 모양, 각 연산 단계별 반복 회수, 그리고 thresholding 하기 전과 후에 모폴로지 연산들의 적용 등의 변수들에 대하여 아주 다양한 값들을 적용하여 테스트해본 다음 가장 인식률을 강하게 하는(극복 가능 오염도를 최대화하는) 각 변수의 최적의 값을 찾은 것이 본 논문의 주요 기여 (contribution)이다. 본 연구에서는 실험실내에서의 실험만 실시하였으나 향후에는 서로 다른 설치 환경의 각 매장별 다양한 패턴의 오염 이미지들을 획득하여 실험을 실시하고 필요한 경우 추가 알고리즘 개선 연구를 수행할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	라떼 아트 프린터는 무엇인가?	라떼 아트 프린터는 그림 1 (우측) 과 같이 소비자의 기호에 따라 커피 위에 이벤트성 사진이나 그림을 출력해주는 일종의 푸드 프린팅 기기이다. 이 기기는 기존에 바리스타가 해왔던 라떼 아트를 빠르고 훨씬 섬세하게 표현할 수 있다는 장점이 있지만 기존 종이 프린터 및 산업용 프린터와 다르게 식품을 대상으로 하므로 반드시 식품의약품안전처의 허가를 받은 식용 잉크 카트리지를 사용해야한다.
	라떼 프린터의 인쇄 원리는 무엇인가?	하지만 이때 또 다른 문제가 발생하게 되는데 바로 바코드 오염 문제이다. 라떼 프린터의 인쇄 원리가 카트리지에 전열을 가하여 그 색소가 열압력에 의해 발산하여 인쇄가 되는 방식이기 때문에 카트리지 주변의 오염이 심각하다. 따라서, 정품 카트리지를 꽂았을 때에도 정품이 아닌 것으로 잘못 인식될 가능성이 높다.
	식품의약품안전처의 허가를 받은 식용 잉크 카트리지를 사용하지 않을 때 발생할 수 있는 문제는 무엇인가?	이 기기는 기존에 바리스타가 해왔던 라떼 아트를 빠르고 훨씬 섬세하게 표현할 수 있다는 장점이 있지만 기존 종이 프린터 및 산업용 프린터와 다르게 식품을 대상으로 하므로 반드시 식품의약품안전처의 허가를 받은 식용 잉크 카트리지를 사용해야한다. 하지만, 점주가 원가절감 등의 이유로 비허가 잉크를 사용하는 경우 소비자의 건강에 심각한 위협이 될 수 있다. 이에 따라 카트리지 표면에 제조 정보가 담긴 2D 바코드를 새겨 넣고 라떼 프린터에 장착시 프린터 내부의 카메라 시스템이 정품 여부를 판독 하도록 하는 인증 과정을 거치도록 제품을 개선하였다.

참고문헌 (9)

T. Kim, and E. Kim, "Vehicle license plate recognition system using morphological ROI (region of interest) map generated from morphology operation," Journal of Physics: Conference Series, vol. 806, no. 12004, pp. 1-6, Feb. 2017.
Y. J. Kim, and J. Y. Lee, "Algorithm of a Perspective Transform-based Recognition in a PDF417 Barcode," Wireless Personal Communications, vol. 89, iss. 3, pp. 893-911, Aug. 2016.

상세보기
OpenCV team. Open Source Computer Vision Library [Internet]. Available: https://docs.opencv.org/master/d9/df8/tutorial_root.html.
N. A. Rathod, and S. A. Ladhake, "Detecting and Decoding Algorithm for 2D Barcode," International Journal of Emerging Technology and Advanced Engineering, vol. 2, iss. 11, pp. 199-202, Nov. 2012.
C.-Y. Lee, and N.-H. Kim, "A Study on Mask-based Edge Detection Algorithm using Morphology," Journal of the korea Institute of Information and Communication Engineering, vol. 19, no. 10, pp. 2441-2449, Oct. 2015.

원문보기 상세보기
P. Bodnar, and L. G. Nyul, "Barcode detection with morphological operations and clustering," in Proceedings of the IASTED International Conference on Signal Processing, Pattern Recognition and Applications, Crete, Greece, pp. 51-57, 2012.
SourceForge. ZBar bar code reader [Internet]. Available: http://zbar.sourceforge.net.
J. Song, and J. Lee, "Positioning Method Using a Vehicular Black-Box Camera and a 2D Barcode in an Indoor Parking Lot," Journal of the Korea Institute of Information and Communication Engineering, vol. 20, no. 1, pp. 142-152, Jan. 2016.

원문보기 상세보기
J.-H. Huh, "Designing of Image Processing Curriculum Considering Network Security," Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, vol.7, no.6, pp. 861-869, June 2017.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증