[논문]인쇄된 컬러 QR코드의 합성곱 신경망 알고리즘에 의한 진위 판정 시스템

최도영; 김진수

doi:10.9723/jksiis.2020.25.3.021

인쇄된 컬러 QR코드의 합성곱 신경망 알고리즘에 의한 진위 판정 시스템
An Authentic Certification System of a Printed Color QR Code based on Convolutional Neural Network 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.25 no.3, 2020년, pp.21 - 30

최도영 (한밭대학교 멀티미디어공학과) , 김진수 (한밭대학교 정보통신공학과)

초록
AI-Helper

스마트폰의 대중적인 보급으로 인해 QR 코드는 세상에서 가장 보편적인 코드들 중의 하나가 되었다. 본 논문에서는 새로운 형태의 QR 코드를 제안하여 저장 용량을 증가시키고, 또한, 컬러정보와 패턴 형태를 가변시켜서 개인 정보를 포함할 수 있게 한다. 이와 더불어, 제안된 QR 코드가 인쇄된 형태의 다양한 응용환경에 작용될 수 있도록 본 논문은 효과적인 진위 판정 시스템을 제안한다. 제안한 시스템은 기존의 합성곱 신경망 구조 즉 VGGNet으로 구현되며, 스마트 폰을 통해 손쉽게 진품 또는 가품을 판정하고, 진품으로 판정된 코드에 대해서는 삽입된 개인 정보를 추출하도록 설계된다. 인쇄된 QR 코드에 대한 실제의 다양한 실험을 통해 제안된 시스템은 진품 또는 가품을 거의 완벽하게 분류할 수 있음을 보이고 개인 정보를 효과적으로 추출할 수 있음을 확인한다.

Abstract ▼ AI-Helper

With the widespread of smartphones, the Quick response (QR) code became one of the most popular codes. In this paper, a new type of QR code is proposed to increase the storage capacities and also to contain private information by changing the colors and the shape of patterns in the codes. Then, for a variety of applications of the printed QR codes, this paper proposes an efficient authentic certification system, which is built on an conventional CNN (Convolutional neural network) architecture - VGGNet and classifies authentic or counterfeit with smartphones, easily. For authentic codes, the proposed system extracts the embedded private information. Through practical experiments with a printed QR code, it is shown that the proposed system can classify authentic or counterfeit code, perfectly, and also, are useful for extracting private information.

주제어

표/그림 (13)

그림 Fig. 1 Proposed Certification System for a Printed Color QR Code
그림 Fig. 2 Bits Representation by Color and Pattern for CMYK
그림 Fig. 3 Overview of Color QR Code Generation
그림 Fig. 4 An Example of Color QR Code (a) Design (b) Original (c) Scan&Printing
그림 Fig. 5 Enlarged Yellow Component (a) Design (b) Original (c) Scan&Printing
그림 Fig. 6 Image Preprocessing of Color QR Code
그림 Fig. 7 Authentic Certification Process
그림 Fig. 8 VGGNet (Simonyan and Zisseman, 2015)
그림 Fig. 9 Information Extraction Process
그림 Fig. 10 Design Samples of Color QR Codes (a) Type 1 (b) Type 2 (c) Type 3
표 Table 2 Bit Recognition Rate for Type 2
표 Table 1 Bit Recognition Rate for Type 1
표 Table 3 Bit Recognition Rate for Type 3

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 안정적인 인식 성능을 얻기 위해 CMYK 컬러 모델에 기초한 컬러 정보와 패턴 정보를 바탕으로 컬러 QR 코드를 설계하는 방법을 제시한다. 또한, 인쇄 매체로 제공되는 경우에 이에 대한 위변조에 강인하게 복원하여 인식할 수 있도록 합성곱 신경망 (Convolutional neural network: CNN)에 기초한 진위 판정시스템을 제안한다.
본 논문은 특정 제품에 컬러 QR 코드를 부착하여 제공하는 환경을 고려하여, 인쇄된 컬러 QR 코드의 진위 판정시스템을 제안하였다. 이를 위해 CMYK 컬러 모델에 기초하여 컬러 및 컬러 정보를 이용하여 새로운 컬러 QR 코드를 설계하는 방법을 제시하고, 기존의 합성곱 신경망 알고리즘인 VGGNet에 기초하여 진위 구분 방법을 구현하여 정품을 완벽히 구분함을 확인하였다.

가설 설정

제 품의 라벨형태로 제공되는 정품 QR 코드는 컬러 인쇄로 만들어지며, 또한 위변조 코드는 정품코드를 고품질 스캐너를 통해 복제된다고 가정한다.

제안 방법

2GHz CPU와 16GB RAM 그리고 GT1060 GPU를 가진 환경에서 진행하였다. VGGNet 구현은 Python 3.5.5 버전에서 Pytorch-gpu 1.10.0 버전으로 구현하였고, 다양한 영상전처리 기술은 OpenCV 3.4.0 버전 라이브러리를 바탕으로 구현하여 검증하였다.
본 논문에서는 안정적인 인식 성능을 얻기 위해 CMYK 컬러 모델에 기초한 컬러 정보와 패턴 정보를 바탕으로 컬러 QR 코드를 설계하는 방법을 제시한다. 또한, 인쇄 매체로 제공되는 경우에 이에 대한 위변조에 강인하게 복원하여 인식할 수 있도록 합성곱 신경망 (Convolutional neural network: CNN)에 기초한 진위 판정시스템을 제안한다. 진위로 판정된 코드에 대해서는 삽입된 정보의 비트 인식률에 대해서도 안정적으로 복원하는 방법을 분석한다.
테이블릿 PC는 국내 S사 및 L사 제품을 사용하였고, 스마트 폰은 국내 S사, L사, 중국 X사 제품을 사용하여 다양한 카메라 성능에 따라 인식 성능을 확인 검증하였다. 또한, 조도가 다른 다양한 장소에서 정품 200회 및 가품 200회 촬영하여 실험을 진행하였다. 이 촬영 데이터에 대해 80%는 훈련 (Training) 데이터로 활용하였고, 20%는 테스트 (Test) 데이터로 사용하였다.
2는 CMYK 모델에 의한 4가지 컬러와 두 가지 패턴을 혼합하여 4비트 정보를 표현하는 예를 나타내고 있다. 이 예에서는 2가지 패턴정보에 4가지 컬러를 더하여 총 16가지의 경우에 대해 4비트 정보를 생성하게 된다.
(2015)은 제한된 정보 저장 능력을 개선하고, 특정 사용자를 위한 정보 은닉 방법을 제시하였다. 이를 위해 보편적인 QR 리더기에 의해 해독되는 코드와 특정 사용자를 위한 텍스쳐 정보가 삽입하는 방법으로 보안성을 보장하는 방법을 제시하였다. Andre and Ferreria (2014)은 기존의 QR 코드에서 컬러 정보를 다중화하여 정보 저장 능력의 향상을 꾀하였는데, 다중화 밀도와 잡음의 함수로 분석을 수행하였다.
이미지 전처리부는 사용자가 어플을 이용해 촬영한 컬러 QR 코드를 포함한 이미지를 수신한 뒤, 먼저, 휘도 신호 (Grayscale)로 변환한 후, 흑백 정보를 추출하여 기존의 QR코드를 인식하도록 한다.
제 2절에서는 본 논문에서 제시한 컬러 QR 코드 인증 시스템의 구조와 동작원리에 대해 설명하며, 제 3절에서는 제안된 컬러 QR 코드 설계 방법과 컬러 정보 추출 알고리즘에 대해 설명한다. 제 4 절에서 다양한 실험 결과를 바탕으로 얻어진 실험 결과를 통해 실용화와 상용화의 가능성을 검토한다. 마지막 제 5절에서는 결론을 제시한다.
또한, 인쇄 매체로 제공되는 경우에 이에 대한 위변조에 강인하게 복원하여 인식할 수 있도록 합성곱 신경망 (Convolutional neural network: CNN)에 기초한 진위 판정시스템을 제안한다. 진위로 판정된 코드에 대해서는 삽입된 정보의 비트 인식률에 대해서도 안정적으로 복원하는 방법을 분석한다.
4는 그 일례를 나타내고 있다. 테이블릿 PC는 국내 S사 및 L사 제품을 사용하였고, 스마트 폰은 국내 S사, L사, 중국 X사 제품을 사용하여 다양한 카메라 성능에 따라 인식 성능을 확인 검증하였다. 또한, 조도가 다른 다양한 장소에서 정품 200회 및 가품 200회 촬영하여 실험을 진행하였다.

대상 데이터

10에서 (a)는 숫자와 문자 중심의 Google 관련 기사 정보로 이루어진 Type 1이고, (b)는 문자 중심의 소설 ‘노인과 바다’로 Type 2이며, (c)는 팝송 ‘Yesterday’ 가사로 Type 3로 명명하여 설계되었다. 기본 패턴 블록크기는 15x15, 18x18, 21x21 화소 블록을 사용하여 제작되었으며, 필요에 따라 RS 코드도 달리하면서 실험하였다.
Simonyan and Zisseman (2015)이 제안한 VGGNet은 입력 이미지의 크기를 224 x 224로 맞춘 후, 컨볼루션 13층과 완전연결 3층으로 해서 전체 16층으로 구성되어 있다. 본 논문에서는 VGGNet 구조의 신경망을 Fig. 7의 과정에 도입하여 정품과 가품을 판단한다. VGGNet에 기초해서 가품으로 판정될 경우 사용자에게 가품결과를 전송한다.
본 논문에서는 컬러 QR 코드에 대한 가품은 9600 dpi급의 고품질 스캐너와 고품질 컬러 프린터를 활용하여 복제하였는데, Fig. 4는 그 일례를 나타내고 있다. 테이블릿 PC는 국내 S사 및 L사 제품을 사용하였고, 스마트 폰은 국내 S사, L사, 중국 X사 제품을 사용하여 다양한 카메라 성능에 따라 인식 성능을 확인 검증하였다.
인식률은 정품을 정품으로, 가품을 가품으로 각각 분리해내는 비율을 평균한 것이며, 오인식률은 정품을 가품으로, 가품을 정품으로 서로 잘못 인식하는 비율을 의미한다. 실험에서 사용된 패턴 블록의 크기 (b x b)는 15 x 15, 18 x 18 두 가지를 사용하였고, RS 코드는 사용하지 않은 것 (Non)과 (66, 46), (76, 46), (86, 46) 등 전체적으로 4종류를 사용하여 비트오류 발생에 대비하였다. 모든 실험 조건에서 VGGNet 구조에 구현된 시스템은 정품과 가품을 완전히 구분해내는 결과를 얻었다.
또한, 조도가 다른 다양한 장소에서 정품 200회 및 가품 200회 촬영하여 실험을 진행하였다. 이 촬영 데이터에 대해 80%는 훈련 (Training) 데이터로 활용하였고, 20%는 테스트 (Test) 데이터로 사용하였다.
4.1 실험을 위한 컬러 QR코드의 제작

제안된 시스템의 검증을 위해 삽입 정보의 내용에 따라 3종류의 컬러 QR 코드를 제작하였다. Fig.

이론/모형

7에서 정품으로 판정된 컬러 QR코드에 대해서 C, M, Y, K 비트 플레인으로 분리한다. 각 비트 플레인에 대해 독립적으로 Otsu 알고리즘을 통한 적응적 이진화를 수행하고, 더불어 모폴로지 기법을 적용하여 공간영역 잡음을 제거한다. M x M 크기의 이진화 영상에 대해 서버에 저장된 각 비트 플레인 정보와의 전역탐색을 수행하여 최적의 공간 정합 위치를 찾는다.

성능/효과

Fig. 10에 나타낸 3종류의 컬러 QR 코드에 대한 정품과 가품에 대한 인식률 (Recognition rate)과 오인식률 (Mis-recognition rate)은 각각 100%와 0%를 달성하였다. 인식률은 정품을 정품으로, 가품을 가품으로 각각 분리해내는 비율을 평균한 것이며, 오인식률은 정품을 가품으로, 가품을 정품으로 서로 잘못 인식하는 비율을 의미한다.
특히, 주목되는 점은 가품에서도 일정 정도의 삽입 정보가 가능하다는 것과 블록 크기가 커지더라도 비트 오류가 완전히 해결되지 않는다는 점이다. 그렇지만, 블록의 크기를 크게 하고, 비트 오류 보정 능력을 향상시키면, 삽입정보를 대부분 추출 가능함을 확인할 수 있다.
모든 실험 조건에서 VGGNet 구조에 구현된 시스템은 정품과 가품을 완전히 구분해내는 결과를 얻었다. 더불어 정품과 가품을 잘못 구분하는 경우는 한 차례도 없이 완벽하게 동작함을 확인할 수 있었다. 이러한 결과는 컬러 QR코드의 설계 패턴의 크기, RS코드의 유무, 또한, 설계된 데이터의 내용 등에 무관하게 완전하게 정품과 가품을 구분해낼 수 있는 구조를 갖게 됨을 확인하였다.
이를 위해 CMYK 컬러 모델에 기초하여 컬러 및 컬러 정보를 이용하여 새로운 컬러 QR 코드를 설계하는 방법을 제시하고, 기존의 합성곱 신경망 알고리즘인 VGGNet에 기초하여 진위 구분 방법을 구현하여 정품을 완벽히 구분함을 확인하였다. 또한, 컬러 QR 코드 내에 삽입된 특정 정보를 추출하기 위한 다양한 실험을 통해 블록 크기와 오류 보정 능력을 향상시킴으로써 실용화 가능함을 확인할 수 있었다.
모든 실험 조건에서 VGGNet 구조에 구현된 시스템은 정품과 가품을 완전히 구분해내는 결과를 얻었다.
설계 코드는 PC상에서 일정한 정보열을 이용하여 발생시킨 컬러 및 패턴 정보가 평면에 배치되어 있어 시각적으로 명확하게 표시된다. 반면에 컬러 프린터로 출력한 정품 코드는 비슷한 형태의 컬러와 패턴이 비슷한 공간 위치에 배치되어 있지만, 스캐너와 프린터를 이용하여 복제된 코드는 공간 블러링 현상이 일어나고 더불어 공간상에 위치가 많이 흐트러져 있음을 확인할 수 있다. 또한 복제된 코드에서는 일부 컬러 정보가 유실되어 있음을 확인하게 된다.
10에 나타낸 3 종류의 컬러 QR 코드에 대한 다양한 비트 인식률을 조사하여 그 결과를 나타내고 있다. 이 결과에서 알 수 있듯이, 패턴의 기본 블록의 크기가 증가할수록 비트 인식률은 증가하고, RS 코드의 오류정정 능력이 증가할수록 성능이 향상됨을 확인할 수 있다. 특히, 주목되는 점은 가품에서도 일정 정도의 삽입 정보가 가능하다는 것과 블록 크기가 커지더라도 비트 오류가 완전히 해결되지 않는다는 점이다.
더불어 정품과 가품을 잘못 구분하는 경우는 한 차례도 없이 완벽하게 동작함을 확인할 수 있었다. 이러한 결과는 컬러 QR코드의 설계 패턴의 크기, RS코드의 유무, 또한, 설계된 데이터의 내용 등에 무관하게 완전하게 정품과 가품을 구분해낼 수 있는 구조를 갖게 됨을 확인하였다.
본 논문은 특정 제품에 컬러 QR 코드를 부착하여 제공하는 환경을 고려하여, 인쇄된 컬러 QR 코드의 진위 판정시스템을 제안하였다. 이를 위해 CMYK 컬러 모델에 기초하여 컬러 및 컬러 정보를 이용하여 새로운 컬러 QR 코드를 설계하는 방법을 제시하고, 기존의 합성곱 신경망 알고리즘인 VGGNet에 기초하여 진위 구분 방법을 구현하여 정품을 완벽히 구분함을 확인하였다. 또한, 컬러 QR 코드 내에 삽입된 특정 정보를 추출하기 위한 다양한 실험을 통해 블록 크기와 오류 보정 능력을 향상시킴으로써 실용화 가능함을 확인할 수 있었다.

후속연구

앞으로 비트 오류를 완전히 제거하고, 단말기 특성에 강인한 전처리 알고리즘을 개발하고, 이를 바탕으로 상용화를 위한 연구가 수행될 필요가 있다.
Kim (2019)은 곡면 형태의 부착된 QR 코드에 대해 인식률을 개선하기 위한 영상처리 알고리즘을 제시하였다. 이상의 이러한 연구 결과들은 삽입정보의 양과 조명의 변화에 대해 인식 성능이 가변적이며 또한 삽입 정보의 양에 따른 분석이 제대로 이루어지지 않았다. 이와 관련한 다수의 영상처리 기법이 제안되었다 (Ryu and Kim, 2016; Ryu and Kim, 2017).

질의응답

핵심어	질문	논문에서 추출한 답변
	QR코드의 한계점은 무엇인가?	스마트 폰의 대중적인 보급은 QR (Quick response) 코드를 통하여 다양한 정보에 간편하고 손쉽게 접근 가능하게 하고 있다. 그러나 QR코드는 저장되는 정보량이 유한하고, 또한, 보안이 요구되는 응용분야에는 매우 제한적으로 사용되고 있다. 이러한 제한적인 특성을 극복하기 위해 다양한 방안이 제시되고 연구되고 있다(Thompson and Lee, 2013).
	VGGNet은 무엇인가?	본 논문은 특정 제품에 컬러 QR 코드를 부착하여 제공하는 환경을 고려하여, 인쇄된 컬러 QR 코드의 진위 판정시스템을 제안하였다. 이를 위해 CMYK 컬러 모델에 기초하여 컬러 및 컬러 정보를 이용하여 새로운 컬러 QR 코드를 설계하는 방법을 제시하고, 기존의 합성곱 신경망 알고리즘인 VGGNet에 기초하여 진위 구분 방법을 구현하여 정품을 완벽히 구분함을 확인하였다. 또한, 컬러 QR 코드 내에 삽입된 특정 정보를 추출하기 위한 다양한 실험을 통해 블록 크기와 오류 보정 능력을 향상시킴으로써 실용화 가능함을 확인할 수 있었다.
	CMYK 컬러 및 패턴 정보를 이용한 QR코드의 특징은?	결합된 일련의 정보열에 대해 CMYK 컬러 및 패턴 정보를 이용하여 컬러 QR 코드를 생성하게 된다. 이때 컬러 및 패턴 정보를 표현하는 기본 블록은 N x N 크기의 화소 블록 형태를 가지는데, 이 블록의 크기가 클수록 안정적인 복호화가 예측되지만, 삽입되는 정보의 양은 감소하게 된다.

참고문헌 (14)

Andre, P., and Ferreria, R. (2014). Colour Multiplexing of Quick-Response (QR) Codes, Electronics Letters (IET), 50(24), 1828-1830.

상세보기
Choi, D., and Kim, J. (2018a). A Code Authentication System of Counterfeit Printed Image Using Multiple Comparison Measures, Journal of the Korea Industrial Information Systems Research, 23(4), 1- 12.
Choi, D., and Kim, J. (2018b). An Effective Detection of Print Image Forgeries based on Modeling of Color Matrix: An Application to QR Code, The Journal of the Korea Contents Association, 18(10), 431-442.
Galiyawala, H., and Pandya, K. (2014). To Increase Data Capacity of QR Code using Multiplexing with Color Coding, 2014 Annual IEEE India Conference (INDICON), 1-6.
Jung, J., Yang, H., Kim, S., Lee, G., and Kim, S. (2011). Wine Label Recognition System using Image Similarity, The Journal of the Korea Contents Association, 11(5), 125-137.

원문보기 상세보기
Kim, J. (2019). Recognition Performance Improvement of QR and Color Codes Posted on Curved Surfaces, Journal of the Korea Institute of Information and Communication Engineering (JKI ICE), 267-275.
Nandhini, S. (2017). Performance Evaluation of Embedded Color or Codes on Logos, Third International Conference On Science Technology Engineering and Management (ICONSTEM), 1009-1014.
Ryu, J., and Kim, J. (2016). Performance Comparison of BCS-SPL Techniques against a Variety of Restoring Block Sizes, Journal of the Korea Industrial Information Systems Research, 21(2), 21- 28.
Ryu, J., and Kim, J. (2017). Reconstructed Image Quality Improvement of Distributed Compressive Video Sensing using Temporal Correlation, Journal of the Korea Industrial Information Systems Research, 22(2), 27- 34.

원문보기 상세보기
Simonyan, K., and Zisseman, A. (2015). Very Deep Convolutional Networks for Large-Scale Image Recognition, ICLR 2015, 1-14.
Song, J., and Lee, J. (2016). Positioning Method using a Vehicular Black-Box Camera and a 2D Barcode in an Indoor Parking Lot, Journal of the Korea Institute of Information and Communication Engineering, 20(1), 142-152.

원문보기 상세보기
Thompson, N., and Lee, K. (2013). Information Security Challenge of QR Codes, Journal of Digital Forensics Security and Law, 8(2), 43-72.
Tkachenko, I., Puech, W., Strauss, O., Gaudin, J., Destruel, C., and Guichard, C. (2015). Rich QR Code for Multimedia Management Applications, Image Analysis and Processing (ICIAP ), 383-393.
Tkachenko, I., Puech, W., Strauss, O., Destruel, C., and Gaudin, J. (2016). Printed Document Authentication using Two Level QR Code, 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2149-2153.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증