[논문]컬러 매트릭스 모델링에 의한 영상 인쇄물 위변조 검출 기법 : QR코드에의 적용

최도영; 김진수

doi:10.5392/jkca.2018.18.10.431

컬러 매트릭스 모델링에 의한 영상 인쇄물 위변조 검출 기법 : QR코드에의 적용
An Effective Detection of Print Image Forgeries Based on Modeling of Color Matrix : An Application to QR Code 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.18 no.10, 2018년, pp.431 - 442

최도영 (한밭대학교 정보통신전문대학원) , 김진수 (한밭대학교 정보통신전문대학원)

초록
AI-Helper

2차원 바코드인 QR코드는 사진, 동영상, 지도, 명함 등 다양한 정보를 더 편리하게 담아낼 수 있다. 현재 스마트 폰의 보급으로 QR코드는 다양한 인쇄 매체에 인쇄하여 연결된 인터넷 정보를 손쉽게 검색하는 수단으로 활용되고 있다. 그러나 QR코드는 정보보안이 용이하지 않아, 결재시스템에 활용하기에는 매우 제한적이다. 본 논문에서는 기존의 QR코드와 컬러 도안을 결합하여 새로운 코드를 설계하여, 제품 인증 시스템이 요구되는 분야에 활용할 수 있는 방안을 제안한다. 제안한 방법은 CMYK 컬러 모델로 인쇄된 정품은 전자기기에서 RGB 컬러 모델로 캡처되며, 이때 컬러의 왜곡이 발생하게 되는데, 이를 컬러 매트릭스를 통해 측정하고, 통계 특성에 기초한 정품 인증시스템을 제안한다. 다양한 종류의 컬러 코드를 통해 본 논문에서 제안한 방법이 제품 인증 시스템에 효과적으로 사용될 수 있음을 보인다.

Abstract ▼ AI-Helper

2-dimensional barcode, QR code has been used for containing various information such as image, video, map, and business cards. Currently, a smartphone is used as a QR code scanner, displaying the code and converting it to a standard URL for a website. However, QR codes are not very common in encrypted application and so have a few applications. This paper proposes a new color-code, which integrates the conventional QR code and color design, and can be effectively used in some product certification system. The proposed method exploits the fact that genuine code is produced by CMYK color model, but the counterfeit is captured by RGB color model and during this process, color information of the code is changed. This paper introduces the color matrix model to measure the distortion between genuine code and counterfeit code. By investigating the statistical characteristics of color matrix, an effective detection of print image forgeries are designed. Various experiments with color codes show that the proposed system can be effectively used in product certification systems.

주제어

표/그림 (12)

그림 그림 1. 정품 이미지와 가품 이미지의 예
그림 그림 2. 정품과 가품의 3x3 Color Matrix 예
그림 그림 3. 정품과 가품에 대한 컬러 매트릭스의 각 요소 성분에 대한 분포
그림 그림 4. 제안한 제품 인증 시스템의 제어 흐름도
그림 그림 5. CMS 분포에 따른 판정 범위
그림 그림 6. 라벨 이미지
그림 그림 7. 정품과 가품 이미지에 대한 CMS분포 특성
그림 그림 8. 정품과 가품에 대한 CMS 분포도
그림 그림 9. 제안된 인쇄물 판정 시스템과 제어 흐름도
그림 그림 10. 실험에 사용한 라벨 이미지
표 표 1. 정품 라벨이미지에 대한 인식률 실험결과
표 표 2. 가품 라벨이미지에 대한 인식률 실험결과

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 2차원 바코드인 QR코드에 컬러 이미지를 결합하여 새로운 컬러코드를 설계하고, 이를 제품의 정품 인증 시스템에 활용할 수 있는 방법에 대해 연구하였다. 정품은 CMYK와 같은 4가지 색상성분으로 출력되는데 위변조 과정을 통해 만들어지는 가품은 RGB의 3가지 색상으로 표현되며, 이 과정에서 컬러 왜곡이 발생되는 사실을 컬러매트릭스를 조사하여 확인하였다.

가설 설정

정품 라벨은 컬러 프린터의 4색 모델인 CMYK 모델 에 따라 4가지 잉크 성분으로 출력된다. 반면에 가품의 생성은 정품 라벨을 스캐너 또는 카메라와 같은 전자기기를 통해 입력된 후에 일부 편집과정을 거쳐서 다른 컬러 프린터로 출력됨으로써 위조, 변조, 또는 복제된다고 가정한다[8]. 이때, 전자기기로 입력하는 과정은 정품을 빛에 노출되었을 때, 정품에 해당되는 3색 모델인 RGB모델로의 변환을 통해 컬러 이미지 파일로 저장된다.

제안 방법

[그림 5]에 의한 CMS 분포에 따른 정품과 가품 판정이 타당한지를 검증하기 위해 [그림 6]에 나타낸 5종류의 라벨 이미지를 제작하여 실험을 실시하였다. 좌측상단부터 시계 방향으로 1-라벨부터 5-라벨까지 각각 명명하였다.
실험은 총3대의 스마트폰(삼성 갤럭시S7, LG패드, 샤오미 MI A1)을 사용하여 진행하였다. 가품 라벨은 3가지의 다른 인쇄방법(평판, 전문가, 드럼)을 사용하여 실험하였으며 3종류의 스마트폰을 이용하여 각각 정품 약100회, 가품 약100회씩 촬영하여 인식율을 확인하였다. 모든 실험은 같은 조건 하에 진행하였다.
보정작업이 완료된 라벨 이미지는 서버에 저장되어있는 원본 이미지와 비교하여 컬러 매트릭스를 생성하고 CMS(Color Matrix Sum)을 계산한다. 계산이 완료된 CMS를 이용하여 인증 결과를 다시 Network를 통해 사용자의 스마트폰으로 전송하여 인증 결과를 보여준다.
[그림 7]은 5가지 라벨 이미지에 대하여 각 테스트를 통해 얻은 CMS 분포도를 나타낸 것이고, [그 림 8]은 CMS분포 밀도를 나타낸 것이다. 또한 3종류의 스마트 폰(삼성 갤럭시S7, LG패드, Xiaomi M1A1)을 사용하여 스마트 폰 제조사 별로 나타나는 특성을 반영하였고, 각 라벨 이미지별로 40회씩(평판13회, 전문가13 회, 드럼14회) 테스트를 수행하였다. 또한, 가품 라벨은 3가지의 인쇄방법을 사용하였다.
또한 3종류의 스마트 폰(삼성 갤럭시S7, LG패드, Xiaomi M1A1)을 사용하여 스마트 폰 제조사 별로 나타나는 특성을 반영하였고, 각 라벨 이미지별로 40회씩(평판13회, 전문가13 회, 드럼14회) 테스트를 수행하였다. 또한, 가품 라벨은 3가지의 인쇄방법을 사용하였다. [그림 8]에 나타낸 정품과 가품의 분포도를 통해 정품 라벨의 CMS와 가품 라벨의 CMS가 각각의 군집으로 나뉘는 것을 확인할 수 있다.
서버는 사용자가 인증을 원하는 라벨을 전송받아 QR코드를 이용해 라벨부분을 추출한 후 전처리를 통해 보정작업을 수행한다. 보정작업이 완료된 라벨 이미지는 서버에 저장되어있는 원본 이미지와 비교하여 컬러 매트릭스를 생성하고 CMS(Color Matrix Sum)을 계산한다. 계산이 완료된 CMS를 이용하여 인증 결과를 다시 Network를 통해 사용자의 스마트폰으로 전송하여 인증 결과를 보여준다.
본 논문에서 인쇄물의 위변조를 판정하는 새로운 기법을 제안하고 그 유효성을 검증하기 위해 [그림 9]와 같은 시스템을 직접 구현하였다. 제안된 시스템은 3가지의 큰 흐름으로 분류하며 스마트폰, Network, Server 를 이용하여 사용자에게 인증결과를 보여준다.
본 논문에서는 QR코드 내부에 특정 컬러 이미지를 삽입하여 컬러 코드를 만들어 출력하고, 이 원본 이미지를 위조, 변조, 또는 복제를 함으로써 왜곡이 발생한다. 이때 발생되는 컬러 왜곡을 컬러 매트릭스 모델로 측정하는 방법을 제안한다.
즉, 3색 모델인 RGB모델인 컬러 이미지 파일은 4색 모델인 CMYK 모델로 출력하게 되는데, RGB모델에 의한 3색 모델이 CMYK모델에 의한 4색 모델로 대응되는 과정에서 왜곡이 발생한다[9]. 본 논문에서는 기존의 QR코드와 컬러 도안을 결합한 새로운 컬러코드를 설계하였으며, [그림 1]은 정품 라벨에 대응되는 정품 이미지와 정품을 위조한 가품 이미지의 예를 나타내고 있다.
정품은 CMYK와 같은 4가지 색상성분으로 출력되는데 위변조 과정을 통해 만들어지는 가품은 RGB의 3가지 색상으로 표현되며, 이 과정에서 컬러 왜곡이 발생되는 사실을 컬러매트릭스를 조사하여 확인하였다. 이 사실을 바탕으로 정품과 비교이미지를 컬러 매트릭스를 구하는 방법을 제시하고, 컬러매트릭스의 각 요소값의 통계 특성에 기초하여 제품 인증 시스템에 활용할 수 있는 방법을 제안하였다. 다양한 컬러 코드 에 대한 다수의 스마트폰을 통한 실험에서 본 논문에서 제안한 제품 인증 시스템이 효과적임을 검증하였다.
본 논문에서는 QR코드 내부에 특정 컬러 이미지를 삽입하여 컬러 코드를 만들어 출력하고, 이 원본 이미지를 위조, 변조, 또는 복제를 함으로써 왜곡이 발생한다. 이때 발생되는 컬러 왜곡을 컬러 매트릭스 모델로 측정하는 방법을 제안한다. 또한 컬러 매트릭스의 통계 특성을 통하여 정품과 가품을 구분할 수 있는 제품 인증 시스템에 사용할 수 있음을 보인다.
먼저 사용자의 스마트폰 또는 테블릿 PC에 설치된 App을 이용하여 인증을 원하는 라벨 이미지를 촬영하면 서버를 통해 입력 영상으로 들어온다. 입력된 영상은 QR코드 검출을 위해 영상을 이 진화하고 QR코드를 검출하여 일정한 크기로 잘라내고 히스토그램 정합과 캐니 에지 연산 등과 관련한 전처리를 수행한다. 전처리가 완료된 영상은 블러정도를 확인하여 블러정도가 심할 경우 사용자에게 재촬영을 요청한다.
본 논문에서는 2차원 바코드인 QR코드에 컬러 이미지를 결합하여 새로운 컬러코드를 설계하고, 이를 제품의 정품 인증 시스템에 활용할 수 있는 방법에 대해 연구하였다. 정품은 CMYK와 같은 4가지 색상성분으로 출력되는데 위변조 과정을 통해 만들어지는 가품은 RGB의 3가지 색상으로 표현되며, 이 과정에서 컬러 왜곡이 발생되는 사실을 컬러매트릭스를 조사하여 확인하였다. 이 사실을 바탕으로 정품과 비교이미지를 컬러 매트릭스를 구하는 방법을 제시하고, 컬러매트릭스의 각 요소값의 통계 특성에 기초하여 제품 인증 시스템에 활용할 수 있는 방법을 제안하였다.
본 논문에서 인쇄물의 위변조를 판정하는 새로운 기법을 제안하고 그 유효성을 검증하기 위해 [그림 9]와 같은 시스템을 직접 구현하였다. 제안된 시스템은 3가지의 큰 흐름으로 분류하며 스마트폰, Network, Server 를 이용하여 사용자에게 인증결과를 보여준다. 스마트 폰에 설치된 App을 이용하여 사용자가 인증을 원하는 제품의 라벨을 Network를 통해 서버로 전달한다.
현재 제안한 컬러코드의 위변조 검출 방법은 정품 코드는 서버에 등록하여 입력되어 오는 이미지와 비교하는 방식을 사용한다. 앞으로 정품 코드의 통계 특성 자체만을 이용하여 정품과 가품을 구분하는 방법에 대해 연구할 필요가 있다.

대상 데이터

또한, 제안한 시스템의 성능을 검증하기 위해 [그림 10]에 나타낸 것과 같이 실험 이미지는 600×600 크기의 라벨 이미지를 사용하였다.
좌측 상단부터 우측하단까지 1번부터 10번 라벨로 명명하였다. 실험은 총3대의 스마트폰(삼성 갤럭시S7, LG패드, 샤오미 MI A1)을 사용하여 진행하였다. 가품 라벨은 3가지의 다른 인쇄방법(평판, 전문가, 드럼)을 사용하여 실험하였으며 3종류의 스마트폰을 이용하여 각각 정품 약100회, 가품 약100회씩 촬영하여 인식율을 확인하였다.
정품 라벨은 컬러 프린터의 4색 모델인 CMYK 모델 에 따라 4가지 잉크 성분으로 출력된다. 반면에 가품의 생성은 정품 라벨을 스캐너 또는 카메라와 같은 전자기기를 통해 입력된 후에 일부 편집과정을 거쳐서 다른 컬러 프린터로 출력됨으로써 위조, 변조, 또는 복제된다고 가정한다[8].

성능/효과

이 사실을 바탕으로 정품과 비교이미지를 컬러 매트릭스를 구하는 방법을 제시하고, 컬러매트릭스의 각 요소값의 통계 특성에 기초하여 제품 인증 시스템에 활용할 수 있는 방법을 제안하였다. 다양한 컬러 코드 에 대한 다수의 스마트폰을 통한 실험에서 본 논문에서 제안한 제품 인증 시스템이 효과적임을 검증하였다.
[표 2]는 [그림 10]에 나타낸 10개의 각 가품 라벨 미지의 실험결과를 표로 나타낸 것이며 정품과 마찬가지로 3종류의 스마트 폰을 사용하였고 각 스마트폰은 3가지 방법으로 인쇄된 가품 라벨을 사용하였는데, 평판 인쇄는 D, 전문가인쇄는 J, 평판인쇄는 P를 나타낸다. 대부분의 가품 라벨 1, 2, 3, 5 ,7, 8 10라벨 또한 정품 라벨과 마찬가지로 100%의 인식율을 보여주었다. 정품 라벨과 마찬가지로 6, 4, 9라벨에서 미인식율이 발생하는 것을 확인할 수 있다.
나머지 6개는 다른 색깔 성분 사이의 상호상관계수의 의미를 갖는다. 따라서 비교하는 두 개의 이미지 X와 Y 사이의 값이 유사할수록 A⁺의 대각선 성분은 1근처의 값을, 그리고 비대각선 성분은 0 근처의 값을 갖게 됨을 유추할 수 있다.
[그림 8]에 나타낸 정품과 가품의 분포도를 통해 정품 라벨의 CMS와 가품 라벨의 CMS가 각각의 군집으로 나뉘는 것을 확인할 수 있다. 분포도의 CMS가 원본라벨과 유사한 정품 라벨이 가품 라벨보다 3의 값에 근접하는 것을 [그림 7]과 [그림 8]을 통해 확인할 수 있고, 이를 통해 [그림 5]와 같은 판정 방식이 효과적임을 확인할 수 있다.
정품 라벨과 마찬가지로 6, 4, 9라벨에서 미인식율이 발생하는 것을 확인할 수 있다. 샤오미의 드럼스캔 방식에서 30%, 12%, 15%의 미인식율을 보여주었지만 오인식율은 나타나지 않았다.
[표 1]은 [그림 10]에 나타낸 10개의 각 정품 라벨 이미지에 대하여 스마트폰 종류별로 실험을 통해 얻은 인식률, 미인식률, 오인식률을 나타낸 것이다. 이 표를 통해 1, 2, 3, 5, 7, 8, 10라벨의 인식율이 모두 100%로 매우 정확함을 확인할 수 있다. 반면 4라벨이 샤오미 폰에서는 4%의 미인식율이 발생됨을 볼 수 있고, 6라벨과 9라벨 또한 미인식율이 발생하는데 이것은 샤오미 폰에 장착된 카메라는 이미지를 캡처하는 과정에서 색깔 왜곡을 갖고서 처리하게 되는 것으로 조사되었다.
이상을 통하여 다양한 인쇄매체별로 복제되는 인쇄물에 대해 다양한 단말기로 제안된 기법을 사용함으로써 정품과 가품을 판정해낼 수 있음을 확인하였다.

후속연구

이때 발생되는 컬러 왜곡을 컬러 매트릭스 모델로 측정하는 방법을 제안한다. 또한 컬러 매트릭스의 통계 특성을 통하여 정품과 가품을 구분할 수 있는 제품 인증 시스템에 사용할 수 있음을 보인다.
현재 제안한 컬러코드의 위변조 검출 방법은 정품 코드는 서버에 등록하여 입력되어 오는 이미지와 비교하는 방식을 사용한다. 앞으로 정품 코드의 통계 특성 자체만을 이용하여 정품과 가품을 구분하는 방법에 대해 연구할 필요가 있다. 이러한 연구가 안정적인 결과를 도출하게 되면, 의류, 식품, 도서, 전자제품 등 다양한 곳에서 활용할 수 있을 것으로 기대된다.
앞으로 정품 코드의 통계 특성 자체만을 이용하여 정품과 가품을 구분하는 방법에 대해 연구할 필요가 있다. 이러한 연구가 안정적인 결과를 도출하게 되면, 의류, 식품, 도서, 전자제품 등 다양한 곳에서 활용할 수 있을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	컬러 매트릭스는 왜 사용되는가?	컬러 매트릭스는 색상을 보정하고 평가하기 위해 사용된다. 컬러 매트릭스를 통해 색상 보정을 수행하고 컬러 영상의 화질을 향상하거나 보정된 영상을 색 차트를 통해 평가에 사용된다[14]. 컬러 매트릭스는 영상의 보정이 필요한 카메라 필터에서 많이 사용된다.
	컬러 매트릭스가 정확한 RGB데이터를 제공하지 못할 수도 있는 문제점을 극복하기 위해 사용되는 방법은 무엇인가?	카메라 시스템에 사용되는 광학 렌즈 및 광학 필터의 스펙트럼 특성, 장면의 조명 및 이미지 센서의 컬러 필터 스펙트럼으로 인해 정확한 RGB데이터를 제공하지 못할 수 있다[15]. 이러한 부정확한 데이터를 보상하기 위해 3x3 컬러 매트릭스가 사용된다[16]. 영상의 노이즈 감소를 위한 보정에도 컬러 매트릭스가 사용된다[16].
	컬러 매트릭스는 어디에서 가장 많이 사용되는가?	컬러 매트릭스를 통해 색상 보정을 수행하고 컬러 영상의 화질을 향상하거나 보정된 영상을 색 차트를 통해 평가에 사용된다[14]. 컬러 매트릭스는 영상의 보정이 필요한 카메라 필터에서 많이 사용된다. 카메라 시스템에 사용되는 광학 렌즈 및 광학 필터의 스펙트럼 특성, 장면의 조명 및 이미지 센서의 컬러 필터 스펙트럼으로 인해 정확한 RGB데이터를 제공하지 못할 수 있다[15].

참고문헌 (17)

N. Islam, Z. Islam, and N. Noor, "A Survey on Optical Character Recognition," in Journal of Information & Communication Technology-JICT, Vol.10, Issue.2, pp.1-4, 2016(12).
T. F alas and H. Kashani, "Two-Dimensional Bar-code Decoding with Camera-Equipped Mobile Phones," Proceedings of the Fifth Annual IEEE International Conference, 2007.
J. Z. Gao, D. Bonino, and F. Corno, "Understanding 2D-BarCode Technology and Applications in M-Commerce," The 31st Annual International Computer Software and Applications Conference, Vol.2, pp.49-56, 2007.
J. R. Smith and S. F. Chang, "VisualSEEk: A Fully Automated Content-based Image Query System," in MULTIMEDIA '96 Proceedings of the fourth ACM international conference on Multimedia, pp.87-98, 1996.
D. Samretwit and T. Wakahara, "Automatic Identification and Data Capture Techniques (Barcode Symbology) QR Code (MOD)," 2000 Information Technology, 2000.
T. J. Soo, "QR Code," Synthesis Journal, Vol.2008, pp.59-78, 2008.
J. Park and J. Park, "Technological Tendency for 2D Image Code and Its Recognition on Mobile Phone," in Journal of the Korea Institute Of Communication Sciences, pp.663-673, 2011.
정보규, 김영인, 엄일규, "위조 영상 판별을 위한 블러된 에지 검출 방법," 한국정보기술학회 논문지, Vol.11, No.8, pp.93-100, 2013.
허경용, 이임건, 박삼식, 우영운, "디자인 QR코드 기반 정품인증 프레임워크 및 정품판별 알고리즘개발," 한국컴퓨터정보학회, Vol.20, No.6, pp.13-20, 2015.
P. S. Andre and R. A. S. Ferreira, "Colour Multiplexing of Quick-response (QR) Codes," Electronics Letters, Vol.50, No.24, pp.1828-1830, 2014.

상세보기
http://www.odelama.com/photo/colorMatrix-Script/
https://ko.wikipedia.org/wiki/%EC%BB%ACEB%9F%AC_%EB%A7%A4%ED%8A%B8%EB%A6%AD%EC%8A%A4
https://www.abelcine.com/articles/blog-and-knowledge/tutorials-and-guides/color-matrix-explained
주재민, 오세택, 강병호, 김상조, 이영섭, 김진한, "Adaptive Color Correction Matrix 방법에 의한 화질 개선 평가," 대한전자공학회 학술대회, pp.738-741, 2011.
http://www.asicfpga.com/site_upgrade/asicfpga/isp/color_correction.html,
S. H. Lim and S. Amonon, "Spatially Varying Color Correction Matrices for Reduced Noise," Imaging Systems Laboratory HP Laboratories Palo Alto, HPL-2004-99, 2004(6).
K. Samu, T. Eero, and A. Juha, "Color Channel Weights in a Noise Evaluation," Int. Image Sensor Workshop, pp.114-117, 2011.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증