[논문]전자문서에서 서식인식과 광학문자인식을 이용한 개인정보 탐지 및 보호 시스템

백종경; 지윤석; 박재표

doi:10.5762/kais.2020.21.5.451

전자문서에서 서식인식과 광학문자인식을 이용한 개인정보 탐지 및 보호 시스템
A Personal Information Security System using Form Recognition and Optical Character Recognition in Electronic Documents 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.21 no.5, 2020년, pp.451 - 457

백종경 (숭실대학교 대학원 컴퓨터학과) , 지윤석 (숭실대학교 대학원 IT정책경영학과) , 박재표 (숭실대학교 정보과학대학원)

초록
AI-Helper

전자문서에서 개인정보를 보호하기 위한 방법으로 서식 인식과 광학 문자 인식 기법이 많이 이용되고 있으나 OCR 엔진의 저조한 인식률로 인해서 개인정보를 탐지하지 못하거나 오탐이 많이 발생하고 있고 또한 대량의 전자문서를 분석하는데도 오랜 시간이 걸린다. 본 논문에서는 기존의 방법을 개선하여 전자문서의 이미지 분석 속도와 OCR엔진의 글자 인식률, 그리고 개인정보의 탐지율을 향상할 수 있는 방안을 제시한다. 서식 인식 방법을 이용하여 분석 속도를 높이고, 이미지 보정을 통해 OCR 엔진 분석 속도 및 글자 인식률을 향상한다. 이미지에서의 개인정보 분석 알고리즘을 제안하여 개인정보의 탐지율을 높였다. 실험을 통하여 이미지 서식 인식 시료 1755개를 분석하여 평균 0.24초가 소요되어 기존의 PAID 시스템 서식 인식 방안보다 0.5초 향상되었으며 이미지 서식 인식률은 평균 99%를 기록하였다. 본 논문에서 제안한 방법은 전자문서에서 개인정보를 보호할 수 있는 시스템으로서 공공, 통신사, 금융, 관광, 보안 등 여러분야에서 활용할 수 있을 것이다.

Abstract ▼ AI-Helper

Format recognition and OCR techniques are widely used as methods for detecting and protecting personal information from electronic documents. However, due to the poor recognition rate of the OCR engine, personal information cannot be detected or false positives commonly occur. It also takes a long time to analyze a large amount of electronic documents. In this paper, we propose a method to improve the speed of image analysis of electronic documents, character recognition rate of the OCR engine, and detection rate of personal information by improving the existing method. The analysis speed was increased using the format recognition method while the analysis speed and character recognition rate of the OCR engine was improved by image correction. An algorithm for analyzing personal information from images was proposed to increase the reconnaissance rate of personal information. Through the experiments, 1755 image format recognition samples were analyzed in an average time of 0.24 seconds, which was 0.5 seconds higher than the conventional PAID system format recognition method, and the image recognition rate was 99%. The proposed method in this paper can be used in various fields such as public, telecommunications, finance, tourism, and security as a system to protect personal information in electronic documents.

주제어

표/그림 (9)

그림 Fig. 1. Image rotation angle calculation method
그림 Fig. 2. Proposed System Overall Diagram
그림 Fig. 3. Image Classification Processing
그림 Fig. 4. Diagram of Personal Information Detection Engine in Image Document
표 Table 1. Proposed System Test Environment
표 Table 2. Average Analysis Speed by Image Format Recognition Engine
표 Table 3. OCR Engine Character Data Analysis Time Comparison
표 Table 4. Recognition rate and undetected rate of image format recognition by sample
표 Table 5. Comparison of Character Recognition Rate by OCR Engine

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이미지 보정을 통한 OCR 인식률 향상을 통한 개인정보 검출률 향상, 이미지 서식인식을 활용한 개인정보 검출 방안을 제시한다.
본 논문에서는 전자문서에서 이미지 서식인식, OCR 인식률을 향상하기 위한 이미지 보정, OCR 엔진 분석, 이미지에서의 개인정보 분석 방안, 이미지 서식인식과 OCR 글자 데이터 활용방안을 제시하였다.
본 논문에서는 전자문서에서 정형/비정형 이미지 내의 기밀정보(텍스트 형태로 존재하는 대외비 문자열)와 개인정보를 검출하기 위한 서식인식 기술, OCR 인식율을 높이기 위한 이미지 보정 기술, OCR을 이용한 데이터 추출기술, 이미지에서의 개인정보 검출 기술을 제안한다. 제안하는 전체 시스템 구성도는 Fig.

제안 방법

OCR 인식 시 개인정보가 아님에도 개인정보로 잘못 탐지하는 부분을 수정하기 위해 별도의 글자보정 작업을 진행 후 개인정보가 있는지 탐지한다.
⑥ 분류된 서식에 따라 특정 데이터 취득, 마스크 데이터 가공 등 후처리를 진행한다.
공개소스 기반 Tesserct OCR 엔진, 상용 OCR 엔진에 대해 DPI별로 영문/ 숫자, 국문 글자 인식률을 측정하고, 제안시스템 OCR 엔진, Tesserct OCR 엔진, 상용 OCR 엔진, 한글 처방전 문자인식 시스템 OCR 엔진, KCR-AlexNet OCR 엔진과 글자 인식률을 비교하였다.
상관관계 방법은 완벽하게 일치하면 큰 값이 나오고, 일치하지 않을수록 작은 값이 나오거나 0이 나온다. 본 논문에서는 상관관계 매칭 방법을 개선하여 적용한다.
서식인식 엔진 샘플 타입별로 제안시스템 엔진, 한글 처방전 문자인식 시스템 엔진[3], KCR-AlexNet 엔진, PAID 시스템 엔진에 대해 인식률과 미탐률을 측정하였으며, 이미지 서식인식 인식률 및 미탐률 표는 Table 4과 같다.
서식인식 엔진 시료 1755(3219페이지) 개를 A, B, C 샘플 군으로 나누어 성능평가를 실행하였다.
개인정보에 대한 검출 임계치는 서식인식 90%, OCR 글자 정확도 80%, 개인정보 정확도 90%로 설정하였다. 시료는 문서 포맷을 무작위로 웹 사이트 크롤링 문서, 공인기관 발급문서(주민등록등본, 가족증명서, 특허증 등), 신분증 사진, 일반문서, 금융문서로 무작위로 구성하였다.
시험을 수행하는 동안 다른 프로세스에 의한 제안 프로그램 속도의 영향도를 줄이기 위해 3대를 PC를 준비하여 평균치를 냈다.
이미지 문서의 센터 기반 각도를 산출하는 기법과 코너 기반으로 각도를 연산하는 알고리즘을 병행해서 사용한다. 코너 기반으로 각도를 산출할 경우 회전으로 이미지가 손상이 심하므로 센터 기반으로 각도를 산출한다.
이미지 서식인식 엔진을 이용하여 OCR 엔진의 분석을 거치지 않고 개인정보를 찾아 마스크 하였고, 이미지 보정을 통해 OCR 엔진 글자 인식률을 향상했다. 또한,이미지에서의 개인정보 분석을 통해 개인정보 정탐률을 높였다.
이미지 서식인식 처리시간은 작게는 0.06초부터 크게는 0.38초까지 분석시간이 걸렸으며, 서식인식시간이 평균치에서 크게 벗어나거나 인식시간이 특이하게 오래 걸리는 경우는 없었으며, OCR, 상용 OCR 엔진, PAID 시스템과 이미지 분석시간을 비교하였고, Table 2과 같다.
서식인식이 안 된 이미지는 OCR을 위한 보정작업을 한다. 이미지를 색상보정을 한 후 이미지의 왜곡도를 조사하여 회전 및 각도 보정을 진행한다. 이미지 색이 선명해짐으로써 왜곡 도에 대한 수치가 정확히 계산될 수 있다.
이미지에서의 개인정보 검출 엔진은 한국인터넷진흥원에서 고시한 11종의 개인정보를 검출할 수 있도록 하였다. 개인정보 중에는 체크디지트를 포함하는 개인정보, 특정 자릿수에 의해 판별되는 개인정보가 있다.
이는 영문이나 숫자가 조합하여 한글로 인식되는 경우를 방지하기 위함이다. 한글을 포함하는 개인정보면 먼저 OCR 엔진의 언어 팩을 영문, 숫자로 개인정보 영역을 인식하고 한글이 필요한 영역만을 한글 언어 팩으로 설정한 후 글자를 검출한다. 단, 특정 한글 단어만 검출이 필요한 경우에는 한글 언어 팩으로만 설정한 후 OCR 엔진에 삽입한다.

대상 데이터

OCR 엔진 시료 12966개를 3대의 PC에 배포하고, 성능평가를 시행하였다. 서버별 OCR 엔진 장당 처리시간 평균은 Table 3과 같다.
서식인식 시료는 1755개 파일, 3219페이지, 신분증, 공문서, 금융문서 샘플 군으로 나누어 분석하였고, OCR 엔진 성능평가용 12966개의 시료는 각 서버 당 4322개를 설정하였다.
서식인식 엔진은 시료 1755(3219페이지) 개를 A, B, C 샘플 군으로 나누어 비교분석을 진행하였고, OCR 엔진은 시료 12966개를 대상으로 비교분석을 진행하였다.

성능/효과

C타입 시료 분석에서는 인식률 99.8%, 오탐률 0.2%를 기록하였다. 금융서류에는 패턴 인식된 부분과 계약서 뒷면 서류와 패턴 유사도가 비슷하여 오탐이 발생되었다.
5초 향상되었으며 이미지 서식인식 인식률은 평균 99%를 기록하였다. OCR 엔진은 상용 OCR보다 2.3초, Tesseract OCR 7.3초가 향상된 것으로 나타났으며 OCR 엔진 글자 인식률은 한글 처방전 문자인식 시스템 엔진보다 9.09%, KCR-AlexNet OCR 엔진보다 6.3%,Tesseract OCR 엔진보다 23.3% 향상되었다.
개인정보에 대한 검출 임계치는 서식인식 90%, OCR 글자 정확도 80%, 개인정보 정확도 90%로 설정하였다. 시료는 문서 포맷을 무작위로 웹 사이트 크롤링 문서, 공인기관 발급문서(주민등록등본, 가족증명서, 특허증 등), 신분증 사진, 일반문서, 금융문서로 무작위로 구성하였다.
기존 시스템 중에서 가장 우수했던 PAID 시스템 서식 인식 방안보다 분석속도가 약 0.5초 향상되었다.
실험 결과, 기존의 서식인식 방안보다 분석속도가 0.5초 향상되었으며 이미지 서식인식 인식률은 평균 99%를 기록하였다. OCR 엔진은 상용 OCR보다 2.
제안시스템 3개 서버 평균 2.2초를 기록하여 상용 OCR보다 2.3초, Tesseract OCR보다 7.3초가 빠른 것으로 측정되었다.
제안시스템 OCR의 글자 인식률 대비 Tesseract OCR 23.3%, 한글 처방전 문자인식 시스템 OCR 9.09%, KCR-AlexNet OCR 6.3%로 글자 인식률이 향상되었다.
제안시스템 서식인식 엔진은 한글 처방전 문자인식 시스템 서식인식 엔진보다 15.9%, KCR-AlexNet 서식인식 엔진보다 13%, PAID 시스템 서식인식 엔진보다 3%의 인식률 향상을 보였다.

후속연구

향후, 제안하는 기술과 인공지능 기술을 활용하여 문서내의 데이터를 식별하여 정합성 검증 사물 인식 처리에 대한 연구가 요구된다.

참고문헌 (12)

I. G. Cheon, T. Y. Young, "Basic image processing", KiHanJae, 1999.
D. H. Jang, "Implementation of Digital Image Processing", PC ADVANCE, 1999.
https://en.wikipedia.org/wiki/Comparison_of_optical_character_recognition_software (accessed Oct. 31. 2019)
https://docs.opencv.org/4.1.2 (accessed Oct. 31. 2019)
https://en.wikipedia.org/wiki/Regular_expression (accessed Oct. 31. 2019)
Ray Smith, "An Overview of the Tesseract OCR Engine", Google Inc., 2007.
J. H. Cho, C. W. Ahn, "Auto Detection System of Personal Information based on Images and Document Analysis", The Journal of The Institute of Internet, Broadcasting and Communication, Vol 15 No 5, pp.183-192, 2015. DOI:https://doi.org/10.7236/JIIBC.2015.15.5.183

원문보기 상세보기
J. W. Kim, S. T. Kim, J. Y. Yoon, Y. I. Joo, "A Personal Prescription Management System Employing Optical Character Recognition Technique", Journal of the Korea Institute of Information and Communication Engineering, Vol 19, No. 10, pp.2423-2428, 2015. DOI:https://doi.org/10.6109/jkiice.2015.19.10.2423

원문보기 상세보기
S. C. Park, "Design and Implementation of Personal Information Identification and Masking System Based on Image Recognition", The Journal of The Institute of Internet, Broadcasting and Communication, Vol 17 No 5, pp.1-8, 2017. DOI:https://doi.org/10.7236/JIIBC.2017.17.5.1
Y. G. Kim, "Improvement of Korean Characters Recognition Performance Using CNN and Feature Extraction", Ph.D dissertation, Pusan National University, 2017.
G. W. Joe, "A Personal Information Detection Method of Image File", Master's thesis, Jeonbuk National University, 2018.
S. H. Lee, J. H. Joen, H. S. Hong, D. H. Kang, M. H. Park, "Korean Prescription Character Recognition System Using OCR Technology", Korean Institute of Information Scientists and Engineers 2017 Conference, Korea, pp.362-364, 2017.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증