[논문]이미지와 문서 분석을 통한 개인 정보 자동 검색 시스템

조정현; 안철웅

doi:10.7236/jiibc.2015.15.5.183

이미지와 문서 분석을 통한 개인 정보 자동 검색 시스템
Auto Detection System of Personal Information based on Images and Document Analysis 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.15 no.5, 2015년, pp.183 - 192

조정현 (영남이공대학교 컴퓨터정보과) , 안철웅 (계명문화대학교 스마트웹콘텐츠과)

초록
AI-Helper

본 논문에서는 통신 판매사에서 사용하는 문서와 이미지 파일에서 개인 정보의 유출을 방지할 수 있는 개인 정보 자동 검색(PIAD, Personal Information Auto Detection) 시스템을 제안한다. 제안하는 시스템은 개인 정보를 포함하는 신분증과 계약서 이미지를 자동으로 검색하고 그 결과를 사용자에게 전달하고, 문서상의 개인 정보 또한 검출할 수 있다. 본 시스템은 빠르고 정확한 검색을 위하여 선별 과정과 분석 과정으로 나뉘고, 분석 과정은 SURF, 침식과 팽창, FindContours 알고리즘들을 사용한다. 제안하는 PIAD 시스템은 272장의 입력 이미지들 중 267장을 선별 및 검출함으로써 98% 이상의 정확도를 보였다.

Abstract ▼ AI-Helper

This paper proposes Personal Information Auto Detection(PIAD) System to prevent leakage of Personal informations in document and image files that can be used by mobile service provider. The proposed system is to automatically detect the images and documents that contain personal informations and shows the result to the user. The PIAD is divided into the selection step for fast and accurate retrieval images and analysis which is composed of SURF, erosion and dilation, FindContours algorithm. The result of proposed PIAD system showed more than 98% accuracy by selection and analysis steps, 267 images detection of 272 images.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 통신 판매사 등에서 고객 유치 및 관리를 위해서 발생되는 고객 신분증의 복사 이미지, 고객의 정보가 포함된 계약서 이미지, 기기 변경 신청서 이미지, 그리고 고객의 개인 정보가 기록된 문서 파일들에서 자동으로 신분증 이미지, 계약서 이미지, 신청서 이미지, 문서들을 자동으로 검색, 추출하고 그 결과를 사용자와 관리 서버에 전달하여 삭제할 수 있도록 하는 시스템을 기술한다.
본 논문에서는 통신사와 판매사들의 개인 정보 유출에 대한 피해 사례가 늘어남에 따라 개인 정보에 대한 효율적인 관리를 위한 PIAD 시스템을 제안하였다. 제안한 PIAD 시스템은 통신 판매사에서 관리하는 고객 신분증 이미지, 고객의 정보가 포함된 계약서 또는 신청서, 그리고 문서들을 자동으로 검색, 추출하여 사용자가 삭제할 수 있게 한다.
통신 판매사에서 관리하는 개인 정보를 포함하는 이미지들은 신분증의 위치, 회전, 크기가 모두 불명확하고 잡음과 손글씨(hand writing)가 이미지 내에 존재하기 때문에 기존 방식으로 처리할 경우 많은 시스템 리소스와 시간이 필요하다. 본 논문에서는 판매사에서 관리하는 이미지들의 특성을 정리하여 분석에 필요한 시스템 리소스와 시간을 줄이기 위한 방안을 제시한다.

제안 방법

PIAD 시스템이 처리하는 시간은 메모리의 상태 및 현재 사용자가 사용 중인 운영체제의 환경에 의존적이기 때문에 30분 간격으로 10회의 처리 시간을 측정하여 그 평균을 확인하였다. 그림 12는 각 회차별 처리 시간을 나타내는 그래프로써, 10회 평균의 결과는 78.
본 논문에서는 전체 이미지의 SURF 특징점을 추출하지 않고 특징 2와 같이 상단 또는 하단의 10% 영역 내에서 특징점을 추출한다. 전체 이미지의 특징점 추출보다 처리 시간이 빠른 장점이 있다.
^{[12, 13]} 이러한 시스템은 특정 스캐너, 바코더, 카메라를 통해 신분증을 스캔한 후 그 결과를 이용하는 방식으로 금융권, 대기업, 보안 업체에서 많이 사용한다. 신분증의 특성을 파악하여 얼굴 인식, 문자 인식, 패턴 인식과 같은 다양한 인식 알고리즘을 이용하여 정보를 추출한다. 대표적인 제품은 Plustek, 아이콤정보시스템, InziSoft 등이 있다.
입력 이미지는 특징 1을 판단하기 위하여 색상 이미지를 그레이 이미지로 변환한 후 히스토그램을 추출한다. 히스토그램 처리는 이미지 처리에서는 상당히 짧은 시간과 적은 리소스가 필요하기 때문에 PC 상에 존재하는 많은 이미지들을 선별할 수 있는 좋은 방법이다.
스캔된 이미지는 상단 또는 하단의 일정 영역 내에 신청서 또는 계약서 등의 단어를 포함한다. 전체 영역에서 단어 검색은 많은 시간이 소요되기 때문에 특징 2를 이용하여 전체 영역에서 상단과 하단 10%의 영역을 ROI(Region of Interesting)로 설정한 후 SURF(Speeded-Up Robust Features) 특징점을 추출하여 그개수가 th_surf이상이고 템플릿 이미지와 SURF 특징점을 비교하여 th_{surf_match}이상일 때 개인 정보를 포함하는 계약서 또는 신청서 이미지로 판단한다.^{[15, 16]}
제안한 PIAD 시스템은 PC에 저장된 개인 정보를 검색하고 그 결과에 대하여 사용자와 서버(선택적)에 정보를 전달한 후 삭제를 하게 된다. 사용자 편의성을 위한 직관적 UI를 제공하고 MS Office 문서, PDF, 그리고 이미지로 저장되어 있는 개인 정보를 검색할 수 있다.
본 논문에서는 통신사와 판매사들의 개인 정보 유출에 대한 피해 사례가 늘어남에 따라 개인 정보에 대한 효율적인 관리를 위한 PIAD 시스템을 제안하였다. 제안한 PIAD 시스템은 통신 판매사에서 관리하는 고객 신분증 이미지, 고객의 정보가 포함된 계약서 또는 신청서, 그리고 문서들을 자동으로 검색, 추출하여 사용자가 삭제할 수 있게 한다. 실험 결과로는 검색된 272장의 이미지들중 정상적으로 처리된 이미지가 267장으로써 98% 이상의 정확도를 보였다.

대상 데이터

그림 13과 같이 이미지 전체가 신분증인 경우 일반 이미지로 판단하게 되고, 스캔된 이미지의 원본이 많이 접혀 있어서 FindContours를 이용한 ROI를 얻지 못해서 분석 단계에서 미검출 되는 경우가 발생하여 정확도가 90% 정도가 되었다. 본 논문에서 제시한 PIAD 시스템을 통해 실험한 결과 전체 입력 영상 272장 가운데 선별 단계에서 118장을 선별하였고, 분석 단계에서 147장을 찾았고 5장을 미검출하였다. 즉, 전체 272장 중 267장에 대한 정확한 정보를 추출하였다.
본 논문에서 제안한 PIAD 시스템의 성능을 평가하기 위하여 입력 영상은 총 272장을 사용하였다. 테스트 영상은 표 2와 같이 판매점에서 스캔한 개인 정보 이미지, 개인 정보를 포함하는 계약서 이미지, 일반 이미지, 그리고 텍스트가 많이 포함되어 있는 이미지 등 다양한 형태를 가진다.
본 논문에서 제시한 PIAD 시스템을 통해 실험한 결과 전체 입력 영상 272장 가운데 선별 단계에서 118장을 선별하였고, 분석 단계에서 147장을 찾았고 5장을 미검출하였다. 즉, 전체 272장 중 267장에 대한 정확한 정보를 추출하였다.

이론/모형

[17] Harris가 제안한 헤이시안 행렬식(Hessian matrix)과 기존의 헤리스 코너 검출기 (Hessian based blob detector)가 크기에 따른 불변을 해결할 수 없기 때문에 가우시안 2차 미분검출기 (Laplacian of Gaussian, LoG)를 이용하였다. B.
노이즈 제거는 침식(erosion)과 팽창(dilation)을 이용하여 불필요한 사각형 검색을 수행하지 않게 한다. 입력 영상의 노이즈 제거 후 사각형 영역을 찾기 위해 Suzuki가 제안한 FindContours 알고리즘을 사용하였다.^[18]

성능/효과

즉, 본 논문에서 제시한 분석 방법과 이미지 특성이 일치한다는 것을 알 수 있다. L 세트는 스캔된 이미지 정보가 본 논문에서 제시한 특성이 아닌 경우 선별 단계에서 미리 검출되어지는 문제점이 있는 것을 확인하였다. 그림 13과 같이 이미지 전체가 신분증인 경우 일반 이미지로 판단하게 되고, 스캔된 이미지의 원본이 많이 접혀 있어서 FindContours를 이용한 ROI를 얻지 못해서 분석 단계에서 미검출 되는 경우가 발생하여 정확도가 90% 정도가 되었다.
유출된 개인정보는 이름, 주민등록번호와 전화번호, 주소, 계좌번호 등이 포함된 것으로 알려졌다.^[3] 통신사가 관리하는 개인 정보보다 판매사가 보유하는 개인 정보는 그 관리가 소홀한 문제점이 있다는 것을 확인할 수 있다. 통신 판매사가 관리하는 개인 정보는 신분증 복사 이미지, 계약서 이미지, 기기 변경 신청 이미지와 문서 파일 형태로 판매사 개인 PC에 저장 관리되어 그 허점이 더욱 큰 것이 현실이다.
[4] 개인 정보 유출 피해는 그림 1과 같이 2013년도의 개인 정보 침해 신고 상담 건수의 75%인 129,000건이 주민등록번호 등 타인 정보의 훼손·침해· 도용임을 보여준다.
테스트 영상은 표 2와 같이 판매점에서 스캔한 개인 정보 이미지, 개인 정보를 포함하는 계약서 이미지, 일반 이미지, 그리고 텍스트가 많이 포함되어 있는 이미지 등 다양한 형태를 가진다. 본 논문에서 제안한 3가지 특성에 따라 N 세트는 선별 단계에서 검출이 되고, T 세트는 이미지 내에 포함 되는 색상 정보에 따라 선별 단계에서 검출이 될 수도 있고 그렇지 않을 수 있다. 그러나 분석 단계에서는 모두 미검출이 되어야 한다.
제안한 PIAD 시스템은 통신 판매사에서 관리하는 고객 신분증 이미지, 고객의 정보가 포함된 계약서 또는 신청서, 그리고 문서들을 자동으로 검색, 추출하여 사용자가 삭제할 수 있게 한다. 실험 결과로는 검색된 272장의 이미지들중 정상적으로 처리된 이미지가 267장으로써 98% 이상의 정확도를 보였다. 본 논문에서 제안한 방법은 통신 판매사들이 보다 빠르고 안전하게 고객 정보를 관리함으로써 개인 정보 유출을 차단하고 보호할 수 있는 시스템으로 기대된다.
반면에 C 세트는 선별 단계에서 검출되지 않고 분석 단계에서 100% 검출이 된 것을 확인할 수 있다. 즉, 본 논문에서 제시한 분석 방법과 이미지 특성이 일치한다는 것을 알 수 있다. L 세트는 스캔된 이미지 정보가 본 논문에서 제시한 특성이 아닌 경우 선별 단계에서 미리 검출되어지는 문제점이 있는 것을 확인하였다.

후속연구

실험 결과로는 검색된 272장의 이미지들중 정상적으로 처리된 이미지가 267장으로써 98% 이상의 정확도를 보였다. 본 논문에서 제안한 방법은 통신 판매사들이 보다 빠르고 안전하게 고객 정보를 관리함으로써 개인 정보 유출을 차단하고 보호할 수 있는 시스템으로 기대된다.^[19]

질의응답

핵심어	질문	논문에서 추출한 답변
	개인정보보호법에 명시된 개인정보란?	개인정보보호법에 명시된 개인정보란 살아 있는 개인에 관한 정보로서 성명, 주민등록번호 및 영상 등을 통하여 개인을 알아볼 수 있는 정보(해당 정보만으로는 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 것을 포함한다)를 말한다.[5] 법에 명시된 개인 정보를 추출, 수집 및 활용을 할 경우 법적인 제재를 받게 된다.
	개인 정보 자동 검색 시스템의 특징은?	본 논문에서는 통신 판매사에서 사용하는 문서와 이미지 파일에서 개인 정보의 유출을 방지할 수 있는 개인 정보 자동 검색(PIAD, Personal Information Auto Detection) 시스템을 제안한다. 제안하는 시스템은 개인 정보를 포함하는 신분증과 계약서 이미지를 자동으로 검색하고 그 결과를 사용자에게 전달하고, 문서상의 개인 정보 또한 검출할 수 있다. 본 시스템은 빠르고 정확한 검색을 위하여 선별 과정과 분석 과정으로 나뉘고, 분석 과정은 SURF, 침식과 팽창, FindContours 알고리즘들을 사용한다.
	늘어나는 스마트폰 가입자와 함꼐 발생되는 문제점은?	최근 늘어나는 스마트폰 가입자와 함께 심각한 문제점은 개인 정보에 대한 유출 사고가 늘어나고 있다는 것이다. 개인 정보 유출은 개인에게는 명의 도용, 보이스 피싱과 같은 금전적 손해와 정신적 피해를 주고, 기업은 기업 고객의 정보 유출에 따른 기업의 이미지 손상, 집단 손해 배상으로 기업에 타격을 준다.

참고문헌 (19)

The Statics Portal, "Number of smart phones sold to end users worldwide from 2007 to 2013 (in million units)", http://www.statista.com/statistics/263437/global-smartphone-sales-to-end-users-since-2007/.
Korea Internet Security Agency, "Study on Usage Patterns of Age and Gender for Smartphone Users", Internet & Security Focus, pp. 35-51, 2013.
"Personal Information Loss of Mobile Service Provider", http://www.zdnet.co.kr/news/news_view.asp?artice_id20140311154043.
Korea Internet Security Agency, "Counselling Count of Personal Information Protection", http://isis.kisa.or.kr/.
Ministry of Security and Public Administration, "The Personal Information Protection Act".
H. Y. Hwang and N. Y. Kim, "Personal Information Protection System for Web Service", The Journal of The Institute of Internet, Broadcasting and Communication, VOL. 11, No. 6, pp. 261-266, December 2011.
W. J. Kang, "An Efficient Privacy Preserving Method based on Semantic Security Policy Enforcement", The Journal of The Institute of Internet, Broadcasting and Communication, VOL. 13, No. 6, pp. 173-186, December 2013.
J. K. Baek and J. P. Park, "A Study on Personal Information Control and Security in Printed Matter", Journal of Korea Academia-Industrial cooperation Society, Vol. 14, No. 5, pp. 2415-2421, 2013,

원문보기 상세보기
B. Kim, J. I. Lim, Y. H. Jo, "Privacy Situation and Countermeasures of Financial Apps based on the Android operating System", The Journal of The Institute of Internet, Broadcasting and Communication, VOL. 14, No. 6, pp. 267-272, December 2014.

원문보기 상세보기
M. S. Seo, and D. W. Park, "The Solution for Personal Information Protection Act of PC", Journal of the Korea Institute of Information Security and Cryptology, Vol. 22, No. 8, pp. 21-25, 2012.
J. H. Cho, C. W. Ahn, and J. H. Jun, "A Feature Point Tracking Method By Using Template Matching and Buffer", The Journal of The Institute of Internet, Broadcasting and Communication(JIIBC), VOL. 14, NO. 4, pp.173-179, 2014.
H. J. Lee, "Character Recognition for Machine Reader Zone of Electronic Identity Card", Master's Thesis, Ajou University, 2014.
S. D. Park, Y. U. Woo and G. B. Kim, "Recognition of Resident Registration Cards Using ART-1 and PCA Algorithm", Journal of Korea Institute of Information and Communication Engineering, Vol. 11, No. 9, pp. 1786-1792, 2007.
R. Sankar and G. Ivkovic, "An Adaptive Image Quality Assessment Algorithm", International Journal of Advanced Smart Convergence(IJASC), Vol. 1, No. 1, pp. 6-13, 2012.

원문보기 상세보기
L. Neumann and J. Matas, "Real-Time Scene Text Localization and Recognition," the 25th IEEE Conference on Computer Vision and Pattern Recognition, pp. 3538-3545, 2012.
H. Bay, T. Tuytelaars, and L. V. Gool, "Surf: Speeded up robust features," European Conference on Computer Vision, Vol. 3951, pp. 404-417, 2006.
D. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," Int'l J. Computer Vision, Vol. 60, No. 2, pp. 91-110, 2004.

상세보기
S. Suzuki and K. Abe, "Topological structural analysis of digital binary images by border following," Computer Vision, Graphics and Image Processing, Vol. 30, pp. 32-46, 1985.

상세보기
J. S. Kim, " A Study on V.M.D(Visual Merchandising Design) Environment of Mobile Telecommunication Company Store", Journal of the Korea Academia-Industrial cooperation Society(JKAIS), Vol. 14, No. 4, pp. 1589-1594, 2013.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증