[논문]인공 신경망 기반의 지문 영상 복원 알고리즘

장석우; 이사무엘; 김계영

doi:10.5762/kais.2020.21.8.530

인공 신경망 기반의 지문 영상 복원 알고리즘
An Algorithm of Fingerprint Image Restoration Based on an Artificial Neural Network 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.21 no.8, 2020년, pp.530 - 536

장석우 (안양대학교 소프트웨어학과) , 이사무엘 (숭실대학교 소프트웨어학부) , 김계영 (숭실대학교 소프트웨어학부)

초록
AI-Helper

일반적인 지문 인식기에서 이용되는 미뉴셔 특징은 표현 공격에는 강건하지만 오 정합률이 상대적으로 높다는 약점이 있다. 따라서 미뉴셔 특징은 스켈리톤 영상과 함께 이용되는 경향이 있다. 보통 지문의 미뉴셔 특징에 대한 보안 취약성 연구는 많이 진행되어 있으나 스켈리톤에 대한 취약성 연구는 미약한 형편이므로 본 연구에서는 스켈리톤에 대한 표현 공격의 취약성을 분석하고자 한다. 이를 위해, 본 연구에서는 지문의 스켈리톤으로부터 학습 알고리즘을 사용해 원래의 지문을 복구하는 방법을 제시한다. 본 논문에서 제시된 방법은 기존의 Pix2Pix 모델에 잠재 벡터를 추가한 새로운 학습 모델인 Pix2Pix을 제안하여, 보다 자연스러운 지문을 생성한다. 본 논문의 실험 결과에서는 제시된 학습 알고리즘을 이용해 원래의 지문을 복원한 다음, 복원된 지문을 지문 인식기에 입력시켜 높은 인식률을 달성하였다. 그러므로 본 연구는 스켈리톤을 함께 이용하는 지문 인식기는 표현 공격에 취약함을 검증하였다. 본 논문에서 제시된 접근방법은 지문 인식 및 복원, 비디오 보안, 생체 인식 등과 연관된 많은 실제적인 응용 분야에서 유용하게 사용될 것으로 기대된다.

Abstract ▼ AI-Helper

The use of minutiae by fingerprint readers is robust against presentation attacks, but one weakness is that the mismatch rate is high. Therefore, minutiae tend to be used with skeleton images. There have been many studies on security vulnerabilities in the characteristics of minutiae, but vulnerability studies on the skeleton are weak, so this study attempts to analyze the vulnerability of presentation attacks against the skeleton. To this end, we propose a method based on the skeleton to recover the original fingerprint using a learning algorithm. The proposed method includes a new learning model, Pix2Pix, which adds a latent vector to the existing Pix2Pix model, thereby generating a natural fingerprint. In the experimental results, the original fingerprint is restored using the proposed machine learning, and then, the restored fingerprint is the input for the fingerprint reader in order to achieve a good recognition rate. Thus, this study verifies that fingerprint readers using the skeleton are vulnerable to presentation attacks. The approach presented in this paper is expected to be useful in a variety of applications concerning fingerprint restoration, video security, and biometrics.

주제어

표/그림 (8)

그림 Fig. 1. Overall flow of the suggested algorithm
그림 Fig. 2. An example of a mask
그림 Fig. 3. Structure of the suggested model
표 Table 1. Types of` ridge contour
그림 Fig. 4. Correctly acquired fingerprint images
그림 Fig. 5. Incorrectly acquired fingerprint images
표 Table 2. FID according to hyper-parameters
표 Table 3. Recognition rates according to FMR

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

연구 [6]에서는 GAN(Generative Adversarial Networks)의 확장 버전인 WGAN(Wasserstein GAN)을 이용하여 지문 인식기를 무력화할 수 있는 마스터 지문을 만드는 알고리즘을 제시하였다. 그리고 이 연구는 지문 영상의 한 부분만을 이용하는 최신의 지문 인식기는 표현 공격에 취약하다는 사실을 확인시켜 주고 있다.
따라서 본 논문에서는 지문 인식기로부터 유출된 템플릿으로부터 지문의 스켈리톤(skeleton) 영상을 추출한 다음, 지문의 스켈리톤 영상으로부터 지문 인식기의 위조 판별 시스템을 속일 만큼 실제 지문과 유사한 지문을 신경망 기반의 새로운 영상-대-영상 변환모델인 Pix2Pix 모델을 이용하여 복원하는 방법을 제안하다. 아래의 Fig.
본 논문에서는 이전 단계에서 추출된 CN 값으로부터 현재의 마스크가 위치하는 지점의 융기선(ridge contour)의 타입을 유추할 수 있다. 그리고 CN의 값에 따른 융기선의 타입은 Table 1과 같다.
본 실험에서는 cGAN과 제시된 모델인 Pix2Pix을 서로 비교함으로써 Pix2Pix 모델의 재건항이 지문 복원에 끼치는 영향을 평가하였다. 또한 제시하는 모델의 하이퍼 파라미터인 재건항의 유형, 그리고 재건 가중치(λ)에 기인한 지문 복원을 평가하였다.
본 연구에서는 지문의 특징 중에서 스켈리톤 영상으로부터 실제적인 지문과 비슷하고 표현 공격의 성공 확률이 비교적 높은 지문을 복구하기 위해서, 인공적인 신경망을 사용한 기존의 모델인 Pix2Pix의 단점을 보강하여 개발한 새로운 Pix2Pix 모델을 소개하였다. 제안된 방법에서는 먼저 입력된 영상으로부터 지문의 특징을 추출한 다음, 기존의 Pix2Pix 모델에 잠재 벡터를 추가한 새로운 학습 모델인 Pix2Pix을 제시하여 보다 자연스러운 지문을 생성하였다.
그리고 융기선의 각도를 설정 하는 연속적인 위상(continuous phase)과 융기선의 타입을 설정하는 나선형의 위상 (spiral phase)을 효과적으로 통합하여 지문 영상을 복원하는 알고리즘을 제시하였다. 이 알고리즘에서는 ISO/IEC 표준 템플릿으로 이용되고 있는 미뉴셔에 대해, 지문을 복원하여 지문 인식기의 표현 공격에 대한 취약성을 확인시켜 주고 있다.

가설 설정

연구 [5]에서는 주파수의 마루를 지문의 융기선(ridge contour)으로 가정하였다. 그리고 융기선의 각도를 설정 하는 연속적인 위상(continuous phase)과 융기선의 타입을 설정하는 나선형의 위상 (spiral phase)을 효과적으로 통합하여 지문 영상을 복원하는 알고리즘을 제시하였다.

제안 방법

연구 [5]에서는 주파수의 마루를 지문의 융기선(ridge contour)으로 가정하였다. 그리고 융기선의 각도를 설정 하는 연속적인 위상(continuous phase)과 융기선의 타입을 설정하는 나선형의 위상 (spiral phase)을 효과적으로 통합하여 지문 영상을 복원하는 알고리즘을 제시하였다. 이 알고리즘에서는 ISO/IEC 표준 템플릿으로 이용되고 있는 미뉴셔에 대해, 지문을 복원하여 지문 인식기의 표현 공격에 대한 취약성을 확인시켜 주고 있다.
그리고 제안된 모델은 전형적인 모델인 Pix2Pix의 재건항(reconstruction term)에 가중치인 λ를 설정하여 제안된 모델에서 재건항의 역할을 유연하게 조정하도록 하였다.
그런 다음, 지문 복원을 위해 지문 인식기로부터 획득한 지문 스켈리톤 영상과 지문 영상을 기계 학습 모델인 Pix2Pix에 학습시킨다. 그리고 지문 복원을 위한 모델 학습 단계에서 사전에 학습된 Pix2Pix 모델에 지문 스켈리톤 영상을 입력하여 지문을 복원한다. 마지막으로, 실제 지문과 복원된 지문과의 유사성을 추출하고, 지문 인식기에 이를 인식시켜서 복원된 지문의 정확성을 계량한다.
또한 제시하는 모델의 하이퍼 파라미터인 재건항의 유형, 그리고 재건 가중치(λ)에 기인한 지문 복원을 평가하였다.
그리고 지문 복원을 위한 모델 학습 단계에서 사전에 학습된 Pix2Pix 모델에 지문 스켈리톤 영상을 입력하여 지문을 복원한다. 마지막으로, 실제 지문과 복원된 지문과의 유사성을 추출하고, 지문 인식기에 이를 인식시켜서 복원된 지문의 정확성을 계량한다.
다음으로는 획득된 지문 영상에 대해 영상 강화(enhancement) 연산을 적용한다. 본 논문에서 영상 강화는 지문의 주요 특징을 보다 효과적으로 획득하기 위해서 먼저 지문 영상을 가로와 세로의 크기가 동일한 블록 단위로 분할하고, 분할된 블록의 주 각도를 추출한 다음, 추출된 각도를 가보(Gabor) 필터의 파라미터로 적용한다.
본 논문에서 제시하는 모델인 Pix2Pix는 합성곱(convolution) 필터나 전치 합성곱(transposed convolution) 필터로서 3×3 크기의 커널을 이용하고, 활성 함수(activation function)로는 쌍곡선 탄젠트(hyperbolic tangent)를 적용하는 출력 계층을 뺀 나머지 전체 계층에서는 ReLU(Rectified Linear Unit) 함수를 이용한다.
본 연구에서는 cGAN 모델과 제시된 모델인 Pix2Pix에 대한 학습을 수행하였으며, Pix2Pix 모델을 학습할 때 하이퍼 매개변수인 재건항의 유형(L1, L2), 그리고 재건 가중치(λ=50, λ=100, λ=150)에 따라서 지문 복원 실험을 수행하였다.
본 연구에서는 지문 영상을 3채널의 256×256 화소 크기로 정규화 하였다.
그리고 사용된 컴퓨터에는 윈도우 서버 2016 64비트 운영체제(OS)가 설치되었다. 이러한 개발 환경에서 파이썬 3.6 인터프리터와 텐서플로우 1.10을 이용해 본 논문에서 제시된 알고리즘을 개발하였다.
본 연구에서는 지문의 특징 중에서 스켈리톤 영상으로부터 실제적인 지문과 비슷하고 표현 공격의 성공 확률이 비교적 높은 지문을 복구하기 위해서, 인공적인 신경망을 사용한 기존의 모델인 Pix2Pix의 단점을 보강하여 개발한 새로운 Pix2Pix 모델을 소개하였다. 제안된 방법에서는 먼저 입력된 영상으로부터 지문의 특징을 추출한 다음, 기존의 Pix2Pix 모델에 잠재 벡터를 추가한 새로운 학습 모델인 Pix2Pix을 제시하여 보다 자연스러운 지문을 생성하였다. 본 논문의 실험 결과에서는 제안하는 알고리즘을 이용하여 지문의 스켈리톤 영상으로부터 지문을 복구할 경우 복원된 지문은 실제 지문과 상당히 비슷함을 보여 주었다.
연구 [4]에서는 미뉴셔 정보가 오리엔테이션 필드, 그리고 원래의 지문 이미지를 재구성하는데 잠재적으로 사용될 수 있는 연관된 지문의 유형과 같은 실질적인 세부 사항을 드러낼 수 있음을 보여주었다. 제안된 방법은 미뉴셔 지문 정보를 활용하여 부모 지문의 방향 맵을 추정함으로써 지문을 복원하였다. 그리고 추정된 방향 맵은 기저 융기 흐름(underlying ridge flow)과 현저하게 일치하는 것으로 관찰되었다.

대상 데이터

5와 같은 156장의 지문 영상은 실험에서 제외하였다. 따라서 전체 3,844장의 지문 영상 중에서 학습으로는 3,000장을 이용하였고, 744장은 테스트 집합으로, 그리고 나머지 100장은 학습의 검증 집합으로 시용하였다.
마지막으로, 영상 세선화(thinning) 알고리즘을 이진화된 지문에 적용하여 지문의 스켈리톤 영상을 획득할 수 있다.
본 연구에서 제안된 모델은 3채널 256×256 화소 크기의 영상을 입력받고, 3채널 256×256 화소 크기의 영상을 출력하는 스킵 연결(skip-connection)을 이용하는 인코더-디코더 구조를 가진다.
본 연구의 실험을 진행하기 위하여 사용한 개인용 컴퓨터는 인텔 18 Core(TM) i9-7980XE CPU, 32GB의 메인 메모리, 그리고 2개의 NVIDIA의 Titan V GPU로 구성되어 있다. 그리고 사용된 컴퓨터에는 윈도우 서버 2016 64비트 운영체제(OS)가 설치되었다.
실험을 위한 지문 영상으로 Fig. 4와 같이 4000장의 지문 영상을 가지고 있는 NIST Special Database 4를 이용하였다. 본 연구에서는 지문 영상을 3채널의 256×256 화소 크기로 정규화 하였다.

이론/모형

그러나 인코더-디코더는 인코더가 데이터를 인코딩하면서 상당한 양의 정보가 손실되므로, 제안된 Pix2Pix의 생성 신경망으로 이용하기에는 부적절하다. 따라서 제시하는 모델에서는 인코더-디코더 구조에 유넷(U-Net)의 스킵 연결을 적용하였다.
그런 다음, 강화 연산이 적용된 지문을 이진화(binarization) 한다. 본 논문에서 영상의 이진화는 성능이 우수하다고 알려진 Otsu 알고리즘[9]을 사용하여 지문의 융기가 시각적으로 잘 나타날 수 있도록 수행한다.
그리고 식 (3)의 척도는 이런 정규 분포 사이의 차이값을 표시하므로 그 값이 작을수록 실제 데이터와 생성된 데이터가 유사한 것을 나타낸다. 본 논문에서는 지문인식 소프트웨어로는 SourceAFIS 1.7.0을 사용하였다.
본 연구에서 제시된 인코더-디코더 구조는 보통 VAE(variational auto-encoder)가 이용한다. 다시 말해, 인코더는 입력되는 데이터로부터 특징을 추출하고, 디코더는 인코더가 추출한 특징을 원래 데이터로 복호화를 수행한다.
본 연구에서 제시한 알고리즘으로부터 복구된 지문과 실제 지문 사이의 유사한 정도를 평가하기 위해 식 (3)과 같은 FID(Frechet Inception Distance) 비교 척도를 이용하였다[10].

성능/효과

연구 [7]에서는 cGAN(conditional GAN)을 사용하여 유형 특징으로부터 지문을 복원하는 방법을 제시하였다. 그리고 이 방법에서는 지문의 유형 특징을 템플릿으로 이용하는 지문 인식기에 대한 표현 공격이 취약하다는 것을 보여주었다. 위에서 기술한 방법들 이외에도 지문 영상의 복원에 관련된 많은 서로 다른 방법들이 계속해서 관련 문헌들에 소개되고 있다[8].
제안된 방법은 미뉴셔 지문 정보를 활용하여 부모 지문의 방향 맵을 추정함으로써 지문을 복원하였다. 그리고 추정된 방향 맵은 기저 융기 흐름(underlying ridge flow)과 현저하게 일치하는 것으로 관찰되었다.
제안된 방법에서는 먼저 입력된 영상으로부터 지문의 특징을 추출한 다음, 기존의 Pix2Pix 모델에 잠재 벡터를 추가한 새로운 학습 모델인 Pix2Pix을 제시하여 보다 자연스러운 지문을 생성하였다. 본 논문의 실험 결과에서는 제안하는 알고리즘을 이용하여 지문의 스켈리톤 영상으로부터 지문을 복구할 경우 복원된 지문은 실제 지문과 상당히 비슷함을 보여 주었다.
이에 반해, 제안된 Pix2Pix 모델의 경우에는 재건항의 유형과 재건 가중치에 관계없이 특정한 상황(λ=50, L2)을 빼고는 FID가 105에서 171 사이의 값으로 비교적 좋은 결과를 나타낸다. 본 연구의 실험을 통해서 확인한 결과 재건항은 L1이 보다 좋고, 재건 가중치는 100의 값을 가질 때 제일 좋은 결과를 나타낸다.
이에 반해, 제안된 Pix2Pix 모델의 경우에는 재건항의 유형과 재건 가중치에 관계없이 특정한 상황(λ=50, L2)을 빼고는 FID가 105에서 171 사이의 값으로 비교적 좋은 결과를 나타낸다.

후속연구

향후에는 본 연구에서 사용된 지문의 미뉴셔 특징 및 스켈리톤 특징뿐만 아니라 보안에 강인하며 구분력이 보다 뛰어난 특징들을 새롭게 추출하는 것이 필요하다. 그리고 현재까지 개발된 알고리즘 내부에서 사용되고 있는 여러 가지의 파라미터들을 반복적인 실험을 통해서 적응적으로 조율함으로써 시스템의 성능을 보다 안정화하는 것이 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	일반적으로 생체 인식 방법이란?	일반적으로 생체 인식 방법은 개인마다의 신체적인 특징이나 행동적인 특징을 파악하여 인간을 효과적으로 인식하는 방법이다. 사람의 신체적인 특징은 인체 기관으로부터 직접 획득할 수 있다.
	지문 인식의 특징은 무엇인가?	생체 인식은 이용되는 생체의 특징에 따라서 홍채 인식, 지문 인식, 얼굴 인식, 정맥 인식 등이 있다[1]. 이 생체 인식 방법 중에서 지문 인식은 획득되는 특징이 보편적이고 영속적이므로 가장 많이 이용되고 있는 생체 인식 방법 중의 하나이다.
	지문 인식과 같은 대부분의 생체 인식 방법은 어디에 취약한가?	그러나 대부분의 생체 인식 방법들은 표현 공격(presentation attack)에 약하다. 보통 표현 공격은 해당하는 생체 특징을 허락 없이 추출하거나, 생체 인식기로부터 노출된 특징을 생체 인식기에 입력시켜서 생체 인식기를 공격한다.

참고문헌 (10)

X. Liu, Y. Bai, Y. Luo, Z. Yang, and Y. Liu, "Iris Recognition in Visible Spectrum Based on Multi-Layer Analogous Convolution and Collaborative Representation," Pattern Recognition Letters , Vol.117, pp.66-73, Jan. 2019. DOI: https://doi.org/10.1016/j.patrec.2018.12.003

상세보기
W. Lee, S. Choa, H. Choi, and J. Kim, "Partial Fingerprint Matching Using Minutiae and Ridge Shape Features for Small Fingerprint Scanners," Expert Systems with Applications , Vol.87, pp.183-198, Nov. 2017. DOI: https://doi.org/10.1016/j.eswa.2017.06.019

상세보기
L. Almajmaie, O. N. Ucan, and O. Bayat, "Fingerprint Recognition System Based on Modified Multi-Connect Architecture (MMCA)," Cognitive Systems Research , Vol.58, pp.107-113, Dec. 2019. https://doi.org/10.1016/j.cogsys.2019.05.004

상세보기
A. Ross, J. Shah, and K. Jain, "Towards Reconstructing Fingerprints from Minutiae Points," In Proceedings of the SPIE Conference on Biometric Technology for Human Identification II , Orlando, USA, Vol.5779, pp.68-80, 2005. DOI: https://doi.org/10.1117/12.604477
J. Feng and A. K. Jain, "Fingerprint Reconstruc- tion: from Minutiae to Phase," IEEE Transactions on Pattern Analysis and Machine Intelligence , Vol.33, No.2, pp.209-223, Feb. 2011. DOI: https://doi.org/10.1109/TPAMI.2010.77

상세보기
P. Bontrager, A. Roy, J. Togelius, N. Memon, A. Ross, "DeepMasterPrints: Generating MasterPrints for Dictionary Attacks via Latent Variable Evolution," In Proceedings of the IEEE 9th International Conference on Biometrics Theory, Applications and Systems (BTAS), pp.1-9, 2018. DOI: https://doi.org/10.1109/BTAS.2018.8698539
A. Dabouei, S. Soleymani, H. Kazemi, S. M. Iranmanesh, J. Dawson, N. M. Nasrabadi, "ID Preserving Generative Adversarial Network for Partial Latent Fingerprint Reconstruction," In Proceedings of the EEE 9th International Conference on Biometrics Theory, Applications and Systems, CA, USA, Oct. 2018. DOI: https://doi.org/10.1109/BTAS.2018.8698580
J. Li, J. Feng and C. -C. Jay Kuo, "Deep Convolutional Neural Network for Latent Fingerprint Enhancement," Signal Processing: Image Communication , Vol.60, pp.52-63, Feb. 2018. DOI: https://doi.org/10.1016/j.image.2017.08.010

상세보기
X.-C. Yuan, L.-S. Wu, and Q. Peng "An Improved Otsu Method Using the Weighted Object Variance for Defect Detection," Applied Surface Science , Vol.349, pp.472-484, Sep. 2015. DOI: https://doi.org/10.1016/j.apsusc.2015.05.033

상세보기
Z. Wang, Q. She, A. F. Smeaton, T. E. Ward, G. Healy, "Synthetic-Neuroscore: Using a Neuro-AI Interface for Evaluating Generative Adversarial Networks," Neurocomputing , vol. 40510, pp. 26-36, Sep. 2020. DOI: https://doi.org/10.1016/j.neucom.2020. 04.069

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증