[논문]프라이버시 보호를 위한 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 연구

이정재; 나현식; 옥도민; 최대선

doi:10.13089/jkiisc.2023.33.2.201

프라이버시 보호를 위한 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 연구
De-Identified Face Image Generation within Face Verification for Privacy Protection 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.33 no.2, 2023년, pp.201 - 210

이정재 (숭실대학교) , 나현식 (숭실대학교) , 옥도민 (숭실대학교) , 최대선 (숭실대학교)

초록
AI-Helper

딥러닝 기반 얼굴 인증 모델은 높은 성능을 보이며 많은 분야에 이용되지만, 얼굴 이미지를 모델에 입력하는 과정에서 사용자의 얼굴 이미지가 유출될 가능성이 존재한다. 얼굴 이미지의 노출을 최소화하기 위한 방법으로 비식별화 기술이 존재하지만, 얼굴 인증이라는 특수한 상황에서 기존 기술을 적용할 때에는 인증 성능이 감소하는 문제점이있다. 본 논문에서는 원본 얼굴 이미지에 다른 인물의 얼굴 특성을 결합한 뒤, StyleGAN을 통해 비식별화 얼굴이미지를 생성한다. 또한, HopSkipJumpAttack을 활용해 얼굴 인증 모델에 맞춰 특징들의 결합 비율을 최적화하는 방법을 제안한다. 우리는 제안 방법을 통해 생성된 이미지들을 시각화하여 사용자 얼굴의 비식별화 성능을 확인하고, 실험을 통해 얼굴 인증 모델에 대한 인증 성능을 유지할 수 있음을 평가한다. 즉, 제안 방법을 통해 생성된 비식별화 이미지를 사용하여 얼굴 인증을 할 수 있으며, 동시에 얼굴 개인정보 유출을 방지할 수 있다.

Abstract ▼ AI-Helper

Deep learning-based face verificattion model show high performance and are used in many fields, but there is a possibility the user's face image may be leaked in the process of inputting the face image to the model. Althoughde-identification technology exists as a method for minimizing the exposure of face features, there is a problemin that verification performance decreases when the existing technology is applied. In this paper, after combining the face features of other person, a de-identified face image is created through StyleGAN. In addition, we propose a method of optimizingthe combining ratio of features according to the face verification model using HopSkipJumpAttack. We visualize the images generated by the proposed method to check the de-identification performance, and evaluate the ability to maintain the performance of the face verification model through experiments. That is, face verification can be performed using the de-identified image generated through the proposed method, and leakage of face personal information can be prevented.

주제어

표/그림 (7)

그림 Fig. 1. Architecture of StyleGAN Generator[12]
그림 Fig. 2. Architecture of generating de-indentification with face verification
그림 Fig. 3. Step per HSJA in our method
그림 Fig. 4. Result for de-identifiaction with Facenet512
표 Table 1. Cosine distance per face recognition model
그림 Fig. 5. De-identification images per step according to model
그림 Fig. 6. Distance for step per face recognition model

AI 본문요약
AI-Helper

문제 정의

본 논문은 서론에서 네트워크 상의 얼굴 인증 모델의 얼굴 이미지 입력과정에서 유출 가능성을 문제점으로 지적했다. 본 논문의 제안 방법으로 얼굴 인증이 가능한 비식별화 얼굴 이미지를 생성할 수 있지만, 최적화 과정의 초기에 비식별화율이 적은 얼굴 이미지로 얼굴 인증 모델에 대해 질의를 하는 과정에서 여전히 원본 이미지의 얼굴 특징의 노출 가능성과 이에따라 제 3자가 사용자를 특정할 가능성에 대한 한계가 존재한다.
본 논문은 얼굴 인증 모델에 대한 인증 성능의 유지와 비식별화 성능을 동시에 만족할 수 있는 연구의 필요성을 최초로 제시한다. 또한, 우리는 이를 해결하기 위해 StyleGAN의 이미지 생성 과정에서의 비식별화 조정 변수 λ의 설정과 HSJA를 활용한최적화를 기반으로 비식별화 방법을 제안한다.

제안 방법

또한, 우리는 이를 해결하기 위해 StyleGAN의 이미지 생성 과정에서의 비식별화 조정 변수 λ의 설정과 HSJA를 활용한최적화를 기반으로 비식별화 방법을 제안한다

성능/효과

또한, 원본 이미지와의 유사도를 측정하여 얼굴 인증 모델의 인증 성능이 유지됨을 평가한다. 또한, 각 얼굴 인증 모델별로 두 얼굴 특징 결합의 최적화 과정에 따른 비식별화 얼굴 이미지를 확인하며, 생성 얼굴 이미지가 목표로 하는 특정 인물의 얼굴 특징에 가까워지는 것을 확인한다.
우리는 제안방법을 통해 생성된 비식별화 이미지의 시각화를 통해 원본 이미지로부터 사용자의 얼굴이 충분히 변조됨을 확인한다. 또한, 원본 이미지와의 유사도를 측정하여 얼굴 인증 모델의 인증 성능이 유지됨을 평가한다. 또한, 각 얼굴 인증 모델별로 두 얼굴 특징 결합의 최적화 과정에 따른 비식별화 얼굴 이미지를 확인하며, 생성 얼굴 이미지가 목표로 하는 특정 인물의 얼굴 특징에 가까워지는 것을 확인한다.
또한, 우리는 이를 해결하기 위해 StyleGAN의 이미지 생성 과정에서의 비식별화 조정 변수 λ의 설정과 HSJA를 활용한최적화를 기반으로 비식별화 방법을 제안한다. 실험을 통해 해당 방법이 얼굴 인증 모델에 대한 인증 성능을 유지하면서, 원본 이미지로부터 시각적으로 충분한 비식별화가 되었음을 보였다. 즉, 본 논문의 제안 방법은 얼굴 인증과 비식별화가 함께 필요한상황인 얼굴 이미지를 얼굴 인증 모델에 입력하는 과정에서 사용되어 사용자의 얼굴 개인정보 침해 가능성을 방지할 수 있다.
우리는 제안방법을 통해 생성된 비식별화 이미지의 시각화를 통해 원본 이미지로부터 사용자의 얼굴이 충분히 변조됨을 확인한다. 또한, 원본 이미지와의 유사도를 측정하여 얼굴 인증 모델의 인증 성능이 유지됨을 평가한다.
실험을 통해 해당 방법이 얼굴 인증 모델에 대한 인증 성능을 유지하면서, 원본 이미지로부터 시각적으로 충분한 비식별화가 되었음을 보였다. 즉, 본 논문의 제안 방법은 얼굴 인증과 비식별화가 함께 필요한상황인 얼굴 이미지를 얼굴 인증 모델에 입력하는 과정에서 사용되어 사용자의 얼굴 개인정보 침해 가능성을 방지할 수 있다.
한편, 스마트폰 등 카메라를 통한 신원 인증 시 이미지 수집 과정 중 본 논문의 제안 기술을 내장하여 기업의 관점에서 프라이버시 안전성이 보장된 서비스를 구축할 수 있다. 일반적으로 얼굴 인식을 기반으로 하는 서비스는 실시간 얼굴 이미지 수집, 얼굴 영역인식, 얼굴 특징 추출, 얼굴 특징 계산 및 분석, 그리고 신원 확인의 절차를 통해 수행된다.

후속연구

그 밖에도, 본 논문의 제안 기술은 공항 내 관광객 출입국 관리 시스템 보호, 스마트폰 애플리케이션 내 본인 인증을 위한 얼굴 이미지 전송 중 유출 후 피해방지, 연구용 얼굴 이미지 데이터 세트 수집 중 일반인 얼굴 노출 최소화, 사용자의 외모 특징을 유지한 비식별화된 아바타 생성 등 다양한 시나리오를 통해 활용이 될 수 있다. 이를 통해 사용자의 얼굴 프라이버시를 보호할 수 있으며, 더 나아가 메타버스와 같은 가상 세계 내 사용자의 외모를 닮은 아바타 생성 시, 실제 얼굴을 그대로 노출하지 않고 활동할 수 있으며, 아바타를 통한 생체 인증 기술의 발전에 기여할 수 있을 것으로 기대된다.
본 논문의 제안 방법으로 얼굴 인증이 가능한 비식별화 얼굴 이미지를 생성할 수 있지만, 최적화 과정의 초기에 비식별화율이 적은 얼굴 이미지로 얼굴 인증 모델에 대해 질의를 하는 과정에서 여전히 원본 이미지의 얼굴 특징의 노출 가능성과 이에따라 제 3자가 사용자를 특정할 가능성에 대한 한계가 존재한다. 다만 얼굴 인증 시스템의 모델에 대해 유사한 인증 결과를 유추할 수 있는 복제된 얼굴 인증 모델이 있다면 해당 한계를 해결할 수 있을 것이고, 이를 해결할 추가적인 다른 방법이 필요하다.
본 논문은 서론에서 네트워크 상의 얼굴 인증 모델의 얼굴 이미지 입력과정에서 유출 가능성을 문제점으로 지적했다. 본 논문의 제안 방법으로 얼굴 인증이 가능한 비식별화 얼굴 이미지를 생성할 수 있지만, 최적화 과정의 초기에 비식별화율이 적은 얼굴 이미지로 얼굴 인증 모델에 대해 질의를 하는 과정에서 여전히 원본 이미지의 얼굴 특징의 노출 가능성과 이에따라 제 3자가 사용자를 특정할 가능성에 대한 한계가 존재한다. 다만 얼굴 인증 시스템의 모델에 대해 유사한 인증 결과를 유추할 수 있는 복제된 얼굴 인증 모델이 있다면 해당 한계를 해결할 수 있을 것이고, 이를 해결할 추가적인 다른 방법이 필요하다.
그 밖에도, 본 논문의 제안 기술은 공항 내 관광객 출입국 관리 시스템 보호, 스마트폰 애플리케이션 내 본인 인증을 위한 얼굴 이미지 전송 중 유출 후 피해방지, 연구용 얼굴 이미지 데이터 세트 수집 중 일반인 얼굴 노출 최소화, 사용자의 외모 특징을 유지한 비식별화된 아바타 생성 등 다양한 시나리오를 통해 활용이 될 수 있다. 이를 통해 사용자의 얼굴 프라이버시를 보호할 수 있으며, 더 나아가 메타버스와 같은 가상 세계 내 사용자의 외모를 닮은 아바타 생성 시, 실제 얼굴을 그대로 노출하지 않고 활동할 수 있으며, 아바타를 통한 생체 인증 기술의 발전에 기여할 수 있을 것으로 기대된다.

참고문헌 (20)

B. Jeon, B. Jeong, S. Jee, Y. Huang,Y. Kim, G.H Park, J. Kim, M. Wufuer, X. Jin, S.W. Kim, and T.H. Choi, "A Facial Recognition Mobile App for Patient Safety and Biometric Identification: Design, Development, and Validation," JMIR mHealth and uHealth, vol. 7, no. 4, e11472. Apr.2019.

상세보기
T. Zhu and L. Wang, "Feasibility study of a new security verification process based on face recognition technology at airport," Journal of？Physics: Conference Series, vol. 1510, no. 1, pp. 12-25, May. 2020.
R.K. Rija, G. Muttasher, and A.？Al-Araji, "Payment Systems Based on？Face Recognition: A Survey," Journal？of Optoelectronics Laser, vol. 41, no.？5, pp. 563-571, May.
B. Thirimachos, Face Recognition？Across the Imaging Spectrum,？Springer, pp. 165-194, Feb. 2016.
E.M. Newton, L. Sweeney, and B.？Malin, "Preserving privacy by？de-identifying face images," IEEE？transactions on Knowledge and Data？Engineering, vol. 17, no. 2, pp.？232-243, Feb. 2005.

상세보기
R. Gross, L. Sweeney, F. De la Torre,？and S. Baker, "Model-Based Face？De-Identification," Conference on？Computer Vision and Pattern？Recognition Workshop, pp. 161-161,？Jun. 2006.
M. Maximov, I. Elezi, and L.？Leal-Taixe, "CIAGAN: Conditional？Identity Anonymization Generative？Adversarial Networks," Proceedings of？the IEEE/CVF Conference on？Computer Vision and Pattern？Recognition, pp. 5447-5456, Jun. 2020
Y. Jeong, J. Choi, S. Kim, Y. Ro, T.H.？Oh, D. Kim, H. Ha, and S. Yoon,？"FICGAN: Facial Identity Controllable？GAN for De-identification," arXiv？preprint arXiv:2110.00740, Oct. 2021.
Y. Dong, H. Su, B. Wu, Z. Li, W. Liu,？T. Zhang, and J. Zhu, "Efficient？decision-based black-box adversarial？attacks on face recognition," Proceedings of the IEEE/CVF Conference？on Computer Vision and Pattern？Recognition, pp. 7714-7722, Jun. 2019.
E. Chatzikyriakidis, C. Papaioannidis,？and I. Pitas, "Adversarial face？de-identification," 2019 IEEE International Conference on Image Processing, pp. 684-688, Sep. 2019.
U. Scherhag, C. Rathgeb, J. Merkle,？R. Breithaupt, and C. Busch, "Face recognition systems under morphing attacks: A survey," IEEE Access, vol.7, pp. 23012-23026, Feb. 2019.

상세보기
T. Karras, S. Laine, M. Aittala, J.Hellsten, J. Lehtinen, and T. Aila,"Analyzing and improving the image quality of stylegan," Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp.8110-8119, Jun. 2020.
E. Richardson, Y. Alaluf, O.Patashnik, Y. Nitzan, Y. Azar, S.Shapiro, and D. Cohen-Or, "Encoding in style: a stylegan encoder for image-to-image translation," Proceedings of the IEEE/CVFconferenceon computer vision and pattern recognition, pp. 2287-2296, Jun. 2021.
J. Chen, M.I. Jordan, and M.J. Wainwright, "Hopskip jumpattack: Aquery-efficient decision-based attack,"IEEE Symposium on Security and Privacy, pp. 1277-1294, May. 2020.
T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, and T. Aila,"Analyzing and improving the image quality of stylegan," Proceedings of theIEEE/CVF conference on computer vision and pattern recognition, pp.8110-8119, Jun. 2020.
O.M. Parkhi, A. Vedaldi, and A. Zisserman, "Deep Face Recognition,"Proceedings of the 2015 British Machine Vision Conference, pp. 41.1-41.12, Sep. 2015.
F. Schroff, D. Kalenichenko, and J. Philbin, "Facenet: A unified embedding for face recognition and clustering," Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 815-823, Jun.2015.
J. Deng, J. Guo, N. Xue, and S. Zafeiriou, "Arc Face: Additive Angular？Margin Loss for Deep Face？Recognition," Proceedings of the？IEEE/CVF Conference on Computer？Vision and Pattern Recognition, pp.？4690-4699, Jun. 2019.
Github, "Facenet," https://github.com/？davidsandberg/facenet, Aug. 2022.
Y. Choi, Y. Uh, J. Yoo, and J.W. Ha,"Stargan v2: Diverse image synthesis for multiple domains," Proceedings of？the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 8188-8197, Jun. 2020.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증