[논문]딥러닝 기반 얼굴 위변조 검출 기술 동향

김원준

딥러닝 기반 얼굴 위변조 검출 기술 동향 원문보기

방송과 미디어 = Broadcasting and media magazine, v.25 no.2, 2020년, pp.52 - 60

김원준 (건국대학교)

초록
AI-Helper

최근 생체 정보를 이용한 사용자 인증 기술이 발전하면서 이를 모바일 기기에 적용하는 사례가 크게 증가하고 있다. 특히, 얼굴 기반 인증 방식은 비접촉식이며 사용이 편리하여 적용 범위가 점점 확대되고 있는 추세이다. 그러나, 사용자의 얼굴 사진이나 동영상 등을 이용한 위변조가 용이하기 때문에 모바일 기기 내 보안 유지에 어려움을 야기한다. 본 고에서는 이러한 문제를 해결하기 위해 최근 활발히 연구되고 있는 심층신경망 기반 얼굴 위변조 검출 연구의 최신 동향을 소개하고자 한다. 먼저, 기본 합성곱 신경망 구조부터 생성모델 기반의 위변조 검출 방법까지 다양한 신경망 구조를 이용한 위변조 검출 방법에 대해 설명한다. 또한, 심층신경망 학습을 위해 사용되는 얼굴 위변조 데이터셋에 대해서도 간략히 살펴보고자 한다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 고에서는 얼굴 위변조 검출 기술, 특히, 심층학습을 이용한 얼굴 위변조 검출 최신 기술 동향에 대해 살펴보았다. 모바일 기기를 위한 생체 인증 기술, 특히, 얼굴 인증 기술이 꾸준히 발전하고 있지만, 다양한 위변조 공격으로 인해 고성능 보안 시스템 구축에 여전히 어려움이 있다.
본 고에서는 이와 같이 심층신경망을 기반으로 한 얼굴 영상 기반 위변조 검출의 최신 기술 동향을 살펴보고자 한다. II 장에서는 최근 주요 학회에서 발표된 논문을 중심으로 심층신경망 기반 얼굴 위변조 검출 기술의 연구 방향에 대해 자세히 설명한다.
이번 장에서는 얼굴 위변조 검출을 위해 사용되고 있는 데이터셋에 대해 간략히 살펴보고자 한다. 대부분 RGB 칼라 색상을 기반으로 하고 있으며, 사진 출력과 종이로 제작된 마스크 및 고해상도 디스플레이를 이용한 위변조 영상을 포함하고 있다.
얼굴 위변조 검출 방법은 영상 내 텍스처(Texture) 정보를 이용한 검출 방법과 심층학습을 이용한 검출 방법으로 크게 나눌 수 있다. 전자의 경우, 모든 픽셀 위치에서 주변 픽셀 값과의 비교 결과를 이진 패턴으로 인코딩하는 기술자(Local BinaryPattern, LBP) [1]를 이용하여 실제 얼굴과 위변조 얼굴의 차이를 구별하고자 노력하였다. 그러나 고해상도 영상 제작이 가능해지면서 실제 얼굴과 위변조 얼굴 간 미세한 표면 차이를 픽셀 밝기 값의 관계만으로 구별하기 매우 어려우며, 다양한 위변조 형태를 효과적으로 학습하는 데 한계가 있다.

제안 방법

Liu[3] 등도 얼굴 동영상을 이용하여 위변조 여부를 판별하기 위해 3차원 합성 곱 연산 대신 2차원 합성 곱 연산을 통해 추출된 잠재 특징을 장단기 기억(LongShort-Term Memory, LSTM) 모듈을 이용하여 시계열 관계를 효과적으로 추정하여 위변조 여부 검출에 사용하는 방법을 제안하였다.
자세히 살펴보면, Atoum[1] 등은 먼저, 입력 얼굴 영상을 지역적 영역으로 분할하고 각 영역에 대해 합성 곱 신경망을 적용하여 위변조 점수를 측정한다. 또한, 3D 얼굴 복원 알고리즘을 통해 추출된 결과 영상을 기반으로 생성 모델 신경망을 학습하고, 도출한 잠재 특징으로 위변조 점수를 계산한다. 이와 같이 계산된 두 점수에 대한 평균값을 이용하여 최종 위변조 여부를 판별하는 알고리즘으로 기존 영상 텍스처 기반 방법 대비 큰 성능 향상을 달성하였다.
즉, 학습 데이터셋에 존재하지 않는 위변조 영상 패턴에 대해서 새로운 군집이 할당되고 이는 나무 구조의 각 노드를 통해 학습이 가능하도록 <그림 3>과 같은 방식으로 신경망을 구축하였다. 또한, 각 분기 노드에서는 잠재특징의 분별력이 극대화 될 수 있도록 투영(Projection) 기반특징 분류를 수행하고 픽셀 단위의 위변조 영역 마스킹(Masking)을 통해 영역 별 분별력을 향상시키는 방법을 제안하였다. 다양한 실험 결과를 통해 실리콘 마스크, 부분 마스크 등 총 13 종류의위변조 공격을 효과적으로 검출할 수 있음을 확인할 수 있다.
Shao[7] 등은 도메인 일반화(Domain Generalization)를 기반으로 새로운 위변조 얼굴 영상에 강인한 심층신경망 구조를 제안하였다. 먼저, 도메인(즉, 위변조 형태)에 따라 특징을 추출할 수 있는 개별 신경망을 학습한다. 모든 도메인의 공통된 특징을 추출할 수 있는 신경망을 구축하여 개별 신경망의 분별 자(Discriminator)가 이를 서로 다른 도메인 특징으로 인식할 수 없도록 적대 손실(GAN Loss)을 이용하여 학습한다.
먼저, 도메인(즉, 위변조 형태)에 따라 특징을 추출할 수 있는 개별 신경망을 학습한다. 모든 도메인의 공통된 특징을 추출할 수 있는 신경망을 구축하여 개별 신경망의 분별 자(Discriminator)가 이를 서로 다른 도메인 특징으로 인식할 수 없도록 적대 손실(GAN Loss)을 이용하여 학습한다. 또한, [3] 의 방법과 마찬가지로 얼굴 깊이 영상을 이용하여 실제 얼굴 영상의 분별력을 향상 시킴으로써 학습 데이터에 존재하지 않는 유형의 위변조 얼굴 영상에도 강인한 동작이 가능하다.
Niki sins[11] 등은 다중 채널 입력 영상을 혼합하여 생성한 새로운 얼굴 영상(즉, Multi-channel Face)을 학습에 사용하는 방법을 제안하였다. 인코더-디코더 구조에서 학습된 잠재특징을 위변조 여부 판별에 사용하며, 이 때, 실제 얼굴만을 이용하여 학습을 수행한다. 이 밖에도 얼굴 영상 내 관심 영역을 학습하여 특징 가중치 재조정을 통해 검출 성능을 향상 시키는 방법[12], 동영상을 기반으로 얼굴 표정의 미세한 변화를 위변조검출에 이용하는 방법[13], 위변조 얼굴 유형을 3D 모델을 이용하여 다변화 및 확장하여 다양한 형태를 효과적으로 학습할 수 있도록 하는 방법[14] 등이 제안되었다.
즉, 학습 데이터셋에 존재하지 않는 위변조 영상 패턴에 대해서 새로운 군집이 할당되고 이는 나무 구조의 각 노드를 통해 학습이 가능하도록 과 같은 방식으로 신경망을 구축하였다.
특히,얼굴 위변조 검출 문제를 단순 이진 분류 문제가 아닌 회귀(Regression) 관점에서의 위변조 정도(Degree)를 측정하는 문제로 정의하여 보조 정보(즉, 얼굴 깊이 영상과 원격 광 혈류 측정(RemotePhotoplethysmography, rPPG) 신호)를 함께 학습할 수 있는 신경망 구조를 제안하였다( 참조).

대상 데이터

가장 대표적으로 사용되고 있는 데이터셋으로는CASIA-FASD[15], Replay-Attack[16]과 MSUUSSA[17] 데이터셋이 있다. CASIA-FASD와 Replay-Attack 데이터셋은 50명 규모의 피실험자로부터 영상을 획득하였으며, 위변조 영상 제작을위해 iPad 및 프린트된 사진을 사용하였고, 실제 얼굴은 MacBook 웹카메라, USB 카메라, 및 SonyNex-5 모델을 사용하였다. MSU-USSA 데이터셋의 경우, 1,140명의 피실험자로부터 실제 얼굴 영상 및 위변조 얼굴 영상을 획득하였으며, 데이터셋 제작을 위해 다양한 기기(예를 들어, Nexus 5, Tablet 등)를 사용하였다.
CASIA-FASD와 Replay-Attack 데이터셋은 50명 규모의 피실험자로부터 영상을 획득하였으며, 위변조 영상 제작을위해 iPad 및 프린트된 사진을 사용하였고, 실제 얼굴은 MacBook 웹카메라, USB 카메라, 및 SonyNex-5 모델을 사용하였다. MSU-USSA 데이터셋의 경우, 1,140명의 피실험자로부터 실제 얼굴 영상 및 위변조 얼굴 영상을 획득하였으며, 데이터셋 제작을 위해 다양한 기기(예를 들어, Nexus 5, Tablet 등)를 사용하였다. <그림 5>는 각 데이터셋에 포함된 실제 얼굴 영상과 위변조 얼굴 영상의 예를 보여주고 있다.
가장 최근에는 다중 채널 입력 영상을 포함한 대용량 얼굴 위변조 검출 데이터셋(CASIA-SURF)이 발표되었다[8]. 총 1,000명의 피실험자로부터 21,000개의 비디오 샘플을 획득하였으며, RGB 칼라, 근적외선, 깊이 영상을 포함하고 있다. CASIA-SURF 데이터셋의 모든 영상은 IntelRealSense SR300 카메라를 이용하여 촬영되었으며, 학습, 검증(Validation) 및 테스트 서브 셋으로 나누어 제공된다.
총 여섯 유형의 위변조 영상을 포함하고 있으며, 샘플 영상을 에 나타내었다.

성능/효과

또한, 각 분기 노드에서는 잠재특징의 분별력이 극대화 될 수 있도록 투영(Projection) 기반특징 분류를 수행하고 픽셀 단위의 위변조 영역 마스킹(Masking)을 통해 영역 별 분별력을 향상시키는 방법을 제안하였다. 다양한 실험 결과를 통해 실리콘 마스크, 부분 마스크 등 총 13 종류의위변조 공격을 효과적으로 검출할 수 있음을 확인할 수 있다. Shao[7] 등은 도메인 일반화(Domain Generalization)를 기반으로 새로운 위변조 얼굴 영상에 강인한 심층신경망 구조를 제안하였다.
또한, 3D 얼굴 복원 알고리즘을 통해 추출된 결과 영상을 기반으로 생성 모델 신경망을 학습하고, 도출한 잠재 특징으로 위변조 점수를 계산한다. 이와 같이 계산된 두 점수에 대한 평균값을 이용하여 최종 위변조 여부를 판별하는 알고리즘으로 기존 영상 텍스처 기반 방법 대비 큰 성능 향상을 달성하였다. 이와 더불어 정지 영상이 아닌 얼굴 동영상을 효과적으로 학습할 수 있도록 3차원 합성 곱 연산을 적용한 방법도 제안되었다[2].

후속연구

총 여섯 유형의 위변조 영상을 포함하고 있으며, 샘플 영상을 <그림 6>에 나타내었다. 이와 같은 대용량 데이터셋은 효과적인 심층신경망 학습을 가능하게 하여 얼굴 위변조 검출 성능을 크게 향상 시킬 수 있을 것으로 기대된다.
특히, 학습 데이터셋에 존재하지 않는 위변조 공격유형에 강인한 동작을 위해 생성 모델 및 군집화 등 다양한 기법을 심층신경망에 적용하고자 하는 연구가 진행되고 있으며, 학습 데이터도 기존 RGB 칼라만 사용하는 것에서 벗어나 근적외선 및 깊이 영상까지 활용하는 방법이 제안되고 있다. 학습 파라미터 경량화 및 위변조 공격 유형에 관계 없이 강인한 동작이 가능한 심층신경망 구조가 개발된다면 인공지능 기술 기반 얼굴 위변조 검출 방법이 모바일 기기에도 성공적으로 적용될 수 있을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	얼굴 위변조 검출방법 중, 심층신경망 기반 방법의 장점은 무엇인가?	즉, 입력 영상은 적층 구조의 합성 곱 계층을 반복적으로 통과하면서 얼굴 위변조 검출을 위한 잠재 특징(Latent Feature)으로 압축되며 이를 기반으로 심층신경망 기반 방법은 기존 영상 특징 대비 검출 정확도를 효과적으로 개선하였다. 이러한 심층신경망 기반 방법은 다양한 위변조 공격 형태를 모델 용량 증가 없이 학습할 수 있는 장점이 있으며, 깊은 적층 구조(Deeply Stacked Architecture)를 기반으로 위변조 얼굴 영상의 다양한 비선형적 변형 또한 성공적으로 학습할 수 있다. 그러나 학습 데이터셋에 존재하지 않는 위변조 공격에 대해서는 매우 취약하며, 기존 영상 텍스처 기반 위변조 검출 방법 대비 수행속도가 느린 문제점이 있다.
	얼굴 위변조 검출 방법은 크게 어떠한 방법으로 나뉘는가?	얼굴 위변조 검출 방법은 영상 내 텍스처(Texture) 정보를 이용한 검출 방법과 심층학습을 이용한 검출 방법으로 크게 나눌 수 있다. 전자의 경우, 모든 픽셀 위치에서 주변 픽셀 값과의 비교 결과를 이진 패턴으로 인코딩하는 기술자(Local BinaryPattern, LBP) [1]를 이용하여 실제 얼굴과 위변조 얼굴의 차이를 구별하고자 노력하였다.
	영상 내 텍스처(Texture) 정보를 이용한 검출 방법의 한계는 무엇인가?	전자의 경우, 모든 픽셀 위치에서 주변 픽셀 값과의 비교 결과를 이진 패턴으로 인코딩하는 기술자(Local BinaryPattern, LBP) [1]를 이용하여 실제 얼굴과 위변조 얼굴의 차이를 구별하고자 노력하였다. 그러나 고해상도 영상 제작이 가능해지면서 실제 얼굴과 위변조 얼굴 간 미세한 표면 차이를 픽셀 밝기 값의 관계만으로 구별하기 매우 어려우며, 다양한 위변조 형태를 효과적으로 학습하는 데 한계가 있다. 한편, 영상 인식 분야에서 뛰어난 성과를 보여준 심층신경망(Deep Neural Network)을 얼굴 위변조 검출에 적용하고자 하는 연구가 몇몇 연구자들에 의해 시작되고 있다.

참고문헌 (17)

Y. Atoum, Y. Liu, A. Jorabloo, and X. Liu, "Face anti-spoofing using patch and depth-based CNNs," in Proc. IEEE Int. J. Conf. Biometrics, pp. 319-328, Oct. 2017.
H. Li et al., "Learning generalized deep feature representation for face anti-spoofing," IEEE Tr. Inform. Forensics and Secur., vol. 13, no. 10, pp. 2639-2652, Oct. 2018.

상세보기
Y. Liu, A. Jourabloo, and X. Liu, "Learning deep models for face anti-spoofing: binary or auxiliary supervision," in Proc. IEEE CVPR, pp. 389-398, Jun. 2018.
X. Yang, W. Luo, L. Bao, D. Gong, S. Zheng, Z. Li, and W. Liu, "Face anti-spoofing: model matters, so does data," in Proc. IEEE CVPR, pp. 3507-3516, Jun. 2019.
A. Jourabloo, Y. Liu, and X. Liu, "Face de-spoofing: anti-spoofing via noise modeling," in Proc. European Conference on Computer Vision (ECCV), Sep. 2018.
Y. Liu, J. Stehouwer, A. Jourabloo, and X. Liu, "Deep tree learning for zero-shot face anti-spoofing," in Proc. IEEE CVPR, pp. 4675-4684, Jun. 2019.
R. Shao, X. Lan, J. Li, and P. C. Yuen, "Multi-adversarial discriminative deep domain generalization for face presentation attack detection," in Proc. IEEE CVPR, pp. 10015-10023, Jun. 2019.
A. Liu et al., "Multi-modal face anti-spoofing attack detection challenge at CVPR 2019," in Proc. IEEE CVPRW, Jun. 2019.
T. Shen, Y. Huang, and Z. Tong, "FaceBagNet: bag-of-local-features model for multi-modal face anti-spoofing," in Proc. IEEE CVPRW, Jun. 2019.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," in Proc. IEEE CVPR, pp. 770-778, Jun. 2016.
O. Nikisins, A. George, and S. Marcel, "Domain adaptation in multi-channel autoencoder based features for robust face anti-spoofing," in Proc. ICB, pp. 1-8, Jun. 2019.
H. Chen, Y. Chen, X. Tian, and R. Jiang, "A cascade face spoofing detector based on face anti-spoofing R-CNN and improved Retinex LBP," IEEE Access, vol. 7, pp. 170116-133, Dec. 2019.

상세보기
X. Tu, H, Zhang, M. Xie, Y. Luo, Y. Zhang, and Z. Ma, "Enhance the motion cues for face anti-spoofing using CNNLSTM architecture," in arXiv 1901.05635, Jan. 2019.
J. Guo, X. Zhu, J. Xiao, Z. Lei, G. Wan, and S. T. Li, "Improving face anti-spoofing by 3D virtual synthesis," in Proc. ICB, pp. 1-8, Jun. 2019.
Z. Zhang, J. Yan, S. Liu, Z. Lei, D. Yi, and S. Z. Li, "A face antispoofing database with diverse attacks," in Proc. ICB, 2012, pp. 26-31.
I. Chingovska, A. Anjos, and S. Marcel, "On the effectiveness of local binary patterns in face anti-spoofing," in Proc. IEEE BIOSIG, Sep. 2012, pp. 1-7.
K. Patel, H. Han, and A. K. Jain, "Secure face unlock: spoof detection on smartphones," IEEE Tr. Inform. Forensics and Secur., vol. 11, no. 10, pp. 2268-2283, Oct. 2016.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증