[논문]딥러닝 기반 얼굴 검출, 랜드마크 검출 및 얼굴 인식 기술 연구 동향

황원준

딥러닝 기반 얼굴 검출, 랜드마크 검출 및 얼굴 인식 기술 연구 동향 원문보기

방송과 미디어 = Broadcasting and media magazine, v.22 no.4, 2017년, pp.41 - 49

황원준 (아주대학교)

초록
AI-Helper

본 논문에서는 최근 각광받고 있는 Convolutional Neural Network(CNN)과 같은 딥러닝 기반의 얼굴 인식 연구 동향을 살펴 보고자 한다. 얼굴 인식은 입력 영상이 들어왔을 때 자동으로 누구인지 알아내는 알고리즘으로 크게 얼굴 검출, 얼굴 랜드마크 검출 및 얼굴 특징 추출로 나누어진다. 본 논문에서는 얼굴 검출, 랜드마크 검출 및 얼굴 특징 추출에 특화된 딥러닝 알고리즘을 하나씩 살펴보고 이들이 어떻게 발전해 왔는지를 확인하고자 한다. 특히, 딥러닝 기반 얼굴 인식 알고리즘들은 딥러닝 기반 물체 인식의 발전 방향과 유사하게 진행되어 오다가 최근에는 얼굴 인식에 특화된 딥러닝 아키텍처 형태로 발전하고 있다. 어떤 방향이 얼굴 인식에 더 도움이 될지에 대해서도 확인하고 실제로 어떤 문제를 해결하고 있는지 확인하고자 한다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

논문에서는 최근 각광받고 있는 딥러닝 기반 얼굴 검출, 얼굴 랜드마크 검출 및 얼굴 인식 논문을 살펴보았다. 딥러닝 기반 물체 인식과 얼굴 인식의 경우 CNN 기반 네트워크가 좋은 성능을 보여 최근 많은 방식들이 제안되어 왔고 고용량의 공개 얼굴 Database가 공개되고 있어서 연구 단계에서 실 제품에 적용될 수 있는 알고리즘들이 나오고 있다.
본 논문에서는 얼굴 검출, 랜드 마크 검출 및 얼굴 특징 추출에 대한 딥러닝 기술에 대해서 고찰해보고자 한다.
이러한 발전에 크게 기여한 것은 기존 보다 더 많아진 공개 얼굴 database와 다양한 환경을 능동적으로 학습할 수 있는 딥러닝 기술의 공개 등을 들 수 있다. 본 논문에서는 이러한 딥러닝 기술의 현재 기술 및 연구 동향에 대해서 살펴보도록 한다.
얼굴 특성은 예를 들어서 포즈, 성별, 안경 착용유무 및 웃음으로 정의되어 있고 얼굴 인식 성능 개선을 위해서 사용되던 특성 기반 Multi-task 학습 기법을 랜드마크 검출기에 적용하여서 그 성능을 높여 주고 있다. 특히 상기에 나온 얼굴 특성의 경우 얼굴 인식 보다 랜드마크 검출에서 가장 문제가 되는 특성임을 본 논문에서 분석하였다.
해당 논문에서는 랜드 마크 값 예측시 Local Minimum에 빠지는 것을 방지하기 위해서 과 같이 Cascade 형태로 초기 예측값을 기준으로 복수의 네트워크를 통해 결과를 보정해 주고 있다.

제안 방법

이 논문에서는 작은 얼굴 크기를 이용해서 1차적으로 얼굴이 아닌 영역을 제거하고, 이후에 얼굴 후보로 선택될 경우 해상도를 높이는 방식으로 와 같은 구조를 띄우고 있다.
<그림 4>와 같이 2015년도에는 CHUK에서 얼굴의 부분 (머리, 눈, 코, 입 그리고 수염)을 개별적으로 검출하여 최종 얼굴로 판단하는 딥러닝 기반 얼굴 검출기[3]를 제안하였다. 특히 관련 기술의 경우 FDDB에서 Occlusion이 심한 얼굴을 검출하기 위해서 제안된 방식으로 총 7 layer로 구성된 얼굴 파트 검출기를 총 5개를 사용하고 이들 결과를 이용해서 최종 결과를 산출하는 형태로 개발되었다. 이 검출기의 경우도 ImageNet으로 사전 학습된 네트워크를 얼굴 영상으로 Fine-tuning함으로써 최종 얼굴 검출 결과를 높이고 있다.
같은 해에 CVPR에서 발표된 DeepID1[11]의 경우는 DeepFace의 입력 해상도 152x152 픽셀보다 작은 39x31 픽셀을 사용하고 <그림 10>과 같이 Convolutional Network의 개수도 작아서 좀 더 경량화 된 CNN 기반 얼굴 인식기를 만들 수 있었다. 하지만, 상대적으로 작은 입력 영상과 깊지 않은 네트워크 또한 적은 학습 데이터로 인해서 단일 네트워크에서는 DeepFace보다 좋지 않은 성능을 보여 주었고, 이를 극복하기 위해서 얼굴 영역을 Random Cropping하여서 Patch형태로 입력 영상을 다변화하였다. 이를 통해서 60개 정도의 CNN 얼굴 인식기를 융합하였고 최종적으로 DeepFace 보다 좋은 97.

대상 데이터

DeepFace1에 이어서 성능을 개량한 DeepID2[12]는 과 같이 DeepID1과 다르게 칼라 영상을 입력으로 사용하였고 입력 해상도도 39x31 픽셀에서 55x47 픽셀로 증가하였다.
2015년 CVPR에서는 구글이 자사의 GoogLeNet을 얼굴 인식에 사용하고 Face Verification을 위한 Triplet Loss를 제안한 논문[13]을 발표하였다. 해당 논문에서는 매우 깊은 GoogLeNet이나 Inception 네트워크를 얼굴 인식에 활용하였고 자사에서 수집한 대용량 DB를 학습에 사용하였다. 이를 통해서 단일 네트워크에서도 LFW에서 98.

성능/효과

가장 유명한 딥러닝 기반 얼굴 인식 알고리즘은 FaceBook에서 2014년도에 발표한 DeepFace[10]이다. FaceBook에서 자체 수집한 4 Million개의 얼굴 영상을 사용하여서 총 8 layer로 구성된 네트워크를 학습하고 이들을 복 수개 생성해서 합침으로써 LFW에서 97.25%를 달성하여 인간 인식 수준이 97.53%와 유사한 결과를 얻을 수 있었다. 하지만, 실제로 논문에서는 포즈 문제를 해결하기 위해서 평균적인 3D 얼굴 모델을 이용하여서 돌아간 얼굴을 보정하여 주었고 이를 사용하지 않았을 때는 7% 정도의 성능 하락이 있었다.
하지만, 상대적으로 작은 입력 영상과 깊지 않은 네트워크 또한 적은 학습 데이터로 인해서 단일 네트워크에서는 DeepFace보다 좋지 않은 성능을 보여 주었고, 이를 극복하기 위해서 얼굴 영역을 Random Cropping하여서 Patch형태로 입력 영상을 다변화하였다. 이를 통해서 60개 정도의 CNN 얼굴 인식기를 융합하였고 최종적으로 DeepFace 보다 좋은 97.45%를 LFW에서 달성할 수 있었다.
특히 해당 논문에서는 SoftMax Loss는 Identification Loss로 가정하고 Euclidean Distance를 이용한 Loss는 Verification Loss로 가정하여서 일종의 Multitask 학습 기법을 제안하여서 DeepID1보다 좋은 성능을 달성할 수 있었고 최종적으로 사용하는 Patch의 개수를 25개로 낮출 수 있었다. 최종 성능은 DeepFace보다 좋은 98.97%를 LFW에서 달성하였다.
DeepFace1에 이어서 성능을 개량한 DeepID2[12]는 <그림 11>과 같이 DeepID1과 다르게 칼라 영상을 입력으로 사용하였고 입력 해상도도 39x31 픽셀에서 55x47 픽셀로 증가하였다. 특히 해당 논문에서는 SoftMax Loss는 Identification Loss로 가정하고 Euclidean Distance를 이용한 Loss는 Verification Loss로 가정하여서 일종의 Multitask 학습 기법을 제안하여서 DeepID1보다 좋은 성능을 달성할 수 있었고 최종적으로 사용하는 Patch의 개수를 25개로 낮출 수 있었다. 최종 성능은 DeepFace보다 좋은 98.
53%와 유사한 결과를 얻을 수 있었다. 하지만, 실제로 논문에서는 포즈 문제를 해결하기 위해서 평균적인 3D 얼굴 모델을 이용하여서 돌아간 얼굴을 보정하여 주었고 이를 사용하지 않았을 때는 7% 정도의 성능 하락이 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	가장 유명한 딥러닝 기반 얼굴 인식 알고리즘은 무엇인가?	얼굴 인식의 경우 상대적으로 일반적인 물체 인식 딥러닝 방식이 바로 적용되기 좋기 때문에 다양한 논문들이 발표되었다. 가장 유명한 딥러닝 기반 얼굴 인식 알고리즘은 FaceBook에서 2014년도에 발표한 DeepFace[10]이다. FaceBook에서 자체 수집한 4 Million개의 얼굴 영상을 사용하여서 총 8 layer로 구성된 네트워크를 학습하고 이들을 복 수개 생성해서 합침으로써 LFW에서 97.
	기존의 얼굴 검출 알고리즘은 어떤 방식이 주를 이루었는가?	기존의 얼굴 검출 알고리즘은 Viola-jones의 Haar-like Feature를 Boosting으로 선택하는 방식[1]이 주를 이루고 있었다. 최근 딥러닝 방식이 높은 성능을 보임에 따라 ICMR에서 2015년도에 기본적인 AlexNet을 기반으로한 얼굴 검출기[2]가 발표되었다.
	DeepFace를 통해 어떤 결과를 얻을 수 있는가?	가장 유명한 딥러닝 기반 얼굴 인식 알고리즘은 FaceBook에서 2014년도에 발표한 DeepFace[10]이다. FaceBook에서 자체 수집한 4 Million개의 얼굴 영상을 사용하여서 총 8 layer로 구성된 네트워크를 학습하고 이들을 복 수개 생성해서 합침으로써 LFW에서 97.25%를 달성하여 인간 인식 수준이 97.53%와 유사한 결과를 얻을 수 있었다. 하지만, 실제로 논문에서는 포즈 문제를 해결하기 위해서 평균적인 3D 얼굴 모델을 이용하여서 돌아간 얼굴을 보정하여 주었고 이를 사용하지 않았을 때는 7% 정도의 성능 하락이 있었다.

참고문헌 (14)

Viola and Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features," IEEE Computer Vision and Pattern Recognition, 2001
S. S. Farfade, M. Saberian, L. Li, "Multi-view Face Detection Using Deep Convolutional Neural Networks," ICMR, 2015
S. Yang, P. Luo, C. C. Loy, X. Tang, "From Facial Parts Responses to Face Detection: A Deep Learning Approach," CVPR 2015
H. Li, Z. Lin, X. Shen, J. Bandt, G. Hua, "A Convolutional Neural Network Cascade for Face Detection," CVPR 2015
Redmon, Joseph and Farhadi, Ali, "YOLO9000: Better, Faster, Stronger," CVPR 2017
S. Ren, K. He, R. Girshick, J. Sun, "Faster R-CNN: towards real-time object detection with region proposal networks," NIPS, Vol. 1, pp. 91-99, Dec., 2015
Y. Sun, X. Wang, X. Tang, "Deep Convolutional Network Cascade for Facial Point Detection," CVPR 2013
J. Zhang, S. Shan, M. Kan, X. Chen, "Coarse-to-Fine Auto-Encoder Networks (CFAN) for Real-Time face Alignment," ECCV 2014
Z. Zhang, P. Luo, C. C. Loy, X. Tang, "Facial Landmark Detection by Deep Multi-task Learning," ECCV 2014
Y. Taigman, M. Yang, M. Ranzato, L. Wolf, "DeepFace: Closing the Gap to Human-Level Performance in Face Verification," CVPR, 2014
Y. Sun, X. Wang, X. Tang, "Deep Learning Face Representation from Predicting 10,000 Classes," CVPR 2014
Y. Sun, X. Wang, X. Tang, "Deep Learning Face Representation by Joint Identification-Verification," NIPS 2014
F. Schroff, D. Kalenichenko, J. Philbin, "FaceNet: A Unified Embedding for Face Recognition and Clustering," CVPR 2015
S. Rhee, B. Yoo, J. Han, and W. Hwang, "Deep Neural Network using Color and Synthesized Three-Dimensional Shape for Face Recognition," Journal of Electronic Imaging, 2017

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝 기반 얼굴 검출, 랜드마크 검출 및 얼굴 인식 기술 연구 동향 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

질의응답

참고문헌 (14)

이 논문을 인용한 문헌

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝 기반 얼굴 검출, 랜드마크 검출 및 얼굴 인식 기술 연구 동향 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

질의응답

참고문헌 (14)

이 논문을 인용한 문헌

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

초록
AI-Helper

AI 본문요약
AI-Helper