[논문]초고해상도 기반 비대면 저해상도 영상의 얼굴 인식 시스템

배현빈; 권오설

doi:10.9717/kmms.2020.23.3.412

초고해상도 기반 비대면 저해상도 영상의 얼굴 인식 시스템
Untact Face Recognition System Based on Super-resolution in Low-Resolution Images 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.23 no.3, 2020년, pp.412 - 420

배현빈 (School of Electrical Electronics and Control Eng., Changwon National University) , 권오설 (School of Electrical Electronics and Control Eng., Changwon National University)

Abstract ▼ AI-Helper

This paper proposes a performance-improving face recognition system based on a super resolution method for low-resolution images. The conventional face recognition algorithm has a rapidly decreased accuracy rate due to small image resolution by a distance. To solve the previously mentioned problem, this paper generates a super resolution images based o deep learning method. The proposed method improved feature information from low-resolution images using a super resolution method and also applied face recognition using a feature extraction and an classifier. In experiments, the proposed method improves the face recognition rate when compared to conventional methods.

주제어

표/그림 (12)

그림 Fig. 1. Example of low resolution images such as CCTVs.
그림 Fig. 2. Flowchart by proposed face recognition algorithm based on super-resolution.
그림 Fig. 3. Result of HOG feature extraction, (a) input and (b) HOG feature image.
그림 Fig. 4. Cumulative match score according to super-resolution method.
그림 Fig. 5. ROC curve comparison according to feature extraction.
그림 Fig. 6. ROC curve according to classifiers.
표 Table 1. Rank 10 score by super-resolution method in AR database
표 Table 1. Rank 10 score by super-resolution method in AR database
그림 Fig. 7. Rank 10 score by super-resolution method.
그림 Fig. 8. ROC curve comparison according to feature extraction.
그림 Fig. 9. ROC curve according to classifiers.
표 Table 2. Rank 10 score by super-resolution method in Extended Yale B

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 기존의 저해상도 얼굴 인식의 성능을 향상시키는 최적화 알고리즘을 제안하였다. 제안한 방법은 영상의 크기에 따라 초고해상도 기법을 이용하였으며 HOG 특징 추출을 사용하였다.

가설 설정

LDA는 우선 N개의 샘플영상{x1,x2,\(\cdots\),xN}는 n차원 영상 공간을 가지고 있으며 각각의 영상이 c클래스{X1,X2,\(\cdots\),Xc} 중 하나에 속한다고 가정한다.

제안 방법

본 논문의 성능 평가를 위해서 Pei Li[16]의 논문에서 사용한 순위(Rank) 개념을 적용하였다. 그리고 특징 추출 방법과 특징 분류에 대한 성능 차이를 분석하기 위해서 ROC(Receiver Operating Characteristics) 곡선을 사용해 그래프로 표현하였다. ROC는 아래의 식을 사용하여 계산할 수 있으며, 면적을 AUC(Area Under the Curve)라고 한다.
다양한 크기의 저해상도 영상들에 대하여 다섯 가지의 초고해상도 기법과 세 가지의 특징 추출 방법 및 두 가지의 분류기에 따른 전반적인 성능을 분석하였다. 그리고 해당 성능을 종합하여 최적의 저해상도 얼굴 인식 시스템을 설계하였다.
원본 영상을 4 m, 7 m 10 m의 원거리 저해상도 영상으로 만들기 위해 영상의 크기를 각각 15×20, 30×41, 60×82로 축소시켰다. 다양한 크기의 저해상도 영상들에 대하여 5가지의 초고해상도 기법, 3가지의 특징 추출 방법, 2가지의 분류기에 대한 각각의 성능과 전체적인 성능을 객관적인 수치로 나타내었다. 그리고 해당 성능을 종합하여 최적의 저해상도 얼굴 인식 시스템을 설계하였다.
원본 영상을 4 m, 7 m 10 m의 원거리 저해상도 영상으로 만들기 위해 영상의 크기를 각각 15×20, 30×41, 60×82로 축소시켰다. 다양한 크기의 저해상도 영상들에 대하여 다섯 가지의 초고해상도 기법과 세 가지의 특징 추출 방법 및 두 가지의 분류기에 따른 전반적인 성능을 분석하였다. 그리고 해당 성능을 종합하여 최적의 저해상도 얼굴 인식 시스템을 설계하였다.
다음으로 특징 추출의 성능을 비교하였다. 방식은 AR 데이터베이스 셋과 동일하며 본 실험에서도 HOG 특징 추출 방법이 가장 우수한 성능을 Fig.
다음은 분류기의 성능을 분석하기 위해서 특징 추출을 HOG로 고정한 뒤 실험하였다. 실험결과는 Fig.
저해상도 영상에서 특징을 추출하기 위해 잔여 구조(Residual Structure)와 조밀한 구조(Dense Structure)를 사용하면 네트워크가 부풀어 학습이 어려워진다. 따라서 두 개의 가지를 포함하는 잔여 증류 블록(Residual Distilling Block, RDB) 사용하여 하나의 가지가 잔여 연산을 수행하면 다른 하나의 가지가 효과적인 정보를 추출한다. 효율성을 향상시키기 위해 일부 RDB를 쌓고 하나의 긴 skip 연결을 사용하여 RDG(Residual Distilling Group)를 설계한다.
먼저 세 가지의 다른 사이즈의 저해상도 영상을 다섯 가지의 초고해상도 기법을 사용하여 복원한 누적 매칭 점수(Cumulative match score)를 분석하였다. 특징을 추출하는 방법은 HOG로 적용하였으며 성능 측정은 순위(Rank)를 사용하였다.
그러므로 인식에 있어서 특징을 추출하는 것은 해당 인물임을 확인하기에 매우 중요한 과정이다. 본 논문에서 특징 추출 기법 3가지 중에서 물체의 형태 변화가 심하지 않고 내부 패턴이 단순하며 윤곽선으로 물체를 식별할 수 있는 HOG(Histogram of Oriented Gradients, HOG) 특징 추출 방법을 사용하였다. HOG 방법은 대상 영역을 16×16 크기의 셀로 분할 후 수평 화소의 차이는 [-1,0,1]을 통해, 수직 화소의 차이는 [-1,0,1]^T을 이용하여 계산을 한다.
본 논문에서는 얼굴 특징 추출로 셀의 크기를 16×16 화소로, 블록의 크기는 2×2 셀로 고정하였다.
2는 제안하는 실시간 저해상도 얼굴 인식의 흐름도이다. 얼굴 인식을 위해 분류기를 학습시키는 학습 단계와 실제 얼굴 인식이 이루어지는 테스트 단계로 구분하였다. 학습 단계에서 인식하고자 하는 대상의 얼굴을 1 m, 3 m, 5 m, 7 m, 9 m에서 촬영 후 데이터베이스에 저장한다.
원본 영상을 4 m, 7 m 10 m의 원거리 저해상도 영상으로 만들기 위해 영상의 크기를 각각 15×20, 30×41, 60×82로 축소시켰다.
그리고 모든 고해상도 영상들에 대하여 HOG 특징 추출을 한다. 원본 영상의 특징과 복원된 영상 사이의 유클리드 거리를 계산하여 일치 여부를 통해 분류한다. 해당 분류를 통해 분류기를 학습시키며 학습 단계가 완료된다.
이렇게 추출된 특징에 대하여 각 대상들을 구분하기 위하여 분류기를 학습한다. 분류기로는 서포트 벡터(Support Vector)를 사용하여 두 클래스 사이의 마진을 조절하여 분류하는 방법인 SVM(Support Vector Machine)[14]이 있으며 클래스간의 거리를 최대화하며 클래스 내에서 분산을 최소화 하는 방법인 LDA (Linear Discriminant Analysis)[15]가 있다.
만약 S_W가 비정형인 경우 W_opt은 정규직교 열들을 가지는 행렬이고 S_B와 S_W을 최대로 만들며 W_opt은 식(5)로 나타낼 수 있다. 이를 통해 기존의 데이터베이스에 저장된 영상의 가중치와 실제 영상에서의 가중치를 비교하여 얼굴을 인식한다.
제안하는 알고리즘은 저해상도 얼굴 영상에 초고해상도 기법 중 Mao et al[10]의 방법을 적용하여 고해상도 영상으로 만든 뒤 HOG 특징 추출 기법을 사용하여 특징을 추출한 뒤 학습된 LDA 분류기를 사용하여 데이터베이스에 있는 인물로 인식을 하는 것이다.
본 논문은 기존의 저해상도 얼굴 인식의 성능을 향상시키는 최적화 알고리즘을 제안하였다. 제안한 방법은 영상의 크기에 따라 초고해상도 기법을 이용하였으며 HOG 특징 추출을 사용하였다. 특징들을 분류하여 얼굴을 인식하기 위하여 분류기로는 LDA를 사용하였다.
제안한 방법은 영상의 크기에 따라 초고해상도 기법을 이용하였으며 HOG 특징 추출을 사용하였다. 특징들을 분류하여 얼굴을 인식하기 위하여 분류기로는 LDA를 사용하였다. 제안한 알고리즘을 AR 데이터와 Extended Yale B에 실험한 결과 저해상도 영상에 대한 얼굴 인식의 성능이 개선됨을 확인하였다.
따라서 두 개의 가지를 포함하는 잔여 증류 블록(Residual Distilling Block, RDB) 사용하여 하나의 가지가 잔여 연산을 수행하면 다른 하나의 가지가 효과적인 정보를 추출한다. 효율성을 향상시키기 위해 일부 RDB를 쌓고 하나의 긴 skip 연결을 사용하여 RDG(Residual Distilling Group)를 설계한다. 이로 인해 효과적으로 지역 특징을 추출하며 전역 특징과 융합시킨다.

대상 데이터

다음으로 Extended Yale B 데이터베이스 구성은 38 명으로써 한 명 당 광원이 다른 64장의 영상이 있다. 다만, 본 실험에서는 매우 어두운 영상을 제외하고 20장을 사용하였다. 최종적으로 AR 데이터베이스 800장과 Extended Yale B 데이터베이스 760장을 사용하였다.
먼저 AR 데이터베이스는 100명으로써 한명 당 표정에 따라 영상이 8장씩 구성되었다. 다음으로 Extended Yale B 데이터베이스 구성은 38 명으로써 한 명 당 광원이 다른 64장의 영상이 있다. 다만, 본 실험에서는 매우 어두운 영상을 제외하고 20장을 사용하였다.
실험에서 AR 데이터베이스와 Extended Yale B 데이터베이스를 사용하였다. 먼저 AR 데이터베이스는 100명으로써 한명 당 표정에 따라 영상이 8장씩 구성되었다. 다음으로 Extended Yale B 데이터베이스 구성은 38 명으로써 한 명 당 광원이 다른 64장의 영상이 있다.
실험에서 AR 데이터베이스와 Extended Yale B 데이터베이스를 사용하였다. 먼저 AR 데이터베이스는 100명으로써 한명 당 표정에 따라 영상이 8장씩 구성되었다.
다만, 본 실험에서는 매우 어두운 영상을 제외하고 20장을 사용하였다. 최종적으로 AR 데이터베이스 800장과 Extended Yale B 데이터베이스 760장을 사용하였다.
얼굴 인식을 위해 분류기를 학습시키는 학습 단계와 실제 얼굴 인식이 이루어지는 테스트 단계로 구분하였다. 학습 단계에서 인식하고자 하는 대상의 얼굴을 1 m, 3 m, 5 m, 7 m, 9 m에서 촬영 후 데이터베이스에 저장한다. 1m 거리에서 촬영한 영상의 얼굴은 고해상도이며 해당 영상을 원본 영상으로 정하며 원본 영상의 크기를 기준 크기로 정한다.

데이터처리

성능의 신뢰도를 높이기 위해 다른 데이터베이스 셋인 Extended Yale B를 사용하였으며 AR 데이터베이스 셋과 같이 다섯 가지 초고해상도 기법들의 성능을 비교하였으며 특징 추출 방법 성능비교, 분류기 성능 비교를 진행하였다. 누적 매칭 점수는 대상의 수만큼 누적되기 때문에 AR 데이터와 같이 나타내기 위해서 정규화 후 나타내었다.

이론/모형

다음으로 세 가지의 특징 추출 방법의 성능을 비교하기 위해서 저해상도 영상의 크기는 30×41을 사용하였으며 복원에 필요한 초고해상도 기법으로 Wang et al[5]의 기법을 사용하였다.
본 논문에서는 최근 초고해상도 기법 중 가장 우수한 성능을 보여주는 디컨벌루셔널 디코더(Deconvolutional Decoder) 방식의 DDSRCNN을 선택하였다. 일반적으로 영상 복원은 손상된 이미지를 가져와 원본 영상을 추정하는 연산이다.
본 논문의 성능 평가를 위해서 Pei Li[16]의 논문에서 사용한 순위(Rank) 개념을 적용하였다. 그리고 특징 추출 방법과 특징 분류에 대한 성능 차이를 분석하기 위해서 ROC(Receiver Operating Characteristics) 곡선을 사용해 그래프로 표현하였다.
분류기로는 LDA방법을 사용하였으며 결과는 Fig. 5와 같다.
순위는 복원된 영상의 특징을 원본 영상의 특징과 유클리드 거리로 비교하여 실제 영상과의 일치 여부를 누적으로 점수를 매긴 것이다. 원본 영상의 특징을 원본 영상과 비교하여 점수를 매긴 것을 다이렉트(Direct) 방법으로 실험했으며 결과는 Fig. 4로 나타났다. Table 1은 Fig.
먼저 세 가지의 다른 사이즈의 저해상도 영상을 다섯 가지의 초고해상도 기법을 사용하여 복원한 누적 매칭 점수(Cumulative match score)를 분석하였다. 특징을 추출하는 방법은 HOG로 적용하였으며 성능 측정은 순위(Rank)를 사용하였다. 순위는 복원된 영상의 특징을 원본 영상의 특징과 유클리드 거리로 비교하여 실제 영상과의 일치 여부를 누적으로 점수를 매긴 것이다.

성능/효과

AR 데이터베이스 셋에서는 DDSRCNN의 성능이 60×82와 30×41 크기에서 우수했지만, 이번 실험에서는 60×82와 15×20크기에서 결과가 높게 나타났다.
84 값인 SVM 방법보다 우수한 성능으로 나타났다. AR 데이터베이스로 실험한 결과 CNN 기반의 초고해상도 기법이 우수한 복원 성능을 보여주었으며 HOG를 사용한 특징 추출과 LDA로 분류하는 방법이 최적화된 세팅으로 분석되었다.
8와 같이 보여주었다. 다음으로 특징 추출을 HOG방법으로 고정시킨 뒤 분류기의 성능을 비교하였으며 Fig. 9과 같이 SVM 보다 LDA의 성능이 높게 측정되었다. AR 데이터베이스 셋과 마찬가지로 Extended Yale B 데이터베이스 셋에서도 비슷한 결과로 나타났다.
첫째, 신호를 맨 아래 계층으로 역 전파할 수 있으므로 경사가 사라지는 문제를 해결하여 딥 네트워크를 손쉽게 교육하고 복원 성능을 향상시킨다. 둘째, 이러한 연결은 영상 세부 정보를 컨벌루션 층에서 디컨벌루션 층으로 전달하므로 선명한 영상으로 복구하는데 유용하다.
모든 컨벌루션 층의 계층적 기능을 활용함으로 CNN기반의 초고해상도 모델이 저해상도 영상의 계층 구조를 최대로 활용하지 못해 낮은 성능을 보이는 문제를 보완하였다. 조밀하게 연결된 컨벌루션 층을 통하여 지역 특징을 추출하기 위해 잔여 조밀 블록(Residual Dense Block, RDB)을 사용한 방법이다.
AR 데이터베이스 셋과 마찬가지로 Extended Yale B 데이터베이스 셋에서도 비슷한 결과로 나타났다. 신경망을 이용한 초고해상도 기법이 복원율이 우수했으며 이후 특징 추출에서는 HOG방법이 특징을 가장 잘 나타냈으며 해당 인물을 구분하는 분류기에서는 LDA의 결과가 가장 우수하였다.
즉, AUC값이 클수록 높은 성능을 보인다고 볼 수 있다. 실험 결과, LDA를 사용한 특징 추출 방법이 AUC 0.52 값으로 성능이 비교적 떨어졌고 다음으로 0.59 값의 PCA로 나타났으며 HOG의 방법이 0.93으로 가장 우수했다.
다음은 분류기의 성능을 분석하기 위해서 특징 추출을 HOG로 고정한 뒤 실험하였다. 실험결과는 Fig. 6과 같으며 LDA 방법이 AUC 0.95 값으로 0.84 값인 SVM 방법보다 우수한 성능으로 나타났다. AR 데이터베이스로 실험한 결과 CNN 기반의 초고해상도 기법이 우수한 복원 성능을 보여주었으며 HOG를 사용한 특징 추출과 LDA로 분류하는 방법이 최적화된 세팅으로 분석되었다.
특징들을 분류하여 얼굴을 인식하기 위하여 분류기로는 LDA를 사용하였다. 제안한 알고리즘을 AR 데이터와 Extended Yale B에 실험한 결과 저해상도 영상에 대한 얼굴 인식의 성능이 개선됨을 확인하였다.
컨벌루션 층으로부터 미러링 되어 연관된 디컨벌루션 층까지의 건너뛰는 연결은 두 가지 이점을 가진다. 첫째, 신호를 맨 아래 계층으로 역 전파할 수 있으므로 경사가 사라지는 문제를 해결하여 딥 네트워크를 손쉽게 교육하고 복원 성능을 향상시킨다. 둘째, 이러한 연결은 영상 세부 정보를 컨벌루션 층에서 디컨벌루션 층으로 전달하므로 선명한 영상으로 복구하는데 유용하다.

참고문헌 (16)

Y. Kim and J. Kim, "Development of Realtime Face Region Recognition System for City-security CCTV," Journal of Korea Multimedia Society, Vol. 13, No. 4, pp. 504-511, 2010.
H. Moon and S. Pan, "Long Distance Face Recognition System Using the Automatic Face Image Creation by Distance," Journal of The Institute of Electronics and Information Engineers, Vol. 51, No. 11, pp. 137-145, 2014.

원문보기 상세보기
R.C. Gonzalez and R.E. Woods, Digital Image Processing, Prentice Hall Publishers, U.S.A., 2008.
R. Keys, "Cubic Convolution Interpolation for Digital Image Processing," Journal of IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. 29, No. 6, pp. 1153-1160, 1981.

상세보기
Z. Wang, D. Liu, J. Yang, W. Han, and T. Huang, "Deep Networks for Image Superresolution with Sparse Prior," Proceedings of the IEEE International Conference on Computer Vision, pp. 370-378, 2015.
Y. Zhang, Y. Tian, Y. Kong, B. Zhong, and Y. Fu, "Residual Dense Network for Image Super-resolution," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2472-2481, 2018.
A. Krizhevsky, I. Sutskever, and G. Hinton, "Imagenet Classification with Deep Convolutional Neural Networks," Advances in Neural Information Processing Systems, pp. 1-9, 2012.
X. Sun, W. Lu, R. Wang, and F. Bai, "Distilling with Residual Network for Single Image Super Resolution," arXiv Preprint arXiv:1907.02843, 2019.
C. Dong, C. Loy, K. He, and X. Yang, "Image Super-resolution Using Deep Convolutional Networks," Journal of IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 38, No. 2, pp. 295-307, 2015.
X. Mao, C. Shen, and Y.B. Yang, "Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections," arXiv Preprint arXiv:1606.08921, 2016.
S. Wold, K. Esbensen, and P. Geladi, "Principal Component Analysis," Journal of Chemometrics and Intelligent Laboratory Systems, Vol. 2, Issues 1, pp. 37-52, 1987.

상세보기
H. Li, T. Jiang, and K. Zhang, "Efficient and Robust Feature Extraction by Maximum Margin Criterion," Advances in Neural Information Processing Systems, pp. 1-18, 2004.
N. Dalal and B. Triggs, "Histograms of Oriented Gradients for Human Detection," IEEE Computer Society Conference on Computer Vision and Pattern Recognition Pattern Recognition, pp. 886-893, 2005.
C. Corinna and V. Vapnik, "Support-vector Networks," Journal of Machine Learning, Vol. 20, No. 3, pp. 273-297, 1995.
P. Belhumeur, J. Hespanha, and D. Kriegman, "Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, no. 7, pp. 711-720, 1997.

상세보기
P. Li, L. Prieto, D. Mery, and P. Flynnon, "Low-resolution Face Recognition in the Wild: Comparisons and New Techniques," Journal of IEEE Transactions on Information Forensics and Security, Vol. 14, No. 8, pp. 2000-2012, 2019.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증