[논문]가시광-근적외선 혼합 영상에서의 얼굴인식에 관한 연구

김광주; 원철호

doi:10.9717/kmms.2019.22.8.844

가시광-근적외선 혼합 영상에서의 얼굴인식에 관한 연구
Face Recognition in Visual and Infra-Red Complex Images 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.22 no.8, 2019년, pp.844 - 851

김광주 (Electronics and Telecommunications Research Institute) , 원철호 (Dept. of Biomedical Eng., Kyungil University)

Abstract ▼ AI-Helper

In this paper, we propose a loss function in CNN that introduces inter-class amplitudes to increase inter-class loss and reduce intra-class loss to increase of face recognition performance. This loss function increases the distance between the classes and decreases the distance in the class, thereby improving the performance of the face recognition finally. It is confirmed that the accuracy of face recognition for visible light image of proposed loss function is 99.62%, which is better than other loss functions. We also applied it to face recognition of visible and near-infrared complex images to obtain satisfactory results of 99.76%.

주제어

표/그림 (10)

그림 Fig. 1. Structure of CNN.
그림 Fig. 2. Decision boundary of (a) conventional loss (b) proposed loss.
그림 Fig. 3 VGGFace2 data sets.
그림 Fig. 4. LFW data sets.
그림 Fig. 5. Structure of Resface20.
그림 Fig. 6. Accuracy curve of proposed loss.
표 Table 1. Accuracy comparison of loss functions in LFW data sets
표 Table 2. Accuracy comparison of loss functions in visual and infra-red images
그림 Fig. 7. Visual and infra-red images.
그림 Fig. 8. Normalized images by MTCNN.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 얼굴인식의 성능을 높이기 위하여 클래스간 진폭 w를 도입하여 클래스간(inter-class) 손실을 증가시키고 클래스내(intra-class) 손실을 감소시키는 손실함수를 제안하였다. 이 손실함수는 클래스간의의 거리는 증가시키고 클래스내의 거리는 감소시켜 최종적으로 얼굴인식의 성능을 향상시킨다.
본 논문에서는 진폭 인자 w를 도입하여 클래스간(inter-class)의 거리는 증가시키고, 클래스내(intraclass)의 거리는 감소시키는 손실함수를 제안하였다.
주간의 가시광 영상과 야간의 근적외선 영상의 복합영상에 대한 얼굴인식이 매우 중요한 시점이라고 할 수 있다. 본 논문에서는 진폭 인자를 도입하여 클래스간의 거리는 증가시키고, 클래스내의 거리는 감소시키는 손실함수를 제안하였다. 다른 클래스의 진폭을 크게 함으로써, 클래스간의 손실을 증가시키고 클래스 내의 손실을 감소시켜 반복적으로 수행되는 학습과정에서 얼굴인식 성능을 향상시킨다.
Face Net 연구의 성공에 따라 초구체(hypersphere) 공간에서의 고차원의 영상 데이터 맵핑을 위한 추가 여유 소프트맥스(additive margin softmax) 손실함수를 정의하여 학습을 수행하는 다양한 연구가 수행되었다. 이러한 손실함수를 재정의 하는 것의 주요 목적은 동일 인물로부터 추출된 특징의 분산은 작게 하고 다른 인물로부터 추출된 특징의 분산은 크게 하는 것이다.

제안 방법

7에 보였다. 랜덤 셔플링에 의해 학습 영상과 테스트 영상을 절반씩 나누어서 얼굴인식 실험을 실시하였다.
2014년에 CVPR에서 발표된 DeepID1[8]의 경우는 DeepFace의 입력 해상도 152×152 화소보다 작은 39×31 화소를 사용하고 컨벌류션 계층도 작은 경량화된 CNN 기반 얼굴 인식기이다. 상대적으로 작은 입력 영상과 깊지 않은 네트워크 또한 적은 학습 데이터로 인하여 단일 네트워크에서는 DeepFace 보다 좋지 않은 성능을 보였지만 얼굴 영역을 랜덤 크롭한 패치형태로 입력 영상을 다변화하였다. 이의 결과로 DeepFace보다 좋은 97.

대상 데이터

DeepID1에 이어서 성능을 개량한 DeepID2[9]는 DeepID1과 다르게 칼라 영상을 입력으로 사용하였고 입력 해상도도 39×31 화소에서 55×47 화소로 증가하였다.
4의 LFW를 사용하였다. LFW 데이터 세트는 실제 환경에서 모아진 얼굴 데이터 세트이며 LFW 데이터 세트는 5,749명의 연예인의 웹 사진 13,323개로 구성되어 있다. 10개의 군으로 나누어 각각 6,000개의 얼굴의 쌍으로 구성되어 있다.
가시광/적외선 영상의 얼굴인식 실험에 사용된 영상은 40명에 대하여 동시간에 획득한 적외선 및 가시광 영상으로서 총 장수는 9,046장이며 가시광선 영상 4,610장, 적외선 영상 4,436장으로 구성되어 있으며 Fig. 7에 보였다. 랜덤 셔플링에 의해 학습 영상과 테스트 영상을 절반씩 나누어서 얼굴인식 실험을 실시하였다.
검증을 위한 데이터 세트로서는 Fig. 4의 LFW를 사용하였다. LFW 데이터 세트는 실제 환경에서 모아진 얼굴 데이터 세트이며 LFW 데이터 세트는 5,749명의 연예인의 웹 사진 13,323개로 구성되어 있다.
얼굴 인식을 위해 사용되는 데이터 세트로서 VGG Face2와 CASIA-WebFace가 많이 사용되며 VGG Face2의 인식률이 더 우수한 것으로 알려져 있으며, 실제 실험결과 VGGFace2의 인식률이 우수하여 본 실험에서 학습 데이터로서 VGGFace2를 사용하였다. Fig.

이론/모형

얼굴인식을 위한 임베딩 피쳐의 학습을 위해서 VGGFace2과 LFW 데이터 세트에 대한 얼굴 검출 및 정렬과정이 필요하다. 물체 겹침, 큰 자세 변화 및 조명 변화 등 다양한 상황에서 얼굴을 검출하고 정렬하기 위한 방법 중에 MT(Multi-Task)CNN[14] 이 우수한 성능을 보이고 있으며 본 논문에서는 이를 사용하였다.
본 논문에서 사용한 CNN 모델은 Resnet을 기본으로 구성한 20개의 계층을 가지는 다층 구조의 Res Net-20[13] 모델을 사용하였으며 CNN 구조를 텐서 보드를 이용하여 Fig. 5에 보였다.

성능/효과

딥러닝 기반 얼굴 인식 알고리즘은 FaceBook에서 2014년도에 발표한 DeepFace[7]이다. Face Book에서 자체 수집한 4백만 개의 얼굴 영상을 사용 하여서 총 8계층으로 구성된 네트워크를 학습하고 이들을 복수 개 생성해서 병합함으로써 LFW에서 97.25%를 달성하여 인간 인식 수준인 97.53%와 유사한 결과를 얻을 수 있었다. 2014년에 CVPR에서 발표된 DeepID1[8]의 경우는 DeepFace의 입력 해상도 152×152 화소보다 작은 39×31 화소를 사용하고 컨벌류션 계층도 작은 경량화된 CNN 기반 얼굴 인식기이다.
Fig. 4의 LFW 데이터 세트에 대한 얼굴인식 결과를 Table 1에 보였으며 제안한 손실함수의 얼굴인식 정확도가 99.62%로서 가장 우수함을 알 수 있었다.
Fig. 8의 영상의 가시광/적외선 혼합영상에 대한 얼굴인식 결과를 Table 2에 보였으며 제안한 손실함수의 얼굴인식 정확도가 99.76%로서 가장 우수함을 알 수 있었다.
62%로서 다른 손실함수보다 우수함을 확인하였다. 또한 이를 가시광-근적외선 복잡영상의 얼굴인식에 적용시켜 99.76%의 만족할 만한 결과를 얻었다.
DeepID1에 이어서 성능을 개량한 DeepID2[9]는 DeepID1과 다르게 칼라 영상을 입력으로 사용하였고 입력 해상도도 39×31 화소에서 55×47 화소로 증가하였다. 소프트맥스 손실(softmax loss)은 식별 손실(identification loss), 유클리드 거리(Euclidean distance)를 이용한 손실 함수는 검증 손실(verification loss)로 가정하고 다중작업 학습기법을 제안하여 DeepID1보다 좋은 성능을 달성하였고 사용하는 패치를 25개로 낮출 수 있었다. 최종 성능은 Deep Face보다 좋은 98.
62%로서 다른 손실함수보다 우수함을 확인하였다. 이를 가시광-근적외선 복합영상의 얼굴인식에 적용시켰을 때 인식 정확도가 99.76%로서 만족할 만한 결과를 얻었다.
상대적으로 작은 입력 영상과 깊지 않은 네트워크 또한 적은 학습 데이터로 인하여 단일 네트워크에서는 DeepFace 보다 좋지 않은 성능을 보였지만 얼굴 영역을 랜덤 크롭한 패치형태로 입력 영상을 다변화하였다. 이의 결과로 DeepFace보다 좋은 97.45 %를 LFW(Labeled Faces in the Wild)에서 달성하였다. DeepID1에 이어서 성능을 개량한 DeepID2[9]는 DeepID1과 다르게 칼라 영상을 입력으로 사용하였고 입력 해상도도 39×31 화소에서 55×47 화소로 증가하였다.
다른 클래스의 진폭을 크게 함으로써, 클래스간의 손실을 증가시키고 클래스 내의 손실을 감소시켜 반복적으로 수행되는 학습과정에서 얼굴인식 성능을 향상시킨다. 제안한 손실 함수를 사용했을 때 가시광 영상에 대한 얼굴인식 정확도가 99.62%로서 다른 손실함수보다 우수함을 확인하였다. 이를 가시광-근적외선 복합영상의 얼굴인식에 적용시켰을 때 인식 정확도가 99.
이 손실함수는 클래스간의의 거리는 증가시키고 클래스내의 거리는 감소시켜 최종적으로 얼굴인식의 성능을 향상시킨다. 제안한 손실 함수의 가시광 영상에 대한 얼굴인식 정확도가 99.62%로서 다른 손실함수보다 우수함을 확인하였다. 또한 이를 가시광-근적외선 복잡영상의 얼굴인식에 적용시켜 99.
소프트맥스 손실(softmax loss)은 식별 손실(identification loss), 유클리드 거리(Euclidean distance)를 이용한 손실 함수는 검증 손실(verification loss)로 가정하고 다중작업 학습기법을 제안하여 DeepID1보다 좋은 성능을 달성하였고 사용하는 패치를 25개로 낮출 수 있었다. 최종 성능은 Deep Face보다 좋은 98.97%를 LFW에서 달성하였다.

후속연구

AlexNet은 Top-5 에러율 17%를 달성하여 기존의 기록을 갱신하였다. 이는 딥러닝으로 기존의 컴퓨터 비전 기법들을 사용한 알고리즘들의 성능을 월등히 능가하였다는 점에서 후속 딥러닝 연구의 시초이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	얼굴인식 기술은 무엇인가?	얼굴인식 기술은 얼굴을 포함하는 정지영상 또는 비디오에 대해 얼굴 영역의 자동적인 검출 및 분석을 통해 해당 얼굴에 대한 인물을 분류하는 기술로 패턴인식 및 컴퓨터 비전 분야에서 지속적으로 연구되는 분야이다. 최근에는 감시 시스템, 출입국관리, 생체인식 등과 같은 실제 환경에 적용되고 있다.
	얼굴인식 기술의 문제는 무엇인가?	최근에는 감시 시스템, 출입국관리, 생체인식 등과 같은 실제 환경에 적용되고 있다. 얼굴인식 기술은 다른 물체인식 기술대비 상대적으로 성숙된 기술로 높은 성능을 보인다고 알려져 있으나, 실제 환경에서 취득되는 얼굴 영상은 포즈 및 조명 변화, 원거리 촬영과 사람의 움직임에 의한 저 해상도 및 블러링 문제 등으로 인해 여전히 해결해야 할 문제가 많다. 딥러닝 기술의 발달에 힘입어 영상인식기술이 매우 빠른 속도로 발전하고 있는데 딥러닝 기술은 많은 수의 계층(layer)으로 구성된 깊은 신경망 구조에 대용량의 데이터를 학습시키는 기술이다.
	조명변화에 강인한 특징 추출기법과 근적외선 및 가시광 영상의 이종 영상에 대한 얼굴인식 연구는 어떤 문제를 다루는가?	딥러닝 기반 얼굴인식의 경우 와일드 환경에서도 얼굴인식 성능은 매우 높아지고 있고 사람의 인지 성능을 뛰어넘는 연구 사례도 나타나고 있다[2]. 최근 보안 및 공공 안전을 목적으로 하는 근적외선 CCTV 설치가 증가하고 있으며, 얼굴을 포함하는 영상은 촬영 시간과 설치 위치에 따라 변화하는 조명에 의해 영향을 받게 된다. 이러한 문제를 다루기 위해 조명변화에 강인한 특징 추출기법과 근적외선 및 가시광 영상의 이종 영상에 대한 얼굴인식 연구가 진행되었다[3].

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증