[논문]ResNet을 이용한 얼굴 인식 기반 출입관리시스템 개발

류세열; 김혜진; 차경애

doi:10.9717/kmms.2019.22.8.823

ResNet을 이용한 얼굴 인식 기반 출입관리시스템 개발
Development of Access Management System based on Face Recognition using ResNet 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.22 no.8, 2019년, pp.823 - 831

류세열 (School of Computer & Communication Engineering, Daegu University) , 김혜진 (School of Computer & Communication Engineering, Daegu University) , 차경애 (School of Computer & Communication Engineering, Daegu University)

Abstract ▼ AI-Helper

In recent years, there has been developed systems such as a surveillance system and access control using a face recognition function instead of a password or an RFID chip, thereby reducing the risk of falsification. Moreover, deep learning technology has been applied to real-time face recognition technology in video, so it makes possible the development of access control system that improves the accuracy of recognition and efficiency of management. In this paper, we propose a real-time access management system based on face recognition using ResNet. The system is based on web server, which make it possible to manage the access by recognizing the person of the image through the camera and access information stored in the database. It can be accessed by a user application to receive various information. The implemented system identifies a person in real time and allows access control by accurately distinguishing whether they are members or not, and the test results can recognize in 0.2 seconds. The accuracy of recognition rate is up to about 97% depending on the experiment environment. With this system, access can be managed quickly and effectively, even many people rush to it.

주제어

표/그림 (14)

그림 Fig. 1. System Structure.
그림 Fig. 2. Face Detector Comparison. (a) HOG Face Detector, (b) MMOD Human Face Detector, (c) Haar Cascade Face Detector, (d) DNN Face Detector
그림 Fig. 3. Processes of Face Recognition. (a) Input Image, (b) Face Detection, (c) Shape Prediction, (d) Encoded Vectors, (e) Face Recognition Result
그림 Fig. 4. The Process of Recognizing a Face.
그림 Fig. 5. Image Examples of Training Set.
그림 Fig. 6. Labeling Process on the Same Person Learning Phase.
그림 Fig. 7. Example of Face Recognition. (a) Face Detection, (b) Shape Prediction, (c) Face Recognition Result.
그림 Fig. 8. Results of Person Identification (Incoming Scene).
그림 Fig. 9. Results of Person Identification (Outgoing Scene).
그림 Fig. 10. Exiting Time Table on DB.
그림 Fig. 11. Capture of a Picture When an Outsider is Detected.
그림 Fig. 12. Interface of User Application.
표 Table 1. The Accuracy of Person Identification
표 Table 2. Comparison of Person Identification Performance between Proposed System and Other System

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

2초 미만인 실시간 딥러닝 얼굴 인식을 적용한 시스템 개발을 제안하고., 출입관리시스템에 적용 가능한 효율성을 보이고자 한다.
실제로 출입 관리가 필요한 분야에서 요구하는 높은 인식 정확도와 얼굴 판별 시간이 사용자의 불편함을 초래하지 않을 정도의 알고리즘을 적용하는 출입관 리시스템 개발이 필요하다. 본 논문에서는 3장의 사전 실험과 4장의 실험결과를 토대로 하여 얼굴 인식 시간이 0.2초 미만인 실시간 딥러닝 얼굴 인식을 적용한 시스템 개발을 제안하고., 출입관리시스템에 적용 가능한 효율성을 보이고자 한다.
얼굴 인식의 정확도와 검출 시간은 실시간 출입관리시스템의 핵심 요소라고 할 수 있다. 본 논문에서는 가장 효율적인 얼굴 인식 알고리즘의 구현을 위해서 얼굴 인식을 위해서 빈번히 사용된 기술들의 성능 비교를 시행하였다.
본 논문에서는 딥러닝 기반 얼굴 인식 기술을 출입관리시스템에 적용한 시스템의 개발을 통해서 그효율성을 검증하였다. 얼굴이 인식되는데 걸린 시간은 0.
본 논문에서는 딥러닝 기술의 하나인 ResNet을 사용하여 실시간으로 대상을 인식하고 출입을 관리하는 시스템을 제안한다. 딥러닝 기술을 사용하여, 카메라에서 얼굴을 캡처해 처리하는 이미지처리 기반 방식보다 뛰어난 보안성을 가지며, 출입 관리의 효율성을 향상할 수 있다.
[13]의 연구에서는 Deep Face나 VGG 알고리즘보다도 더 향상된 성능을 보이는 ResNet을 제안하였다. 본 논문에서는 최신의 고성능 인식 알고리즘인 ResNet 기반 얼굴 인식을 사용한 출입 관리 시스템을 구현하였다.

제안 방법

각 알고리즘의 성능을 실험하기 위해서, 실제 출입관리시스템이 적용될 장소에서 경제적인 효율성을 극대화하기 위해 일반적인 보급형 웹캠을 이용하여 GPU 환경에서 실험을 진행하였다. 사용한 웹캠은 S사의 SPC-A1200MB를 사용하였으며 해상도는640×480이며, FPS는 30, 동영상 화소는 30만이다.
구성원은 ‘내 출퇴근 기록 관리’ 버튼을 통하여 본인의 출입 기록을 볼 수 있으며, 관리자의 경우 관리자 로그인 을 통해서만 볼 수 있는 하단의 ‘구성원 출퇴근 기록 관리’ 버튼을 통하여 구성원 모두의 출입기록을 볼수 있도록 구현하였다.
영상을 처리하는 서버는 파이썬을 이용하여 개발되었으며, MySQL 데이터베이스를 사용하였고, 파이썬과 MySQL을 연동하는 PyMySQL 로 통합 시스템을 구현하였다. 또한, 스마트폰에서 사용되는 안드로이드 기반 어플리케이션을 제작하였다.
본 논문에서 제안하는 얼굴 인식을 이용한 출입관리시스템은 Fig. 1과 같이 웹 서버를 기반으로 동작 한다. 출입 장소에 설치되는 카메라를 통해서 입력된 영상의 사람을 판별하여 서버에서 출입 관리가 가능 하며 출입 정보가 데이터베이스에 저장된다.
4에서 보이는 바와 같이 이미 학습된 벡터들의 유클리디안 거리를 구하여 최단 거리에 해당하는 학습 정보와 일치하는 사람으로 인식하게 된다. 본 시스템에서는 실험을 통해서 유클리디안 거리가 0.4 미만이면 인식된 사람의 ID를 반환해주며 0.4 이상이면 출입이 허가되지 않은 사람임을 알리는 unknown을 반환한다. 딥러닝으로 학습된 모델을 사용하였기 때문에 수많은 학습된 사진들의 벡터값들과 비교할 수 있기에 더 높은 정확도를 보여주었다.
출입문에 카메라를 설치하고 입력되는 영상을 서버에서 처리하여 인식된 구성원의 이름을 데이터베이스로 전송한다. 영상을 처리하는 서버는 파이썬을 이용하여 개발되었으며, MySQL 데이터베이스를 사용하였고, 파이썬과 MySQL을 연동하는 PyMySQL 로 통합 시스템을 구현하였다. 또한, 스마트폰에서 사용되는 안드로이드 기반 어플리케이션을 제작하였다.
제안한 시스템은 OpenCV와 ResNet-10-Architecture를 기반으로 하는 얼굴 검출 모델을 사용하여 실시간 얼굴 인식 시스템을 구현하였다. 구현에 사용한 컴퓨터는 Intel의 I9-9900K의 CPU를 사용하였으며, Memory는 16GB 2666MHz DDR4 2장, 그래픽카 드는 RTX2080TI 2장을 사용하였다

대상 데이터

제안한 시스템은 OpenCV와 ResNet-10-Architecture를 기반으로 하는 얼굴 검출 모델을 사용하여 실시간 얼굴 인식 시스템을 구현하였다. 구현에 사용한 컴퓨터는 Intel의 I9-9900K의 CPU를 사용하였으며, Memory는 16GB 2666MHz DDR4 2장, 그래픽카 드는 RTX2080TI 2장을 사용하였다
딥러닝 기반 얼굴 인식 시스템의 구현을 위해서 dlib_face_recognition_resnet_model_v1[19]의 대략 300만 장의 얼굴 사진을 이용하였다. 이 데이터셋은 VGG의 데이터셋과 Face Scrub의 데이터셋[20]과 더불어 인터넷 검색을 통해 유명 인사들의 사진에서 얼굴 부분만 추출하여 제작한 이미지들로 Fig.
사용한 웹캠은 S사의 SPC-A1200MB를 사용하였으며 해상도는640×480이며, FPS는 30, 동영상 화소는 30만이다.
학습된 사람의 수(Number of People)는 5명, 10명, 20명으로 그룹으로 구성하여 그룹별로 2번씩 총 6번의 실험을 진행하였다.

데이터처리

실험에서 측정되는 1초 동안에 보이는 이미지의 개수인 FPS(Frame per Second)는 실시간으로 동작 하여야 하는 시스템에서는 최소 50 FPS가 적합하다는 기준으로 성능 평가를 시행하였다. Fig.

이론/모형

먼저, 출입 장소의 카메라에서 입력되는 영상은 ResNet 기반 얼굴 인식 학습 모델과 실시간 얼굴 검출이 가능한 dlib[19]을 이용하여 출입자를 식별하기 위하여 사용된다.

성능/효과

[6]은 얼굴 인식을 통한 출입 시스템을 위한 각 사용자의 얼굴 측면 사진, 흔들린 사진, 작은 사진 등에 높은 인식률을 보이는 얼굴 인식 OpenAPI 인 Lambda, Betaface, KAIROS 세 가지를 앙상블한 모델을 구현하였다. 구현 결과의 인식율은 Betaface 는 90.1%, KAIROS는 78.6%임에 반해 새로운 모델은 97.5%의 정확도를 보여주었다. 그러나, 누구인지 판별하는데 걸린 시간은 Betaface가 7초, KAIROS 는 4초가 걸린 것으로 나타나, 실시간 인식 시스템에는 다소 적합하지 않을 수 있다.
따라서 본 연구의 실험결과를 통해서 딥러닝 알고리즘이 실시간 얼굴 인식에 매우 적합하다는 것을알 수 있다. 더불어 딥러닝 알고리즘을 출입관리시스템에 적용하여 사람들이 출입하는 이동 과정을 직접 실험하고 이를 통한 성능 평가를 시행하였으며, 이결과를 실제 출입관리시스템에 적용 가능할 수 있음을 보였다.
본 논문에서는 딥러닝 기술의 하나인 ResNet을 사용하여 실시간으로 대상을 인식하고 출입을 관리하는 시스템을 제안한다. 딥러닝 기술을 사용하여, 카메라에서 얼굴을 캡처해 처리하는 이미지처리 기반 방식보다 뛰어난 보안성을 가지며, 출입 관리의 효율성을 향상할 수 있다. 또한, ResNet은 수많은 데이터로 학습된 모델로 실시간의 정확한 얼굴 인식 성능을 나타낸다.
따라서 본 연구의 실험결과를 통해서 딥러닝 알고리즘이 실시간 얼굴 인식에 매우 적합하다는 것을알 수 있다. 더불어 딥러닝 알고리즘을 출입관리시스템에 적용하여 사람들이 출입하는 이동 과정을 직접 실험하고 이를 통한 성능 평가를 시행하였으며, 이결과를 실제 출입관리시스템에 적용 가능할 수 있음을 보였다.
또한, ResNet은 수많은 데이터로 학습된 모델로 실시간의 정확한 얼굴 인식 성능을 나타낸다. 따라서, 제안한 시스템에서는 단말기에 응시한 얼굴 이미지를 캡처할 필요가 없으며, 실시간 영상을 통해 즉각적인 출입 관리가 가능하다.
본 시스템은 실시간으로 대상을 인지 및 판별하여 출입 관리를 하여 별도의 캡처 단말기나 자체 하드웨어의 개발이 요구되지 않는 장점이 있다. 또한, 간단한 카메라 설치만으로도 얼굴 인식 시스템이 구축된 서버를 통해서 구현할 수 있었으며, 출입자는 일상적인 출입 과정만으로도 관리할 수 있어 사용자 편의성과 관리 시스템의 효율성을 향상할 수 있다. 향후 다양한 실험을 통한 사용자 요구 사항을 파악하여 이를 반영한 보다 발전된 출입관리시스템을 개발하고자 한다.
Table 1은 제안한 시스템의 실시간 얼굴 인식의 정확도이다. 실험 결과 얼굴이 인식되고 입출입 시각 정보가 데이터베이스로 전송되는 데까지 걸리는 시간은 201 ms로 1초에 5번 정도였고 이를 5 cut이라고할 때 1 cut 당 인식된 구성원이 정확히 인식되는 확률을 구하였다.
그 중 Deep Face는 Facebook이 수집한 대용량 데이터를 9개의 국소 연결된 컨벌루션(convolution) 레이어로 학습시킨 알고리즘이다[2]. 이 알고리즘은 딥러닝 이전의 기존 방식보다 정확도가 27%가량 향상된 97.35 %로 딥러닝의 가치를 증명하였다. VGG Face는 인터넷 검색을 통해 데이터셋을 확보하고 15개의 컨벌 루션 레이어로 학습을 시켜 Deep Face의 정확도 보다 1%가 향상된 98.
이러한 결과를 바탕으로 구현한 시스템에서는 ResNet 모델을 사용하였으며, 얼굴 인식의 정확도를 보장하고, 멀리서부터 걸어오는 사람의 얼굴을 포착 하여 사용자의 편의성을 향상시킬 수 있다.
이를 이용한 얼굴 인식 실험결과 에서 FPS는 7.80으로 부드러운 느낌을 주지 못하였고 최소 크기 80×80으로 학습된 모델이므로 이 크기 보다 작은 경우 얼굴은 인식하지 못하는 등의 결과를 보여 실시간 얼굴 인식에는 적합하지 않다.
한 사람을 학습하기 위해서 사용한 학습 이미지의 개수(Photo per Person)가 1장인 경우는 약 93.95% 의 정확도를 나타내었고, 학습 이미지의 개수가 10장으로 늘어나면, 97.95%로 정확도가 높아졌다.

후속연구

또한, 간단한 카메라 설치만으로도 얼굴 인식 시스템이 구축된 서버를 통해서 구현할 수 있었으며, 출입자는 일상적인 출입 과정만으로도 관리할 수 있어 사용자 편의성과 관리 시스템의 효율성을 향상할 수 있다. 향후 다양한 실험을 통한 사용자 요구 사항을 파악하여 이를 반영한 보다 발전된 출입관리시스템을 개발하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	OpenCV와 Res Net-10-Archi-tecture 을 기반으로 한 실시간 얼굴 인식 시스템의 장점은 무엇인가?	2초이며, 그 정확도는 97% 이상이었다. 본 시스템은 실시간으로 대상을 인지 및 판별하여 출입 관리를 하여 별도의 캡처 단말기나 자체 하드웨어의 개발이 요구되지 않는 장점이 있다. 또한, 간단한 카메라 설치만으로도 얼굴 인식 시스템이 구축된 서버를 통해서 구현할 수 있었으며, 출입자는 일상적인 출입과정만으로도 관리할 수 있어 사용자 편의성과 관리시스템의 효율성을 향상할 수 있다. 향후 다양한 실험을 통한 사용자 요구 사항을 파악하여 이를 반영한 보다 발전된 출입관리시스템을 개발하고자 한다.
	HOGFaceDetector 은 무엇인가?	HOGFaceDetector는 얼굴 인식 시스템의 가장 대표적인 HOGFeatures와 SVM을 기반으로 한 얼굴 검출 모델이다. 이를 이용한 얼굴 인식 실험결과에서 FPS는 7.
	얼굴 인식 기술이 최근 어느 환경에 적용되고 있는가?	얼굴 인식 기술은 IT 응용의 다양한 분야에서 많은 연구가 이루어지고 있으며, 최근에는 감시 시스템, 출입국 관리, 생체인식 기반 출입 관리 등과 같은 실제 환경에 적용되고 있다[1,2]. 이는 신분 확인 시스템에서 사용되는 비밀번호나 PIN(Personal Iden-tification Number), RFID(Radio Frequency Identi-fication) 칩의 단점인 변조의 위험성이 낮으며, 딥러닝 기술이 접목된 고성능의 얼굴 인식이 가능하게 되었기 때문이다[3,4].

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증