[논문]마스크를 착용한 환경에서 얼굴 인식을 활용한 자동 출석체크 시스템

김영국; 임채현; 손민지; 김명호

마스크를 착용한 환경에서 얼굴 인식을 활용한 자동 출석체크 시스템
Automatic Attendance Check System Using Face Recognition In A Masked Environment 원문보기

김영국 (숭실대학교 융합소프트웨어학과) , 임채현 (숭실대학교 융합소프트웨어학과) , 손민지 (숭실대학교 융합소프트웨어학과) , 김명호 (숭실대학교 소프트웨어학과)

본 논문에서는 CCTV를 통해 얻은 영상에서 얼굴을 인식하여 자동으로 출석 여부를 체크하는 시스템을 소개한다. 이 시스템은 CNN을 바탕으로 RetinaFace 모델을 사용하여 얼굴을 탐지하고, 탐지된 얼굴을 ArcFace 모델로 R⁵¹²의 목표 공간으로 임베딩한다. 기존 데이터베이스에 등록된 얼굴과 CCTV를 통해 얻은 얼굴들의 임베딩 벡터 사이의 Angular Cosine Distance를 측정하여 동일 인물인지 판단하는 매칭 알고리즘을 제안한다. 실험을 통해 두 모델을 동시에 사용할 최적의 환경을 파악하고, 마스크 착용으로 얼굴의 하단부가 가려지는 폐색 문제에 더욱 효과적으로 대응하여 매칭 성능을 높이는 방법을 제안한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

자동 출석체크 시스템과 관련해 다양한 접근방법이 제시되고 있다. 본 논문에서는 CCTV 영상을 통한 자동 출석체크 시스템을 제안한다. 영상에서 CNN을 활용하여 얼굴을 검출 및 임베딩하여 기존 데이터베 이스의 사진과 비교하여 출석 여부를 판단한다.
이에 본 논문에서는 마스크를 착용한 얼굴을 인식하는 방법을 제시하고, 강의실의 CCTV를 통해 얻은 영상에서 얼굴을 탐지하고 기존 데이터베이스에 등록된 얼굴과 비교하여 자동으로 출석을 체크하는 딥 러닝 시스템을 설계한다.

제안 방법

RetinaFace를 통해 검출된 얼굴의 바운딩 박스의 크기와 데이터베이스의 사진 크기와의 관계를 파악한다. 동일 인물을 약 45cm 간격으로 5장씩 촬영하여 서로 다른 해상도의 이미지에서 동일 인물 간 거리를 계산하면 Fig.
먼저 영상에서 RetinaFace를 통해 얼굴을 탐지하고, 기존 데이터베이스 즉 출석부의 얼굴 사진 및 탐지한 얼굴을 ArcFace를 통해 R⁵¹²의 목표 공간으로 임베딩한다. 임베딩하여 생성된 두 벡터 사이의 거리를 Angular Cosine Distance로 측정하여 가장 가까운 두 사진을 서로 매칭한다.
얼굴 탐지 및 인식 모델을 통한 자동 출석체크 시스템[8]을 제안한다. 시스템의 구조는 다음 Fig.
본 논문에서는 CCTV 영상을 통한 자동 출석체크 시스템을 제안한다. 영상에서 CNN을 활용하여 얼굴을 검출 및 임베딩하여 기존 데이터베 이스의 사진과 비교하여 출석 여부를 판단한다. 실제 환경에 적용하기 위해 경량의 backbone 네트워크를 사용하였으며, 정면 얼굴이 검출될 수 있는 환경으로 제한하였다.
이 경우 출석부의 사진과 탐지된 얼굴의 동일성을 판단하기 어렵다. 이를 해결하려는 방법으로 Arcface의 입력으로 사용할 2가지 이미지 생성 방식을 제안한다. 첫 번째 방식은 RetinaFace를 통해 검출된 바운딩 박스에서 코를 지나는 수평선 하단부를 모두 흰색으로 바꾸어 새로운 이미지를 생성한다.
폐색이 일어난 것으로 예측되는 부분을 제외한 상단부만의 특징을 추출하여 거리를 측정한다. 폐색이 일어나지 않은 부분의 특징에 가중치를 주기 위해 각각 거리를 측정하여 기존 바운딩 박스의 거리와 결합한다.
두 번째 방식은 바운딩 박스에서 코를 지나는 수평선 하단부를 잘라내고 상단부만 남긴 이미지를 생성한다. 폐색이 일어난 것으로 예측되는 부분을 제외한 상단부만의 특징을 추출하여 거리를 측정한다. 폐색이 일어나지 않은 부분의 특징에 가중치를 주기 위해 각각 거리를 측정하여 기존 바운딩 박스의 거리와 결합한다.

대상 데이터

실험 데이터는 The 'Celebrity Together' Dataset의 훈련 데이터셋 서 임의의 100개 클래스 중 정면 사진을 골라 마스크를 씌운 새로운 데이터셋을 만들었다. 기존 데이터베이스 즉 출석부의 사진처럼 사용할 데이터는 D1, CCTV 환경에서 검출된 이미지처럼 사용할 데이터는 D2, D3는 D2의 이미지에서 마스크를 씌워 만든 이미지 데이터이다. 실험1은 D1과 D2, 실험2는 D1과 D3를 매칭하는 것으로 명칭 한다.
실험 데이터는 The 'Celebrity Together' Dataset의 훈련 데이터셋 서 임의의 100개 클래스 중 정면 사진을 골라 마스크를 씌운 새로운 데이터셋을 만들었다.

이론/모형

RetinaFace는 ResNet-50[9]을 backbone으로 WIDER FACE 데이터셋에서 사전 훈련된 모델을, ArcFace는 ResNet-50을 backbone으로 MS Celeb 1M 데이터셋[10]에서 사전 훈련된 모델을 사용한다.
딥 러닝을 사용한 물체 검출 방법은 CNN 기반의 One-stage, Two-stage 탐지 방법으로 구분한다. 물체를 검출하는 방법은 크게 물체의 위치를 찾는 Localization과 물체를 구별하는 Classification으로 이루어 진다.
얼굴 검출에서는 One-stage 방법으로도 충분한 정확도를 보이기 때문에 우리는 RetinaFace[3]라는 One-stage 기반의 Multi-Task Learning 전략을 사용하는 모델을 사용한다.

성능/효과

하지만 모두 마스크를 착용한 실험 2의 경우 새로 제안한 방법과 조합할수록 성능이 향상되었다. F 이미지에서 80%의 Rank-1, 88%의 매칭 정확도를 F, W, N 이미지에서 거리를 결합하여 각각 85%의 Rank-1, 94%의 매칭 정확도로 향상시켰다. 실제 강의실 환경에서 10명을 대상으로 결과는 다음과 같다.
마스크를 쓴 경우 동일성을 잘 판단하기 위해 얼굴 하단부를 흰색으로 만든 이미지, 얼굴의 상단부 이미지로 임베딩된 벡터로 거리를 측정하고 얼굴 전체 이미지에서 얻은 거리와 결합 방법을 제시한다. 그 결과 100명을 대상으로 마스크를 착용하지 않은 경우의 정확도를 유지하면서, 마스크를 쓴 상황에서 기존 방법보다 Rank-1 정확도를 16%, 매칭 정확도를 19% 증가시켰다. 우리가 제안하는 방법 즉 비교할 두 사진에서 폐색이 있는 부분에 동일한 처리 방법을 통해 폐색을 지우거나, 폐색이 일어나지 않은 부분만으로 거리를 측정하여 전체 이미지에서 측정한 거리와 결합하여 매칭하는 것이 선글라스, 모자 등으로 얼굴의 다른 부분을 가려 생기는 폐색 문제에 잘 대응할 것으로 기대한다.
마스크를 착용하지 않은 실험 1의 경우 우리가 제안한 방법을 적용했을 때 얼굴 검출한 바운딩 박스만 사용하여 거리를 측정한 경우와 크게 다르지 않은 결과를 보였다. 하지만 모두 마스크를 착용한 실험 2의 경우 새로 제안한 방법과 조합할수록 성능이 향상되었다. F 이미지에서 80%의 Rank-1, 88%의 매칭 정확도를 F, W, N 이미지에서 거리를 결합하여 각각 85%의 Rank-1, 94%의 매칭 정확도로 향상시켰다.

후속연구

그 결과 100명을 대상으로 마스크를 착용하지 않은 경우의 정확도를 유지하면서, 마스크를 쓴 상황에서 기존 방법보다 Rank-1 정확도를 16%, 매칭 정확도를 19% 증가시켰다. 우리가 제안하는 방법 즉 비교할 두 사진에서 폐색이 있는 부분에 동일한 처리 방법을 통해 폐색을 지우거나, 폐색이 일어나지 않은 부분만으로 거리를 측정하여 전체 이미지에서 측정한 거리와 결합하여 매칭하는 것이 선글라스, 모자 등으로 얼굴의 다른 부분을 가려 생기는 폐색 문제에 잘 대응할 것으로 기대한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

마스크를 착용한 환경에서 얼굴 인식을 활용한 자동 출석체크 시스템
Automatic Attendance Check System Using Face Recognition In A Masked Environment 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

마스크를 착용한 환경에서 얼굴 인식을 활용한 자동 출석체크 시스템 Automatic Attendance Check System Using Face Recognition In A Masked Environment 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

마스크를 착용한 환경에서 얼굴 인식을 활용한 자동 출석체크 시스템
Automatic Attendance Check System Using Face Recognition In A Masked Environment 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper