[논문]출입 통제에 활용 가능한 딥러닝 기반 마스크 착용 판별

이승호

doi:10.5762/kais.2020.21.8.395

출입 통제에 활용 가능한 딥러닝 기반 마스크 착용 판별
Deep learning based face mask recognition for access control 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.21 no.8, 2020년, pp.395 - 400

초록
AI-Helper

전 세계적으로 유행하며 수많은 확진자와 사망자를 발생시킨 코로나바이러스-19(COVID-19)는 일상에서 사람 간 전염이 가능하여 국민들을 불안과 공포에 떨게 하고 있다. 감염을 최소화하기 위해서는 건물 출입시 마스크 착용이 필수적이지만 일부 사람들은 여전히 마스크 없이 얼굴을 노출시킨 채 건물에 출입하고 있다. 본 논문에서는 효율적인 출입 통제를 위해 얼굴에 마스크를 착용했는지 여부를 자동으로 판별하는 방법을 제안한다. 제안 방법은 양쪽 눈 영역을 검출하고 눈 위치를 참조하여 마스크 착용 영역(양쪽 눈 아래 얼굴 영역)을 예측한다. 이 때 마스크 착용 영역을 보다 정확히 예측하기 위해 양쪽 눈 위치가 수평이 되도록 얼굴 영역을 회전하여 정렬한다. 정렬된 얼굴 영역에서 추출된 마스크 착용 영역은 이미지 분석에 특화된 딥러닝 기법인 CNN(Convolutional neural network)을 통해 마스크 착용 여부(착용 또는 미착용)를 최종 판별한다. 총 186장의 테스트 이미지에 대해 실험한 결과, 98.4%의 판별 정확도를 보였다.

Abstract ▼ AI-Helper

Coronavirus disease 2019 (COVID-19) was identified in December 2019 in China and has spread globally, resulting in an ongoing pandemic. Because COVID-19 is spread mainly from person to person, every person is required to wear a facemask in public. On the other hand, many people are still not wearing facemasks despite official advice. This paper proposes a method to predict whether a human subject is wearing a facemask or not. In the proposed method, two eye regions are detected, and the mask region (i.e., face regions below two eyes) is predicted and extracted based on the two eye locations. For more accurate extraction of the mask region, the facial region was aligned by rotating it such that the line connecting the two eye centers was horizontal. The mask region extracted from the aligned face was fed into a convolutional neural network (CNN), producing the classification result (with or without a mask). The experimental result on 186 test images showed that the proposed method achieves a very high accuracy of 98.4%.

주제어

표/그림 (10)

그림 Fig. 1. Block diagram of proposed method.
그림 Fig. 2. An example of face alignment.
그림 Fig. 3. Illustration of mask region extraction from an aligned face region image.
그림 Fig. 4. Images of aligned faces with masks (upper row) and images of corresponding mask regions (lower row).
그림 Fig. 5. Images of aligned faces without masks (upper row) and images of corresponding mask regions (lower row).
그림 Fig. 6. Convolutional neural network model used in this paper.
그림 Fig. 7. Examples of input images in which the mask regions are successfully extracted (see Fig. 8).
그림 Fig. 8. Examples of mask region images extracted from the input images in Fig. 7.
그림 Fig. 9. Examples of input images in which the mask regions are not successfully extracted.
표 Table 1. Results for k-fold validation (k=5).

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

두 번째 실험의 목적은 마스크 착용 얼굴과 미착용 얼굴을 정확하게 구별할 수 있는지를 검증하는 것이다. 3.
본 논문에서는 출입 통제를 위해 얼굴에 마스크를 착용했는지 여부를 자동으로 판별하는 방법을 제안하였다. 눈 검출을 통해 검출 및 정렬된 얼굴 영역에서 마스크 착용 영역을 추출한 뒤, 이미지에 특화된 딥러닝 기법인 CNN를 이용하여 마스크 착용 여부(착용 또는 미착용)를 최종 판별한다.

제안 방법

다음으로 정렬된 얼굴 영역에서 상대적인 위치로 마스크 착용 영역을 이미지로 출력한다. CNN 분류기(CNN Classification)가 마스크 착용 영역 이미지를 분석하여 마스크 착용 여부를 판별한다. 2.
i7-8700K CPU, 48GB 램 PC에서 마스크 착용 영역 검출에 대한 계산시간을 측정 분석하였다. 총 100장의 이미지를 처리하는데 7.
양쪽 눈 영역을 검출하고 눈 위치를 참조하여 얼굴 영역을 추출한다. 그리고 마스크 착용 영역(양쪽 눈 아래 얼굴 영역)을 보다 정확히 예측하기 위해 양쪽 눈높이가 동일해지도록 얼굴 영역을 회전하여 정렬한다. 정렬된 얼굴 영역에서 추출된 마스크 착용 영역은 이미지 분석에 특화된 딥러닝 기법인 CNN (convolutional neural network)[3, 10]을 통해 마스크 착용 여부(착용 또는 미착용)를 최종적으로 판별한다.
본 논문에서는 출입 통제를 위해 얼굴에 마스크를 착용했는지 여부를 자동으로 판별하는 방법을 제안하였다. 눈 검출을 통해 검출 및 정렬된 얼굴 영역에서 마스크 착용 영역을 추출한 뒤, 이미지에 특화된 딥러닝 기법인 CNN를 이용하여 마스크 착용 여부(착용 또는 미착용)를 최종 판별한다. 마스크 착용 영역 검출과 마스크 착용 여부 판별 효용성에 대해 각각 실험을 통해 검증하였다.
1절에서 검출된 93장의 마스크 착용 영역 이미지들에 마스크 미착용자 6명에 대한 마스크 착용 영역 이미지들 93장을 추가하여 총 186장의 이미지를 확보하였다. 마스크 미착용자들에 대한 입력 이미지들은 무료로 공개된 GTAV Face Database[8]에서 2.1절의 마스크 착용 영역 추출 방법을 적용하여 획득하였다. Fig.
눈 검출을 통해 검출 및 정렬된 얼굴 영역에서 마스크 착용 영역을 추출한 뒤, 이미지에 특화된 딥러닝 기법인 CNN를 이용하여 마스크 착용 여부(착용 또는 미착용)를 최종 판별한다. 마스크 착용 영역 검출과 마스크 착용 여부 판별 효용성에 대해 각각 실험을 통해 검증하였다. 본 논문에서 제안한 방법은 코로나바이러스와 같은 전염병이 유행인 시기에 적은 인력으로 마스크 미착용자를 색출하는데 유용하게 활용될 수 있을 것으로 기대한다.
본 논문에서 제안하는 마스크 착용 판별 방법은 마스크 착용/미착용 얼굴 모두를 검출할 수 있도록 양쪽 눈 영역 검출에 기반한다. 양쪽 눈 영역을 검출하고 눈 위치를 참조하여 얼굴 영역을 추출한다.
본 논문에서 제안하는 방법은 사람 키 높이 정도에 설치된 카메라를 응시하면서 한명씩 차례로 입장하는 출입 통제 환경에 적합하다. 향후 연구계획으로 다수 명의 사람에 대해 한꺼번에 마스크 착용 여부를 판별할 수 있는 방법에 대한 연구를 수행할 것이다.
xml이다. 비올라 존스 얼굴검출 알고리즘에서 본 실험 데이터셋에 가장 높은 성능을 보이는 scaleFactor=1.1, minNeighbors=4로 파라미터 값을 설정하였다. 여기서 scaleFactor는 다양한 크기의 얼굴을 검출하기 위해 입력 이미지 사이즈를 줄여나가는 비율이다[9].
본 논문에서 제안하는 마스크 착용 판별 방법은 마스크 착용/미착용 얼굴 모두를 검출할 수 있도록 양쪽 눈 영역 검출에 기반한다. 양쪽 눈 영역을 검출하고 눈 위치를 참조하여 얼굴 영역을 추출한다. 그리고 마스크 착용 영역(양쪽 눈 아래 얼굴 영역)을 보다 정확히 예측하기 위해 양쪽 눈높이가 동일해지도록 얼굴 영역을 회전하여 정렬한다.
본 논문에서는 이를 입력 이미지(input image)라고 부른다. 입력 이미지에 눈 영역 검출(Eye Region Detection)을 적용하여 양쪽 눈 좌표를 출력한다. 양쪽 눈이 수평이 되도록 얼굴 정렬(Face Alignment)을 수행하여 정렬 얼굴 영역을 출력한다.
제안 방법은 크게 마스크 착용 영역 추출 과정과 CNN 기반 마스크 착용 여부 판별 과정으로 구성된다. 실험결과도 이 두 가지 과정으로 구분하여 자세히 설명한다.
제안 방법의 효용성을 입증하기 위해, 얼굴검출에서 가장 널리 사용되고 있는 방법 중 하나인 비올라 존스 얼굴검출 알고리즘[1]으로 동일한 실험 데이터셋(마스크 착용 얼굴 이미지 100장)에 대해 얼굴 검출을 수행하였다. 눈 검출과 마찬가지로 파이썬용 OpenCV에서 제공하는 사전 학습된 얼굴 검출용 분류기 모델을 사용하였다[9].

대상 데이터

두 번째 실험의 목적은 마스크 착용 얼굴과 미착용 얼굴을 정확하게 구별할 수 있는지를 검증하는 것이다. 3.1절에서 검출된 93장의 마스크 착용 영역 이미지들에 마스크 미착용자 6명에 대한 마스크 착용 영역 이미지들 93장을 추가하여 총 186장의 이미지를 확보하였다. 마스크 미착용자들에 대한 입력 이미지들은 무료로 공개된 GTAV Face Database[8]에서 2.
실험에 사용된 CNN 모델(Fig. 6)은 파이썬과 대표적인 딥러닝 라이브러리인 케라스(Keras)로 구현하였다. 컨볼루션 계층들에 대한 활성화 함수로 렐루(ReLU)[10, 11]를 사용하였고, 출력층에 대한 활성화 함수로 소프트맥스(Softmax)[12]를 사용하였다.
입력 이미지로부터 얼굴의 마스크 착용 영역을 정확하게 추출하는지를 검증하기 위해 Real-World Masked Face Dataset(RMFD)[6]에서 100장의 컬러 이미지를 수집하였다([7]에서 다운로드 가능). 수집된 이미지들은 사람 한 명을 포함하며 다양한 얼굴 각도를 포함한다.

데이터처리

컨볼루션 계층들에 대한 활성화 함수로 렐루(ReLU)[10, 11]를 사용하였고, 출력층에 대한 활성화 함수로 소프트맥스(Softmax)[12]를 사용하였다. 손실함수로는 평균 제곱 오차(Mean Squared Error)를 사용하였고, 에포크(Epoch)[13]와 배치사이즈(Batch size)[13]는 각각 30과 10으로 설정하였다.
정확도를 측정하기 위해 k겹 교차 검증을 적용하였다. 본 논문에서는 k=5로 설정하였다.

이론/모형

제안 방법의 효용성을 입증하기 위해, 얼굴검출에서 가장 널리 사용되고 있는 방법 중 하나인 비올라 존스 얼굴검출 알고리즘[1]으로 동일한 실험 데이터셋(마스크 착용 얼굴 이미지 100장)에 대해 얼굴 검출을 수행하였다. 눈 검출과 마찬가지로 파이썬용 OpenCV에서 제공하는 사전 학습된 얼굴 검출용 분류기 모델을 사용하였다[9]. 얼굴 검출용 분류기 모델의 파일명은 haarcascade_frontalface_default.
Haar cascade 분류기는 얼굴 등 객체 검출을 위해 [1]에서 제안된 효과적인 기법이다. 본 논문에서는 대표적인 영상처리 라이브러리인 OpenCV[5]에서 제공하는 사전 학습된 눈 검출용 Haar cascade 분류기 모델을 사용한다. 눈 검출용 분류기 모델의 파일명은 haarcascade_eye.
2(a)는 입력 이미지의 예를 보여준다. 제안 방법은 입력 이미지에서 양쪽 눈을 검출하기 위해 Haar cascade 분류기[4]를 사용한다. Haar cascade 분류기는 얼굴 등 객체 검출을 위해 [1]에서 제안된 효과적인 기법이다.
6)은 파이썬과 대표적인 딥러닝 라이브러리인 케라스(Keras)로 구현하였다. 컨볼루션 계층들에 대한 활성화 함수로 렐루(ReLU)[10, 11]를 사용하였고, 출력층에 대한 활성화 함수로 소프트맥스(Softmax)[12]를 사용하였다. 손실함수로는 평균 제곱 오차(Mean Squared Error)를 사용하였고, 에포크(Epoch)[13]와 배치사이즈(Batch size)[13]는 각각 30과 10으로 설정하였다.

성능/효과

다양한 각도로 촬영된 100장의 마스크 착용자 이미지들 중 93장에서 정렬된 얼굴 영역 및 마스크 착용 영역이 성공적으로 검출된 것을 확인하였다. 상기 과정에서 검출된 (마스크 착용자에 대한) 마스크 착용 영역 이미지 93장에 마스크 미착용자에 대한 마스크 착용 영역 이미지 93장을 추가하여 총 186장의 이미지에 대해 k겹 교차 검증(k-cross validation)을 적용하여 마스크 착용 여부 판별(착용 또는 미착용) 테스트를 수행하였고, 실험결과 98.
다양한 각도로 촬영된 100장의 마스크 착용자 이미지들 중 93장에서 정렬된 얼굴 영역 및 마스크 착용 영역이 성공적으로 검출된 것을 확인하였다. 상기 과정에서 검출된 (마스크 착용자에 대한) 마스크 착용 영역 이미지 93장에 마스크 미착용자에 대한 마스크 착용 영역 이미지 93장을 추가하여 총 186장의 이미지에 대해 k겹 교차 검증(k-cross validation)을 적용하여 마스크 착용 여부 판별(착용 또는 미착용) 테스트를 수행하였고, 실험결과 98.4%의 판별 정확도를 보였다.
입력 이미지 100장 중 93장의 이미지에서 마스크 착용 영역이 성공적으로 추출되었다. Fig.
제안 방법은 사람 키 높이 정도에 설치된 카메라를 응시하면서 한명씩 차례로 입장하는 출입 통제 환경에 적합하다. Fig.
i7-8700K CPU, 48GB 램 PC에서 마스크 착용 영역 검출에 대한 계산시간을 측정 분석하였다. 총 100장의 이미지를 처리하는데 7.2초가 소요되어 장당 평균 0.072초 수준의 처리속도를 보였다. 가장 사이즈가 작은 이미지(256 픽셀 x 147 픽셀)의 경우 장당 0.
1절에서 설명된 ‘이미지 확대 후 재검출’이 적용된 경우도 있었다. 하지만 특정 사이즈 이상(실험에 사용된 RMFD 이미지의 경우 300픽셀 x 300 픽셀)에서는 이미지 확대 없이도 양쪽 눈 및 마스크 착용 영역이 모두 성공적으로 검출된 것을 확인하였다. 장당 처리시간을 일정 시간 이내로 보장하기 위해 ‘이미지 확대 후 재검출’을 입력 이미지의 사이즈에 따라 선택적으로 미적용 설정 할 수 있다.

후속연구

마스크 착용 영역 검출과 마스크 착용 여부 판별 효용성에 대해 각각 실험을 통해 검증하였다. 본 논문에서 제안한 방법은 코로나바이러스와 같은 전염병이 유행인 시기에 적은 인력으로 마스크 미착용자를 색출하는데 유용하게 활용될 수 있을 것으로 기대한다.
본 논문에서 제안하는 방법은 사람 키 높이 정도에 설치된 카메라를 응시하면서 한명씩 차례로 입장하는 출입 통제 환경에 적합하다. 향후 연구계획으로 다수 명의 사람에 대해 한꺼번에 마스크 착용 여부를 판별할 수 있는 방법에 대한 연구를 수행할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	코로나바이러스의 전파경로는 무엇인가?	2019년에 중국에서 처음 발발한 코로나바이러스-19(COVID-19)는 전 세계에서 확진자가 폭증하고 있으며 수많은 사망자를 발생시켰다. 코로나바이러스의 전파경로는 비말과 콧물, 가래 등의 호흡기 분비물로 알려져 있어 마스크 착용이 감염 예방에 매우 중요하다. 하지만 국가 차원의 마스크 착용 권고에도 불구하고 여전히 일부 사람들이 마스크를 착용하지 않은 채 건물에 출입하는 일이 발생하고 있어 많은 감염 위험이 우려되고 있다.
	코로나바이러스 감염 예방을 위해 가장 중요한것은?	2019년에 중국에서 처음 발발한 코로나바이러스-19(COVID-19)는 전 세계에서 확진자가 폭증하고 있으며 수많은 사망자를 발생시켰다. 코로나바이러스의 전파경로는 비말과 콧물, 가래 등의 호흡기 분비물로 알려져 있어 마스크 착용이 감염 예방에 매우 중요하다. 하지만 국가 차원의 마스크 착용 권고에도 불구하고 여전히 일부 사람들이 마스크를 착용하지 않은 채 건물에 출입하는 일이 발생하고 있어 많은 감염 위험이 우려되고 있다.
	코로나바이러스로 인해 감염 위험이 우려 되는 이유는?	코로나바이러스의 전파경로는 비말과 콧물, 가래 등의 호흡기 분비물로 알려져 있어 마스크 착용이 감염 예방에 매우 중요하다. 하지만 국가 차원의 마스크 착용 권고에도 불구하고 여전히 일부 사람들이 마스크를 착용하지 않은 채 건물에 출입하는 일이 발생하고 있어 많은 감염 위험이 우려되고 있다. 건물 출입 시 마스크 착용을 검사하는 곳이 많지만 수많은 사람들을 일일이 눈으로 확인하는 것은 많은 인력과 비용을 발생시킬 수 있으므로 비효율적이다.

참고문헌 (13)

P. Viola, M. J. Jones, "Robust-real time face detection," International Journal of Computer Vision, Vol.57, No.2, pp.137-154, May 2004. DOI: https://doi.org/10.1023/B:VISI.0000013087.49260.fb

상세보기
Newspim.com [cited 2020 July 6], Available From: http://www.newspim.com/news/view/20200311000350 (accessed Jul. 6, 2020)
Y. Lecun, L. Bottou, Y. Bengio, P. Haffner, "Gradient based learning applied to document recognition," Proceedings of the IEEE, Vol.86, No.11, pp.2278-2324, Nov. 1998. DOI: https://doi.org/10.1109/5.726791

상세보기
Haar-cascade classifier [cited 2020 July 6], Available From: https://docs.opencv.org/3.4/db/d28/tutorial_cascade_classifier.html (accessed Jul. 6, 2020)
OpenCV-Python [cited 2020 July 6], Available From: https://docs.opencv.org/4.3.0/ (accessed Jul. 6, 2020)
Z. Wang, G. Wang, B. Huang, Z. Xiong, Q. Hong, H. Wu, P. Yi, K. Jiang, N. Wang, Y. Pei, et al., "Masked face recognition dataset and application," arXiv preprint, arXiv:2003.09093, Mar. 2020.
RMFD Download [cited 2020 July 6], Available From: https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset (accessed Jul. 6, 2020)
GTAV Face Database [cited 2020 July 6], Available From: https://francesctarres.wordpress.com/gtav-face-database/ (accessed Jul. 6, 2020)
Viola-Jones face detector in Python [cited 2020 July 6], Available From: https://docs.opencv.org/2.4/modules/objdetect/doc/cascade_classification.html (accessed Jul. 6, 2020)
A. Krizhevsky, I. Sutskever, G. E. Hinton, "Imagenet classification with deep convolutional neural networks," In Advances in Neural Information Processing Systems, pp.1097-1105, 2012. DOI: https://doi.org/10.1145/3065386
B. Xu, N. Wang, T. Chen, M. Li, "Empirical evaluation of rectified activations in convolutional network," arXiv preprint arXiv:1505.00853, Nov. 2015.
Wikipedia- Softmax function [cited 2020 July 6], Available From: https://en.wikipedia.org/wiki/Softmax_function (accessed Jul. 6, 2020)
I. Kandel, M. Castelli, "The effect of batch size on the generalizability of the convolutional neural networks on a histopathology dataset," ICT Express (available online) May 2020. DOI: https://doi.org/10.1016/j.icte.2020.04.010

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증