[논문]딥러닝을 이용한 마스크 착용 여부 검사 시스템

남충현; 남은정; 장경식

doi:10.6109/jkiice.2021.25.1.44

딥러닝을 이용한 마스크 착용 여부 검사 시스템
Mask Wearing Detection System using Deep Learning 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.25 no.1, 2021년, pp.44 - 49

남충현 (Department of Computer Engineering, Korea University of Technology and Education) , 남은정 (Department of Computer Engineering, Korea University of Technology and Education) , 장경식 (Department of Computer Engineering, Korea University of Technology and Education)

초록
AI-Helper

최근 COVID-19로 인해 마스크 착용 여부 자동 검사 시스템에 신경망 기술들을 적용하는 연구가 활발히 진행되고 있다. 신경망 적용 방식에 있어서 1단계 검출 방식 또는 2단계 검출 방식을 사용하며, 데이터를 충분히 확보할 수 없는 경우 사전 학습된 신경망에 대해 가중치 미세 조절 기법을 적용하여 학습한다. 본 논문에서는 얼굴 인식부와 마스크 검출부로 구성되는 2단계 검출 방식을 적용하였으며, 얼굴 인식부에는 MTCNN 모델, 마스크 검출부에는 ResNet 모델을 사용하였다. 마스크 검출부는 다양한 실 상황에서의 인식률과 추론 속도 향상을 위하여 5개의 ResNet모델을 적용하여 실험하였다. 학습 데이터는 웹 크롤러를 이용하여 수집한 17,219개의 정지 영상을 이용하였으며, 1,913개의 정지 영상과 1분 동영상 2개에 대해 각각 추론을 실시하였다. 실험 결과 정지 영상인 경우 96.39%, 동영상인 경우 92.98%의 높은 정확도를 보였고, 동영상 추론 속도는 10.78fps임을 확인하였다.

Abstract ▼ AI-Helper

Recently, due to COVID-19, studies have been popularly worked to apply neural network to mask wearing automatic detection system. For applying neural networks, the 1-stage detection or 2-stage detection methods are used, and if data are not sufficiently collected, the pretrained neural network models are studied by applying fine-tuning techniques. In this paper, the system is consisted of 2-stage detection method that contain MTCNN model for face recognition and ResNet model for mask detection. The mask detector was experimented by applying five ResNet models to improve accuracy and fps in various environments. Training data used 17,217 images that collected using web crawler, and for inference, we used 1,913 images and two one-minute videos respectively. The experiment showed a high accuracy of 96.39% for images and 92.98% for video, and the speed of inference for video was 10.78fps.

주제어

표/그림 (5)

그림 Fig. 1 The architecture of real-time mask detection system
그림 Fig. 2 The architecture of MTCNN: (a) P-Net, (b) R-Net, (c) O-Net
그림 Fig. 3 Residual Block
표 Table. 1 The accuracy and inference time of mask detector about the number of each ResNet layers for images
표 Table. 2 The accuracy and fps of mask detector about the number of each ResNet layers for video

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 2단계 검출 방식을 적용하여 건물 출입자에 대해 마스크 착용 여부를 식별하는 시스템을 제안한다. 자세히는 MTCNN 모델[8]을 사용한 얼굴 인식부와 ResNet(Residual Network) 모델[9]을 사용한 마스크 검출부로 구성되어 있으며, 웹 크롤러를 이용하여 수집한 학습 데이터 17, 219장를 가중치 미세 조절 기법을 이용하여 학습하였다.
수식1은 MTCNN 모델을 학습하기 위한 수식이며, 학습 과정에서 얼굴 분류, 얼굴 경계 예측, 얼굴 특징 점 예측에 대한 손실 함수들의 합을 최소화하는 것을 목표로 한다.

제안 방법

각 네트워크의 합성 곱 층은 얼굴의 특징을 찾기 위해 3x3 필터를 사용하였으며, 출력으로 얼굴인지 판별하는 얼굴 분류, 얼굴 경계와 눈, 코, 입에 대한 얼굴 특징을 나타내는 좌표 값에 대해 출력한다.
기존 연구에서 ResNet 모델은 층의 개수(18, 34, 50, 101, 152)에 따라 정확도 및 추론 속도에 대한 성능 차이가 있었음을 확인할 수 있었고[16], 본 논문에서도 층 개수에 따른 성능 평가를 위해 정지 영상과 동영상을 이용하여 각각 정확도와 추론 속도를 실험하였다.
두 번째로 GoogLeNet은 22개의 층과 9개의 인셉션 모듈을 가지고 있으며, 인셉션 모듈 내에는 특징을 효과적으로 추출하기 위한 다양한 크기의 필터를 적용하였다. 또한 합성 곱 신경망(CNN, Convolutional Neural Network)의 네트워크가 깊어질수록 학습해야하는 파라미터의 수가 늘어나 연산 량이 많아진다는 점을 보완하기 위해 1x1 필터가 적용된 콘볼루션 층을 사용하였다.
두 번째로 입력된 이미지 내의 얼굴 위치를 학습하는 ^는 수식3과 같이 유클리디안 얼굴 경계 손실 함수 _거리 손실 함수를 사용하여 신경망이 예측한 얼굴 위치와 정답 위치간의 거리차를 이용하여 학습한다.
또한 마스크 검출부에는 다양한 실 상황에서의 인식률과 추론 속도를 향상시키기 위해 5개의 ResNet 모델을 적용하여 각각 실험하였다. 시험 결과로 정지 영상인 경우 ResNet101모델이 96.
또한 합성 곱 신경망(CNN, Convolutional Neural Network)의 네트워크가 깊어질수록 학습해야하는 파라미터의 수가 늘어나 연산 량이 많아진다는 점을 보완하기 위해 1x1 필터가 적용된 콘볼루션 층을 사용하였다.
마지막으로 얼굴 특징 점 예측에 대한 손실 함수 ^{}는 얼굴 내의 눈, 코, 입에 대한 좌표를 예측하며, 얼굴 경계 추출과 동일하게 수식4와 같이 예측 값과 정답 값 간의 유클리디안 거리 손실 함수를 이용하여 학습한다.
본 논문에서 마스크 착용 여부 검사 시스템을 제안하기 위해 기존 연구에서 후보 관심 영역 제안 단계와 후보 관심 영역 분류 단계로 2단계 검출 방식이 적용된 R-CNN 모델을 착안하여 얼굴 인식 단계와 마스크 검출단계를 가진 시스템을 제안하였다.
본 논문에서 제안한 마스크 착용 여부 검사 시스템은 그림1과 같이 입력 이미지에 대해 후보 얼굴 관심 영역들을 추출하는 얼굴 인식 단계와 추출된 후보 얼굴 관심 영역들이 마스크를 착용하고 있는지 판별하는 마스크검출 단계로 이루어진 2단계 검출 방식을 이용하였다.
본 논문에서는 얼굴 인식부와 마스크 검출부로 구성된 2단계 검출 방식을 적용한 마스크 착용 여부 검사 시스템을 제안하며, 얼굴 인식부과 마스크 검출부에 각각 MTCNN모델, ResNet 모델을 사용하였다.
실험에 필요한 데이터 셋은 웹크롤러를 이용해 수집하였으며, 마스크 착용한 얼굴을 포함한 이미지 17, 219장을 사용하여 학습하였고, 정지영상 정확도 및 추론 속도 측정을 위해 이미지 1, 913장을 사용하였다. 실시간 동영상은 총 285장의 프레임으로 구성된 직접 촬영한 영상을 사용하여 정확도 및 fps(frame per second) 측정을 하였으며, 수작업으로 정지 영상 및 동영상에 대한 레이블링 작업을 실시하였다.
얼굴 검출기는 입력된 이미지에 대해 후보 얼굴 위치를 찾아 추출하는 후보 얼굴 관심 영역 추출 작업을 수행하며, 본 논문에서는 얼굴 검출 작업을 수행하기 위해 최근 우수한 성능을 보인 MTCNN을 이용하였다.
이러한 문제를 해결하기 위해 Fast R-CNN 모델은 입력 이미지에 대해 합성 곱 신경망을 이용하여 추출된 특징들에 대해 선택적 탐색 알고리즘을 사용하는 방식으로 제안되었으며, 결과적으로 R-CNN보다 추론 속도를향상시켰다.
제안하는 마스크 착용 여부 검사 시스템을 실험하기 위해 ResNet 모델은 5가지(18, 34, 50, 101, 152)를 각각 학습하여 정지 영상과 및 동영상에 대해 성능을 평가하였다. 그 결과 정지 영상에 대해서는 ResNet101 모델이 96.

대상 데이터

학습은 5회 진행하였고, 최적화 알고리즘은 Adam Optimizer를 사용하였다. 실험에 필요한 데이터 셋은 웹크롤러를 이용해 수집하였으며, 마스크 착용한 얼굴을 포함한 이미지 17, 219장을 사용하여 학습하였고, 정지영상 정확도 및 추론 속도 측정을 위해 이미지 1, 913장을 사용하였다. 실시간 동영상은 총 285장의 프레임으로 구성된 직접 촬영한 영상을 사용하여 정확도 및 fps(frame per second) 측정을 하였으며, 수작업으로 정지 영상 및 동영상에 대한 레이블링 작업을 실시하였다.
실험을 위해 학습 데이터는 웹 크롤러를 이용하여 수집한 17, 219개의 정지 영상을 이용하였으며, 1, 913개의 정지 영상과 1분 동영상 2개에 대해 각각 추론을 실시하였다. 또한 마스크 검출부에는 다양한 실 상황에서의 인식률과 추론 속도를 향상시키기 위해 5개의 ResNet 모델을 적용하여 각각 실험하였다.
자세히는 MTCNN 모델[8]을 사용한 얼굴 인식부와 ResNet(Residual Network) 모델[9]을 사용한 마스크 검출부로 구성되어 있으며, 웹 크롤러를 이용하여 수집한 학습 데이터 17, 219장를 가중치 미세 조절 기법을 이용하여 학습하였다.
제안한 마스크 착용 여부 검사 시스템의 모델 학습을 위한 하드웨어는 Intel i7-7700K 4.20GHz, 64GB RAM, GeForce RTX 2080 Ti로 구성하였고, 모델 학습을 위한딥러닝 프레임워크는 PyTorch를 사용하였다. 또한 실험에 사용된 얼굴 검출기 모델과 마스크 착용 여부 검출기 모델은 각각 사전 학습된 MTCNN 모델과 ResNet 모델을 사용하였으며, ResNet 모델은 학습률을 1e-5로 설정하여 가중치 미세 조절 기법을 이용해 학습하였다.

이론/모형

20GHz, 64GB RAM, GeForce RTX 2080 Ti로 구성하였고, 모델 학습을 위한딥러닝 프레임워크는 PyTorch를 사용하였다. 또한 실험에 사용된 얼굴 검출기 모델과 마스크 착용 여부 검출기 모델은 각각 사전 학습된 MTCNN 모델과 ResNet 모델을 사용하였으며, ResNet 모델은 학습률을 1e-5로 설정하여 가중치 미세 조절 기법을 이용해 학습하였다. 학습은 5회 진행하였고, 최적화 알고리즘은 Adam Optimizer를 사용하였다.
마스크 착용 여부 검출기는 얼굴 검출기에서 추출된 후보 얼굴 관심 영역들을 각각 분류한 이미지들에 대해 마스크 착용 여부를 판단하는 이진 분류 작업이며, 이미지 분류에 적합한 신경망 모델인 ResNet 모델을 사용하였다.
또한 실험에 사용된 얼굴 검출기 모델과 마스크 착용 여부 검출기 모델은 각각 사전 학습된 MTCNN 모델과 ResNet 모델을 사용하였으며, ResNet 모델은 학습률을 1e-5로 설정하여 가중치 미세 조절 기법을 이용해 학습하였다. 학습은 5회 진행하였고, 최적화 알고리즘은 Adam Optimizer를 사용하였다. 실험에 필요한 데이터 셋은 웹크롤러를 이용해 수집하였으며, 마스크 착용한 얼굴을 포함한 이미지 17, 219장을 사용하여 학습하였고, 정지영상 정확도 및 추론 속도 측정을 위해 이미지 1, 913장을 사용하였다.

성능/효과

보였다. ResNet152 모델이 92.98%로 정확도가 가장 높게 나왔으며, ResNet18의 정확도가 90.59%로 가장 낮게 나왔다. 반면에 fps는 ResNet18 모델이 가장 빠르고 ResNet152 모델이 가장 늦었으며, 층의 개수가 많아질수록 낮은 fps 를 갖게 된다는 것을 실험을 통해 확인하였다.
그 결과 정지 영상에 대해서는 ResNet101 모델이 96.39%로 가장 높은 정확도를 보였고, ResNet18 모델이 10.18ms로 가장 빠른 추론 속도를 보였다. 또한 동영상에 대해서는 ResNet152 모델이 92.
18ms로 가장 빠른 추론 속도를 보였다. 또한 동영상에 대해서는 ResNet152 모델이 92.58%의 가장 높은 정확도를 보였으며, ResNet18 모델이 가장 빠른 추론속도인 10.73ms를 보였다.
마지막으로 VGGNet은 GoogLeNet에 비해 단순한 구조를 가지고 있으며, 3x3의 필터 크기를 적용한 콘볼루션 층을 여러 개 쌓아 네트워크의 깊이가 모델의 성능을 높이는 데 중요한 역할을 한다는 것을 보여주었다. 하지만 네트워크를 깊게 쌓은 만큼 연산 량이 높아지며 이에 따라 메모리를 많이 사용한다는 단점이 있다.
12%로 가장 낮게 나왔다. 반면, 추론 시간은 ResNet18 모델이 평균 10.18ms의 가장 빠른 추론 속도 결과가 나왔으며, ResNet152 모델은 평균 12.70ms로 가장 늦은 추론 속도로 측정되었다.
59%로 가장 낮게 나왔다. 반면에 fps는 ResNet18 모델이 가장 빠르고 ResNet152 모델이 가장 늦었으며, 층의 개수가 많아질수록 낮은 fps 를 갖게 된다는 것을 실험을 통해 확인하였다.
또한 마스크 검출부에는 다양한 실 상황에서의 인식률과 추론 속도를 향상시키기 위해 5개의 ResNet 모델을 적용하여 각각 실험하였다. 시험 결과로 정지 영상인 경우 ResNet101모델이 96.39%, 동영상인 경우 ResNet152모델이 92.98%의 높은 정확도를 보였으며, 추론 속도는 ResNet18모델이 10.78fps로 가장 빠른 추론 속도를 보였음을 확인하였다.
이를 실험을 통해 정지 영상에 대해 ResNet 모델에 대한 정확도는 평균 96%의 성능을 보였으며, 층의 개수에 따라 성능이 크게 변하지 않음을 확인할 수 있었고, 추론 속도는 모델 네트워크 층의 개수가 증가함에 따라 속도가 늦어짐을 확인하였다.
정확도는 96.39%로 ResNet101 모델이 가장 높게 나왔으며, ResNet18 모델이 96.12%로 가장 낮게 나왔다. 반면, 추론 시간은 ResNet18 모델이 평균 10.

후속연구

현재 본 논문에서 제안한 마스크 착용 여부 검사 시스템은 얼굴 검출기 모델 성능에 종속적이기 때문에 향후 얼굴 검출기 성능 개선을 위한 신경망 모델과 전통적인 얼굴 검출 알고리즘을 결합한 새로운 방식에 대한 추가적인 연구가 필요하다.

참고문헌 (16)

E. Blasch, S. Liu, Z. Liu, and Y. Zheng, "Deep Learning Measures of Effectiveness," in Proceeding of the 2018 IEEE National Aerospace and Electronics Conferences, Dayton, pp. 254-261, 2018.
J. Talukdar, S. Gupta, P. S. Rajpura, and R. S. Hegde, "Transfer Learning for Object Detection using State-of-the-Art Deep Neural Networks," in Proceeding of the 5th International Conference on Signal Processing and Integrated Networks, Noida, pp. 78-83, 2018.
S. S. Thomas, S. Gupta, and V. K. Subramanian, "Smart Surveillance Based On Video Summarization," in Proceeding of the 17th IEEE Region 10 Symposium, India, pp. 1-5, 2017.
A. K. Diop, S. Meza, M. Gordan, and A. Vlaicu, "LDA based classification of video surveillance sequences using motion information," in Proceeding of the 20th International Conference on Adavanced Communication Technology, Korea, pp. 1-1, 2018.
S. H. Lee, H. G. Kwon, Y. J. Kim, J. S. Jeong, and H. J. Seo, "Development of CCTV for Identification of Maskless Wearers based on Deep Learning," in Proceeding of the 28th Korea Society of Computer Information, Korea, pp. 317-318, 2020.
W. Y. Cho, S. L. Park, H. S. Kim, and T. J. Yun, "Development of AI Systems for Counting Visitors and Check of Wearning Masks Using Deep Learning Algorithms," in Proceeding of the 28th Korea Society of Computer Information, Korea, pp. 285-286, 2020.
P. Soviany and R. T. Ionescu, "Optimizing the Trade-off between Single-Stage and Two-Stage Deep Object Detectors using Image Difficulty Prediction," in Proceeding of the 20th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing, Romania, pp. 209-214, 2018.
K. Zhang, Z. Zhang, Z. Li, and Y. Qiao, "Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks," IEEE Signal Processing Letters, vol. 23, no. 10, pp. 1499-1503, Oct. 2016.

상세보기
K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," in Proceeding of the 2015 IEEE Conference on Computer Vision and Pattern Recognition, USA, pp. 770-778, 2015.
A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," in Proceeding of the 25th International Conference on Neural Information Processing Systems, Nevada, pp. 94-90, 2017.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke and A. Rabinovich, "Going deeper with convolutions," in Proceeding of the 2015 IEEE Conference on Computer Vision and Pattern Recognition, USA, pp. 1-9, 2015.
K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," in Proceeding of the 2015 International Conference on Learning Representations, CA, pp. 1-14, 2015.
R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," in Proceeding of the 2014 IEEE Conference on Computer Vision and Pattern Recognition, Ohio, pp. 580-587, 2014.
R. Girshick, "Fast R-CNN," in Proceeding of the 2015 IEEE Conference on Computer Vision and Pattern Recognition, USA, pp. 1440-1448, 2015.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You Only Look Once: Unified, Real-Time Object Detection," in Proceeding of the 2015 IEEE Conference on Computer Vision and Pattern Recognition, USA, pp. 779-788, 2015.
R. U. Khan, X. Zhang, R. Kurnar, and E. O. Aboagye, "Evaluating the Performance of ResNet Model Based on Image Recognition," in Proceeding of the 2018 International Conference on Computing and Artifical Intelligence, Indonesia, pp. 86-90, 2018.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증