4차 산업혁명으로 딥러닝을 활용한 인공지능 분야가 급성장하였고, COVID-19로 언택트 문화가 우리 삶에 밀접하게 스며들면서 간접적으로 신원확인을 하는 얼굴 인식 분야의 활용도가 높아지고 있다. 하지만 마스크를 착용하거나 얼굴의 일부가 가려지게 되면 얼굴 인식률이 급격히 저하되는 문제가 발생되고 있으며, 특히 아이폰의 경우에는 얼굴인식 기능을 ...
4차 산업혁명으로 딥러닝을 활용한 인공지능 분야가 급성장하였고, COVID-19로 언택트 문화가 우리 삶에 밀접하게 스며들면서 간접적으로 신원확인을 하는 얼굴 인식 분야의 활용도가 높아지고 있다. 하지만 마스크를 착용하거나 얼굴의 일부가 가려지게 되면 얼굴 인식률이 급격히 저하되는 문제가 발생되고 있으며, 특히 아이폰의 경우에는 얼굴인식 기능을 잠금 장치로 사용하고 있어 전 세계의 많은 사용자가 마스크 착용 시 잠금해제 기능이 제대로 작동 되지 않아 매번 마스크를 벗어야 하는 불편함을 겪고 있다. 공항의 신분확인과 병원에서 환자의 정보 확인 등 얼굴인식 기능의 사용이 늘어나고 있는 만큼 얼굴이 가려지면 인식률이 떨어지는 문제점을 개선하기 위해 최근에는 관련 분야에 많은 연구가 활발하게 이루어지고 있다. 본 연구에서는 얼굴 인식 딥러닝 모델 중 구글에서 개발한 VGGFace2 데이터 셋이 학습된 InceptionResNet 모델의 일부를 미세조정하고, 직접 촬영한 얼굴 이미지에 맞게 전이 학습된 모델을 구현하였다. 컨볼루션 레이어가 포함된 Feature Extraction 구조에는 인식률이 검증된 VGGFace2 가중치를 그대로 사용하고, 모델의 마지막 계층에 해당되는 Classification layer 영역에서 Fully connected layer 등을 일부 미세조정하며 실험에 사용된 데이터 셋에 맞게 훈련된 가중치를 활용하여 이미지 인식률 변화를 확인하였다. 얼굴 이미지 테스트 결과는 얼굴 인식률에서 이미지 전처리가 인식률에 큰 영향을 준다는 것을 확인하였다. 또한, 테스트 이미지로 얼굴이 가려지면 인식률이 상당히 저하되는 것을 실험으로 다시 한 번 확인할 수 있었다. 본 논문에서는 마스크로 가려진 얼굴 인식률을 향상하기 위해 눈 이미지를 대체 인식률로 사용하기 위해 테스트를 진행하였다. 눈 이미지 인식률 실험에서 얼굴인식에 사용하였던 딥러닝 모델을 그대로 사용하였을 때에는 인식률이 50%도 되지 않는 결과가 나왔다. 얼굴보다 적은 이미지 정보로 인식률을 향상하기 위해 기존 모델에 Hidden layer를 추가하여 더 깊은 구조로 모델을 조정하였고, 테스트 이미지에서 인식률이 약 80%까지 증가하며 기존의 모델보다 더 안정적인 인식률을 갖는 것을 확인하였다. 이 실험 결과를 바탕으로 FaceNet의 유클리디안 거리(Euclidean distance)로 얼굴인식을 하는 방법에 적용하여, 얼굴 이미지와 눈 이미지의 인식률을 함께 사용하게 되면 마스크를 착용한 이미지보다 인식률이 향상할 수 있는 것을 확인하였다.
4차 산업혁명으로 딥러닝을 활용한 인공지능 분야가 급성장하였고, COVID-19로 언택트 문화가 우리 삶에 밀접하게 스며들면서 간접적으로 신원확인을 하는 얼굴 인식 분야의 활용도가 높아지고 있다. 하지만 마스크를 착용하거나 얼굴의 일부가 가려지게 되면 얼굴 인식률이 급격히 저하되는 문제가 발생되고 있으며, 특히 아이폰의 경우에는 얼굴인식 기능을 잠금 장치로 사용하고 있어 전 세계의 많은 사용자가 마스크 착용 시 잠금해제 기능이 제대로 작동 되지 않아 매번 마스크를 벗어야 하는 불편함을 겪고 있다. 공항의 신분확인과 병원에서 환자의 정보 확인 등 얼굴인식 기능의 사용이 늘어나고 있는 만큼 얼굴이 가려지면 인식률이 떨어지는 문제점을 개선하기 위해 최근에는 관련 분야에 많은 연구가 활발하게 이루어지고 있다. 본 연구에서는 얼굴 인식 딥러닝 모델 중 구글에서 개발한 VGGFace2 데이터 셋이 학습된 Inception ResNet 모델의 일부를 미세조정하고, 직접 촬영한 얼굴 이미지에 맞게 전이 학습된 모델을 구현하였다. 컨볼루션 레이어가 포함된 Feature Extraction 구조에는 인식률이 검증된 VGGFace2 가중치를 그대로 사용하고, 모델의 마지막 계층에 해당되는 Classification layer 영역에서 Fully connected layer 등을 일부 미세조정하며 실험에 사용된 데이터 셋에 맞게 훈련된 가중치를 활용하여 이미지 인식률 변화를 확인하였다. 얼굴 이미지 테스트 결과는 얼굴 인식률에서 이미지 전처리가 인식률에 큰 영향을 준다는 것을 확인하였다. 또한, 테스트 이미지로 얼굴이 가려지면 인식률이 상당히 저하되는 것을 실험으로 다시 한 번 확인할 수 있었다. 본 논문에서는 마스크로 가려진 얼굴 인식률을 향상하기 위해 눈 이미지를 대체 인식률로 사용하기 위해 테스트를 진행하였다. 눈 이미지 인식률 실험에서 얼굴인식에 사용하였던 딥러닝 모델을 그대로 사용하였을 때에는 인식률이 50%도 되지 않는 결과가 나왔다. 얼굴보다 적은 이미지 정보로 인식률을 향상하기 위해 기존 모델에 Hidden layer를 추가하여 더 깊은 구조로 모델을 조정하였고, 테스트 이미지에서 인식률이 약 80%까지 증가하며 기존의 모델보다 더 안정적인 인식률을 갖는 것을 확인하였다. 이 실험 결과를 바탕으로 FaceNet의 유클리디안 거리(Euclidean distance)로 얼굴인식을 하는 방법에 적용하여, 얼굴 이미지와 눈 이미지의 인식률을 함께 사용하게 되면 마스크를 착용한 이미지보다 인식률이 향상할 수 있는 것을 확인하였다.
The field of deep learning-based artificial intelligence has grown rapidly with the fourth industrial revolution. In addition, social-distancing culture came closely into our lives with COVID-19 spreads. Facial recognition technology that indirectly confirms an identity is being used in a number of ...
The field of deep learning-based artificial intelligence has grown rapidly with the fourth industrial revolution. In addition, social-distancing culture came closely into our lives with COVID-19 spreads. Facial recognition technology that indirectly confirms an identity is being used in a number of fields. However, there is an issue that the face recognition rate decreases rapidly when a mask is worn or a part of the face is hidden by a mask. For instance, Apple's iPhone has been using a facial recognition module as a lock system on the phone. However, most users around the world used to take off a mask to unlock their phones. It is very inconvenient to take off the mask every time because the lock function does not work properly when wearing a mask. As the uses of facial recognition functions, such as identification at airports and patient information at hospitals, are growing, a lot of research studies are being actively conducted in relevant fields to overcome the issue that the recognition rate decreases in case of wearing a mask. In this thesis, a part of Inception ResNet model which is developed by Google and is pre-trained on the VGGFace2 dataset was fine-tuned, and the transfer learning model was applied to improve the recognition rate. As its feature extraction structure including convolutional layers, VGGFace2's weights are used as it is, and a fully connected layer is partially fine-tuned in its classification layer structure. It is located in the last layer of the model and is trained with the dataset used in the experiment. The improvement of the recognition rate was confirmed using the weight values trained with dataset. This study checked that image preprocessing had a great effect on the recognition rate.
In this paper, tests were conducted using eyes-image as an alternative recognition feature to improve the recognition rate for a face covered by a mask. In the eyes-image recognition experiment, the recognition rate was less than 50% with the original deep learning model. In order to improve the recognition rate with less information than the face, the proposed model structure was fine-tuned to a deeper structure by adding a hidden layer. Based on the experimental results, it was applied to the face recognition method using the Euclidean distance of FaceNet. Then, it was proved experimentally that the recognition rate can be improved compared to the masked image, when a facial image and an eye-based feature are used together.
The field of deep learning-based artificial intelligence has grown rapidly with the fourth industrial revolution. In addition, social-distancing culture came closely into our lives with COVID-19 spreads. Facial recognition technology that indirectly confirms an identity is being used in a number of fields. However, there is an issue that the face recognition rate decreases rapidly when a mask is worn or a part of the face is hidden by a mask. For instance, Apple's iPhone has been using a facial recognition module as a lock system on the phone. However, most users around the world used to take off a mask to unlock their phones. It is very inconvenient to take off the mask every time because the lock function does not work properly when wearing a mask. As the uses of facial recognition functions, such as identification at airports and patient information at hospitals, are growing, a lot of research studies are being actively conducted in relevant fields to overcome the issue that the recognition rate decreases in case of wearing a mask. In this thesis, a part of Inception ResNet model which is developed by Google and is pre-trained on the VGGFace2 dataset was fine-tuned, and the transfer learning model was applied to improve the recognition rate. As its feature extraction structure including convolutional layers, VGGFace2's weights are used as it is, and a fully connected layer is partially fine-tuned in its classification layer structure. It is located in the last layer of the model and is trained with the dataset used in the experiment. The improvement of the recognition rate was confirmed using the weight values trained with dataset. This study checked that image preprocessing had a great effect on the recognition rate.
In this paper, tests were conducted using eyes-image as an alternative recognition feature to improve the recognition rate for a face covered by a mask. In the eyes-image recognition experiment, the recognition rate was less than 50% with the original deep learning model. In order to improve the recognition rate with less information than the face, the proposed model structure was fine-tuned to a deeper structure by adding a hidden layer. Based on the experimental results, it was applied to the face recognition method using the Euclidean distance of FaceNet. Then, it was proved experimentally that the recognition rate can be improved compared to the masked image, when a facial image and an eye-based feature are used together.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.