[논문]A Design and Implementation of Missing Person Identification System using face Recognition

Shin, Jong-Hwan; Park, Chan-Mi; Lee, Heon-Ju; Lee, Seoung-Hyeon; Lee, Jae-Kwang

doi:10.9708/jksci.2021.26.02.019

A Design and Implementation of Missing Person Identification System using face Recognition 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.26 no.2, 2021년, pp.19 - 25

Shin, Jong-Hwan (Dept. of Computer Engineering, Hannam University) , Park, Chan-Mi (Dept. of Computer Engineering, Hannam University) , Lee, Heon-Ju (Dept. of Computer Engineering, Hannam University) , Lee, Seoung-Hyeon (LINC+ Division, Hannam University) , Lee, Jae-Kwang (Dept. of Computer Engineering, Hannam University)

초록
AI-Helper

본 논문에서는 비전 기술과 딥러닝 기반의 얼굴인식을 통해 실종자를 식별하는 방법을 제안하였다. 모바일 디바이스에서 전송된 원본 이미지에 대해 얼굴인식에 적합하도록 이미지를 전처리한 후, 얼굴인식의 정확도 향상을 위한 이미지 데이터 증식과 CNN 기반 얼굴학습 및 검증을 통해 실종자를 인식하였다. 본 논문의 구현 결과를 이용하여 가상의 실종자 이미지를 식별한 결과, 원본 데이터와 블러 처리한 데이터를 함께 학습한 모델의 성능이 가장 우수하게 나왔다. 또한 사전학습된 가중치를 사용한 학습 모델은 사용하지 않은 모델보다 높은 성능을 보였지만, 편향과 분산이 높게 나오는 한계를 확인할 수 있었다.

Abstract ▼ AI-Helper

In this paper proposes a method of finding missing persons based on face-recognition technology and deep learning. In this paper, a real-time face-recognition technology was developed, which performs face verification and improves the accuracy of face identification through data fortification for face recognition and convolutional neural network(CNN)-based image learning after the pre-processing of images transmitted from a mobile device. In identifying a missing person's image using the system implemented in this paper, the model that learned both original and blur-processed data performed the best. Further, a model using the pre-learned Noisy Student outperformed the one not using the same, but it has had a limitation of producing high levels of deflection and dispersion.

주제어

표/그림 (11)

그림 Fig. 1. Face detection using Haar cascade classifiers and dlib
그림 Fig. 2. Raw, Gaussian blur
그림 Fig. 3. Brightness, blur + brightness, darkness, blur + darkness
표 Table 1. Types of face recognition-based services
그림 Fig. 4. Face Image learning Model
그림 Fig. 5. Data-flow diagram
그림 Fig. 6. Missing person identification-system composition
표 Table 2. Composition and specifications of system
그림 Fig. 7. Missing Persons Identification Procedure
표 Table 3-a. Model Accuracy with random weights
표 Table 3-b. Model Accuracy Pre-trained weights

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 비전 기술과 딥러닝 기반으로 실종자를 찾는 방법을 제안하였다. 얼굴인식의 정확도 향상을 위해 이미지 전처리를 이용하여 실종자 얼굴 이미지 데이터를 증식하였으며, 이를 이용해 학습 데이터와 테스트 데이터를 생성하였다.
본 논문에서는 비전 기술과 딥러닝 기반의 얼굴인식을 이용하여 실종자를 식별하는 방법을 제안하였다. 정지영상 또는 동영상에 대해 얼굴 영역을 자동으로 검출/분석하여 이미지 속 얼굴을 판별하는 기술은 많은 발전을 이루어 온 분야로 최근 COVID-19의 확산으로 건물의 출입자 체온을 측정하는 AI 카메라[4]에 적용되고 있다.
하지만, 실 환경으로부터 추출되는 얼굴 이미지는 사람의 자세, 조명 변화, 원거리 촬영과 움직임으로 인한 블러(blur)로 인한 인식 정확도 저하 등 여전히 해결해야 할 문제가 많다. 이에, 본 논문에서는 영상처리 기술을 이용한 원본 이미지 전처리와 이를 이용한 데이터 증식 및 CNN 기반 이미지 학습을 통하여 얼굴인식(face identification)과 일굴검증(face verification)의 정확도를 높일 수 있는 얼굴인식 기술을 개발하였다.

제안 방법

Step. 3: 모바일 디바이스에서 전송된 전처리 이미지를 대상으로 실종 의심자 식별을 위해 얼굴 특징점 검출 및 정규화 과정을 수행한다.
⚫ Step. 4: 정규화된 식별 이미지를 이용하여 기계학습을 통해 학습된 이미지 식별 모델 검증을 수행하고, 정확도가 80% 이상이 도출될 경우, 해당 이미지 클래스와 실종 당시 정보를 JSON 형태로 생성한 후, 모바일 디바이스에 전송한다.
Train 데이터는 원본 데이터와 blur 처리한 데이터로 고정하였고, 학습 도중 모델의 일반화를 위해 제너레이터를 사용하여 회전, 이동, 전단 변환, 줌 등의 기능을 사용하였다. Test 데이터는 노이즈가 심한 환경 요소를 고려하여 원본 데이터를 제외한 blur, bright, dark를 적용한 이미지를 사용하였다.
검출하는 특징 추출 영역이 있다. 기존 이미지 내에서 얼굴 영역을 찾는 얼굴검출(face detection) 알고리즘은 SIFT, Hog, Haar와 같은 특징점 추출 기법을 이용하여 고차원의 데이터를 생성한 후, 이에 대해 PCA와 LDA와같은 차원 축소 알고리즘을 사용하여 저차원으로 축소한 후, 머신러닝을 수행하였다. 하지만 이러한 방법은 모든 얼굴 영상이 이상적으로 정규화를 거친 후 학습되어야 하는 제약이 존재하고, 차원을 축소함에 따라 정보를 잃게 되는 한계도 존재한다.
또한, Fig. 3과 같이 데이터 증식과 다양한 이미지 분류를 위해 brightness와 darkness를 적용하였으며, 이를 통해 edge detection을 효과적으로 수행하였다[17].
정규화 layer를 추가하였다. 또한, GAP와 dropout을 추가하였으며, 분류기를 72개 class로 수정하였다. 학습모델에 대한 일반화와 학습 시간 증가를 위해 분류기에 L2-regularization을 적용하였다.
학습모델에 대한 일반화와 학습 시간 증가를 위해 분류기에 L2-regularization을 적용하였다. 또한, 사전학습된 가중치의 데이터와의 유사성을 향상시키기 위해 전체 모델의 하이퍼 파라미터 튜닝을 진행하며 학습하였다.
얼굴인식의 정확도 향상을 위해 이미지 전처리를 이용하여 실종자 얼굴 이미지 데이터를 증식하였으며, 이를 이용해 학습 데이터와 테스트 데이터를 생성하였다. 또한, 실종자 얼굴 이미지 학습을 위해 CNN을 적용하였으며, 모바일 디바이스와의 서비스 연계를 통해 결과를 실시간으로 확인할 수 있는 인터페이스를 구성하였다.
본 논문에서 구현한 결과를 분석하기 위해 빛과 흔들림에 민감한 실제 환경과 유사하도록 원본 데이터를 제외한 blur, bright, dark를 혼합하여 만든 테스트 데이터로 테스트하였다.
본 논문에서 제안한 서비스는 비전 기술과 딥러닝을 이용하여 실종자를 찾을 수 있도록 도움을 주는 서비스이다. 사용자가 모바일 인터페이스를 통해 식별하고자 하는 얼굴을 등록하면 얼굴 이미지 전송 지연을 줄이기 위해서 RGB 이미지를 grayscale 이미지로 변환한 후, 서버로 전송한다.
본 논문에서는 학습 속도 향상과 일반화를 위해 transfer learning 기법을 사용하였으며, 기존 모델에 계층 정규화 layer를 추가하였다. 또한, GAP와 dropout을 추가하였으며, 분류기를 72개 class로 수정하였다.
얼굴 이미지 학습 모델은 Efficientnet-B0[18] 를 사용하였으며, 얼굴 이미지는 네트워크 모델의 입력 크기(224, 224)에 맞춰 Bilinear interpolation을 적용한 후, 이미지 크기를 조절하였다. 사전학습된 가중치는 noisestudent를 사용하여 초기화하였으며, 입력채널 크기에 맞도록 grayscale의 이미지를 3채널로 확장하였다.
Classifier[14]를 사용한다. 얼굴 각도나 조명에 의한 변수가 많은 RGB 얼굴 이미지는 grayscale 변환을 통해 데이터를 축소하여 edge detection을 간단히 수행할 수 있도록 전처리하였다. 또한, 데이터 학습 및 테스트를 위해서 원본 데이터(Raw Data)와 Gaussian blur와 Brightness, Darkness 적용을 한 전처리 데이터를 적절한 비율로 섞어 데이터 집합을 구성하였으며, 테스트 데이터는 2,000을 포함하여 총 2만 장의 데이터를 구성하였다.
방법을 제안하였다. 얼굴인식의 정확도 향상을 위해 이미지 전처리를 이용하여 실종자 얼굴 이미지 데이터를 증식하였으며, 이를 이용해 학습 데이터와 테스트 데이터를 생성하였다. 또한, 실종자 얼굴 이미지 학습을 위해 CNN을 적용하였으며, 모바일 디바이스와의 서비스 연계를 통해 결과를 실시간으로 확인할 수 있는 인터페이스를 구성하였다.
2: 모바일 디바이스에서 촬영한 이미지를 grayscale로 변환한 후, 이미지 전처리를 수행한다. 이미지 전처리에서는 특징점 검출을 쉽게 하도록 히스토그램 균일화(Histogram Equalization)와 HSV(Hue, Saturation, Value) 과정을 수행한다.
있다. 이와 같은 문제를 해결하기 위해 이미지를 수동으로 잘라주고 편집할 수 있는 C#을 이용한 전처리 인터페이스를 개발하여 적용하였다.
이 방법은 검출하고자 하는 얼굴 이미지를 포함한 여러 이미지를 이용해 Haar Cascade Classifier를 학습시켜 얼굴을 검출하는데 Open CV에서는 얼굴 객체 검출 분류기를 XML 포맷으로 제공한다. 입력되는 이미지가 grayscale 이기 때문에 Haar Cascade Classifier 외에 명소 검출을 위해 68개의 얼굴 특징점을 잡아줄 수 있는 lib 라이브러리[16]를 사용하고, 이 특징점을 이용해 얼굴 영역을 같은 형태와 크기로 정규화하였다.

대상 데이터

Test 데이터는 노이즈가 심한 환경 요소를 고려하여 원본 데이터를 제외한 blur, bright, dark를 적용한 이미지를 사용하였다.
얼굴 각도나 조명에 의한 변수가 많은 RGB 얼굴 이미지는 grayscale 변환을 통해 데이터를 축소하여 edge detection을 간단히 수행할 수 있도록 전처리하였다. 또한, 데이터 학습 및 테스트를 위해서 원본 데이터(Raw Data)와 Gaussian blur와 Brightness, Darkness 적용을 한 전처리 데이터를 적절한 비율로 섞어 데이터 집합을 구성하였으며, 테스트 데이터는 2,000을 포함하여 총 2만 장의 데이터를 구성하였다.

이론/모형

모바일 디바이스로부터 전송된 원본 이미지에서 얼굴을 인식하고, 잘라내기 위한 알고리즘으로 openCV의 Cascade Classifier[14]를 사용한다. 얼굴 각도나 조명에 의한 변수가 많은 RGB 얼굴 이미지는 grayscale 변환을 통해 데이터를 축소하여 edge detection을 간단히 수행할 수 있도록 전처리하였다.
4는 본 논문에서 적용한 얼굴 이미지 학습 모델을 보여준다. 얼굴 이미지 학습 모델은 Efficientnet-B0[18] 를 사용하였으며, 얼굴 이미지는 네트워크 모델의 입력 크기(224, 224)에 맞춰 Bilinear interpolation을 적용한 후, 이미지 크기를 조절하였다. 사전학습된 가중치는 noisestudent를 사용하여 초기화하였으며, 입력채널 크기에 맞도록 grayscale의 이미지를 3채널로 확장하였다.
또한, GAP와 dropout을 추가하였으며, 분류기를 72개 class로 수정하였다. 학습모델에 대한 일반화와 학습 시간 증가를 위해 분류기에 L2-regularization을 적용하였다. 또한, 사전학습된 가중치의 데이터와의 유사성을 향상시키기 위해 전체 모델의 하이퍼 파라미터 튜닝을 진행하며 학습하였다.

성능/효과

사전학습된 가중치(noisy-student)를 사용한 모델은 사용하지 않은 모델보다 성능이 높게 나왔지만, 여전히 분산이 존재하는 한계가 있었다. 또한, 모바일에서Inference Server에 요청 시 모델 로딩 시간은 약 5.44s, 추론 시간은 약 2.88s가 걸렸다.
본 논문에서 제안한 방법의 분석 결과, 편향과 분산이 아직 크다는 한계가 드러났지만, 사전학습된 가중치를 사용하여 성능을 높이고, 다양한 데이터로 학습/테스트를 한점에서는 얼굴인식 정확도가 향상되는 효과를 보였다.
결과이다. 분석된 결과와 같이 원본 데이터와 blur 처리한 데이터를 더해 학습한 성능이 가장 높았다. 사전학습된 가중치(noisy-student)를 사용한 모델은 사용하지 않은 모델보다 성능이 높게 나왔지만, 여전히 분산이 존재하는 한계가 있었다.

후속연구

또한, 얼굴 성장예측 모델을 활용해 실종 기간을 고려한 성장한 실종자의 데이터 기반으로 정확한 실종자 확인을 할 수 있는 서비스를 제안할 것이다.
본 논문에서는 향후, 작은 크기의 얼굴 이미지에서 학습성능을 개선하기 위해 다양한 크기의 이미지를 end-to-end 방식으로 학습할 수 있는 경량화된 모델을 적용하고, 다양한 각도와 회전, 표정 변화 등 얼굴 이미지변형에 대한 데이터를 추가해 성능을 개선할 예정이다. 또한, 얼굴 성장예측 모델을 활용해 실종 기간을 고려한 성장한 실종자의 데이터 기반으로 정확한 실종자 확인을 할 수 있는 서비스를 제안할 것이다.

참고문헌 (18)

S. H. Jeong & B. C. Choi, "Face Recognition Technology Trends Through Patent Analysis", Electronics and telecommunications trends, Vol. 34, No. 2, pp. 29-39, Apr. 2019, DOI : 10.22648/ETRI.2019.J.340204

원문보기 상세보기
A. Krizhevsky, I. Sutskever & G. Hinton, "Imagenet Classification with Deep Convolutional Neural Networks", Communications of the ACM, Vol. 60, No. 6, pp. 84-90, Dec. 2017, DOI : https://doi.org/10.1145/3065386

상세보기
ETnews, https://www.etnews.com/20150322000015?m1
G. D. Park, G. S. Kim & S. H. Kang, "Determination of Mask Wearing and Measuring Body Temperature System Using MobileNe", Hyundai KEFICO, pp. 1924-1927, 2020.
Kortli, Y., Jridi, M., Al Falou, A., Atri & M., (2018, April), "A comparative study of CFs, LBP, HOG, SIFT, SURF, and BRIEF techniques for face recognition", Pattern Recognition and Tracking XXIX, (Vol. 10649, p.106490M), Orlando : United States
Kim, Y., Park, W., Roh, M. C., Shin & J., (2020), "Groupface: Learning latent groups and constructing group-based representations for face recognition.", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, (pp.5621-5630)
M. Mirza & S. Osindero, Conditional generative adversarial nets, https://arxiv.org/abs/1411.1784
G. Antipov, M. Baccouche & J. L. Dugelay, "Face aging with conditional generative adversarial networks", IEEE, pp. 2089-2093, Sept. 2017.
C. R. Park, J. Y. Son, S. H. Kim & S. H. Lee, "Face Recognition Smart Mirror for User Emotion Recognition Service", Kyung Hee University, pp. 2019-2111, Jun. 2017.
Apple Inc., An On-device Deep Neural Network for Face Detectio Apple Inc., https://machinelearning.apple.com/research/face-detection
Etoday, Hana Bank releases 'New Hana One Q'...First face authentication service in the banking sector, https://www.etoday.co.kr/news/view/1931361
C. I. Moon, H. M. Lee & O. S. Lee, "A Stress Diagnosis System Using by the Iris Analysis", Journal of The Korea Contents Association, Vol. 17, No. 9, pp. 466-475, Sept. 2017, DOI : 10.5392/JKCA.2017.17.09.466

원문보기 상세보기
Boannews, Suprema supplies face recognition-based cutting edge technology security systems to Korea Electric Power Corp.'s Smart Buildings, https://www.boannews.com/media/view.asp?idx92539
P. Viola & M. J. Jones, "Robust real-time face detection", International journal of computer vision, Vol. 57, No. 2, pp. 137-154, May. 2004, DOI : 10.1023/B:VISI.0000013087.49260.fb

상세보기
P. Viola & M. Jones, "Rapid object detection using a boosted cascade of simple features", IEEE, Vol. 1, pp.I-I, Dec. 2001.
D. E. King, "Dlib-ml: A machine learning toolkit", Journal of Machine Learning Research, Vol. 10, No. 60, pp. 1755-1758, Dec. 2009, DOI : 10.1145/1577069.1755843
S. T. LIONG, Y. S. Gan, K. H. Liu, T. Q. Binh, C. T. Le, C. A. Wu, C. Y. Yang & Y. C. Huang, Efficient Neural Network Approaches for Leather Defect Classification, https://arxiv.org/abs/1906.06446v1
M. Tan & Q. V. Le, Efficientnet: Rethinking model scaling for convolutional neural networks, https://arxiv.org/pdf/1905.11946.pdf

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증