[논문]저화질 안면 이미지의 화질 개선를 통한 안면 특징점 검출 모델의 성능 향상

이경욱; 이예진; 박종혁

doi:10.13088/jiis.2023.29.2.171

저화질 안면 이미지의 화질 개선를 통한 안면 특징점 검출 모델의 성능 향상
Enhancing the performance of the facial keypoint detection model by improving the quality of low-resolution facial images 원문보기

지능정보연구 = Journal of intelligence and information systems, v.29 no.2, 2023년, pp.171 - 187

이경욱 (국민대학교 경영대학 AI빅데이터융합경영학과) , 이예진 (국민대학교 경영대학 AI빅데이터융합경영학과) , 박종혁 (국민대학교 경영대학 AI빅데이터융합경영학과)

초록
AI-Helper

저화소의 감시카메라와 같은 촬영 장비를 통해 사람의 얼굴을 인식할 경우, 화질이 낮아 얼굴을 포착하기 어렵다는 문제점이 있다. 이렇게, 사람의 얼굴을 인식하기 어렵다면 범죄용의자나 실종자를 특정해내지 못하는 등의 문제가 발생할 수 있다. 기존 이미지 속 안면 인식에 관한 연구들에서는 정제된 데이터셋을 사용하였기 때문에 다양한 환경에서의 성능을 가늠하기 어렵다는 한계가 존재한다. 이에, 본 논문에서는 저화질 이미지에서 안면 인식 성능이 떨어지는 문제를 해결하기 위해 다양한 환경을 고려한 저화질 안면 이미지에 대해 화질 개선을 수행하여 고화질 이미지를 생성한 뒤, 안면 특징점 검출의 성능 향상시키는 방법을 제안한다. 제안 방법의 현실 적용 가능성을 확인하기 위해 전체 이미지에서 사람이 상대적으로 작게 나타나는 데이터셋을 선정하여 실험을 수행하였다. 또한 마스크 착용 상황을 고려한 안면 이미지 데이터셋을 선정하여, 현실 문제로의 확장 가능성을 탐구하였다. 안면 이미지의 화질을 개선하여 특징점 검출 모델의 성능을 측정한 결과, 개선 후 안면의 검출 여부는 마스크를 착용하지 않은 이미지의 경우 평균 3.47배, 마스크를 착용한 경우 평균 9.92배로 성능 향상을 확인할 수 있었다. 안면 특징점에 대한 RMSE는 마스크를 착용한 이미지의 경우 평균 8.49배 감소, 마스크를 착용하지 않은 경우 평균 2.02배 감소한 것을 확인할 수 있었다. 이에, 화질 개선을 통해 저화질로 포착된 안면 이미지에 대한 인식률을 높여 제안 방법의 활용 가능성을 확인할 수 있었다.

Abstract ▼ AI-Helper

When a person's face is recognized through a recording device such as a low-pixel surveillance camera, it is difficult to capture the face due to low image quality. In situations where it is difficult to recognize a person's face, problems such as not being able to identify a criminal suspect or a missing person may occur. Existing studies on face recognition used refined datasets, so the performance could not be measured in various environments. Therefore, to solve the problem of poor face recognition performance in low-quality images, this paper proposes a method to generate high-quality images by performing image quality improvement on low-quality facial images considering various environments, and then improve the performance of facial feature point detection. To confirm the practical applicability of the proposed architecture, an experiment was conducted by selecting a data set in which people appear relatively small in the entire image. In addition, by choosing a facial image dataset considering the mask-wearing situation, the possibility of expanding to real problems was explored. As a result of measuring the performance of the feature point detection model by improving the image quality of the face image, it was confirmed that the face detection after improvement was enhanced by an average of 3.47 times in the case of images without a mask and 9.92 times in the case of wearing a mask. It was confirmed that the RMSE for facial feature points decreased by an average of 8.49 times when wearing a mask and by an average of 2.02 times when not wearing a mask. Therefore, it was possible to verify the applicability of the proposed method by increasing the recognition rate for facial images captured in low quality through image quality improvement.

주제어

표/그림 (9)

그림 Overall Flow of Proposed Method
그림 Examples of Detected Facial Landmarks
그림 Dataset Split Ratio of Total Data
그림 Examples of Image by Degradation Factors
그림 Examples of Generated Image from Downsampled Image Based on the Amount of Learning
그림 Examples of Test Data Inference Results for Qualitative Evaluation
표 Super-Resolution Evaluation Metrics in Test Data
그림 Ratio of Landmark Detection
그림 RMSE of Detected Landmarks

참고문헌 (27)

권영우, 백성현, 김보순, 오성훈, 전영준, 정석찬.？(2021). 저화질 공공 CCTV의 영상 화질 개선？방안 연구. 한국빅데이터학회지, 6권 제2호,？125-137.
김영국, 임채현, 손민지, 김명호. (2020). 마스크를？착용한 환경에서 얼굴 인식을 활용한 자동출석체크 시스템. 한국컴퓨터정보학회 학술발표논문집, 28(2), 23-26.
문지선, 신지태. (2022). 비지도학습 기반 저화질？CCTV 화질 개선 알고리즘. 대한전자공학회 학술대회, 1391-1394.
손현식, 김덕근, 양승환. (2022). 대기환경으로 인해？흐려진 영상에 대한 이미지 화질 개선 알고리즘 : 리뷰. 한국농업기계학회 학술발표논문집, 27(2), 79.
이승호. (2020). 출입 통제에 활용 가능한 딥러닝？기반 마스크 착용 판별. 한국산학기술학회 논문지, 21(8), 395-400.
이유호, 전동산. (2022). 압축 왜곡 감소를 위한？CNN 기반 이미지 화질개선 알고리즘. 멀티미디어학회논문지, 25(5), 676-684.
이주영. (2023, 2월 2). 아시아인 마스크 계속 쓰네?...？NYT "오랜 습관에다 표정 숨기려". 연합뉴스.？https://www.yna.co.kr/view/AKR20230202056800009
이채원, 윤성빈, 조철우, 황현상, 이건영, 이의철.？(2022). ESRGAN을 이용한 차량 번호판 화질？개선을 통한 인식률 향상. 차세대융합기술학회논문지, 6(1), 5-11.
장성민, 이정우, 박종혁. (2022). 위조번호판 부착차량 출입 방지를 위한 인공지능 기반의 주차관제시스템 개선 방안. 지능정보연구, 28(2),？57-74.
정민혁. (2022, 11월 9). 서울시 노후 CCTV 1.3만대？육박... "교체 예산 매해 감소". 안전신문.？https://www.safetynews.co.kr/news/articleView.html?idxno216844
최남웅, 김우주. (2019). 적대적 생성 모델을 활용한 사용자 행위 이상 탐지 방법. 지능정？보연구, 25(3), 43-62.
한상욱, 안성만, 정여진. (2019). Object detection을 통한 문서내의 특정 객체 탐지 및 추출.？한국지능정보시스템학회 학술대회논문집,？29-30.？
Baker. S. and T. Kanade., (2000). Hallucinating？faces. Proceedings Fourth IEEE International？Conference on Automatic Face and Gesture？Recognition, 83-88.
Bulat. A., G. Tzimiropoulos. (2017). Super-FAN:？Integrated facial landmark localization and？super-resolution of real-world low resolution？faces in arbitrary poses with GANs. arXiv,？arXiv.1712.02765
Cheng. M., Z. Jiang., J. Lu., J. Zhou. (2020). Deep Face？Super-Resolution With iterative Collaboration？Between Attentive Rexovery and Landmark？Estimation. 2020 IEEE/CVF Conference on？Computer Vision and Pattern Recognition？(CVPR), 5568-5577.
Chao. D., C. C. Loy., K. He., X. Tang., (2014) Image？Super-Resolution Using Deep Convolutional？Networks. arXiv, arXiv.1501.00092
Davis E. King. (2009). Dlib-ml: A Machine Learning？Toolkit. Journal of Machine Learning Research.？10:1755-1758.
Fernandez. A., A. Farrugia., F. Julian., B. Josef.？(2019). Super-Resolution for Selfie Biometrics:？Introduction and Application to Face and Iris.？Halmstad University, CAISR - Center for Applied？Intelligent Systems Research, 77, 105-208
Ledig. C., L, Theis., F. Huszar., A. Cunningham., A.？Acosta., A. Aitken., A. Tejani., J. Totz., Z. Wang.？And W. Shi. (2017). Photo-Realistic Single？Image Super-Resolution Using a Generative？Adversarial Network. 2017 IEEE Conference？on Computer Vision and Pattern Recognition？(CVPR), 105-114.
Liang. J., J. Cao., G. Sun., K. Zhang., L. V. Gool. And？R. Timofte. (2021). SwinIR: Image Restoration？Using Swin Transformer. 2021 IEEE/CVF？International Conference on Computer Vision？Workshops (ICCVW), 1833-1844.
Lingbo. Y., S. Wang., S. Ma., W. Gao., C. Liu., P.？Wang. and P. Ren. (2020). HiFaceGAN: Face？Renovation via Collaborative Suppression and？Replenishment. Proceedings of the 28th ACM？International Conference on Multimedia (MM？'20), 1551-1560.
Liu. Z., Y. Lin., H. Hu., Y. Wei., Z. Zhang., S. Lin.,？B. Guo. (2021). Swin Transformer: Hierarchical？Vision Trasnformer using Shifted Windows.？arXiv, arXiv.2103.14030.
Nguyen. K., C. Fookes, S. Sridharan, M. Tistarelli,？and M. Nixon. (2018). Super-resolution for？biometrics: A comprehensive survey. Pattern？Recognition, 78, 23-42.
Raschka. S., (2018). MLxtend: Providing machine？learning and data science utilities and extensions？to Python's scientific computing stack. Journal？of Open Source Software, 3(24), 638.

상세보기
Sagonas. C., G. Tzimiropoulos., S. Zafeiriou. And M.？Pantic. (2013). 300 Faces in-the-Wild Challenge:？The First Facial Landmark Localization Challenge.？2013 IEEE International Conference on Computer？Vision Workshops, 397-403.
Taesung. P., M. Liu., J. Zhu., (2019). Semantic Image？Synthesis With Spatially-Adaptive Normalization.？IEEE/CVF Conference on Computer Vision？and Pattern Recognition (CVPR), 2332-2341.
Wang. X., K. Yu., S. Wu., J. Gu., Y. Liu., C.？Dong., C. C. Loy., Y. Qiao. And X. Tang.？(2018). ESRGAN: Enhanced Super-Resolution？Generative Adversarial Networks. arXiv, arXiv. 1809.00219

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증