[논문]적외선과 깊이 영상을 이용한 얼굴 인식 방법

이동석; 한대현; 권순각

doi:10.9723/jksiis.2018.23.2.001

적외선과 깊이 영상을 이용한 얼굴 인식 방법
Face Recognition Method by Using Infrared and Depth Images 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.23 no.2, 2018년, pp.1 - 9

이동석 (동의대학교 컴퓨터소프트웨어공학과) , 한대현 (동의대학교 전자공학과) , 권순각 (동의대학교 컴퓨터소프트웨어공학과)

초록
AI-Helper

본 논문은 조명변화에 민감하지 않고, 사진에 대한 오인식을 방지하기 위한 얼굴인식 방법을 제안한다. 제안한 방법은 적외선과 깊이 영상을 동시에 이용하며, 적외선 영상으로 조명변화의 민감성을 해결하고, 깊이 영상으로 사진과 같은 2차원 영상에 대한 오인식을 방지한다. 적외선과 깊이 영상을 동시에 이용한 얼굴 검출 방법과 얼굴 인식을 위한 특징 추출 및 매칭 방법을 구현하였으며, 모의실험을 통하여 기존 방법에 비해 얼굴인식의 정확도가 증가함을 보인다.

Abstract ▼ AI-Helper

In this paper, we propose a face recognition method which is not sensitive to illumination change and prevents false recognition of photographs. The proposed method uses infrared and depth images at the same time, solves sensitivity of illumination change by infrared image, and prevents false recognition of two - dimensional image such as photograph by depth image. Face detection method using infrared and depth images simultaneously and feature extraction and matching method for face recognition are realized. Simulation results show that accuracy of face recognition is increased compared to conventional methods.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 적외선 영상과 깊이 영상의 특성을 고려한 얼굴인식 방법을 제안하고자 한다. 본 논문에서는 깊이 영상과 적외선 영상을 같이 이용하여 얼굴을 인식함으로써 두 영상의 장점을 극대화하고, 단점을 최소화하여 정확한 얼굴 인식을 하고자 한다. 먼저 얼굴을 촬영한 적외선 영상 및 깊이 영상에서 깊이 정보를 통해 얼굴을 추출한 후 깊이 기반 정규화를 수행한다.
하지만 깊이 영상은 색상 영상이나 적외선 영상에 비해 잡음이 많이 포함되어 있어 단독으로 얼굴인식에 쓰일 때는 인식률이 떨어진다는 단점이 있다[13]. 본 논문에서는 이러한 두 영상의 장점을 살리고 단점을 보완하는 얼굴 인식 방법을 제안한다.
본 논문에서는 적외선 영상과 깊이 영상을 함께 이용하여 얼굴 인식을 하는 방법을 제안하고자 한다. 적외선 영상은 색상 영상과 달리 조명의 영향을 적게 받기 때문에 색상영상을 이용하는 방법보다 얼굴 인식의 정확도가 높다.
본 논문에서는 적외선 영상과 깊이 영상의 특성을 고려한 얼굴인식 방법을 제안하고자 한다. 본 논문에서는 깊이 영상과 적외선 영상을 같이 이용하여 얼굴을 인식함으로써 두 영상의 장점을 극대화하고, 단점을 최소화하여 정확한 얼굴 인식을 하고자 한다.
본 논문에서는 적외선/깊이 영상의 특성을 이용한 새로운 얼굴인식 방법을 제안하였다. 이 방법을 통해 기존의 색상 영상에서 적용되었던 방법을 그대로 다른 유형의 영상에 쓰지 않고, 깊이 영상과 적외선 영상 각각의 특징에 맞는 얼굴의 특징 검출 방법을 적용함으로써 얼굴 인식 정확도가 높아졌다.

제안 방법

먼저 얼굴을 촬영한 적외선 영상 및 깊이 영상에서 깊이 정보를 통해 얼굴을 추출한 후 깊이 기반 정규화를 수행한다. 그 후 3D-LBP를 이용하여 깊이 영상 및 적외선 영상에서 해당 특징을 제일 잘 나타낼 수 있는 레이어를 선택하여 특징을 추출한다. 그 후 적외선영상의 히스토그램을 통해 기존에 저장된 히스토그램과 카이제곱거리를 측정하여 제일 유사한 얼굴을 찾은 뒤 깊이 영상의 히스토그램을 통해 해당 얼굴과의 유사도를 측정한다.
그 후, 잘라진 크기의 적외선 및 깊이 얼굴 영상에 대해 55x56 크기로 정규화한다. 그 후 3D-LBP를 이용하여 얼굴 영역의 깊이 영상 및 적외선 영상에 대해 특징을 추출한다. 이 때 3D-LBP의 모든 레이어를 사용하지 않고 특징을 가장 잘 나타낼 수 있는 일부 레이어만을 사용하여 특징 차원을 축소할 수 있다.
그 후 얼굴 영상의 특징들을 찾기 위해 깊이 영상과 적외선 영상에 각각 3D-LBP를 이용하여 부호화한 후 히스토그램을 구함으로써 깊이 영상과 적외선 영상 각각에 대한 LBP 히스토그램을 구한다. 그 후 DB에 저장된 기존 사람들의 적외선 영상의 LBP 히스토그램과 촬영된 적외선 영상의 LBP 히스토그램의 유사도를 측정하여 유사도가 제일 높게 나온 인물을 선정한다. 그리고 해당 인물에 대해 깊이 영상의 LBP 히스토그램의 유사도를 측정하여 일정 수치보다 높으면 얼굴에 대해 해당 인물로 인식함으로써 얼굴 인식을 하게 된다.
먼저 촬영된 깊이 영상을 통해 얼굴영역을 추출한다. 그 후 얼굴 영상의 특징들을 찾기 위해 깊이 영상과 적외선 영상에 각각 3D-LBP를 이용하여 부호화한 후 히스토그램을 구함으로써 깊이 영상과 적외선 영상 각각에 대한 LBP 히스토그램을 구한다. 그 후 DB에 저장된 기존 사람들의 적외선 영상의 LBP 히스토그램과 촬영된 적외선 영상의 LBP 히스토그램의 유사도를 측정하여 유사도가 제일 높게 나온 인물을 선정한다.
이 방법을 통해 정규화시 기존 방법과 달리 얼굴의 크기 정보를 유지시킬 수 있게 된다. 그 후 얼굴 영역에 대해 깊이 영상과 적외선 영상에 대해 자름으로써 얼굴 영역의 깊이 영상과 적외선 영상을 획득한다.
그 후 3D-LBP를 이용하여 깊이 영상 및 적외선 영상에서 해당 특징을 제일 잘 나타낼 수 있는 레이어를 선택하여 특징을 추출한다. 그 후 적외선영상의 히스토그램을 통해 기존에 저장된 히스토그램과 카이제곱거리를 측정하여 제일 유사한 얼굴을 찾은 뒤 깊이 영상의 히스토그램을 통해 해당 얼굴과의 유사도를 측정한다. 본 논문에서 제안하는 방법을 통해 얼굴 인식의 정확도를 높일 수 있고, 색상 사진등과 같은 기존 얼굴 인식에서 거짓인식을 하게 되는 위험을 줄일 수 있다.
그 후 DB에 저장된 기존 사람들의 적외선 영상의 LBP 히스토그램과 촬영된 적외선 영상의 LBP 히스토그램의 유사도를 측정하여 유사도가 제일 높게 나온 인물을 선정한다. 그리고 해당 인물에 대해 깊이 영상의 LBP 히스토그램의 유사도를 측정하여 일정 수치보다 높으면 얼굴에 대해 해당 인물로 인식함으로써 얼굴 인식을 하게 된다.
깊이 영상과 적외선 영상에 대해 3D-LBP를 통해 각각 2번의 LBP 연산을 한 후, 이를 Uniform LBP 방법으로 부호화한 후 각각에 대해 히스토그램을 구하여 각각 2개의 LBP 히스토그램을 구한다. 여기서 적외선 영상에서 구한 특징은 저장된 얼굴 특징과 비교하여 정확도가 가장 높은 사람을 찾는데 이용하고, 깊이 영상에서 구한 특징은 실제 동일 인물인지 판별하는 과정에 이용한다.
먼저 깊이 영상을 이용한 얼굴 검출 방법의 수행 시간을 기존 색상 영상 기반의 Haar-like 특징을 이용한 얼굴 검출 방법[19]의 수행 시간과 비교하였다. 이 때 수행 속도를 측정하기 위해 2.
본 논문에서는 깊이 영상과 적외선 영상을 같이 이용하여 얼굴을 인식함으로써 두 영상의 장점을 극대화하고, 단점을 최소화하여 정확한 얼굴 인식을 하고자 한다. 먼저 얼굴을 촬영한 적외선 영상 및 깊이 영상에서 깊이 정보를 통해 얼굴을 추출한 후 깊이 기반 정규화를 수행한다. 그 후 3D-LBP를 이용하여 깊이 영상 및 적외선 영상에서 해당 특징을 제일 잘 나타낼 수 있는 레이어를 선택하여 특징을 추출한다.
얼굴의 특징을 통해 얼굴을 인식하는 과정은 다음과 같다. 적외선 영상에서의 2개의 3D-LBP 히스토그램을 DB에 저장된 히스토그램과 비교한다. 이 때 카이제곱거리를 이용하여 각각의 히스토그램의 유사도를 측정하여 평균한다.
카메라와 얼굴의 각도를 수평으로 -10°～10°의 각도로 회전하면서 얼굴 인식의 정확도를 측정하였다.

대상 데이터

실험에 사용한 깊이카메라는 Kinect v2이다. 해당 깊이 카메라는 색상 영상과 깊이 영상, 적외선 영상 촬영 모드를 지원하며, 해상도는 깊이 영상과 적외선 영상의 경우 512x424이다.
얼굴 인식 실험을 위한 얼굴 데이터 셋은 나이와 성별이 다른 100명의 학생으로부터 깊이 얼굴 영상을 1장 촬영하였고, 일부 안경 착용자의 경우 착용, 미착용으로 나누어 총 2장 촬영하였다. Fig.

데이터처리

기존 LBP 방법과 본 논문에서 제안된 LBP를 이용하여 카메라 정면에서 얼굴 촬영을 하여 얼굴인식을 한 결과의 정확도를 Table 2와 같이 비교하였다. 그 결과 기존 LBP 방법은 깊이 영상의 특징을 살리지 못하여 정확도가 떨어진 반면, 제안하는 방법은 정확도가 높게 나타났다.
적외선 영상에서의 2개의 3D-LBP 히스토그램을 DB에 저장된 히스토그램과 비교한다. 이 때 카이제곱거리를 이용하여 각각의 히스토그램의 유사도를 측정하여 평균한다. 그 후 유사도가 가장 높은 인물을 선정한다.

성능/효과

기존 LBP 방법과 본 논문에서 제안된 LBP를 이용하여 카메라 정면에서 얼굴 촬영을 하여 얼굴인식을 한 결과의 정확도를 Table 2와 같이 비교하였다. 그 결과 기존 LBP 방법은 깊이 영상의 특징을 살리지 못하여 정확도가 떨어진 반면, 제안하는 방법은 정확도가 높게 나타났다.
이 방법을 통해 기존의 색상 영상에서 적용되었던 방법을 그대로 다른 유형의 영상에 쓰지 않고, 깊이 영상과 적외선 영상 각각의 특징에 맞는 얼굴의 특징 검출 방법을 적용함으로써 얼굴 인식 정확도가 높아졌다. 또한 필요하지 않은 특징의 차원을 줄임으로써, 연산속도를 높일 수 있었다. 실험 결과 기존에 쓰이던 얼굴 인식 방법보다 높은 인식률을 보였다.
그 후 적외선영상의 히스토그램을 통해 기존에 저장된 히스토그램과 카이제곱거리를 측정하여 제일 유사한 얼굴을 찾은 뒤 깊이 영상의 히스토그램을 통해 해당 얼굴과의 유사도를 측정한다. 본 논문에서 제안하는 방법을 통해 얼굴 인식의 정확도를 높일 수 있고, 색상 사진등과 같은 기존 얼굴 인식에서 거짓인식을 하게 되는 위험을 줄일 수 있다.
5Ghz의 4코어 프로세서를 장착한 컴퓨터를 사용하였다. 수행 시간을 비교해 본 결과 본 논문에서 제안된 방법이 기존 Haar 특징을 이용한 얼굴 검출 방법보다 수행시간이 개선되었다는 것을 Table 1과 같이 알 수 있다.
또한 필요하지 않은 특징의 차원을 줄임으로써, 연산속도를 높일 수 있었다. 실험 결과 기존에 쓰이던 얼굴 인식 방법보다 높은 인식률을 보였다. 카메라와 얼굴과의 각도에 따라서는 정면에서는 정확하게 얼굴 인식이 되었으나, 얼굴이 회전했을 경우에는 정확도가 떨어졌는데, 이는 얼굴 회전에 대한 얼굴 영역의 깊이 값을 보상해주는 방법에 대한 연구가 필요하다.
본 논문에서는 적외선/깊이 영상의 특성을 이용한 새로운 얼굴인식 방법을 제안하였다. 이 방법을 통해 기존의 색상 영상에서 적용되었던 방법을 그대로 다른 유형의 영상에 쓰지 않고, 깊이 영상과 적외선 영상 각각의 특징에 맞는 얼굴의 특징 검출 방법을 적용함으로써 얼굴 인식 정확도가 높아졌다. 또한 필요하지 않은 특징의 차원을 줄임으로써, 연산속도를 높일 수 있었다.
카메라와 얼굴의 각도를 수평으로 -10°～10°의 각도로 회전하면서 얼굴 인식의 정확도를 측정하였다. 측정 결과 적외선 영상을 이용한 얼굴 선정 단계의 경우에는 높은 정확도로 올바른 인물을 선정하였지만, 깊이 영상을 이용한 신원 검증단계에서는 카메라와 얼굴의 각도가 클수록 신원검증에 실패하는 경우가 증가하였다. 이는 깊이 영상의 경우 색상 영상이나 적외선 영상과 달리 얼굴의 회전으로 인해 영상 내 화소의 값이 급격히 변화하여 신원 검증 정확도에 영향을 주기 때문이다.

후속연구

카메라와 얼굴과의 각도에 따라서는 정면에서는 정확하게 얼굴 인식이 되었으나, 얼굴이 회전했을 경우에는 정확도가 떨어졌는데, 이는 얼굴 회전에 대한 얼굴 영역의 깊이 값을 보상해주는 방법에 대한 연구가 필요하다. 본 논문에서 제안된 얼굴인식 방법을 적용하여 휴대장치 잠금제어, 보안시스템, 출입통제, 근퇴 관리 분야 등에 활용할 수 있을 것으로 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	PCA는 무엇인가?	PCA를 이용한 얼굴인식 방법[1,2]은 얼굴인식에는 대상의 특징을 추출하여 그것의 주성분을 분석하는 방법으로 고유 얼굴(Eigenfaces)를 추출하여 이를 얼굴 검출에 사용하는 방법이다. PCA는 고차원의 특징벡터를 저차원의 특징벡터로 정보의 손실이 최소화되도록 차원을 축소시키는 대표적인 알고리듬으로, 훈련용 얼굴 영상들에서 유사성을 찾아 얼굴이미지의 차원을 축소하여 평균 얼굴을 구한 후, 훈련 영상과 비교하고자 하는 영상의 가중치를 구해 NN(Nearest Neighbor) 방법을 사용하여 얼굴을 식별한다. PCA는 알고리듬이 단순하고 속도가 빠른 장점이 있지만, 얼굴의 포즈, 조도 등의 영향을 받아 정확도가 낮아지는 문제점이 있다.
	얼굴인식을 하기 위한 영상으로 주로 무엇을 이용하는가?	얼굴인식을 하기 위한 영상으로 주로 색상영상을 이용하고 있다. 색상영상 기반 얼굴인식 방법은 기존 영상을 그대로 사용할 수 있다는 장점이 있다.
	Haar-like 특징을 이용한 얼굴검출 방법에서 의미있는 특징의 선별은 무엇을 통해 이루어지는가?	Haar-like 특징을 이용한 얼굴검출 방법[5]은 영상내의 영역과 영역의 밝기차를 이용한 Haar-like 특징을 이용한 것으로, 사각형 형태의 밝은 영역과 어두운 영역의 사각형들로 구성된 다양한 형태의 Elementary 특징을 정의한 후, 각 영역에 포함된 화소 값들의 차이를 통해 의미있는 특징점을 찾는 방법이다. 여기서 의미있는 특징의 선별은 Boosting등의 자동 학습 알고리듬을 통해 이루어진다. Haar-like 특징을 이용한 방법은 영역 내 형태변화 및 위치변화에 대해서도 정확도가 유지되는 장점이 있지만, 광원이 변화 혹은 회전에 따라 정확도가 떨어지는 단점이 있다.

참고문헌 (19)

Turk, M. A., and Pentland, A. P., "Face Recognition Using Eigenfaces," Proceeding of IEEE Computer Society Conference on Computer Vision and pattern Recognition, 1991, pp. 586-591.
Paul, L. C., and Sumam, A. A., "Face Recognition Using Principal Component Analysis Method," International Journal of Advanced Research in Computer Engineering & Technology, Vol. 1, No. 9, 2012, pp. 135-139.
Lowe, D. G., "Object Recognition from Local Scale-Invariant Features," Proceeding of the International Conference on Computer Vision, Vol. 2, 1999, pp. 1150-1157.
Geng, C. and Jiang, X., "Face Recognition Using Sift Features," Proceeding of IEEE International Conference on Image Processing, 2009, pp. 3313-3316.
Viola, P. and Jones, M. J., "Rapid Object Detection Using a Boosted Cascade of Simple Features," Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001, pp. 511-518.
Ojala, T., Pietikainen, M., and Harwood, D., "A Comparative Study of Texture Measures with Classification Based on Feature Distributions," Pattern Recognition, Vol. 29, No. 1, 1996, pp. 51-59.

상세보기
Ahonen, T., Hadid, A., and Pietikinen, M., "Face Description with Local Binary Patterns: Application to Face Recognition," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 28, No. 12, 2006, pp. 2037-2041.

상세보기
Liao, S., Zhu, X., Lei, Z., Zhang, L., and Li, S. Z., "Learning Multi-scale Block Local Binary Patterns for Face Recognition," Proceeding of International Conference on Biometrics, 2007, pp. 828-837.
Pietikainen, M., Hadid, A., Zhao, G., and Ahonen, T., Computer Vision Using Local Binary Patterns, Springer, Berlin, Germany, 2011.
Lahdenoja, O., Poikonen, J., and Laiho, M., "Towards Understanding The Formation of Uniform Local Binary Patterns," ISRN Machine Vision, 2013, pp. 1-20.
Kim, S. M., Lee, D. J., Song, C. K., and Chun, M. G., "Robust Face Recognition Against Illumination Change Using Visible and Infrared Images," Journal of Korean Institute of Intelligent Systems, Vol. 24, No. 4, 2014, pp. 343-348.

원문보기 상세보기
Kong, S. G., "Design of an Observer-based Decentralized Fuzzy Controller for Discrete-Time Interconnected Fuzzy Systems," Journal of Korean Institute of Intelligent Systems, Vol. 25, No. 5, 2015, pp. 437-443.

원문보기 상세보기
Kwon, K. H., "Evaluation of Depth Image of IR Range Sensor with Face Recognition Algorithms," Journal of The Korea Academia-Industrial Cooperation Society, Vol. 13, No. 8, pp. 3666-3671, 2012.

원문보기 상세보기
Kwon, S. K., Kim, H. J., and Lee, D. S., "Face Recognition Method Based on Local Binary Pattern Using Depth Images," Journal of the Korea Industrial Information Systems Research, Vol. 22, No. 6, 2017, pp. 39-45.
Ojala, T., Pietikainen, M., and Maenpaa, M., "Multiresolution Gray-scale and Rotation Invariant Texture Classification with Local Binary Patterns," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 7, 2002, pp. 971-987.

상세보기
Huang, Y., Wang, Y., and Tan, T., "Combining Statistics of Geometrical and Correlative Features for 3D Face Recognition," Proceeding of the British Machine Vision Conference, 2006, pp. 90.1-90.10.
Neto, J. B. C., and Marana. A. N., "3DLBP and HAOG Fusion for Face Recognition Utilizing Kinect as a 3D Scanner," Proceeding of the 30th Annual ACM Symposium on Applied Computing. ACM, 2015, pp. 66-73.
Kim, H. J., Lee, D. S., and Kwon, S. K., "Implementation of Nose and Face Detections in Depth Image," Journal of Multimedia Information System, Vol. 4, No. 1, 2017, pp. 43-50.

원문보기 상세보기
Viola, P. and Jones, M., "Rapid Object Detection Using a Boosted Cascade of Simple Features," Proceeding of the 2001 IEEE Computer Society Conference on, Vol. 1, 2001, pp. 511-518.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증