본 논문에서는 대표적인 특징점 추출 알고리즘인 SURF (Speeded Up Robust Features)를 이용한 얼굴 인식 방법을 소개한 다. 일반적으로, SURF를 이용한 물체 인식은 특징점 추출 및 정합만을 수행하지만, 본 논문에서 제안하는 SURF를 이용한 얼굴 인식 방법은 특징점 추출 및 정합뿐만 아니라 얼굴 영상 회전 및 특징점 검증을 추가로 수행한다. 얼굴 영상 회전은 특징점의 수를 증가시키기 위해 수행되며, 특징점 검증은 정확하게 정합된 특징점들을 찾기 위해 수행된다. 비록 본 논문에서 제안한 SURF를 이용한 얼굴 인식 방법은 PCA를 이용한 방법보다 연산 시간이 더 요구되었지만, 인식률은 보다 더 높았다. 이러한 실험 결과를 통해, 특징점 추출 알고리즘도 얼굴 인식에 적용할 수 있음을 확인할 수 있었다.
본 논문에서는 대표적인 특징점 추출 알고리즘인 SURF (Speeded Up Robust Features)를 이용한 얼굴 인식 방법을 소개한 다. 일반적으로, SURF를 이용한 물체 인식은 특징점 추출 및 정합만을 수행하지만, 본 논문에서 제안하는 SURF를 이용한 얼굴 인식 방법은 특징점 추출 및 정합뿐만 아니라 얼굴 영상 회전 및 특징점 검증을 추가로 수행한다. 얼굴 영상 회전은 특징점의 수를 증가시키기 위해 수행되며, 특징점 검증은 정확하게 정합된 특징점들을 찾기 위해 수행된다. 비록 본 논문에서 제안한 SURF를 이용한 얼굴 인식 방법은 PCA를 이용한 방법보다 연산 시간이 더 요구되었지만, 인식률은 보다 더 높았다. 이러한 실험 결과를 통해, 특징점 추출 알고리즘도 얼굴 인식에 적용할 수 있음을 확인할 수 있었다.
This paper proposes a SURF (Speeded Up Robust Features) based face recognition method which is one of typical interest point extraction algorithms. In general, SURF based object recognition is performed in interest point extraction and matching. In this paper, although, proposed method is employed n...
This paper proposes a SURF (Speeded Up Robust Features) based face recognition method which is one of typical interest point extraction algorithms. In general, SURF based object recognition is performed in interest point extraction and matching. In this paper, although, proposed method is employed not only in interest point extraction and matching, but also in face image rotation and interest point verification. image rotation is performed to increase the number of interest points and interest point verification is performed to find interest points which were matched correctly. Although proposed SURF based face recognition method requires more computation time than PCA based one, it shows better recognition rate than PCA algorithm. Through this experimental result, I confirmed that interest point extraction algorithm also can be adopted in face recognition.
This paper proposes a SURF (Speeded Up Robust Features) based face recognition method which is one of typical interest point extraction algorithms. In general, SURF based object recognition is performed in interest point extraction and matching. In this paper, although, proposed method is employed not only in interest point extraction and matching, but also in face image rotation and interest point verification. image rotation is performed to increase the number of interest points and interest point verification is performed to find interest points which were matched correctly. Although proposed SURF based face recognition method requires more computation time than PCA based one, it shows better recognition rate than PCA algorithm. Through this experimental result, I confirmed that interest point extraction algorithm also can be adopted in face recognition.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 대표적인 특징점 추출 알고리즘 중 하나인 SURF를 얼굴 인식에 적용하는 방법을 설명한다. 일반적으로, 특징점 추출 알고리즘은 물체를 인식하는데 더 많이 응용되었다.
본 논문에서는 특징점 추출 알고리즘인 SURF를 이용한 얼굴인식 방법을 제안하였다. 이는 SURF를 통해 특징점을 추출한 다음, 특징점 정합을 통해 계산된 정합된 특징점을 이용하여 얼굴 인식을 수행하게 된다.
제안 방법
PCA는 고차원의 벡터를 저차원으로 축소시키기 때문에, SURF와는 정반대 방법으로 벡터를 구성하며, 대표적인 전역 방식의 얼굴 인식 방법에 사용 된다. PCA를 이용한 것을 제외하고는 표 10과 동일한 조건에서 실험을 수행 하였으며, 차원을 축소하기 위해 사용되는 고유 벡터에 따라 인식률이 크게 달라지기 때문에[19] 고유 벡터를 다양하게 구성하여 표 11과 같이 인식률 및 수행 시간을 측정 하였다. 실험 결과를 통해, 지역 방식의 얼굴 인식 또한 전역 방식 못지않은 인식률을 보일 수 있지만, 수행 시간 측면에서는 개선이 필요함을 확인할 수 있었다.
표 8은 얼굴 영상 회전을 적용하지 않는 대신, 특징점 정합 후 검증한 결과를 이용했을 때의 인식률을 보여주고 있다. 거리 및 각도 임계값으로 5, 10 및 15를 사용하면서 64 및 128차원의 서술자를 사용하는 총 18번의 실험을 수행하였다. 특징점 검증을 적용한 결과, 인식률이 약 11% 이상 상승했으며, 표 6 및 7과는 반대로 서술자가 64차원 일 때의 인식률이 가장 높았다.
본 논문에서 제안하는 얼굴 인식 방법에서는 그림 6과 같이 학습 영상과 입력 영상을 회전시켜 영상의 수를 증가시킨 다음, SURF를 이용해 특징점을 추출한다.
얼굴 영상 회전 및 SURF를 이용한 특징점 추출 과정은 그림 7과 같이 얼굴 영상을 90°, 180° 및 270°로 회전시킨 다음 SURF를 통해 특징점을 추출한다.
표 9는 본 논문에서 제안한 방법을 이용했을 때의 인식률을 보여주고 있다. 이는 얼굴 영상 회전, 특징점 정합 및 검증을 모두 적용한 것이며, 표 8과 동일한 방식으로 총 18번의 실험을 수행하였다. 앞서 수행한 실험 결과들과 종합한 결과에 따르면, 얼굴 영상 회전과 특징점 검증을 모두 사용하는 방법이 가장 높은 인식률을 얻을 수 있으며 이때 사용되는 거리 및 각도 임계값은 10이고 서술자의 차원 수는 64임을 확인할 수 있었다.
마찬가지로, 본 논문에서 소개한 얼굴 인식의 수행시간을 개선하기 위해서는 거리 계산량을 최소화해야 한다. 이를 위한 가장 간단한 방법은 본 논문에서 제시한 방법을 역으로 적용하는 것이다. 다시 말해, 특징점 정합에서 두 특징점 간의 위치 및 방향 차이가 임계값 보다 작은 경우에만 거리 계산을 수행하는 것이다.
740장의 얼굴 영상들은 그림 12와 같이 전처리가 수행된다. 이를 위해 두 눈의 위치에 해당하는 A, B와 입의 위치에 해당하는 C를 임의로 정한 다음 D와 E의 위치를 구한다. 이때 D는 A와 B의 중간 위치이며 E는 C 와 D의 중간 위치이다.
그러나 특징점 정합 또한 조명 조건이 나쁜 상태에서 수행되면 정합된 특징점의 수가 감소하게 될 뿐만 아니라, 정합된 특징점 중 잘못 정합된 특징점의 비율이 증가 하면서 인식율이 감소하는 것을 확인할 수 있었다. 이를 해결하기 위해 정합된 특징점 간의 위치 차이 및 방향 차이를 이용하여 특징점이 올바르게 정합되었는지 확인하는 특징점 검증을 적용하여 잘못 정합된 특징점을 제거 할 수 있었다.
이러한 점에서, 특징점 추출 알고리즘을 이용한 얼굴 인식은 물체 인식보다 상대적으로 불리하다. 이를 해결하기 위해, 본 논문에서는 특징점 추출 알고리즘을 이용한 물체 인식 방법에서 사용하는 특징점 추출 및 정합 (matching)에 얼굴 영상 회전 및 특징점 검증 (verification)을 추가하였다.[15]
대상 데이터
는 서로 다른 28명의 사람이 9개의 포즈 (Pose)와 64가지의 조명 조건 (illumination condition) 에서 촬영된 640 x 480의 그레이 스케일 영상 16128장으로 구성되어 있다. 이 중에서, 20명이 정면을 바라보는 1개의 포즈와 37가지 조명 조건에서 촬영된 영상 740장이 실험에 사용된다. 표 3은 실험에 사용되는 얼굴 영상들의 조명 범위이다.
이론/모형
마지막 실험으로, PCA (pricipal component analysis)18]를 이용한 얼굴 인식을 수행하였다. PCA는 고차원의 벡터를 저차원으로 축소시키기 때문에, SURF와는 정반대 방법으로 벡터를 구성하며, 대표적인 전역 방식의 얼굴 인식 방법에 사용 된다.
성능/효과
이때 얼굴 인식 방법은 표 9의 방법과 동일하다. 1인당 3장의 학습 영상을 사용 했을 때의 수행 시간은 3배 이상 증가 하였지만 인식률은 8% 이상 상승 하였다. 반면에, 5장 이상을 사용했을 때는 수행 시간에 비해 증가하는 인식률의 폭이 낮았다.
추출된 특징점은 정합을 통해 각 학습 영상에 해당하는 정합된 특징점이 계산된다. 그러나 특징점 정합 또한 조명 조건이 나쁜 상태에서 수행되면 정합된 특징점의 수가 감소하게 될 뿐만 아니라, 정합된 특징점 중 잘못 정합된 특징점의 비율이 증가 하면서 인식율이 감소하는 것을 확인할 수 있었다. 이를 해결하기 위해 정합된 특징점 간의 위치 차이 및 방향 차이를 이용하여 특징점이 올바르게 정합되었는지 확인하는 특징점 검증을 적용하여 잘못 정합된 특징점을 제거 할 수 있었다.
실험 결과를 통해 얼굴 영상 회전 및 특징점 검증을 추가로 적용하면 인식률이 더 높아짐을 확인할 수 있었으며, 1인 당 사용되는 학습 영상의 수를 늘리면 인식률을 보다 더 향상시킬 수 있었다.
PCA를 이용한 것을 제외하고는 표 10과 동일한 조건에서 실험을 수행 하였으며, 차원을 축소하기 위해 사용되는 고유 벡터에 따라 인식률이 크게 달라지기 때문에[19] 고유 벡터를 다양하게 구성하여 표 11과 같이 인식률 및 수행 시간을 측정 하였다. 실험 결과를 통해, 지역 방식의 얼굴 인식 또한 전역 방식 못지않은 인식률을 보일 수 있지만, 수행 시간 측면에서는 개선이 필요함을 확인할 수 있었다.
이는 얼굴 영상 회전, 특징점 정합 및 검증을 모두 적용한 것이며, 표 8과 동일한 방식으로 총 18번의 실험을 수행하였다. 앞서 수행한 실험 결과들과 종합한 결과에 따르면, 얼굴 영상 회전과 특징점 검증을 모두 사용하는 방법이 가장 높은 인식률을 얻을 수 있으며 이때 사용되는 거리 및 각도 임계값은 10이고 서술자의 차원 수는 64임을 확인할 수 있었다.
표 7은 얼굴 영상 회전을 통해 얼굴 영상의 수를 증가시킨 다음, 특징점 정합 결과를 이용했을 때의 인식률을 보여주고 있다. 얼굴 영상 회전을 적용한 결과, 인식률이 약 14% 이상 상승한 것을 확인할 수 있었다.
이를 해결하기 위해 학습 영상과 시험 영상을 90°씩 360°회전시켜 얼굴 영상의 수를 4배로 늘리는 얼굴 영상 회전을 적용하여 추출 되는 특징점의 수를 증가시킬 수 있었다.
조명 조건이 나쁜 영상에서 특징점을 추출하게 되면, 추출되는 특징점의 수가 감소하는 것을 확인할 수 있었다. 이는 정합된 특징점 수 또한 감소시키며, 결국에는 인식률을 감소시키는 원인이 된다.
거리 및 각도 임계값으로 5, 10 및 15를 사용하면서 64 및 128차원의 서술자를 사용하는 총 18번의 실험을 수행하였다. 특징점 검증을 적용한 결과, 인식률이 약 11% 이상 상승했으며, 표 6 및 7과는 반대로 서술자가 64차원 일 때의 인식률이 가장 높았다.
얼굴 영상 회전을 통해 4장으로 늘어난 학습 영상과 시험 영상은 그림 8과 같이 각각 한번씩, 총 16번의 정합을 통해 정합된 특징점이 계산된다. 회전을 통해 얼굴 영상의 수를 늘린 다음 특징점을 추출하기 때문에 회전을 하지 않고 추출하는 것보다 더 많은 수의 특징점을 추출 할 수 있으며, 결과적으로 정합된 특징점의 수를 증가시킴으로써 인식률을 상승시킬 수 있게 된다.
후속연구
향후에는 PCA를 이용한 얼굴인식 방법을 1단계로 수행한 다음, SURF를 이용한 얼굴인식 방법을 2단계로 수행하는 혼합형 얼굴인식 방법[20～21]을 연구할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
특징점 추출 알고리즘은 어떤 알고리즘을 말하는가?
한편, 특징점 추출 알고리즘 (interest point extraction algorithm)은 2차원 영상의 일정 지역에 해당하는 화소를 이용하여, 영상의 특징이 될 수 있는 특징점을 추출하는 알고리즘이다. 이때 특징점은 코너 (corner) 및 블랍 (blob)을 의미한다.
2차원의 얼굴 영상을 이용하는 얼굴 인식 방식 2가지는?
2차원의 얼굴 영상을 이용하는 얼굴 인식은 크게 전역 방식 (holistic methods)과 지역 방식 (local methods)으로 나누어진다[1].
대표적인 interest point extraction algorithm에는 무엇이 있으며, 어디에 응용되고 있는가?
이 스케일과 방향에 상대적으로 특징점이 구성되기 때문에, 스케일이나 회전 변화에도 강인할 수 있다. 대표적인 특징점 추출 알고리즘으로는 SIFT (Scale Invariant Feature Transform)[5]와 SURF (Speeded Up Robust Feature)[6] 등이 있으며, 이들은 물체 인식[7～8], 위치인식[9～10], SLAM (Simultaneous Localization And Mapping)[11～12] 등에 응용되고 있다. 그리고 최근에는, 얼굴 인식과 관련된 연구[13～14]에도 응용 되고 있다.
참고문헌 (21)
Tan, X., Chen, S., Zhou, Z., and Zhang, F., "Face recognition from a single image per person: A survey," Pattern Recognition, Vol. 39, No. 9, pp. 1725-1745, Sep. 2006.
P. N. Belhumeur, J. P. Hespanha, and D. J. Kriegman, "Eigenfaces vs. Fisherfaces: Recognition using class specific linear projection," IEEE Trans. Pattern Anal. Mach. Intell., vol. 19, no. 7, pp. 711-720, Jul.1997.
M. S. Bartlett, J. R. Movellan, and T. J. Sejnowski, "Face recognition by independent component analysis," IEEE Trans. Neural Netw., vol.13, no. 6, pp. 1450-1464, Jun. 2002.
H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, "Surf: Speeded up robust features", Computer Vision and Image Understanding (CVIU), vol. 110 no. 3, pp. 346-359, 2008.
D. Lowe, "Object recognition from local scale-invariant features", In ICCV, 1999.
H. Bay, Beat Fasel, and Luc Van Gool, "Interactive museum guide: Fast and robust recognition of museum objects", In First international workshop on mobile vision, 2006.
H. Tamimi, H. Andreasson, A. Treptow, T. Duckett, and A. Zell, "Localization of mobile robots with omnidirectional vision using particle filter and iterative SIFT, in Proc. 2nd European Conf. on Mobile Robots - ECMR'05, Ancona, Italy, September 2005.
A.C. Murillo, J.J. Guerrero, and C. Sagues, "SURF Features for Efficient Robot Localization with Omnidirectional Images", Proc. 2007 IEEE Int'l Conf. Robotics and Automation, IEEE Press, pp. 3901-3907, 2007.
S. Se, D. Lowe, and J. Little. Vision-based mobile robot localization and mapping using scale-invariant features. In Proc. of the International Conference on Robotics & Automation (ICRA), 2001.
M. Cummins, P. Newman, "FAB-MAP: Probabilistic Localization and Mapping in the Space of Appearance", International Journal of Robotics Research, Vol. 27, No. 6, pp. 647-665, 2008.
Hyeonjoon Moon, P Jonathon Phillips, "Computational and performance aspects of PCA-based face-recognition algorithms", Perception, vol. 30, pp. 303-321, 2001.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.