본 논문에서는 실시간 응용을 위해 형판 정합 방법을 기반으로 하면서 동시에 외형 기반 (appearance_based) 방법에서 제시하는 학습 모델을 이용한 새로운 얼굴 검출 방법을 제안한다. 우선, 빛이나 조명의 영향에 의한 오류를 방지하기 위한 효과적인 전처리 과정으로 최소-최대 정규화(Min-max Normalization) 방법과 히스토그램 정규화 방법을 적용시킨다. 그런 뒤에 입력 영상과 형판을 PCA 변환하여 각각의 주성분(PC : Principal Component)을 생성하고 이를 LDA 변환한다. PCA 및 LDA 변환된 형판을 이용하여 입력 영상과의 거리 값을 구한 후 거리 값이 가장 작은 영역을 얼굴 영역으로 선택하고, 선택된 영역은 SVM을 이용하여 얼굴인지 아닌지를 검증하는 과정을 거친다. 또한, 본 논문에서는 실시간 얼굴 검출 방법을 위해 전체 영역이 아닌 $\pm$12 화소 크기의 탐색 윈도우를 이용하여 시스템의 속도 및 정확도를 고려하도록 하였다. 실제 환경과 같은 6개 부류의 동영상을 중심으로 실험한 결과, 본 논문에서 제안하는 방법이 기존의 PCA 변환만을 이용한 방법보다 좋은 성능을 보여줌을 알 수 있었고, 또한 SVM을 이용한 얼굴 검증 과정을 추가한 방법이 PCA 변환과 LDA 변환을 사용한 방법보다 좋은 성능을 보여줌을 알 수 있었다.
본 논문에서는 실시간 응용을 위해 형판 정합 방법을 기반으로 하면서 동시에 외형 기반 (appearance_based) 방법에서 제시하는 학습 모델을 이용한 새로운 얼굴 검출 방법을 제안한다. 우선, 빛이나 조명의 영향에 의한 오류를 방지하기 위한 효과적인 전처리 과정으로 최소-최대 정규화(Min-max Normalization) 방법과 히스토그램 정규화 방법을 적용시킨다. 그런 뒤에 입력 영상과 형판을 PCA 변환하여 각각의 주성분(PC : Principal Component)을 생성하고 이를 LDA 변환한다. PCA 및 LDA 변환된 형판을 이용하여 입력 영상과의 거리 값을 구한 후 거리 값이 가장 작은 영역을 얼굴 영역으로 선택하고, 선택된 영역은 SVM을 이용하여 얼굴인지 아닌지를 검증하는 과정을 거친다. 또한, 본 논문에서는 실시간 얼굴 검출 방법을 위해 전체 영역이 아닌 $\pm$12 화소 크기의 탐색 윈도우를 이용하여 시스템의 속도 및 정확도를 고려하도록 하였다. 실제 환경과 같은 6개 부류의 동영상을 중심으로 실험한 결과, 본 논문에서 제안하는 방법이 기존의 PCA 변환만을 이용한 방법보다 좋은 성능을 보여줌을 알 수 있었고, 또한 SVM을 이용한 얼굴 검증 과정을 추가한 방법이 PCA 변환과 LDA 변환을 사용한 방법보다 좋은 성능을 보여줌을 알 수 있었다.
In this paper, we propose a new face detection method for real-time applications. It is based on the template-matching and appearance-based method. At first, we apply Min-max normalization with histogram equalization to the input image according to the variation of intensity. By applying the PCA tra...
In this paper, we propose a new face detection method for real-time applications. It is based on the template-matching and appearance-based method. At first, we apply Min-max normalization with histogram equalization to the input image according to the variation of intensity. By applying the PCA transform to both the input image and template, PC components are obtained and they are applied to the LDA transform. Then, we estimate the distances between the input image and template, and we select one region which has the smallest distance. SVM is used for final decision whether the candidate face region is a real face or not. Since we detect a face region not the full region but within the $\pm$12 search window, our method shows a good speed and detection rate. Through the experiments with 6 category input videos, our algorithm shows the better performance than the existing methods that use only the PCA transform. and the PCA and LDA transform.
In this paper, we propose a new face detection method for real-time applications. It is based on the template-matching and appearance-based method. At first, we apply Min-max normalization with histogram equalization to the input image according to the variation of intensity. By applying the PCA transform to both the input image and template, PC components are obtained and they are applied to the LDA transform. Then, we estimate the distances between the input image and template, and we select one region which has the smallest distance. SVM is used for final decision whether the candidate face region is a real face or not. Since we detect a face region not the full region but within the $\pm$12 search window, our method shows a good speed and detection rate. Through the experiments with 6 category input videos, our algorithm shows the better performance than the existing methods that use only the PCA transform. and the PCA and LDA transform.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
PCA 변환에서 고유 벡터 개수는 얼굴 검출 성능에 영향을 미치기 때문에, 본 연구에서는 실험을 통해서 가장 좋은 성능을 보여주는 값으로 고유 벡터 개수를 설정하도록 하였다. 표 2에서 보면 영상의 밝기 평균값이 70이하인 어두운 영상에서는 고유 벡터 개수가 전체 고유 벡터의 40%를 가질 때, 얼굴 검출 정확 율이 가장 높다는 것을 알 수 있다.
따라서, 본 논문에서는 얼굴 검출 방법의 성능을 향상시키기 위해서 위와 같은 오류를 없애기 위해 SVM을 이용한 얼굴 검증 부분을 추가하였다.
결과적인 얼굴은 잘못 찾을 수 있다. 따라서, 본연구에서는 얼굴 검출 시스템의 성능을 향상시키기 위해 SVM을 이용한 얼굴 검증 과정을 추가하였다.
본 논문에서는 기존의 얼굴 관련 연구에서 혼히 쓰이는 방법인 PCA, LDA, SVM을 이용하여 실시간 입력영상의 얼굴 검출 및 검증에 적합하면서도 다양한 외부환경에 민감하지 않은 새로운 얼굴 검출 알고리즘을 제안하였다.
본 논문에서는 얼굴 검출 연구에서 가장 혼히 쓰이는 형판 정합 방법을 기반으로 하면서 외형 기반 방법에서 제시하는 학습 모델을 사용한 얼굴 검출 시스템을 제안한다. 이는 각각의 방법이 가지는 근본적인 문제점을 상호보완하여, 얼굴 검출 시 문제가 되는 몇 가지 조건에 대해 민감하지 않은 얼굴 검출 시스템을 제안하기 위함이다.
가설 설정
.두 눈 혹은 두 눈썹은 수직 방향 길이 값보다 수평방향 길이 값이 크다
최소, 최대 밝기 값이다. 최소-최대 정규화를 위해, 본 연구에서는 영상에서 빛 성분의 상위 약 1L7%를 reference white(226-256)로 가정하고, 반대로 하위 약 11.7%까지를 reference black(0-30)으로 간주하였다. 여기에서 사용한 11.
제안 방법
그림 12(a)는 얼굴 집단을 구성하는 학습 데이타의 예이고 그림 12(b)는 얼굴 아닌 집단을 구성하는 학습 데이타의 예이다. 얼굴 학습 데이타는 그림 12(a)에서 보는 것과 같이 정면 얼굴 및 좌우로 5° 회전한 얼굴을 사용함으로써 여러가지 상황의 얼굴을 검증할 수 있도록 하였다. 학습 과정 시 얼굴 영역 집단에 대해서는 타겟 값으로 +1을 주고, 얼굴 아닌 영역집단에 대해서는 타겟 값으로 을 주었다.
그리고 나서 선택된 후보 영역을 40x40 크기로 정규화하고 이들을 모자익영상으로 만든 후에 SVM의 입력 영상으로 넣어준다. SVM 학습 과정에서 얼굴 영역의 타겟 값을 +1로 지정하고 얼굴 아닌 영역의 타겟 값을 T로 지정하기 때문에세 개의 영상을 SVM의 입력 영상으로 넣은 후 결과로 나온 세 개의 영상의 타겟 값을 비교한다. 이 때, 실험을 통해서 구해진 타겟 값이 임계치 이상의 값이면 얼굴 영역으로 선택하고 그렇지 않으면 얼굴이 아닌 영역으로 선택한다.
후자의 방법은 셀의 화소 값을 매번 정렬한 후, 값을 선택해야 하기 때문에 실시간 처리에는 적합하지 못하다. 따라서 본 연구가 실시간 기반 방법임을 고려하여 첫 번째 방법을 사용하였다. 모자익 영상의 생성은 얼굴의 표정, 얼굴의 개인차, 영상의 잡음, 얼굴의 작은 기울어짐 등에 대한 보정을 해주기 때문에 얼굴의 공통적인 특징을 유지할 수 있다는 장점을 가진다.
따라서 본 연구에서는 고유 벡터의 개수를 영상의 밝기 평균값을 이용하여 가변적으로 적용하도록 하였다. 즉, 입력 영상의 밝기 평균값이 70이하일 때는 전체 고유 벡터의 40%를 가지게 하였고, 그 외의 경우에는 전체 고유 벡터의 30%를 가지게 하였다.
많은 수의 형판 변환은 수행 시간이 길어지게 되므로 실시간 얼굴 검출 방법으로는 적합하지 못하다. 따라서, 본 연구에서는 후자의 방법을 사용하였다. 즉, 형판의 크기는 고정시키지만 입력 영상의 크기를 여러 단계로 변화시킴으로써 다양한 크기의 얼굴 검출이 가능하도록 하였다.
이 때, 실험을 통해서 구해진 타겟 값이 임계치 이상의 값이면 얼굴 영역으로 선택하고 그렇지 않으면 얼굴이 아닌 영역으로 선택한다. 만약에 3개 입력 영상의 타겟 값이 모두 임계치를 넘지 않으면, 영상과 형판과의 차이 값을 비교한다. 형판과의 차이 값이 보통 얼굴일 때 나오던 값보다 모두 큰 경우에는 입력 영상에 얼굴이 없는 것으로 간주하고 얼굴 영역을 표시하지 않는다 그림 13은 그림 11과 같이 PCA 변환과 LDA 변환만을 이용해서는 제대로 얼굴을 검출하지 못하지만, 여기에 SVM 과정을 추가할 때는 제대로 얼굴 검출하는 것을 보여주는 예이다.
본 논문에서 제안하는 얼굴 검출 방법은 얼굴의 전체적인 특성을 이용하는 형판 정합 방법을 기반으로 한다. 형판은 영상을 얼굴 영역 중 눈썹부터 입술까지 40x40 크기로 잘라내어 만들어 준다.
본 논문에서는 실시간 영상에서 얼굴을 검출하기 위해 입력 영상의 크기를 90%, 70%, 50%로 줄이고 각 크기의 입력 영상과 형판을 PCA 변환 및 LDA 변환한 후, 형판과의 거리 값의 차이를 이용하는 방법을 제안한다. 하지만, 이 방법은, 얼굴이 아닌데도 단지 형판과의 거리 값이 작아서 잘못 찾는 단점이 발생할 수 있다[그림 11]
본 논문에서는 얼굴 영역의 정확한 크기를 알기 위해 얼굴 요소 증, 눈 혹은 눈썹의 위치를 이용한다. 우선형판 정합 방법으로 찾아진 얼굴 영역에 얼굴 요소만을 남기기 위해 전체 화소들 중 밝기 성분의 하위 20%에 해당하는 값으로 이잔화를 해주고 여기에 모폴로지 불림 연산(Morphology Dilation)을 적용하여 해당 영역내에 남겨진 얼굴 요소를 부각시킨다.
본 논문에서는 우선 첫 번째 프레임에서 얼굴을 찾은 후 이 영역의 중심을 기준으로 X 축과 y 축으로 ±12화소만큼의 영역을 탐색 윈도우로 정한다. 다음 프레임에서는 탐색 윈도우 내에서 형판과 거리 값의 차이가 가장 작은 영역을 찾는다.
본 연구에서 얼굴 집단 학습 데이타는 PCA 변환과 LDA 변환을 통해 얼굴로 검출돤 부분을 사용하였고, 얼굴 아닌 집단을 구성하는 학습 데이타는 PCA 변환과 LDA 변환을 통해 얼굴이 아닌 부분을 얼굴이라고 잘못 찾은 부분을 사용하였다. 얼굴 집단의 학습 데이타와 얼굴 아닌 집단의 학습 데이타는 각각 300개씩을 사용했을 때가 실험을 통해 가장 좋은 결과를 가짐을 알 수 있었기 때문에 본 연구에서는 각 집단을 300개의 데이타로 구성하였다.
본 연구에서 입력 영상은 실제 환경에서 흔히 볼 수 있는 조명의 변화를 고려하여, 일정한 밝기의 분포를 갖는 영상, 정면 광 영상, 측면 광 영상, 역광 영상, 전체적으로 높은 밝기를 갖는 영상, 전체적으로 어두운 밝기를 갖는 영상의 여섯 가지 부류로 나누었다. 실험에 사용된 영상은 http://vip.
본 연구에서는 얼굴 검출에 PCA 변환과 LDA 변환을 같이 사용하는 방법을 적용하였다. 이는 PCA 변환을 통해 학습 집단의 고차원 벡터의 데이타를 저차원 백터의 형태로 변환해주고, 이 변환을 통해서 생성된 주성분올 LDA 변환하여, 원하는 수의 집단을 만들어 준다.
얼굴 검출 시에는 형판 정합(Template Matching) 방법올 기반으로 하면서도 PCA 변환 및 LDA 변환 방법을 사용함으로써 기존의 형판 정합 방법이 가지는 단점을 개선하도록 하였다. 하지만, 형판 정합의 단점이 얼굴의 크기, 모양, 회전등에 따라 민감하고, 얼굴마다 개인 차이가 크기 때문에 얼굴을 놓치는 것인데, 이러한 단점을 개선하기 위해서 본 논문에서는 후보 영역에 대해서 SVM을 적용시킴으로써 얼굴 검출 율을 크게 향상시킬 수 있었다.
따라서, 본 연구에서는 후자의 방법을 사용하였다. 즉, 형판의 크기는 고정시키지만 입력 영상의 크기를 여러 단계로 변화시킴으로써 다양한 크기의 얼굴 검출이 가능하도록 하였다. 형판은 학습과정에서 구한 고유 벡터와 고유 값을 이용해서 PCA 변환 및 LDA 변환한다.
결국, 입력 영상의 최소, 최대 밝기 값에 상관없이 모든 영상이 31-225 범위의 밝기 값을 갖도록 하였다. 하지만, 입력 영상 밝기 값의 평균이 70 이하, 혹은 180 이상으로 영상이 너무 어둡거나, 밝은 예외적인 상황에서는 전처리로 히스토그램 평활화를 사용하였다.
대상 데이터
본 연구에서는 집단에 적합한 표본 데이타의 개수를 알아내기 위해 그림 3의 6개 부류의 입력 영상을 대상으로 실험하였는데, 표 3에서 보면 알 수 있듯이 표본 데이타의 개수가 2개일 때 가장 높은 얼굴 검출 율을 보임을 알 수 있었다. 따라서, 각 집단의 데이타 개수는 2개를 사용하였고, 집단을 구성하는 데이타는 서로 다른 얼굴 영상을 사용하였다.
따라서, 이 영역을 얼굴 영역으로 선택하기 전에 실험에 의해 구한 임계치를 적용한다. 본 논문에서의 임계치는 220이다. 즉, 이 영역과 형판과의 거리 값의 차이가 임계치보다 작으면 이는 탐색 윈도우 내 얼굴이 존재하는 것이기 때문에, 이 영역을 얼굴로 선택할 수 있다.
갖는 영상의 여섯 가지 부류로 나누었다. 실험에 사용된 영상은 http://vip.yonsei.ac.kr/facetracking 다운받을 수 있다.
부분을 사용하였다. 얼굴 집단의 학습 데이타와 얼굴 아닌 집단의 학습 데이타는 각각 300개씩을 사용했을 때가 실험을 통해 가장 좋은 결과를 가짐을 알 수 있었기 때문에 본 연구에서는 각 집단을 300개의 데이타로 구성하였다. 그림 12(a)는 얼굴 집단을 구성하는 학습 데이타의 예이고 그림 12(b)는 얼굴 아닌 집단을 구성하는 학습 데이타의 예이다.
이론/모형
본 논문에서는 전처리 과정으로 식 (5)와 같은 최소-최대 정규화(Min_max normalization) 방법을 사용한다. 최소-최대 정규화 방법이란 입력 영상을 새롭게 정의된 데이타 범위로 변형 시켜주는 방법으로, 아주 어둡거나 밝은 입력 영상을 특정 밝기 영역 안에 존재할 수 있도록 변화시켜 줄 수 있다.
성능/효과
그리고 눈 혹은 눈썹 영역을 찾아서 얼굴의 정확한 영역을 다시 찾올 때는 속도의 느려짐이 발생함을 알 수 있었다. 따라서 향후 연구 과제로는 정면 얼굴에서도 좋은 성능을 보여주지만 그 외의 경우에 대해서 좋은 성능을 보여 주도록 해야 할 것이고, 얼굴의 정확한 영역을 찾는 방법에 대해서도 성능의 개선이 요구된다.
이 표에서 보면, PCA 변환과 LDA 변환을 이용한 얼굴 검출 율은 약 81%이지만, 여기에 SVM 검증 과정을 추가했을 때 얼굴 검출 율은 약 93%로 향상되었다. 따라서 얼굴 검출 시 PCA 변환과 LDA 변환만을 사용한 것보다, SVM 검증 과정을 추가한 것이 더욱 나은 얼굴 검출 율을 가짐을 알 수 있었다. 또한, 본 논문에서 제안한 방법이 실시간 입력 영상에 적합한 것인가의 여부를 알기 위해 본 시스템의 수행 속도를 측정했을 때, 이는 초당 약 11프레임 정도임을 알 수 있었다.
따라서, PCA변환과 LDA 변환과 SVM을 이용해서 얼굴을 검출하는 것이 가장 좋은 얼굴 검출 율을 보여주고 또한, 실시간 얼굴 검출에도 적합하다는 것을 알 수 있었다.
따라서 얼굴 검출 시 PCA 변환과 LDA 변환만을 사용한 것보다, SVM 검증 과정을 추가한 것이 더욱 나은 얼굴 검출 율을 가짐을 알 수 있었다. 또한, 본 논문에서 제안한 방법이 실시간 입력 영상에 적합한 것인가의 여부를 알기 위해 본 시스템의 수행 속도를 측정했을 때, 이는 초당 약 11프레임 정도임을 알 수 있었다.
본 논문에서 제안하는 얼굴 검출 시스템은 정면 얼굴 혹은 위, 아래로 돌아간 얼굴에는 좋은 결과를 보이지만 얼굴이 옆으로 회전되어 한쪽 눈만이 보일 때 혹은 얼굴에서 한쪽 눈이 가려진 경우, 얼굴이 영상에서 너무 작을 때와 같은 경우에는 그리 좋지 않은 결과를 보인다[그림 14],
본 논문에서 제안한 방법을 사용할 경우, 이론상으로는 얼굴 크기가 45x45이상, 8)x80이하인 얼굴을 찾을 수 있는데 형판 정합 방법이 실제 형판의 크기보다 약간 작거나 큰 얼굴에서도 얼굴을 검출할 수 있다는 장점을 가지기 때문에 실제 환경에서 35x35이상, 100x100 이하 크기를 가지는 얼굴에 대해서도 좋은 검출 율을 보여줄 수 있다. 그림 6은 다양한 크기의 얼굴 검출을 보여주고 있는데 이는 고정된 크기의 형판을 가지고도 입력 영상의 크기 변화를 통해서 여러 크기의 얼굴이 정확하게 검출되는 것을 볼 수 있다.
때, 가장 좋은 결과를 가진다[12]. 본 연구에서는 집단에 적합한 표본 데이타의 개수를 알아내기 위해 그림 3의 6개 부류의 입력 영상을 대상으로 실험하였는데, 표 3에서 보면 알 수 있듯이 표본 데이타의 개수가 2개일 때 가장 높은 얼굴 검출 율을 보임을 알 수 있었다. 따라서, 각 집단의 데이타 개수는 2개를 사용하였고, 집단을 구성하는 데이타는 서로 다른 얼굴 영상을 사용하였다.
빛이나 조명의 영향에 의한 오류를 방지하기 위해 서전처리 과정올 포함하였는데 입력 영상 밝기 성분의 평균값에 따라 다른 전처리 방법을 사용함으로써 더욱 좋은 효과를 볼 수 있었다.
비교한 표이다. 이 표를 살펴보면 PCA 변환만을 이용한 얼굴 검출 율은 약 64%이고 PCA 변환과 LDA 변환을 이용한 얼굴 검출 율은 약 81%인 것을 알 수 있다 즉, PCA 변환과 LDA 변환을 같이 이용하여 얼굴을 검출한 것이 PCA 변환만을 이용하여 얼굴을 찾는 것보다 효과적임을 알 수 있다.
때를 비교한 표이다. 이 표에서 보면, PCA 변환과 LDA 변환을 이용한 얼굴 검출 율은 약 81%이지만, 여기에 SVM 검증 과정을 추가했을 때 얼굴 검출 율은 약 93%로 향상되었다. 따라서 얼굴 검출 시 PCA 변환과 LDA 변환만을 사용한 것보다, SVM 검증 과정을 추가한 것이 더욱 나은 얼굴 검출 율을 가짐을 알 수 있었다.
입력 영상의 크기를 90%, 70%, 50% 줄인 다음 각각의 영상을 PCA 변환 및 LDA 변환한 후 형판과의 거리 차이가 가장 작은 부분을 선택하여 얼굴을 찾는 방법은 그림 23과 같이 줄어든 영상에서는 제대로 얼굴을 찾지만 결과적인 얼굴은 잘못 찾을 수 있다. 따라서, 본연구에서는 얼굴 검출 시스템의 성능을 향상시키기 위해 SVM을 이용한 얼굴 검증 과정을 추가하였다.
하였다. 표 2에서 보면 영상의 밝기 평균값이 70이하인 어두운 영상에서는 고유 벡터 개수가 전체 고유 벡터의 40%를 가질 때, 얼굴 검출 정확 율이 가장 높다는 것을 알 수 있다. 그리고, 보통 밝기 영상이나 영상의 밝기 평균값이 180이상인 밝은 영상에서는 고유벡터 개수가 전체 고유 벡터의 30%를 가질 때, 얼굴 검출 정확 율이 가장 높다는 것을 알 수 있다.
개선하도록 하였다. 하지만, 형판 정합의 단점이 얼굴의 크기, 모양, 회전등에 따라 민감하고, 얼굴마다 개인 차이가 크기 때문에 얼굴을 놓치는 것인데, 이러한 단점을 개선하기 위해서 본 논문에서는 후보 영역에 대해서 SVM을 적용시킴으로써 얼굴 검출 율을 크게 향상시킬 수 있었다. 즉, 이 방법은 얼굴 영역 검출 시 흔히 사용하는 형판 정합 방법이나 외형 기반 방법보다 더 나은 결과를 가짐을 알 수 있다.
후속연구
있었다. 따라서 향후 연구 과제로는 정면 얼굴에서도 좋은 성능을 보여주지만 그 외의 경우에 대해서 좋은 성능을 보여 주도록 해야 할 것이고, 얼굴의 정확한 영역을 찾는 방법에 대해서도 성능의 개선이 요구된다.
참고문헌 (15)
Ming-Hsuan Yang; Kriegman, D.J.; Ahuja, N., 'Detecting faces in images a survey,' IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume: 24 Issue: 1, pp.34-58, Jan. 2002
Ming-Hsuan Yang, 'Kernel Eigenfaces vs. Kernel Fisherfaces : Face Recognition Using Kernel Methods,' 2002 Proceeding of Fourth IEEE International Conference on Automatic Face and Gesture Recognition, pp.208-213, 2002
W. Zhao, R. Chellappa, 'Discriminant Analysis of Principal Components for Face Recognition,' Automatic Face and Gesture Recognition, 1998
J. Ross Beveridge and Kai She, 'Fall 2001 Update to CSU PCA Versus PCA+LDA Comparison,' http://www.cs.colostate/edu/evalfacerec/papers.html, December, 2001 /technical report
Jian Yang, Jing-yu Yang, 'Why can LDA be performed in PCA transformed space?,' Pattern Recognition 36, pp.563-566, 2003
Haizhou Ai; Luhong Liang; Guangyou Xu, 'Face Detection Based on Template matching and Support Vector Machines,' Proceedings of International Conference on, Image Processing, Volume: 1, pp.1006-1009, 2001
※ AI-Helper는 부적절한 답변을 할 수 있습니다.