초록 ▼

본 발명은 사람의 얼굴을 포함하는 동영상 또는 정지영상이나 이미지 등의 비디오에서 얼굴 영역을 검출하는 방법에 관한 것으로서, 특히 형판 정합(Template Matching)을 기반으로 하여 얼굴을 검출하는 방법에 관한 것이다.본 발명의 얼굴 검출 방법은 (a). 전처리 과정: 최소-최대 정규화(Min-max normalization) 방법을 이용한 빛 보정, (b). 얼굴 검출 과정: 웨이블릿 변환된 3개의 주파수 영역으로부터 추정된 다양한 크기의 웨이블릿 형판을 이용한 얼굴 검출, (c). 얼굴 후보의 검증 과정: 적응적 임계

본 발명은 사람의 얼굴을 포함하는 동영상 또는 정지영상이나 이미지 등의 비디오에서 얼굴 영역을 검출하는 방법에 관한 것으로서, 특히 형판 정합(Template Matching)을 기반으로 하여 얼굴을 검출하는 방법에 관한 것이다.본 발명의 얼굴 검출 방법은 (a). 전처리 과정: 최소-최대 정규화(Min-max normalization) 방법을 이용한 빛 보정, (b). 얼굴 검출 과정: 웨이블릿 변환된 3개의 주파수 영역으로부터 추정된 다양한 크기의 웨이블릿 형판을 이용한 얼굴 검출, (c). 얼굴 후보의 검증 과정: 적응적 임계값과 지형적 특성을 이용한 얼굴 요소 검출과 이를 이용한 후보 얼굴의 검증, (d). 얼굴 추적 과정: 지역적 검색 윈도우를 이용해서 얼굴을 추적하는 과정으로 이루어진다.

대표청구항 ▼

평균 얼굴 영상으로부터 다해상도, 다변환 크기의 얼굴 형판을 생성하여 준비하는 단계, 입력 영상을 전처리 후 웨이블릿 변환하여 상기 얼굴 형판들과 정합시켜 얼굴 후보 영역을 검출하는 단계, 검출된 얼굴 후보 영역에 대해서 적응적 임계값과 지형적 특성을 이용해서 얼굴 요소를 검출하여 최종 얼굴 영역을 확인하는 단계, 상기 최종 얼굴 위치정보를 기반으로 지역적 검색 윈도우를 사용해서 얼굴을 추적하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 1 항에 있어서, 상기 입력 영상의 전처리 후 웨이블릿

평균 얼굴 영상으로부터 다해상도, 다변환 크기의 얼굴 형판을 생성하여 준비하는 단계, 입력 영상을 전처리 후 웨이블릿 변환하여 상기 얼굴 형판들과 정합시켜 얼굴 후보 영역을 검출하는 단계, 검출된 얼굴 후보 영역에 대해서 적응적 임계값과 지형적 특성을 이용해서 얼굴 요소를 검출하여 최종 얼굴 영역을 확인하는 단계, 상기 최종 얼굴 위치정보를 기반으로 지역적 검색 윈도우를 사용해서 얼굴을 추적하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 1 항에 있어서, 상기 입력 영상의 전처리 후 웨이블릿 변환 전에 살색 정보를 이용해서 얼굴 후보 영역을 검출하고 이 얼굴 후보 영역에 대하여 웨이블릿 변환을 수행하여 다해상도, 다변환 크기의 얼굴 형판 정합을 실행함을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 1 항에 있어서, 상기 전처리는 최소-최대 정규화를 기반으로 하여 입력 영상의 밝기 성분의 상위 266 ~ 255, 하위 0 ~ 30의 범위를 각각 기준 백색 및 기준 흑색으로 간주함으로써, 입력 영상의 최대 및 최소 밝기 값에 상관없이 모든 영상이 31 ~ 225의 범위의 밝기 값을 갖도록 정규화되는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 1 항에 있어서, 상기 다해상도, 다변환 크기의 형판은 평균 얼굴 영상을 웨이블릿 변환하고 저역 서브 이미지(L), 수평과 수직 방향의 서브 이미지(H,V) 3개를 사용하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 1 항에 있어서, 상기 웨이블릿 변환에 사용된 웨이블릿 기저 함수는 Daubechies 웨이블릿을 사용함을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 1 항에 있어서, 상기 다해상도, 다변환 크기의 형판은 평균 얼굴 영상을 웨이블릿 변환하고 저역 서브 이미지(L), 수평과 수직 방향의 서브 이미지(H,V) 3개의 형판 각각에 대하여 10 ×10, 15 ×15, 20 ×20의 다변환 크기를 갖는 9개의 형판을 사용하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 1 항에 있어서, 상기 최종 얼굴 확인을 위하여; 상기 검출된 얼굴 후보 영역을 대상을 히스토그램 평활화를 수행하는 단계, 임계값을 적용하여 눈 영역의 후보가 되는 얼굴 영역의 상위 부분에 대해서만 임계값 보다 낮은 영역을 눈 영역으로 이진화하는 단계, 상기 이진화된 영상의 수직, 수평 프로젝션을 수행하고 그 결과에 대해서 군집화(clustering)를 수행하여 구한 정점 위치를 지형적 특성을 이용해서 눈 영역으로 검출하는 단계를 수행함을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 1 항에 있어서, 상기 최종 얼굴 확인을 위하여; 얼굴 요소로서 눈 영역을 검출하는 단계, 상기 검출된 눈 영역의 중심점을 구하고 이를 이용해서 얼굴 크기에 맞는 타원을 맵핑시키는 단계를 수행하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 1 항에 있어서, 상기 최종 얼굴 확인을 위하여; 얼굴 요소로서 눈 영역을 검출하고, 얼굴 영역에서 두 눈이 모두 검출되었는지의 여부, 두 눈 사이의 거리를 이용해서 최종적으로 해당 얼굴에 대한 검증을 수행하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 1 항에 있어서, 기울어진 얼굴 검출을 위하여; 입력 영상의 중심 얼굴로부터 좌,우측으로 저해상도의 서브 이미지들을 소정 각도 회전시키고, 이에 대해서 정면 얼굴 형판을 적용하여 정합시키는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 1 항에 있어서, 상기 얼굴 추적을 위하여; 현재 프레임의 얼굴 위치(시간 t), 이전 프레임의 얼굴 위치(시간 t-1), 그 이전 프레임의 얼굴 위치(시간 t-2)를 이용해서, 다음 프레임의 얼굴 위치(시간 t+1)를 t-2로부터 t까지의 평균 속도와 현재 얼굴 위치의 좌표를 결합하여 구하고, 이 예측된 다음 프레임의 얼굴 위치(시간 t+1)를 다음 프레임에서의 탐색 윈도우 중심점으로 사용해서 얼굴 추적이 이루어지는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.입력 영상에 대하여 최소-최대 정규화를 적용하고 색상 정보를 이용해서 얼굴 영역을 선정하여 웨이블릿 변환하는 단계, 상기 웨이블릿 변환된 얼굴 영역과 일치하는 각각의 서브 이미지에 대해 준비된 형판을 탐색 윈도우 안에서 정합시키는 단계, 상기 정합 스코어를 임계값과 비교하여 얼굴 후보 영역을 선언하는 단계, 상기 얼굴 후보 영역들과 형판 사이의 정합 거리를 정렬하여 최소 거리값을 갖는 영역을 실제 얼굴 영역으로 설정하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 12 항에 있어서, 상기 얼굴 후보 영역의 선언과 실제 얼굴 영역의 설정을 위하여;저주파, 수평 방향의 고주파 및 수직 방향의 고주파를 고려한 L,H,V 다해상도, 다변환 크기의 얼굴 형판 Fi(i=L,H,V)와 이에 대응하여 웨이블릿 변환된 입력 영상 I의 탐색 윈도우 사이에서 MAE(Mean Absolute Error)를 구하고, 상기 MAE에 대하여 L:H:V의 가중치를 고려해서 MAEs를 구하여, MAEs가 Fi와 I 사이에서 최소값을 갖고 주어진 임계값 이하인 경우 해당 Fi를 얼굴 후보 영역 CFacescale(x,y) 로 선언하고,상기 얼굴 후보 영역과 형판 사이의 정합 거리 CFacescale=10x10,15x15,20x20가 가장 작은 영역을 실제 얼굴 영역 RFscale(F)로 설정하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.평균 얼굴 영상으로부터 웨이블릿 변환을 수행한 후, 저역 서브 이미지와 수평 고역 서브 이미지와 수직 고역 이미지, 3가지 종류의 얼굴 형판을 다해상도로 생성하여 형판을 준비하는 단계, 입력 영상을 웨이블릿 변환하여 상기 얼굴 형판들과 정합시키는 단계를 포함하여 이루어지는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 14 항에 있어서, 최소-최대 정규화를 기반으로 하여 입력 영상의 밝기 성분의 상위 266 ~ 255, 하위 0 ~ 30의 범위를 각각 기준 백색 및 기준 흑색으로 간주함으로써, 입력 영상의 최대 및 최소 밝기 값에 상관없이 모든 영상이 31 ~ 225의 범위의 밝기값을 갖도록 정규화되는 전처리 과정을 더 포함하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 14 항에 있어서, 상기 웨이블릿 변환에 사용되는 기저 함수는 Daubechies 웨이블릿을 사용함을 특징으로 하는 형판 정합 기반 얼굴 검출방법.제 14 항에 있어서, 상기 3개의 형판 각각에 대하여 10 ×10, 15 ×15, 20 ×20의 다변환 크기를 갖는 9개의 형판을 사용하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.입력된 영상, 또는 부분 영상에 대해 히스토그램 평활화를 수행하는 단계, 임계값을 적용하여 눈 영역의 후보가 되는 얼굴 영역의 상위 부분에 대해서만 임계값 보다 낮은 영역을 눈 영역으로 이진화하는 단계, 상기 이진화된 영상의 수직, 수평 프로젝션을 수행하고 그 결과에 대해서 군집화(clustering)를 수행하여 구한 정점 위치를 지형적 특성을 이용해서 눈 영역으로 검출하는 단계를 수행함을 특징으로 하는 눈 검출을 이용한 얼굴 영역 추출방법.<