[논문]Haar 웨이블릿 특징과 피부색 정보를 이용한 실시간 얼굴 검출 및 추적 방법

박영경; 서해종; 민경원; 김중규

doi:10.3745/kipstb.2006.13b.3.283

문제 정의

특히, 얼굴 추적을 위해서는 추적해야 할 얼굴의 영역을 결정하는 초기화가 반드시 요구되는데 정확한 얼굴 검출을 통해 초기화를 자동적으로 수행할 수가 있다. 그러므로 본 논문에서는 실시간 얼굴추적시스템에 적용되기에 적합한 얼굴 검출 방법을 제안한다. 제안되는 얼굴 검출 방법은 피부색 필터, 크기 투영에 의한 얼굴 후보 영역 선정 및 AdaBoost에 의한 얼굴 검증의 세 단계로 나뉜다.
없게 된다. 그렇기 때문에 본 논문에서는 스캐닝 과정에서 얼굴에서 중복된 검출 결과를 보이는 현상을 막고 불필요한 스캐닝에 따르는 검출시간의 증가를 최대한 줄이기 위한 단일 얼굴 후보 영역 선정 방법을 제안한다. 단일 얼굴후보 영역 선정 방법은 스캐닝 과정에서 얼굴이라고 분류되는 지점이 발생하면 적용된다.
본 논문에서 제안하는 얼굴 검출 및 추적 방법은 궁극적으로 얼굴 인식 및 표정 인식에 적용되는 것을 목적으로 한다. 사용자 친화적인 방향으로 얼굴 인식 및 표정 인식이이루어지기 위해서는 무엇보다도 자연스럽고 부드럽게 화면에 나타난 얼굴을 검출하고 추적하는 것이 요구되며 오 검출에 의해 엉뚱한 객체를 추적하는 것을 막아야 한다.
본 논문에서는 Haar 웨이블릿 특징과 피부색에 기반을둔 얼굴 검출 및 추적 방법을 제안하였다. 간단한 피부색필터와 콤포넌트 레이블링에 의해 얼굴이 존재하는 후보영역을 찾고 각 후보영역에 대해 크기 투영에 의한 분류기와 AdaBoost 알고리즘에 의해 훈련된 Haar 웨이블릿 특징에의한 분류기를 순차적으로 적용해 얼굴을 검출하였다.
된다. 본 논문에서는 본 얼굴 검출 방법으로서 Viola와 Jones에 의해 제안된 Haar 웨이블릿 특징 기반의 AdaBoost 얼굴 검출 방법을 적용했다⑸. AdaBoost는 Adaptive Boosting의 약어로써, 약한 분류기의 조합으로 강한 분류기를 생성하는 boosting을 적응적으로 수행하는 알고리즘이다.
앞서 언급한 바와 같이 Condensation기반의 추적기는 추적되는 대상에 대한 동적 모델과 관측 모델을 잘 정의하는 것이 요구된다. 본 논문에서는 얼굴의 움직임에 일정패턴이 없다는 점과 얼굴 검출에 적용된 Haar 웨이블릿 특징이 이미 얼굴의 일반적인 특성을 잘 모델링하고 있다는점을 이용해 이에 적합한 동적 모델과 관측 모델을 제시한다. 얼굴 추적을 위해 본 논문에서.
그러나 실생활에 응용되기 위해서는 모든 과정이 자동적으로 이루어지는 것이 필요하고 이를 위해서는 검출과 추적을 효과적으로 결합하는 것이 요구된다. 본 논문에서는 이러한 요구를 만족시키기 위해 얼굴의 특징으로 훈련된 Haar 웨이블릿과 피부색을 검출과 추적에 동시에 이용함으로써 효율을 높이고 검출과 추적을 효과적으로 결합하는 방법을 제안한다. 본 논문에서는 검출과 추적에 있어 성능이 우수하다고 이미 알려져 있는 AdaBoost와 Condensation 알고리즘[9] 을 사용한다.
제안된 얼굴 추적 방법의 성능을 보이기 위해 다양한 실험을 수행되었다. 실험은 얼굴의 크기나 자세 변화 및 조명 변화에 대해 이루어졌다. 추적되는얼굴을 효과적으로 보여주기 위해 추적되는 얼굴 영역의 20% 확장된 영역을 사각형으로 나타내었다.
본 논문에서는 얼굴의 움직임에 일정패턴이 없다는 점과 얼굴 검출에 적용된 Haar 웨이블릿 특징이 이미 얼굴의 일반적인 특성을 잘 모델링하고 있다는점을 이용해 이에 적합한 동적 모델과 관측 모델을 제시한다. 얼굴 추적을 위해 본 논문에서. 적용한 동적 모델과 관측 모델은 다음과 같다.
그렇지 않다면 얼굴이라고 최초로 판별된부분이 얼굴이 될 것이다. 즉 서브윈도우들 중에서 최고의신뢰도를 가진 서브윈도우를 찾음으로써 얼굴주변에서 얼굴이라고 분류되는 서브윈도우중 정확히 얼굴에 해당하는 한개의 서브윈도우만을 얼굴로 검출하는 것이다. 이 후 얼굴이라고 검출된 서브윈도우 영역에 대해서는 스캐닝을 수행하지 않고 지나친다.

가설 설정

. 얼굴 인식이나 표정 인식은 얼굴의 크기를 정확하게 추적하는 것이 요구된다. 본 논문에서는 동적 모델에 의해 표본의 크기가 1.
경우 얼굴이라고 판단하게 된다. 본 논문에서는 부호 및 임계값을 훈련영상집합에 대한 Haar 웨이블릿 특징 값의 Gaussian 분포를 가정함으로써 획득한다.
일반적인 얼굴의 크기 투영을 모델링 하기 위해 본 논문에서는 수평/수직 투영의 상호상관계수 값의 2차원 Gaussian 분포를 가정한다. 즉, 수직 방향 및 수평 방향에대한 상호상관계수가 2차원 벡터를 형성하게 되고 훈련영상집합과 입력영상간의 계산된 상호상관계수를 이용하여 일반적인 얼굴의 크기 투영특성을 Gaussian 모델링 하는 것이다.

제안 방법

3장에서 설명한 바와 같이 본 논문에서는 표본의 분산 및피부색 밀도를 이용해 추적이 실패하는 상황을 자동적으로 판단하고 재 검출을 수행해 계속적으로 추적이 정확하게 이루어 질 수 있도록 한다. 이를 보다 자세히 보이기 위해 표본의 X좌표에 대한 분산과 y좌표에 대한 분산이 각각 획득되었다.
얼굴만을 효과적으로 추적하기 위해 앞서 얼굴 검출에 이용된 피부색 필터와 Haar 웨이블릿 특징이 이용되는데 얼굴 검출에 이용한 특징을 추적에 동시에이용함으로써 불필요한 연산을 줄일 수 있으며 강인한 추적성능을 보장할 수 있다. Condensation알고리즘에 대해 간단하게 설명한 후 본 논문에서 제안하는 추적 방법을 설명하고 실시간 어플리케이션에 적용하기 위한 몇 가지 요구사항과 이를 해결하기 위한 방법을 소개한다.
얼굴 검출 및 추적 방법을 제안하였다. 간단한 피부색필터와 콤포넌트 레이블링에 의해 얼굴이 존재하는 후보영역을 찾고 각 후보영역에 대해 크기 투영에 의한 분류기와 AdaBoost 알고리즘에 의해 훈련된 Haar 웨이블릿 특징에의한 분류기를 순차적으로 적용해 얼굴을 검출하였다. 검출된 얼굴을 추적하기 위해서 Condensation알고리즘을 적용하였는데 이 과정에서 관측모델로서 Haar 웨이블릿 특징과 피부색정보를 이용해 보다 강인한 추적이 가능하게 함은 물론검출에 이용되는 특징을 추적에 동시에 이용함으로써 효율을 높일 수 있었다.
1 배로 확장된 후보 영역은 일반적으로 얼굴보다 일정 비율만큼 큰 영역이 된다. 그러므로 확장된 후보 영역의 작은 변의 길이 a를 기준으로 결정된 비율로 영상을 축소하고 정확한 얼굴을 찾기 위해 영상을 검색하면서검출 알고리즘을 적용한다. 본 논문에서는 24x24크기에서얼굴 검출을 수행하기 때문에 축소 비율은 a/(24xl.
2의 비율로 확대하거나 축소할 수 있도록 하였는데 모든 표본들에 대해 각각 축소나 확대를 수행하게되면 실시간의 요구사항을 만족시키기가 힘들다. 그렇기 때문에 본 논문에서는 현재 표본들의 위치와 크기를 수렴할수 있는 최대 영역을 구하고 이렇게 구해진 영역에 대해 1.2 의 비율로 확대한 영상과 축소한 영상을 구한다. 예측된 표본의 크기는 이전 크기와 동일하거나 1.
얼굴 인식이나 표정 인식은 얼굴의 크기를 정확하게 추적하는 것이 요구된다. 본 논문에서는 동적 모델에 의해 표본의 크기가 1.2의 비율로 확대하거나 축소할 수 있도록 하였는데 모든 표본들에 대해 각각 축소나 확대를 수행하게되면 실시간의 요구사항을 만족시키기가 힘들다. 그렇기 때문에 본 논문에서는 현재 표본들의 위치와 크기를 수렴할수 있는 최대 영역을 구하고 이렇게 구해진 영역에 대해 1.
두 번째로 AdaBoost에 의해 훈련된 Haar 웨이블릿특징과 피부색 밀도를 Condensation 알고리즘의 관측모델에효과적으로 적용하고 얼굴 크기 파라미터를 동적 모델에 적용함으로써 빠르고 정확한 얼굴 추적을 가능하게 한다. 세번째, 실제 얼굴 인식이나 표정 인식 등의 실시간 어플리케이션에 적용되기 위해 추적에 실패하는 상황을 자동으로 판단하는 방법과 얼굴의 크기 변화를 실시간으로 추적하기 위한 방법을 제시한다.
단일 얼굴후보 영역 선정 방법은 스캐닝 과정에서 얼굴이라고 분류되는 지점이 발생하면 적용된다. 얼굴이라고 최초로 판단되는지점에서 오른쪽으로 7픽셀까지, 아래쪽으로 7픽셀까지 1픽셀크기씩 서브윈도우를 이동하면서 각 서브영상의 신뢰도를조사한다. 조사하는 동안 얼굴이라고 최초로 판별한 지점보다 더 높은 신뢰도를 가진 지점이 존재 한다면 그 부분을얼굴로 분류한다.
위의 판별함수를 적용하여 얼굴이 아닐 것 같은 영상을미리 제거 하고 얼굴검출의 정확도와 속도 개선을 이루어낸다. 판별함수를 이용한 얼굴 후보에 대한 판단은 다음과 같이 이루어진다.
이 후 얼굴이라고 검출된 서브윈도우 영역에 대해서는 스캐닝을 수행하지 않고 지나친다. 이 후 기존의 스캐닝을 입력 영상의 우측하단까지 계속하면서 또 다른 얼굴이 있는지 없는 지를 검색한다. 만약 얼굴이라고 판별되는 부분이 다시 검출된다면 이전의 과정을 다시 한 번 거쳐서 최대의 신뢰도를 가진 부분을 얼굴로 검출한다.
뿐만 아니라 영상 검색에 기반을 둔 얼굴 검출과정은 검색 영역의 크기에 따라 현저한 검출 시간의 차이를 가져온다. 이러한 문제점을 해결하기 위해 본 얼굴 검출시스템 에서는 입력영상에 피부색 필터를 적용시켜 피부색이 아닌 영역을 제거한 후 검출을 수행한다. 이러한 전처리과정은 얼굴 검출 과정에서의 검색 영역을 줄임으로써 검출시간을 단축시키고 피부색 필터링 과정을 통하여 초과 검출의 가능성을 줄여 보다 정확한 얼굴 검출이 이루어지도록하고 불필요한 연산을 제거함으로써 검출 속도를 향상시킨다.
질 수 있도록 한다. 이를 보다 자세히 보이기 위해 표본의 X좌표에 대한 분산과 y좌표에 대한 분산이 각각 획득되었다. (그림 19)는 프레임에 따른 분산의 변화 및 추적이 성공적으로 이루어지는 상황과 실패하는 상황에 대한 영상을 각각 보여준다.
평균 필터가 적용된 영상에는 일반적으로 한 개 혹은 여러 개의 검출된 피부색 영역이 나타나는데 이 각각의 연결된 피부색 영역들은 얼굴 후보영역이 되며 각 영역에 얼굴 검출 알고리즘을 효과적으로 적용하기 위해서는 각 영역의 좌표 및 크기를 알아야 한다. 이를 위해 컴포넌트 레이블링을 적용함으로써 각각의 연결된 피부색 영역을 추출하고 좌표 및 크기를 계산한다. 추출된 각 영역에 대해서는 크기 필터를 적용해 일정 크기 이하의 피부색 영역은 제거한다.
그러므로 본 논문에서는 실시간 얼굴추적시스템에 적용되기에 적합한 얼굴 검출 방법을 제안한다. 제안되는 얼굴 검출 방법은 피부색 필터, 크기 투영에 의한 얼굴 후보 영역 선정 및 AdaBoost에 의한 얼굴 검증의 세 단계로 나뉜다.
제안된 방법은 Visual C++ 6.0을 이용해 구현되었으며 펜티엄 4 2.8GHz의 CPU를 가진 워크스테이션에서 320 X 240 의 해상도를 가진 웹 캠을 이용해 테스트되었다. 크기 투영과 AdaBoost에 의한 얼굴 검출기의 훈련을 위해 모두 5000 장의 얼굴 훈련 영상과 15000장의 비 얼굴 훈련 영상을 수집하였다.
보여주었다. 제안된 방법은 얼굴의 크기가 커짐에 따라 영상의 확대와축소에 따른 연산 량이 증가하기 때문에 프레임마다 약간의처리속도의 차이가 나게 된다.
그러나 이러한 문제는 제안된 얼굴 추적 방법을 이용해 해결될 수 있다. 제안된 얼굴 추적 방법의 성능을 보이기 위해 다양한 실험을 수행되었다. 실험은 얼굴의 크기나 자세 변화 및 조명 변화에 대해 이루어졌다.
구성된 훈련영상집합에 AdaBoost 알고리즘을 적용해 훈련하여 모두 200개의 Haar 웨이블릿 특징을 선택하였다. 크기 투영과 AdaBoost알고리즘 모두 전처리 과정으로써 각 훈련 영상에 히스토그램 평활화를 적용하였다.
(그림 14)는 다양한 가려짐이 일어나는 상황에서 얼굴을 추적하는과정을 보여준다. 특히, 그림에서 볼 수 있는 것처럼 제안된방법은 얼굴의 일부에 가려짐이 일어남과 동시에 얼굴이 움직 일지라도 얼굴을 잘 추적한다.
훈련영상집합내의 각 영상의 수평/수직 방향 크기투영을 구하고 훈련영상집합으로부터 구해진 평균영상 (mean face)의 수평/수직 방향 크기 투영을 구한다. 그리고 이들 간의 상호상관계수 값들을 식 (2)와 같이 구한다.

대상 데이터

이와 함께 비 얼굴 훈련영상집 합은 웹 사이트로부터 획득한 얼굴이 전혀 포함되지 않고 사이즈가 상당히 큰 자연 이미지들로부터 추출되었다. 30장의 사이즈가 큰 이미지로부터 10000장의 비 얼굴 영상을 획득하고 Bootstrap과정을 통해 얼굴과 유사한 특성을 가지는 5000장의 영상을 추가로 획득하였다. 얼굴 영상 및비 얼굴 훈련영상집합을 위해 수집된 영상들은 얼굴의 크기가 모두 다르기 때문에 학습 조건에 맞게 얼굴 훈련영상집 합과 비 얼굴 훈련영상집합의 크기는 모두 24 X 24 픽셀 크기로 제한하고 칼라영상일 경우 흑백영상으로 변환시켰으며 파일은 모두 raw파일로 저장되었다.
훈련 영상들은 피부색이나 얼굴 형태, 혹은 얼굴 요소들의 다양성을 잘 표현함으로써 학습 알고리즘이 얼굴의 공통적이고 고유한 특성을 발굴해낼 수 있어야 한다. 이를 만족시키기 위해 얼굴 데이터베이스로서 최근 얼굴 처리연구에서 많이 이용되고 있는 CMU_PIE 데이터베이스[13], BioID 데이터베이스 그리고 Slovenial CVL 데이터베이스를. 이용해 500장의 정면 얼굴 영상을 추출하고 미러링된 영상을 포함해, 총 1000장의 정면 얼굴 영상을 취득했으며 이와 함께 아시아인의 얼굴 특성을 효과적으로 반영하기 위해 한국인을 포함하고 다양한 조명 환경에서 획득된 영상들을 인터넷으로 취득하고 이에 대해 얼굴 영역을 추출하여 1500장의 영상을 취득한 후 Gaussian 잡음 추가와 미러링을 통해 모두 40质장의 얼굴 영상을 취했다.
이를 만족시키기 위해 얼굴 데이터베이스로서 최근 얼굴 처리연구에서 많이 이용되고 있는 CMU_PIE 데이터베이스[13], BioID 데이터베이스 그리고 Slovenial CVL 데이터베이스를. 이용해 500장의 정면 얼굴 영상을 추출하고 미러링된 영상을 포함해, 총 1000장의 정면 얼굴 영상을 취득했으며 이와 함께 아시아인의 얼굴 특성을 효과적으로 반영하기 위해 한국인을 포함하고 다양한 조명 환경에서 획득된 영상들을 인터넷으로 취득하고 이에 대해 얼굴 영역을 추출하여 1500장의 영상을 취득한 후 Gaussian 잡음 추가와 미러링을 통해 모두 40质장의 얼굴 영상을 취했다. 이와 함께 비 얼굴 훈련영상집 합은 웹 사이트로부터 획득한 얼굴이 전혀 포함되지 않고 사이즈가 상당히 큰 자연 이미지들로부터 추출되었다.
지금까지 소개한 얼굴의 회전이나 크기변화 및 얼굴의 크기가 보다 작은 경우를 포함하는 자연스러운 상황에서의 영상이 추가로 획득되었다. (그림 16)은 영상의 일부를 보여주며 (그림 17)과 (그림 18)은 추적을 통해 획득된 프레임에 따른 얼굴의 이동 경로 및 크기 변화를 보여준다.
8GHz의 CPU를 가진 워크스테이션에서 320 X 240 의 해상도를 가진 웹 캠을 이용해 테스트되었다. 크기 투영과 AdaBoost에 의한 얼굴 검출기의 훈련을 위해 모두 5000 장의 얼굴 훈련 영상과 15000장의 비 얼굴 훈련 영상을 수집하였다. 훈련 영상들은 피부색이나 얼굴 형태, 혹은 얼굴 요소들의 다양성을 잘 표현함으로써 학습 알고리즘이 얼굴의 공통적이고 고유한 특성을 발굴해낼 수 있어야 한다.

이론/모형

. 관측: 관측된 값을 기반으로 예측된 샘플들에 대한 가중치를 할당하는 Factored sampling을 적용한다.
(그림 10)은 얼굴 훈련영상집 합의 일부를 보여준다. 구성된 훈련영상집합에 AdaBoost 알고리즘을 적용해 훈련하여 모두 200개의 Haar 웨이블릿 특징을 선택하였다. 크기 투영과 AdaBoost알고리즘 모두 전처리 과정으로써 각 훈련 영상에 히스토그램 평활화를 적용하였다.
본 장에서는 얼굴을 추적하는 방법을 설명한다. 본 논문에서 제안하는 얼굴 추적 방법은 Condensation알고리즘[9] 에 기반하고 있다. 얼굴만을 효과적으로 추적하기 위해 앞서 얼굴 검출에 이용된 피부색 필터와 Haar 웨이블릿 특징이 이용되는데 얼굴 검출에 이용한 특징을 추적에 동시에이용함으로써 불필요한 연산을 줄일 수 있으며 강인한 추적성능을 보장할 수 있다.
본 논문에서는 이러한 요구를 만족시키기 위해 얼굴의 특징으로 훈련된 Haar 웨이블릿과 피부색을 검출과 추적에 동시에 이용함으로써 효율을 높이고 검출과 추적을 효과적으로 결합하는 방법을 제안한다. 본 논문에서는 검출과 추적에 있어 성능이 우수하다고 이미 알려져 있는 AdaBoost와 Condensation 알고리즘[9] 을 사용한다. 비록 이 두 알고리즘들에 대한 많은 연구들이소개되어 왔지만 우리가 제안하는 방법은 두 방법들을 효과적으로 결합함으로써 각 방법들이 가지고 있는 단점을 극복하고자 하는데 있다.
본 연구에서는 동적 모델로서 단지 Gaussian분포에 따른 잡음 요소만을 고려한다. 모델은 간단하게 다음과 같이 표현 된다.
수많은 Haar 웨이블릿 특징 가운데 분류 성능이 좋은 특징만을 선정하기 위해 AdaBoost알고리즘이 적용된다. 훈련영상집합은 & = {(斗, 乃), …, (:知, ;*)}으로 표현되며 여기에서 각 %에 대해 0=1일 경우에는 얼굴인 영상을, 山=0 일 경우에 얼굴이 아닌 영상을 나타낸다.
상호상관계수 값을 이미 모델링 된 얼굴과 비 얼굴에 대한 Gaussian 함수에 적용시켰을 때 더 높은 값을 가지는 클래스로 분류하게 된다. 이 때 계산을 용이하게 하기 위해 Gaussian 함수로부터 유도된 판별함수를 이용한다. 각 클래스에 대한 판별함수[11]는 식 (3)에 나와 있다.
본얼굴 검출 시스템에서 적용하고 있는 Haar 웨이블릿 특징들은 (그림 3)과 같이 Viola와 Jones에 의해 20이년도와 2003 년도에 각각 제안된 특징들과 자체적으로 추가한 특징을 포함해 모두 8가지로 구성된다[5, 12], 이 특징들은 모두 같은모양, 같은 면적을 가진 수평, 수직으로 인접한 직사각형으로 구성되어있다. 주 검출단계에서는 24x24 픽셀크기의 훈련영상을 사용하는데 24x24 픽셀크기에서 가능한 모든 Haar 웨이블릿 특징의 총 개수는 매우 많으며 (A 타입: 86, 400, B타입: 55, 200, C타입: 1, 436, D타입: 20, 736, E타입: 6, 600) 이들 각 특징들을 효율적으로 계산하기 위해 누적 영상 표현법(integral image representation)이 사용된다. 누적영상은 식 (9)와 같이 픽셀 당 간단한 연산으로 쉽게 구현이 가능하며 누적 영상이 얻어지면 (그림 4)와 같이 직사각형의 픽셀 값들의 합을 세 번의 더하기 연산만으로 구할 수있어 빠르게 Haar 웨이블릿 특징 값을 계산할 수 있다.
이러한 전처리과정은 얼굴 검출 과정에서의 검색 영역을 줄임으로써 검출시간을 단축시키고 피부색 필터링 과정을 통하여 초과 검출의 가능성을 줄여 보다 정확한 얼굴 검출이 이루어지도록하고 불필요한 연산을 제거함으로써 검출 속도를 향상시킨다. 피부색 필터의 성능은 피부색 모델에 의해 결정되는데본 논문에서는 Garcia[10]에 의해 제안된 YCbCr 색상 모델기반의 피부색 모델(식(1))을 적용했다. 적용된 피부색 모델은 다양한 인종과 조명환경을 가진 훈련 영상 집합으로부터생성된 것으로 환경에 비교적 강인한 특성을 가지고 있다.

성능/효과

간단한 피부색필터와 콤포넌트 레이블링에 의해 얼굴이 존재하는 후보영역을 찾고 각 후보영역에 대해 크기 투영에 의한 분류기와 AdaBoost 알고리즘에 의해 훈련된 Haar 웨이블릿 특징에의한 분류기를 순차적으로 적용해 얼굴을 검출하였다. 검출된 얼굴을 추적하기 위해서 Condensation알고리즘을 적용하였는데 이 과정에서 관측모델로서 Haar 웨이블릿 특징과 피부색정보를 이용해 보다 강인한 추적이 가능하게 함은 물론검출에 이용되는 특징을 추적에 동시에 이용함으로써 효율을 높일 수 있었다. 다양한 상황에 대해 실험을 한 결과 제안된 방법이 얼굴의 자세 변화나 가려짐 등에서도 얼굴을잘 추적하는 것을 알 수 있었다.
검출된 얼굴을 추적하기 위해서 Condensation알고리즘을 적용하였는데 이 과정에서 관측모델로서 Haar 웨이블릿 특징과 피부색정보를 이용해 보다 강인한 추적이 가능하게 함은 물론검출에 이용되는 특징을 추적에 동시에 이용함으로써 효율을 높일 수 있었다. 다양한 상황에 대해 실험을 한 결과 제안된 방법이 얼굴의 자세 변화나 가려짐 등에서도 얼굴을잘 추적하는 것을 알 수 있었다. 향후 제안된 방법에 대해개선해 나가고자 하는 문제는 다음과 같다.
추적 성능 역시 테스트되었다. 단순히 피부색 정보를 이용하는 경우에 손에 의해 얼굴이 가려지면 손을 추적하게되는 등 추적 성능에 심각한 영향을 초래 할 수 있으나 제안된 방법은 피부색과 함께 Haar 웨이블릿 특징을 이용하기때문에 이러한 문제를 해결할 수 있음은 물론 일반적인 물체에 의한 가려짐에도 비교적 강인함을 알 수 있다. (그림 14)는 다양한 가려짐이 일어나는 상황에서 얼굴을 추적하는과정을 보여준다.
먼저 AdaBoost기반의 얼굴 검출 방법이 강인한피부색 검출과 크기 투영에 의한 얼굴 후보 검출 및 효과적인 영상 검색 방법을 이용해 실시간 검출이 가능하도록 개선된다. 두 번째로 AdaBoost에 의해 훈련된 Haar 웨이블릿특징과 피부색 밀도를 Condensation 알고리즘의 관측모델에효과적으로 적용하고 얼굴 크기 파라미터를 동적 모델에 적용함으로써 빠르고 정확한 얼굴 추적을 가능하게 한다. 세번째, 실제 얼굴 인식이나 표정 인식 등의 실시간 어플리케이션에 적용되기 위해 추적에 실패하는 상황을 자동으로 판단하는 방법과 얼굴의 크기 변화를 실시간으로 추적하기 위한 방법을 제시한다.
제안되는 방법의 특징은 크게 세 가지로 나뉜다. 먼저 AdaBoost기반의 얼굴 검출 방법이 강인한피부색 검출과 크기 투영에 의한 얼굴 후보 검출 및 효과적인 영상 검색 방법을 이용해 실시간 검출이 가능하도록 개선된다. 두 번째로 AdaBoost에 의해 훈련된 Haar 웨이블릿특징과 피부색 밀도를 Condensation 알고리즘의 관측모델에효과적으로 적용하고 얼굴 크기 파라미터를 동적 모델에 적용함으로써 빠르고 정확한 얼굴 추적을 가능하게 한다.
먼저 제안된 방법의 실시간 성능을 테스트 한 결과 제안된 방법은 초당 약 17〜20 프레임의 처리속도를 보여주었다. 제안된 방법은 얼굴의 크기가 커짐에 따라 영상의 확대와축소에 따른 연산 량이 증가하기 때문에 프레임마다 약간의처리속도의 차이가 나게 된다.
게다가 약하게 설정된 검출 기준은 정면 얼굴뿐만 아니라 회전된 얼굴이나일부 차단된 얼굴에 대해서도 얼굴을 추적할 수 있는 가능성을 가지기 때문에 표본화에 의해 추적이 이루어지는 Condensation 알고리즘에 적합하다고 할 수 있다. 실제로 200개의 약한 분류기를 모두 이용한 경우 얼굴의 자세 변화나 가려짐에 민감하게 반응하거나 속도가 느려짐을 알 수있었다. Haar 웨이블릿 특징과 함께 피부색 밀도를 적용함으로써 얼굴을 움직임을 보다 효율적으로 추적할 수 있도록하고 있다.
30장의 사이즈가 큰 이미지로부터 10000장의 비 얼굴 영상을 획득하고 Bootstrap과정을 통해 얼굴과 유사한 특성을 가지는 5000장의 영상을 추가로 획득하였다. 얼굴 영상 및비 얼굴 훈련영상집합을 위해 수집된 영상들은 얼굴의 크기가 모두 다르기 때문에 학습 조건에 맞게 얼굴 훈련영상집 합과 비 얼굴 훈련영상집합의 크기는 모두 24 X 24 픽셀 크기로 제한하고 칼라영상일 경우 흑백영상으로 변환시켰으며 파일은 모두 raw파일로 저장되었다. (그림 10)은 얼굴 훈련영상집 합의 일부를 보여준다.
제안된 방법이 빠르게 작아지는 얼굴을 잘 추적하는 것을 볼 수 있다.
실험은 얼굴의 크기나 자세 변화 및 조명 변화에 대해 이루어졌다. 추적되는얼굴을 효과적으로 보여주기 위해 추적되는 얼굴 영역의 20% 확장된 영역을 사각형으로 나타내었다.
훈련된 검출기의 성능을 평가하기 위해 인터넷으로부터다양한 크기와 자세를 가진 261개의 얼굴을 가진 97장의 영상을 획득하고 테스트한 결과 92%의 검출 정확도를 얻을수 있었다. 얼굴 검출 방법은 대부분 회전된 얼굴에 대해검출에 실패하는 것을 볼 수 있었는데 이는 제안된 얼굴 검출 방법이 주로 정면 얼굴을 훈련영상으로 이용했기 때문에회전된 얼굴에 대해서는 정확한 검출을 보장하기 힘들기 때문이다.

후속연구

이 실험 결과는 앞서 얼굴 검출을 정지영상에 적용했을 때 회전된 얼굴을 검출하지 못하는 것과 비교되는 결과이다. 추적 과정에 이용되는 특징은 검출에 이용되는 Haar 웨이블릿 특징과 동일하며 단지 그 개수를 적게 이용할 뿐이다. 그러나 정확하게 얼굴인지를 판단해야 하는 얼굴 검출과는 달리 Condensation기반의 추적방법은 확률 분포를 전파하는 표본들에 얼굴일 가능성을 할당하고 가능성에 따라 표본들에 대한 기대치를 구해 얼굴 영역을 결정하므로 해당 표본들이 얼마나 얼굴에 가까운지를 결정하기만 하면 되는 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Haar 웨이블릿 특징과 피부색 정보를 이용한 실시간 얼굴 검출 및 추적 방법
A Real-Time Face Detection/Tracking Methodology Using Haar-wavelets and Skin Color 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Haar 웨이블릿 특징과 피부색 정보를 이용한 실시간 얼굴 검출 및 추적 방법 A Real-Time Face Detection/Tracking Methodology Using Haar-wavelets and Skin Color 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

박영경 (2) 김중규 (22)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Haar 웨이블릿 특징과 피부색 정보를 이용한 실시간 얼굴 검출 및 추적 방법
A Real-Time Face Detection/Tracking Methodology Using Haar-wavelets and Skin Color 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper