일반적으로 얼굴 추적 시 움직임에 강건한 Lucas-Kanade 추적 방법이 많이 사용된다. 그러나 얼굴이 회전되었을 경우, 정확한 얼굴 영역 검출이 어렵다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해 Lucas-Kanade 추적 방법에 평가함수를 도입하여 회전에 강건한 자동 얼굴 영역 검출 및 추적 방법을 제안하였다. 얼굴영역은 색상정보를 이용하여 자동으로 추출하였으며, Harris 코너 추출 알고리즘으로 특징점을 추출하였다. 폐색된 특징점을 구분하기위하여 특징점마다 기존 특징점과 새로운 특징점과의 차이 값을 계산한다. 만약, 특징점이 폐색되었을 경우, 잡음을 제거하기 위하여 제거하며 특징점의 개수가 일정 임계값 이하일 경우, 얼굴 영역을 다시 검출하였다. 실험결과를 통하여 얼굴 영역이 회전되었을 경우, 기존의 Lucas-Kanade 추적 방법보다 더 좋은 결과를 확인하였다.
일반적으로 얼굴 추적 시 움직임에 강건한 Lucas-Kanade 추적 방법이 많이 사용된다. 그러나 얼굴이 회전되었을 경우, 정확한 얼굴 영역 검출이 어렵다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해 Lucas-Kanade 추적 방법에 평가함수를 도입하여 회전에 강건한 자동 얼굴 영역 검출 및 추적 방법을 제안하였다. 얼굴영역은 색상정보를 이용하여 자동으로 추출하였으며, Harris 코너 추출 알고리즘으로 특징점을 추출하였다. 폐색된 특징점을 구분하기위하여 특징점마다 기존 특징점과 새로운 특징점과의 차이 값을 계산한다. 만약, 특징점이 폐색되었을 경우, 잡음을 제거하기 위하여 제거하며 특징점의 개수가 일정 임계값 이하일 경우, 얼굴 영역을 다시 검출하였다. 실험결과를 통하여 얼굴 영역이 회전되었을 경우, 기존의 Lucas-Kanade 추적 방법보다 더 좋은 결과를 확인하였다.
In this paper, we proposed automatic face detection and tracking which is robustness in rotation. To detect a face image in complicated background and various illuminating conditions, we used face skin color detection. we used Harris corner detector for extract facial feature points. After that, we ...
In this paper, we proposed automatic face detection and tracking which is robustness in rotation. To detect a face image in complicated background and various illuminating conditions, we used face skin color detection. we used Harris corner detector for extract facial feature points. After that, we need to track these feature points. In traditional method, Lucas-Kanade feature tracker doesn't delete useless feature points by occlusion in current scene (face rotation or out of camera). So we proposed the estimation function, which delete useless feature points. The method of delete useless feature points is estimation value at each pyramidal level. When the face was occlusion, we deleted these feature points. This can be robustness to face rotation and out of camera. In experimental results, we assess that using estimation function is better than traditional feature tracker.
In this paper, we proposed automatic face detection and tracking which is robustness in rotation. To detect a face image in complicated background and various illuminating conditions, we used face skin color detection. we used Harris corner detector for extract facial feature points. After that, we need to track these feature points. In traditional method, Lucas-Kanade feature tracker doesn't delete useless feature points by occlusion in current scene (face rotation or out of camera). So we proposed the estimation function, which delete useless feature points. The method of delete useless feature points is estimation value at each pyramidal level. When the face was occlusion, we deleted these feature points. This can be robustness to face rotation and out of camera. In experimental results, we assess that using estimation function is better than traditional feature tracker.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 지식기반 방법과 특징기반 방법을 융합함으로써 실시간으로 회전에 강건하게 얼굴영역을 추출하였다. 지식기반 방법에 기초하여 얼굴 영역을 검출하기위해 색상정보를 사용하였다.
따라서 본 논문에서는 [그림 3]과 같은 문제를 해결하기 위하여, R < 220이라는 조건을 추가하여 적색도 살색이라 검출하는 문제점을 해결하였다.
얼굴영역을 추적하기 위해서는 추출된 특징점을 추적해야 한다. 본 논문에서는 회전에 강건한 얼굴 영역의 특징점들을 추적하기 위하여 평가 함수를 제안하였다.
첫 번째 이미지 I의 특징 점을 u = [ux uy]T라고 했을 때, 두 번째 이미지 J의 특징 점 v = v+d = [ux+dx uy+dy]T을 추적하는 것이 목표이다. [6]
가설 설정
두 개의 2차원 이미지 I와 J가 있다고 가정하자. 이것을 다르게 표현하면 I(x) = I(x,y)와 J(x) = J(x,y)로 표현 할 수 있는데, x와 y축으로 구성된 2차원 좌표인 x = [x y]T로 표현되는 이미지 좌표에서의 색상 값을 갖는다.
제안 방법
본 논문에서는 지식기반 방법과 특징기반 방법을 융합함으로써 실시간으로 회전에 강건하게 얼굴영역을 추출하였다. 지식기반 방법에 기초하여 얼굴 영역을 검출하기위해 색상정보를 사용하였다. 특징기반 방법을 기반으로 회전에 강건한 얼굴 영역의 특징을 추적하기 위해 Harris 코너 추출[4]을 이용하였다.
이러한 문제점들을 보안하기 위하여 본 논문에서는 Lucas-Kanade 방법에 평가 함수를 도입하였다. 즉, 특징점을 판변하여 폐색시에는 불필요한 특징점을 제거함으로써 회전에 강건하며 특징점 개수가 일정 임계값 이하 일 경우, 얼굴영역을 재 검출하였다
[그림 2]는 [알고리즘 1]을 적용하여 피부 색상을 검출 한 결과를 나타낸다. 일반적으로 얼굴에 피부색이 많이 검출되므로, 이를 이용하여 얼굴 영역을 검출하였다.
따라서 본 논문에서는 [그림 3]과 같은 문제를 해결하기 위하여, R < 220이라는 조건을 추가하여 적색도 살색이라 검출하는 문제점을 해결하였다. 또한, [그림 4]와 같이, 안경에 의하여 얼굴 영역이 나누어지는 것을 방지하기 위하여 수축 및 확장 프로세스를 이용하였다. 여기서 사용한 것은 15x15마스크 크기의 opening을 사용하였다.
본 논문에서는 피부 색상 정보를 사용하여 얼굴 영역을 검출하였으며 Harris 코너 추출 알고리즘을 적용하여 특징점을 추출하였다. 회전에 강건하게 추출된 특징점을 추적하기 위해 평가 함수를 도입하여 특징점을 추적하는 방법을 제안하였다. 실험 결과를 통하여 기존의 Lucas-Kanade방법으로 얼굴영역을 추적시 회전되는 경우 정확하게 얼굴영역을 찾지 못하는 문제점을 해결하였다.
대상 데이터
또한, [그림 4]와 같이, 안경에 의하여 얼굴 영역이 나누어지는 것을 방지하기 위하여 수축 및 확장 프로세스를 이용하였다. 여기서 사용한 것은 15x15마스크 크기의 opening을 사용하였다.
이론/모형
특징기반 방법을 기반으로 회전에 강건한 얼굴 영역의 특징을 추적하기 위해 Harris 코너 추출[4]을 이용하였다.
그러나 이 방법은 모든 사람마다 일일이 모든 얼굴 평면을 알아야 한다는 단점이 있다. 이러한 문제점들을 보안하기 위하여 본 논문에서는 Lucas-Kanade 방법에 평가 함수를 도입하였다. 즉, 특징점을 판변하여 폐색시에는 불필요한 특징점을 제거함으로써 회전에 강건하며 특징점 개수가 일정 임계값 이하 일 경우, 얼굴영역을 재 검출하였다
서로 다른 조명하에서 다양한 사람들의 피부 색상 분포를 살펴보면, 모두 유사한 가우시안 분포를 갖고 있음을 알 수 있다. 따라서 피부 색상 모델을 식 (1)과 같이 평균벡터(mean vector)와 공분산(covariance matrix)를 사용하여 2차원 가우시안 모델로 정의한다. 식 (1)에서 c는 컬러 벡터이며, μ와 Σ는 각각 평균벡터와 공분산 행렬을 나타낸다.
GMM은 iterative technique로 이미 잘 알려진 EM(Expectation Maximization)알고리즘을 통해 학습이 수행된다[20]. 식(2)에서 k는 mixture 성분의 개수를 의미하고, πi는 mixing 파라미터를 나타낸다.
얼굴 영역 추적에 사용되는 특징으로는 점, 모양, 질감 등이 있다. 본 논문에서는 특징을 추출하기 위해 Harris 코너 추출 알고리즘을 사용하여 특징점을 추출하였다[4].
본 논문에서는 피부 색상 정보를 사용하여 얼굴 영역을 검출하였으며 Harris 코너 추출 알고리즘을 적용하여 특징점을 추출하였다. 회전에 강건하게 추출된 특징점을 추적하기 위해 평가 함수를 도입하여 특징점을 추적하는 방법을 제안하였다.
성능/효과
[그림 18]에서 보듯이 제안한 추적 방법이 기존의 추적방법보다 더 좋은 결과를 보여준다. 6초 때 수치를 보면 평가 함수를 이용하는 방법이 그렇지 않은 방법보다 27%정도 더 이상적인 얼굴 영역과 겹치는 것을 알 수 있다.
회전에 강건하게 추출된 특징점을 추적하기 위해 평가 함수를 도입하여 특징점을 추적하는 방법을 제안하였다. 실험 결과를 통하여 기존의 Lucas-Kanade방법으로 얼굴영역을 추적시 회전되는 경우 정확하게 얼굴영역을 찾지 못하는 문제점을 해결하였다. 그러나 얼굴이 여러 개가 추적되는 것에 대한 향후 연구과제로 필요하다.
후속연구
실험 결과를 통하여 기존의 Lucas-Kanade방법으로 얼굴영역을 추적시 회전되는 경우 정확하게 얼굴영역을 찾지 못하는 문제점을 해결하였다. 그러나 얼굴이 여러 개가 추적되는 것에 대한 향후 연구과제로 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
얼굴 검출 및 추적 알고리즘에서 특징기반 방법이 최근 가장 많이 사용되는 이유는 무엇인가?
두 번째, 특징기반 방법[10]은 얼굴검출을 위해 얼굴의 불변하는 특징들을 이용한다. 여러 가지 특징들 중 피부 색은 얼굴의 이동, 회전, 크기변화 등에 덜 민감한 특성을 가지기 때문에 최근 가장 많이 사용되고 있다. 세 번째로 형판(template)기반 방법[13]은 얼굴에 대한 몇 가지 표준 패턴을 만들어 영상의 탐색 윈도우 안에서 영상과 비교해 보는 것으로 단순하다는 장점이 있지만 얼굴의 회전이나 크기변화, 다양한 빛의 변화 및 잡음에 민감한 단점을 가지고 있다.
일반적으로 얼굴 추적 시 많이 사용되는 추적 방법은 무엇인가?
일반적으로 얼굴 추적 시 움직임에 강건한 Lucas-Kanade 추적 방법이 많이 사용된다. 그러나 얼굴이 회전되었을 경우, 정확한 얼굴 영역 검출이 어렵다.
LucasKanade 추적 방법의 문제점은 무엇인가?
LucasKanade 추적[2][19] 방법이 얼굴 영역 추적 방법으로 가장 많이 알려져 있다. 그러나 얼굴이 회전되었을 경우, 얼굴 폐색에 의하여 사라져야 할 특징점이 사라지지 못하며, 얼굴 영역 이외의 곳에서 그대로 남아 있는 경우가 빈번히 발생한다. 이 문제를 해결하기 위한 방법으로 3D모델링을 이용한 특징점 추적이 있었다[2].
참고문헌 (21)
김광훈, 권준찬, 송우진, "살색검출을 기반으로 한 포르노 영상 필터링", 신호처리합동학술대회논문집, 제16권, 제1호, 2003.
W. Ryu, D. Kim, "3차원 Head Tracking," 제19회 영상처리 및 이해에 관한 워크샵 발표 논문집, 2007.
X. Wei, Z. Zhu, L. Yin, and Q. Ji, "A real-time face tracking and animation system," Proceedings of the CVPR Workshop on Face Processing in Video, 2004.
J. Shi, and C. Tomasi, "Good features to track," ,IEEE Conference on CVPR Seattle, pp.593-600, 1994.
C. Tomasi and T. Kanade, "Detection and Tracking of Point Features", Carnegie Mellon University Technical Report, 1991.
J. Y. Bouguet, "Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the Algorithm," Intel Corporation, Microprocessor Research Labs, 2000.
Y. Vamossy, A. Toth, and P. Hirschberg, "PAL-based Localization Using Pyramidal Lucas-Kanade Feature Tracker," 2nd Serbian-Hungarian Joint Symposium on Intelligent Systems, Subotica, Serbia and Montenegro, pp.223-231, 2004.
Q. Zhu, S. Avidan, and K. Cheng, "Learning a sparse, corner-based representation for time-varying background modelling," Proc. 10th Intl. Conf. on Computer Vision, Beijing, China, 2005.
M. H. Yang, D. Kriegman, and N. Ahuja, "Detecting Faces in Images: A Survay," IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.24, No.1, pp.34-58. 2002.
C. Kotropoulos, and I. Pitas, "Rule-based detection in frontal views," International Conference on Acoustics, Speech and Signal Processing, Vol.4, pp.2537-2540, 1997.
S. A. Sirohey, "Human face segmentation and identification," Technical Report CS-TR-3176 University of Maryland, 1993.
H. P. Graf, E. Consatto, D. Gibbon, M. Kocheisen, and E. Petajan, "Multi-Modal system for locating heads and faces," The Second International Conference on Automatic Face and Gesture Recognition, pp.88-93, 1996.
V. Govindaraju, S. N. Srihari, and D. B. Sher, "A computational model for face location," The third IEEE International conference on Computer Vision, pp.718-721, 1990.
H. A. Rowley, S. Baluja, and T. Kanade, "Neural network-based face detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.1, pp.22-38, 1998.
K. K. Sung and T. Poggio, "Example-based learning for view-based human face detection," Technical Report A.I. Memo 1521, CBLC paper 112, MIT Dec. 1994.
K. C. Yow and R. Cipolla, "Feature-Based Human Face Detection," Second International Conference on Automatic Face and Gesture Recognition, 1996.
M. J. Jones and J. M. Reg, "Statistical Color Models with Application to Skin Detection," Cambridge Research Laboratory, Compaq Computer corporation, IEEE, 1999.
S. L. Phung, A. Bouzerdoum, and D. Chai, "A Novel Skin Color Model In YCbCr Color Space and Its Application To Human Face Detection," ICIP, 2002.
N. Dowson and R. Bowden, "Mutual information for Lucas-Kanade Tracking(MILK): An inverse compositional formulation," IEEE Transactions on pattern analysis and machine intelligence, 2008.
F. Dellaert, "The expectation maximization Algorithm," College of Computing, Georgia Institute of Technology, Technical Report number GIT-GVU-02-20, 2002.
S. L. Phung, A. Bouzerdorn, and D. Chai, "A Novel Skin Color Model In YCbCr Color Space and Its Application To Human Face Detection," ICIP 2002, 2002.
이 논문을 인용한 문헌
저자의 다른 논문 :
활용도 분석정보
상세보기
다운로드
내보내기
활용도 Top5 논문
해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다. 더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.