[논문]얼굴 특징 실시간 자동 추적

박호식; 배철수

[국내논문] 얼굴 특징 실시간 자동 추적
Real-Time Automatic Tracking of Facial Feature 원문보기

한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences, v.8 no.6, 2004년, pp.1182 - 1187

박호식 (관동대학교) , 배철수 (관동대학교)

초록
AI-Helper

본 논문에서는 실시간으로 눈과 눈썹주위의 특징을 추적하는 새로운 알고리즘을 제안하고자 한다. 제안된 알고리즘은 적외선 LED와 적외선카메라로 밝은 동공 효과를 만들어 동공을 추적 한 후, 템플릿은 얼굴 특징을 매개변수화 하기 위해, 동공 좌표는 각각의 프레임에서 눈과 눈썹 영상을 추출하기 위하여 사용한다. 또한, 템플릿 변수는 표본 영상을 가지고 학습하는 과정에서 구성한 PCA기저를 이용하여 추출된 영상을 PCA 분석하여 구한다. 제안된 시스템은 초당 30 프레임의 영상에서 초기 설정 및 교정 작업 없이 머리 움직임이 많거나 폐색이 있는 경우에도 견실하게 동작하였다.

Abstract ▼ AI-Helper

Robust, real-time, fully automatic tracking of facial features is required for many computer vision and graphics applications. In this paper, we describe a fully automatic system that tracks eyes and eyebrows in real time. The pupils are tracked using the red eye effect by an infrared sensitive camera equipped with infrared LEDs. Templates are used to parameterize the facial features. For each new frame, the pupil coordinates are used to extract cropped images of eyes and eyebrows. The template parameters are recovered by PCA analysis on these extracted images using a PCA basis, which was constructed during the training phase with some example images. The system runs at 30 fps and requires no manual initialization or calibration. The system is shown to work well on sequences with considerable head motions and occlusions.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

기존에 대다수의 얼굴 특징을 검출하고 추적하는 방법들은 변형 가능한 템플릿을 기반으로 하였으나 실시간으로 추적이 어려웠고 초기설정을 필요로 하였다. 그래서 본 논문에서는 적외선 LED를 갖추고 있는 적외선 카메라는 동공을 추적하기 위해 사용되었고, 동공 위치는 눈과눈썹의 영상을 추출하기 위해 사용하였다. 또한, PCA 분석은 템플릿 매개 변수를 구하기 위해 사용하였다.
그러나 이러한 방법은 얼굴 방향이나 외부 조명의 간섭으로 동공이 밝게 빛나지 않으면 동공은 차영상에서 제거되어 추적을 할 수 없게 된다. 그래서 본 논문에서는 차영상에서 밝은 동공을 찾지 못한 경우 바깥쪽 적외선 LED에 의한 독특한 패턴을 이용할 수있다는 점에 착안하여 명암 분포 패턴을 이용한 방법과 밝은 동공 효과를 혼합한 동공 추적 방법을 제안한다. 그림4에 제안된 추적 방법을 순서도로 나타내었다.
본 논문에서는 이러한 방법들의 장점을 결합하고자 하였다. 형태와 구조를 추정하는 Covells [6, 기의 방법에 적외선 LED를 장착한 적외선 카메라를 이용한 동공을 검출하고 추적하는 방법을 결합하였다.
본 논문에서는 자동으로 얼굴 표정을 분석하는 시스템을 구현하기 위한 방법의 일환으로 얼굴 위부분의 특징점을 실시간 추적하는 방법을 제안하였고, 앞으로는 얼굴 아래 부분의 특징점까지 시스템을 확장할 계획이다.
본 논문에서는 초기설정이나 교정 작업 없이 견실하게 초당 30프레임의 영상에서 템플릿을 이용하여 얼굴 위 부분의 특징을 실시간으로 추적 하는알고리즘을 제안하고자 한다.
본 논문에서는 초기설정이나 교정 작업 없이 견실하게 초당 30프레임의 영상에서 템플릿을 이용하여 얼굴 위 부분의 특징을 실시간으로 추적하는 방법을 제안하였다. 기존에 대다수의 얼굴 특징을 검출하고 추적하는 방법들은 변형 가능한 템플릿을 기반으로 하였으나 실시간으로 추적이 어려웠고 초기설정을 필요로 하였다.
본 논문에서는 템플릿을 얼굴의 특징의 세밀한형상 정보를 나타내기 위해 사용하였다. 제안된 시스템에서 사용되는 눈과 눈썹 템플릿을 그림 5에나내었다.

제안 방법

제안된 시스템에서는 다른 얼굴 표정과다른 조명 조건하에서 150개의 눈과 눈썹 영상에 제어점을 표기하여 학습에 사용하였다. 그리고 고유 벡터와 고유 벡터 위의 제어점을 계산하였다. 실시간 추적 동안 추출된 특징 영상은 40개의 고유벡터를 투영하였고 새로운 영상에서 제어점을 찾기 위하여 사용되어진다.
동공 표적의 특징 확률 분포를 표현한 m 과 회색조의 어두운 동공 영상을 끌어낸 1차원 히스토그램을 사용하였다. 히스토그램을 계산하기 전에, 동공 표적의 중심에서 먼 위치일수록 가중을 작게할당하는 볼록하고 단조 감소하는 커널 프로파일 k 를 선택하였다.
그래서 본 논문에서는 적외선 LED를 갖추고 있는 적외선 카메라는 동공을 추적하기 위해 사용되었고, 동공 위치는 눈과눈썹의 영상을 추출하기 위해 사용하였다. 또한, PCA 분석은 템플릿 매개 변수를 구하기 위해 사용하였다.
LED 교대로 껐다 키면서 그림 3의 (a)와 (b)같은 밝고 어두운 동공 효과를 만들어 내었다. 안쪽과 바깥쪽의 LED고리를 영상의 짝수 필드와 흘수 필드에 맞추어 키고 끄기 위한 동기화 회로를 개발하였다. 짝수 필드를 읽어 들일 때, 안쪽 LED가 켜지고 바깥쪽 LED 가 꺼지도록 하였으며, 반대로 홀수 필드를 읽어 들일 때는 바깥쪽 LED가 켜지고 안쪽 LED가 꺼지도록 하였다.
첫 번째 단계에서 밝은 동공 효과[9]를 이용한 Kalman 필터를 이용하고, 만약 추적에 실패할 경우, 두 번째로 어두운 동공 영상에서 평균이동알고리즘을 이용한 명암 분포에 근거하여 이전 프레임의 동공 부근에서 동공을 추적한다.
특징을 위한 템플릿 매개변수는 표본 영상을 가지고 학습하는 과정에서 구성된 PCA 기저를 사용하여 추출된 영상에서 PCA 분석에 의해 구한다.
그리고 얼굴 특징 위치로부터 눈과 눈썹에 대응하는 대상 영역은 잘라내고 분석하여 형태를 구한다. 표본 영상에 형태를 나타낼 수 있는 제어점을 표시하여 학습 데이터로 사용하여, 표본의 선형 결합으로 새로운 특징영상을 표현하고자 하였다. 표시한 제어점을 선형결합하여 새로운 영상을 위한 제어점을 구한다.
표시한 제어점을 선형결합하여 새로운 영상을 위한 제어점을 구한다. 표본 영상의 수가 많아짐으로 PCA를 템플릿 매개변수를 구하기 위해 사용하였다. 표본 영상 li 의수 n 이 주어지고, pi (i=l, .
하였다. 형태와 구조를 추정하는 Covells [6, 기의 방법에 적외선 LED를 장착한 적외선 카메라를 이용한 동공을 검출하고 추적하는 방법을 결합하였다.

대상 데이터

동공 위치로부터 중요 영 역(눈: 140 X 80 화소, 눈썹: 170 X 80 화소) 잘라내어 사용하였다. 특징을 위한 템플릿 매개변수는 표본 영상을 가지고 학습하는 과정에서 구성된 PCA 기저를 사용하여 추출된 영상에서 PCA 분석에 의해 구한다.
동공 추적을 위한 적외선 감지기를 그림 2에서와 같이 적외선 카메라와 두 개의 적외선 LED로 구성하였다. LED 교대로 껐다 키면서 그림 3의 (a)와 (b)같은 밝고 어두운 동공 효과를 만들어 내었다.
적외선 LED와 함께 동기화된 적외선에민감한 카메라는 감지기로서 사용되었고, 밝은 동공 영상을 만들어 낸다. 감지기로부터 얻은 영상은동공의 위치를 주줄하기 위해 사용된다.
한다. 제안된 시스템에서는 다른 얼굴 표정과다른 조명 조건하에서 150개의 눈과 눈썹 영상에 제어점을 표기하여 학습에 사용하였다. 그리고 고유 벡터와 고유 벡터 위의 제어점을 계산하였다.
제안된 시스템을 다른 조명 조건하에서 초당 30 프레임 영상을 얻어 실험하였다. 학습에 사용하였던 영상에서 시스템은 특히 효율적으로 동작하였고, 새로운 프레임에서 특징을 폐색이 있는 경우에도 매우 효율적이고 견실하고, 매우 신속하게 발견하였다.

성능/효과

실험 결과 제안된 시스템은 매우 효율적으로 초당 30프레임의 영상에서 머리 움직임이 많거나 폐색이 있는 경우에도 실시간으로 견실하게 특징을 추적할 수가 있었다.
실험 결과 제안된 시스템은 매우 효율적이고, 초당 30프레임의 영상에서 머리 움직임이 많거나 폐색이 있는 경우에도 실시간으로 견실하게 특징을 추적하였다.
그리고 동공의 위치는 다른 얼굴의 특징의 위치를 결정하고, PCA를 사용하여 형태 정보를 구하기 위해 사용된다. 제안된 시스템은 매우 효율적이고, 초당 30 프레임으로 실시간으로 특징 추적이 가능하였다.
제안된 시스템은 영상에서 얼굴의 특징의 위치를 매우 견실하게 추정할 수 있다. 그리고 얼굴 특징 위치로부터 눈과 눈썹에 대응하는 대상 영역은 잘라내고 분석하여 형태를 구한다.
영상을 얻어 실험하였다. 학습에 사용하였던 영상에서 시스템은 특히 효율적으로 동작하였고, 새로운 프레임에서 특징을 폐색이 있는 경우에도 매우 효율적이고 견실하고, 매우 신속하게 발견하였다. 그림 6에 추적 결과의 일부를 나타내었다.

참고문헌 (9)

Y. Tian, T. Kanade, and J. F. Cohn. Dual-state parametric eye tracking. In Proceedings of Conference on Automatic Face and Gesture Recognition, 2000
Y. Tian, T. Kanade, and J. F. Cohn. Recognizing upper face action units for facial expression analysis. In Proceedings of Conference on Computer Vision and Pattern Recognition, June 2000
I. Essa, S. Basu, T. Darrell, and A. Pentland. Modeling, tracking and interactive animation of faces and heads using input from video. In Proceedings of Computer Animation Conference, 1996
M. J. Jones and T. Poggio. Multidimensional morphable models. In Proceedings of International Conference on Computer Vision, 1998
T. F. Cootes, G. J. Edwards, and C. J. Taylor. Active appearance models. Pattern Analysis and Machine Intelligence, 23(6), June 2001
M. Covell.' Eigen-points. In Proceedings of International Conference Image Processing, September 1996
M. Covell. Eigen-points: control-point location using principal component analyses. In Proceedings of Conference on Automatic Face and Gesture Recognition, October 1996
C.Morimoto, D. Koons, A. Amir, and M. Flickner. Pupil detection and tracking using multiple light sources. Technical report, IBM Almaden Research Center, 1998
A. Haro, I. Essa, and M. Flickner. Detecting and tracking eyes by using their physiological properties. In Proceedings of Conference on Computer Vision and Pattern Recognition, June 2000

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증