[논문]Adaptive Particle Filter와 Active Appearance Model을 이용한 얼굴 특징 추적

조덕현; 이상훈; 서일홍

doi:10.7746/jkros.2013.8.2.104

Adaptive Particle Filter와 Active Appearance Model을 이용한 얼굴 특징 추적
Facial Feature Tracking Using Adaptive Particle Filter and Active Appearance Model 원문보기

로봇학회논문지 = The journal of Korea Robotics Society, v.8 no.2, 2013년, pp.104 - 115

조덕현 (Department of Electronics and Computer Engineering, Hanyang University) , 이상훈 (Department of Intelligent Robot Engineering, Hanyang University) , 서일홍 (Department of Computer Sciences and Engineering, College of Engineering, Hanyang University)

Abstract ▼ AI-Helper

For natural human-robot interaction, we need to know location and shape of facial feature in real environment. In order to track facial feature robustly, we can use the method combining particle filter and active appearance model. However, processing speed of this method is too slow. In this paper, we propose two ideas to improve efficiency of this method. The first idea is changing the number of particles situationally. And the second idea is switching the prediction model situationally. Experimental results is presented to show that the proposed method is about three times faster than the method combining particle filter and active appearance model, whereas the performance of the proposed method is maintained.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Adaptive number of particles의 효과를 알아보기 위해 기본 particle filter를 이용한 방법과 비교해보자. Table 1의 네 번째 열과 다섯 번째 열에 있는 실험 결과를 보면, adaptive number of particles 방법의 프레임 당 평균 에러가 기본 particle filter를 이용한 방법에 비해 조금 크기는 하지만 유의미한 차이는 없음을 알 수 있다.
본 논문에서는 다양한 환경 변화 아래서도 얼굴 특징을 안정적으로 추적하는 방법인 AAM과 particle filter를 결합한 방법의 효율성을 향상시키기 위한 방법을 두 가지 제안하였다. 첫 번째는 adaptive number of particles 방법으로, 상황에 따라 파티클의 개수를 조절하는 방법이다.
본 논문에서는 연속 영상에서 얼굴 특징들을 효과적으로 추적하기 위해 AAM과 particle filter를 결합하여 활용하고, 이에 따라 늘어난 연산량을 최대한 효율적으로 처리하면서도 정확도는 유지하기 위한 두 가지 방법을 제안한다.
Particle filter를 활용하면 이러한 문제점이 해결되지만 연산량이 늘어나 속도가 느려지는 또 다른 문제가 발생한다. 본 논문에서는 이를 해결하기 위한 방법을 제안하고자 한다.
따라서 각 프레임 마다 꼭 필요한 개수의 파티클만을 사용한다면 성능은 유지한채 계산량을 효과적으로 줄일 수 있다. 이에 본 논문에서는 KLD-Sampling 기법^[28]을 활용하여 파티클 개수를 상황에 맞게 조절하는 방법을 제안한다.
실제로 particle filter와 AAM을 결합한 방법에서 계산량을 가장 많이 차지하는 부분은 prediction 부분이다. 이에 본 논문에서는 계산량을 효과적으로 줄이기 위해 상대적으로 덜 중요한 파티클에는 계산량이 많지 않은 또 다른 prediction model을 적용하는 방법을 제안한다.
Particle filter의 목표는 파티클 집합으로 실제 사후확률분포를 추정하는 것이다. 즉, 실제 사후확률분포와 파티클 집합으로 추정된 확률분포 간의 차이를 일정 수준 이하로 유지시킬 수 있는 최소 파티클 개수를 찾아내는 것이 우리의 목표다. 이는 식 (16)과 같이 나타낼 수 있다.

가설 설정

AAM은 \(\delta p\)와 \(r(p)\)사이에 고정된 선형관계 \(R\)이 존재한다고 가정하고, 이를 이용하여 파라미터를 업데이트한다. 이는 식 (7)과 같이 나타낼 수 있다.

제안 방법

Adaptive prediction model의 효과를 알아보기 위해 기본 particle filter를 이용한 방법과 비교해보자. Table 1의 네 번째 열과 여섯 번째 열을 보면, adaptive prediction model 방법의 프레임 당 평균 에러가 기본 particle filter를 이용한 방법에 비해 조금 크기는 하지만 유의미한 차이는 없음을 알 수 있다.
다음 절들에서는 얼굴 특징 추적에 적합한 state space, prediction model, observation model을 정의하고, 상황에 따라 prediction model과 파티클 개수를 변화시키는 방법에 대해 좀 더 자세히 살펴본다.
먼저 AAM만 단독으로 이용한 경우와 particle filter를 결합하여 이용한 경우를 비교하여 particle filter 사용의 효과부터 보이고자 한다.
실제 알고리즘에 적용할 때는 리샘플링 단계에서 파티클을 하나 뽑을 때마다 필요한 파티클의 개수와 현재 뽑힌 파티클 개수를 비교한다. 현재 뽑힌 파티클 개수가 필요한 파티클 개수보다 적다면 한 번 더 리샘플링을 하고 그렇지않다면 리샘플링 단계를 마치는 것이다.

대상 데이터

하나는 매 프레임 마다 새로 초기화를 하여 처리 하는 방법(frame by frame)이고, 나머지 하나는 이전 프레임의 결과를 다음 프레임의 초기 값으로 넣어주는 방법(image sequence)이다. Particle filter는 파티클 개수를 50개로 고정한 기본 particle filter를 사용하였다.
2에 나타냈다. 실험 데이터는 3가지 서로 다른 환경에서 촬영한 연속 영상들로, 그 일부를 Fig. 3, Fig. 4, Fig. 5에 나타냈다. 첫 번째 실험 데이터는 심한 표정과 포즈 변화가 존재하며, 포즈의 변화에 따라 생겨난 조명 변화 및 블러링 또한 존재한다.
실험에 사용된 PC의 사양은 Intel i7 3.4GHz, 16GB RAM이며 알고리즘의 구현은 C++과 OpenCV 2.0을 이용하였다.
실험에 사용될 얼굴 AAM 모델을 만들기 위한 학습 데이터는 표정과 포즈 변화가 있는 동일 인물의 영상 총 30장으로 구성하였으며, 각 영상에 58개의 특징점들을 찍어주었다. 학습 데이터의 일부를 Fig.
5에 나타냈다. 첫 번째 실험 데이터는 심한 표정과 포즈 변화가 존재하며, 포즈의 변화에 따라 생겨난 조명 변화 및 블러링 또한 존재한다. 두 번째 실험 데이터는 복도를 걸어 다니는 상황으로, 배경과 조명이 계속하여 변화하며 블러링도 존재한다.

이론/모형

7. Graph of the number of particles used at each frame when using adaptive number of particles method. (a) Result of the test set #1; (b) Result of the test set #2; (c) Result of the test set #3.

성능/효과

여기서 사용하는 에러는 알고리즘의 결과로 나온 얼굴 특징점 위치 벡터와 ground truth 얼굴 특징점 위치 벡터 간의 차 벡터의 크기로 정의한다. 결과 그래프를 보면 particle filter를 사용했을 때, particle filter를 사용하지 않은 방법 들에 비해 안정적이고 정확한 성능을 보임을 알 수 있다.
이 두 가지 방법을 기본 particle filter만을 사용한 방법과 비교한 결과, 성능을 유지한 채 연산 속도는 빨라짐을 알 수 있었다. 또한 두 방법을 동시에 적용하여도 성능은 유지됐으며, 연산 속도는 두 방법의 시너지 효과로 인해 더욱 빨라져 약 3배 향상됨을 알 수 있었다.
이 결과를 통해 우리가 실제 사후확률분포를 모르더라도 자유도 k-1의 함수로 필요한 파티클 개수를 구할 수 있음을 알 수 있다. [28]에 따라 k는 non-empty bin의 개수로 정의할 수 있다.
이 두 가지 방법을 기본 particle filter만을 사용한 방법과 비교한 결과, 성능을 유지한 채 연산 속도는 빨라짐을 알 수 있었다. 또한 두 방법을 동시에 적용하여도 성능은 유지됐으며, 연산 속도는 두 방법의 시너지 효과로 인해 더욱 빨라져 약 3배 향상됨을 알 수 있었다.

후속연구

향후에는 본 논문에서 제안한 시스템을 코드 최적화 등으로 연산 속도를 좀 더 향상시킨 뒤, 자연스러운 HRI를 위한 얼굴 표정 인식 시스템으로 확장할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	로봇이 인간을 원활히 돕기 위해서 무엇이 필요한가?	최근 인간에게 도움을 줄 수 있는 지능형 서비스 로봇에 대한 관심과 수요가 늘어나고 있다. 로봇이 인간을 원활히 돕기 위해서는 인간과의 자연스러운 상호작용이 필요하다. 이를 위해서는 로봇이 인간의 감정, 의도, 상태 등을 인지할 수 있어야 한다.
	비언어적 신호들 중 가장 꾸준히 많은 정보를 전달하는 것은?	비언어적 신호들 중 가장 꾸준히 많은 정보를 전달하는 것은 얼굴 표정이다. 목소리의 톤, 음색은 말을 하지 않을 때는 정보를 전달할 수 없고, 몸짓, 손짓은 인간의 자세나 상황에 따라 제한될 수 있다.
	얼굴 표정 인식 시스템을 단계별로 설명하시오.	얼굴 표정 인식 시스템은 크게 네 단계로 나누어볼 수있다. 1)영상으로부터 얼굴을 찾는 단계, 2)얼굴 영상에서 특징을 추출하는 단계, 3)추출된 특징으로부터 ‘입꼬리가 올라갔다’ 등의 얼굴 단위 움직임을 알아내는 단계, 4)알아낸 얼굴 단위 움직임으로부터 감정, 의도, 상태 등을 인식하는 단계가 그것이다. 이중 3)과 4)는 먼저 1)과 2)가 잘되어야만 기본적인 성능을 보장받을 수 있다.

참고문헌 (30)

A. Mehrabian, "Communication without words," Psychological Today, vol. 2, pp. 53-55, 1968.
P. Ekman and H. Oster, "Facial expressions of emotion," Annual review of psychology, 30(1), pp. 527-554, 1979.

상세보기
I Eibl-Eibesfeldt, "The Expressive Behaviour of the Deaf-and-Blind-Born," Social communication and movement, 1973.
T.F. Cootes, G.J. Edwards, and C.J. Taylor, "Active appearance models," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 6, pp. 681-685, 2001.

상세보기
T.F. Cootes and C.J. Taylor, "Statistical models of appearance for computer vision," Online technical report, 2004.
D. Tao, M. Song, X. Li, J. Shen, J. Sun, X. Wu, C. Faloutsos, and S. Maybank, "Bayesian tensor approach for 3-D face modeling," IEEE Trans. Circuits Syst. Video Technol., vol. 18, no. 10, pp. 1397-1410, 2008.

상세보기
J. Liebelt, X. Jing, and Y. Jie, "Robust aam fitting by fusion of images and disparity data," in Proc. IEEE Conf. Comput. Vis. Pattern Recog., pp. 2483-2490, 2006.
G.J. Edwards, C.J. Taylor, and T.F. Cootes, "Interpreting face images using active appearance models," in Proc. IEEE Int. Conf. Autom. Face and Gesture Recog., pp. 300-305, 1998.
G.J. Edwards, T.F. Cootes, and C.J Taylor, "Face recognition using active appearance models," in ECCV, 1998.
L. Wiskott, J.M. Fellous, N. Kruger, and C.von der Malsburg, "Face recognition by elastic bunch graph matching," in ICIP, 1997.
J. Wan, X. Renm, and G. Hu, "Automatic red-eyes detection based on AAM," in Proc. IEEE Int. Conf. Syst., Man Cybern., vol. 7, pp. 6337-6341, 2004.
S.C. Mitchel, B.P.F. Lelieveldt, R.J. van der Geest, H.G. Bosch, J.H.C. Reiver, and M. Sonka, "Multistage hybrid active appearance model matching: Segmentation of left and right ventricles in cardiac MR images," IEEE Trans. Med. Imag., vol. 20, no. 5, pp. 415-423, 2001.

상세보기
G. Dedeoglu, S. Baker, and T. Kanade, "Resolution-aware fitting of active appearance models to low-resolution images," in ECCV, pp. 83-97, 2006.
T.F. Cootes, G.V. Wheeler, K.N. Walker, and C.J. Taylor, "View-based active appearance models," in Proc. IEEE Int. Conf. Autom. Face Gesture Recog., pp. 227-232, 2000.
X. Hou, S. Li, H. Zhang, and Q. Cheng, "Direct appearance models," In CVPR, vol. 1, pp. 828-833, 2001.
C. Liu, H-Y. Shum, and C. Zhang, "Hierarchical shape modeling for automatic face localization," In ECCV, pp. 687-703, 2002.
L. Liang, F. Wen, Y.-Q. Xu, X. Tang, and H.-Y. Shum, "Accurate face alignment using shape constrained markov network," in CVPR, vol. 1, pp. 1313-1319, 2006.
L. Gu and T. Kanade, "3d alignment of face in a single image," in CVPR, pp. 1305-1312, 2006.
X. Liu, "Generic face alignment using boosted appearance model," in CVPR, pp. 1-8, 2007.
M.B. Stegmann, "Object tracking using active appearance models," In Proc. 10th Danish Conference on Pattern recognition and Image Analysis, vol. 1, pp. 54-60, 2001.
A. Doucet, N. Freitas, and N. Gordon, "Sequential Monte Carlo Methods in Practice," Springer-Verlag, 2001.
M. Isard and A. Blake, "CONDENSATION - Conditional Density Propagation for Visual Tracking," International Journal of Computer Vision, vol. 29, no. 1, pp. 5-28, 1998.
S. Fleck, M. Hoffmann, K. Hunter, and A. Schilling, "PFAAM-An Active Appearance Model based Particle Filter for both Robust and Precise Tracking," in fourth Canadian Conference on Computer and Robot Vision, 2007.
S. Hamlaoui and F. Davoine, "Facial Action Tracking Using an AAM-Based Condensation Approach," in IEEE International Conference on Acoustics, Speech, and Signal Processing, 2005.
L. Zhao and J. Tao, "Fast Facial Feature Tracking with Multi-Cue Particle Filter," in International Conference on Image and Vision Computing. Hamilton, New Zealand, pp. 7-12, 2007.
C. Goodall, "Procrustes methods in the statistical analysis of shape," J. Roy. Statist. Soc. B, vol. 53, no. 2, pp. 285-339, 1991.
I. Jolliffe, "Principal Component Analysis," Encyclopedia of Statistics in Behavioral Science, 2005.
D. Fox, "Adapting the Sample Size in Particle Filters Through KLD-Sampling," The International Journal of Robotics Research, vol. 22, no. 12, pp. 985-1003, 2003.

상세보기
J.A. Rice, "Mathematical Statistics and Data Analysis," 2nd edition, Duxbury Press, Belmont, CA, 1995.
N. Johnson, S. Kotz, and N. Balakrishnan, "Continuous Univariate Distributions," vol. 1, Wiley, New York, 1994.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증