[논문]표정 강도에 강건한 얼굴 표정 인식

김진옥

doi:10.3745/kipstb.2009.16b.5.395

표정 강도에 강건한 얼굴 표정 인식
Robust Facial Expression-Recognition Against Various Expression Intensity 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.16B no.5, 2009년, pp.395 - 402

초록
AI-Helper

본 연구는 표정 인식률을 개선하기 위한, 강도가 다른 표정을 인식하는 새로운 표정 인식 방법을 제안한다. 사람마다 다르게 나타나는 표정과 표정마다 다른 강도는 표정 인식률 저하에 지대한 영향을 미친다. 하지만 얼굴 표정의 다양한 강도를 처리하는 방법은 많이 제시되지 않고 있다. 본 연구에서는 표정 템플릿과 표정 강도 분포모델을 이용하여 다양한 얼굴 표정 강도를 인식하는 방법을 제시한다. 표정 템플릿과 표정강도 분포모델은 얼굴의 특징 부위에 표시한 관심 점과 얼굴 특징 부위간의 움직임이 다른 표정과 강도에 따라 어떻게 달라지는지 설명하여 표정 인식률 개선에 기여한다. 제안 방법은 정지 이미지뿐만 아니라 비디오시퀀스에서도 빠른 측정 과정을 통해 다양한 강도의 표정을 인식할 수 있는 장점이 있다. 실험 결과, 제안 연구가 특히 약한 강도의 표정에 대해 타 방법보다 높은 인식 결과를 보여 제안 방법이 다양한 강도의 표정 인식에 강건함을 알 수 있다.

Abstract ▼ AI-Helper

This paper proposes an approach of a novel facial expression recognition to deal with different intensities to improve a performance of a facial expression recognition. Various expressions and intensities of each person make an affect to decrease the performance of the facial expression recognition. The effect of different intensities of facial expression has been seldom focused on. In this paper, a face expression template and an expression-intensity distribution model are introduced to recognize different facial expression intensities. These techniques, facial expression template and expression-intensity distribution model contribute to improve the performance of facial expression recognition by describing how the shift between multiple interest points in the vicinity of facial parts and facial parts varies for different facial expressions and its intensities. The proposed method has the distinct advantage that facial expression recognition with different intensities can be very easily performed with a simple calibration on video sequences as well as still images. Experimental results show a robustness that the method can recognize facial expression with weak intensities.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 얼굴의 각 표정을 빠르고 효과적으로 인식하여 표정 인식률을 높이는데 그 목적이 있으며 특히 사람마다 다르게 나타나는 얼굴 표정 강도로 인한 표정 인식률 저하를 개선하는 데 연구의 의의를 둔다.
따라서 표정이 변하거나 표정강도가 다를 경우에도 해당 표정을 제대로 인식할 수 있는 표정 인식 시스템을 구현해야 하며 이를 위해 본 연구에서는 기본 표정을 설정한 표정 템플릿을 구축하고 측정 대상 얼굴의 표정과 표정 템플릿의 표정의 유사한 정도를 판단하여 얼굴 표정 인식을 처리하는 방법을 제안한다.
본 연구는 얼굴 표정의 다양한 강도를 동일하게 인식하고 이를 통해 표정 인식률을 높이는 방법을 제시하고자 한다.
본 연구에서는 강도가 다른 얼굴 표정을 예측하여 인식하는 새로운 방법을 제안한다. 표정 인식률을 결정하는 데에는 빛, 타 물체와의 겹침 등 외부적 원인 외에 사람마다 다른 표정의 강도가 인식 결과에 많은 영향을 미친다.
이 연구들은 얼굴 표정 강도를 서로 다른 얼굴 움직임간의 차이를 판별하기 위한 목적으로 적용했다.

가설 설정

표준편차 σi는 비례 상수 k가 있는 평균 μi에 비례한다고 가정한다.

제안 방법

본 연구는 얼굴 표정 모델 설정시 시간과 노력을 줄이면서 표정 템플릿을 빠르게 구축하여 비디오시퀀스 및 정지 영상에 나타난 다양한 강도의 표정을 동일한 표정으로 인식하도록 한다.
사후 확률밀도를 결정하는 표정 유사도는 측정 대상 얼굴 표정과 표정 강도 분포 모델 를 비교하여 표정의 유사여부를 판단한다.
실험 대상자는 머리는 고정한 채 모니터의 설명에 따라 60프레임의 간격을 두고 60 프레임씩 한 번에 한 표정을 3번의 강도로 나눠 짓는다.
이를 위해 본 연구에서는 얼굴 모양 모델을 설정하고 표정을 결정하는 얼굴 특징부위에 관심 점을 표시하여 표정 변화에 따른 관심 점과 얼굴 특징 부위간의 관계를 표정강도 분포모델로 나타낸 얼굴 템플릿을 구축함으로써 실제 다양한 강도의 표정을 보이는 인식 대상의 표정을 예측한다.
따라서 다양한 얼굴 표정 강도를 대상으로 표정 인식률을 비교하는 과정이 필요하다. 제안 방법을 평가하기 위해 다양한 표정의 비디오 시퀀스를 이용하여 실험했다. 실험 대상자의 머리는 2차원 평면상의 움직이는 범위 내에서 여러 가지 얼굴 표정을 짓는다.
제안 연구의 얼굴 표정 인식은 얼굴 표정 템플릿 M= {S,Z,T}을 이용한다.
테스트 단계에서는 표정 템플릿의 표정 강도 분포 모델과 표정 예측 대상의 표정을 비교하여 표정을 예측한다.
표정에 대한 다양한 데이터를 포함하고 있는 비디오 시퀀스가 확률적으로 표정 인식 결과가 더 우수하지만 본 연구가 제시하는 표정 강도에 강건한 표정 인식 방법을 구체적으로 설명하기 위해 비디오 시퀀스의 강도별로 다른 표정을 프레임으로 포착하여 이를 대상으로 제안 방법과 SVM(Support Vector Machine)분류 방법[16]을 비교함으로써 표정 강도의 다양함에 대응하는 표정 인식 결과를 설명한다.

대상 데이터

이에 따라 N_e = 6으로 설정한다. 9명의 실험 대상자들 연령대는 20대로 구성한다. 512 × 384 크기의 비디오 시퀀스는 실험 대상자 당 15 fps로 찍는다.

성능/효과

강도가 다른 얼굴 표정 프레임에 제안 방법과 SVM을 적용한 결과 다양한 표정 강도의 프레임을 섞어서 인식한 <표 1>에 비해 의 인식률을 강한 표정을 가진 얼굴만을 대상으로 한 결과 의 표정 인식률이 더 높다.
다양한 표정 강도에 무관하게 표정을 인식하는 제안 연구 방법은 특히 중간 표정과 약한 표정을 짓고 있는 인물들의 표정 인식에 강건한 인식 결과를 보였으며 강한 표정의 인식률은 타 연구와 유사한 인식결과를 보였지만 사람들의 표정이 일반적으로 아주 강하게 나타나지 않는다는 점을 감안할 때 제안 방법이 다양한 표정 강도에 더 강건함을 알 수 있다.
본 연구는 약한 표정, 중간 표정, 강한 표정 등 표정의 강도를 나누어 특히 약한 표정에 대해서도 강건한 인식 결과를 보일 수 있는 방법을 제시함으로써 인식률을 개선하고 있다.
비디오 시퀀스에서 동일한 표정에 대한 저, 중, 고강도의 표정 프레임들을 추출한 얼굴 표정을 대상으로 실제 표정에 대해 본 연구를 통해 인식한 표정 결과를 확률로 나타낸 결과로써 프레임의 평균 얼굴 표정 인식률은 80.4%이며 슬픔을 슬픔으로 인식한 것은 70.3%, 슬픔을 혐오로 오인식한 것은 14.9%이다.
의 표정 인식 결과 놀람과 기쁨 표정은 표정을 결정하는 얼굴 부위의 변화가 많은 반면 슬픔, 혐오 표정을 나타내는 얼굴 표정 부위는 변화가 적어 인식률이 떨어짐을 확인할 수 있다.
제안 방법을 와 같이 비디오 시퀀스에 적용하여 표정을 분류한 결과 프레임을 이용하여 얼굴 표정을 인식한 결과보다 높은 86.5%의 표정 인식률을 나타냈다.
제안 연구는 무표정, 분노, 놀람, 슬픔, 기쁨, 혐오 등 6개의 얼굴 표정 범주의 3가지 강도표정에 대해 정면에서 본 표정을 개별 프레임에 대해서는 80.4%, 비디오 시퀀스에 대해서는 86.5%의 확률로 인식했다.
표정 강도가 강한 인물의 경우 연구 방법에 따른 표정 인식률 결과가 그다지 영향을 받지 않지만 약한 강도의 표정의 경우 제안 방법을 적용할 경우 SVM보다 높은 인식률을 보여 제안 방법이 표정 강도가 다양한 여러 사람의 표정 인식에 유리함을 알 수 있다.
이는 표정 강도가 한 가지 형태로만 나타나지 않는다는 것을 고려한 것으로 FACS는 얼굴 표정 강도를 (그림 2)(b)와 같이 A부터 E까지 다섯 단계로 나누어 A는 최소 외형 변화를, E는 최대 외형 변화를 나타낸다. 하지만 FACS의 얼굴 표정 강도를 5단계로 나누어 이를 시간의 변화에 따라 증가하는 강도의 분포도를 구한 결과 중간 단계의 얼굴 표정 강도 간에는 심하게 겹치는 결과를 보이며 특히 D 단계의 표정이 많은 범위를 차지하고 있음을 알 수 있다. 이는 FACS 강도 코드가 상당히 주관적이어서 서로 다른 표정 강도를 정확하게 구분하지 못하기 때문이다.

후속연구

향후 연구에서는 기존 연구[18, 19]를 바탕으로 실험 대상자의 연령대, 성별 분포도를 다양화시켜 강도 변화가 큰 얼굴 표정에 대해서도 신뢰도 높은 표정 인식결과를 보이도록 하며 얼굴 표정을 결정하는 부위를 표시하는 관심 점과 표정 부위를 효과적으로 추출함으로써 더 섬세하고 정확하게 인식률을 개선하는 방법에 대해 진행할 것이다. 또한 머리의 방향에 따라 얼굴의 각도가 달라질 때 정면이 아닌 상태에서 표정을 동시에 인식하는 방법과 얼굴 표정이 변할 때 어떤 과정을 통해 표정 전이가 진행되는 지에 대한 과정을 분석하여 이 내용을 얼굴 표정 합성연구에 적용하도록 한다.
향후 연구에서는 기존 연구[18, 19]를 바탕으로 실험 대상자의 연령대, 성별 분포도를 다양화시켜 강도 변화가 큰 얼굴 표정에 대해서도 신뢰도 높은 표정 인식결과를 보이도록 하며 얼굴 표정을 결정하는 부위를 표시하는 관심 점과 표정 부위를 효과적으로 추출함으로써 더 섬세하고 정확하게 인식률을 개선하는 방법에 대해 진행할 것이다. 또한 머리의 방향에 따라 얼굴의 각도가 달라질 때 정면이 아닌 상태에서 표정을 동시에 인식하는 방법과 얼굴 표정이 변할 때 어떤 과정을 통해 표정 전이가 진행되는 지에 대한 과정을 분석하여 이 내용을 얼굴 표정 합성연구에 적용하도록 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	표정 강도가 다르면 어떤 문제점이 생기는가?	이런 문제점은 얼굴 표정 인식 시스템의 신뢰도를 저하시키는 요인이 된다. 표정 강도가 다르면 동일한 표정에 대해서도 인식시스템이 다른 표정으로 인식하여 표정 인식 결과에 악영향을 미치게 된다.
	표정을 결정하는 얼굴 움직임은 무엇에 따라 다양하게 나타나는가?	표정 강도 관련 연구들은 주로 표정 강도의 변화를 측정하고자 하였다. 표정을 결정하는 얼굴 움직임은 강도에 따라 다양하게 나타난다. FACS 코딩에서는 움직임 단위(AU, Action Unit)의 움직임 즉 표정 강도 변화를 설명하는데 여러 단계로 강도의 범위를 나누어 나타내는 새로운 연구를 진행했다[1].
	얼굴 표정 인식 시스템의 문제점은?	사람의 행동을 인지하는 신호를 전달하는 표정은 복잡한 심리적 절차의 기능적 구조를 반영하여 상호간의 정보를 해석하는 단초를 제공한다. 얼굴 표정은 감정의 종류에 따라 다를 뿐 아니라 사람마다 표정으로 감정의 정도를 나타내는 방법이 다르다. 또한 동일한 얼굴 표정이라도 표정의 강도는 사람마다 다르다. 이런 문제점은 얼굴 표정 인식 시스템의 신뢰도를 저하시키는 요인이 된다.

참고문헌 (19)

Paul Ekman, Wallace Friesen, Joseph Hager, "Facial Action Coding System Manual," 2002.
M. A. Sayette, J. F. Cohn, J. M. Wertz, M. Perrott, D. Parrott, "Psychometric Evaluation of the Facial Action Coding System for Assessing Spontaneous Expression," Journal of Nonverbal Behavior, vol. 25. no. 3, pp. 167-185, Springer, 2001.

상세보기
Mohammed Yeasin, Baptiste Bullot, Rajeev Sharma, "Recognition of Facial Expressions and Measurement of Levels of Interest from Video," IEEE Transactions on Multimedia, Vol.8, No.3, 2006.

상세보기
S. Kimura, M. Yachida, "Facial Expression Recognition and its Degree Eestimation," International Conference on Computer Vision and Pattern Recognition, pp.295-300, 1997.
J. J. Lien, T. Kanade, J. Cohn, C. Li, "Subtly different facial expression recognition and expression intensity estimation," Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, pp.853-859, 1998.
M. Barelett, G. Littlewort, M. Franc, C. Ainscsek, I. Fasel, J. Movellan, "Automatic Recognition of Facial Actions in Spontaneous Expressions," Journal of Multimedia, Vol.1, No.6, pp.22-35, 2006.
Y. L. Tian, T. Kanade, J. Cohn, "Eye-state Aciton Unit Detection by Gabor Wavelets," Proceedings of International Conference on Multi-Model Interfaces, pp.143-150, 2000.

상세보기
J. Wang, L. Yin, X. Wei, Y. Sun, "3D Facial Expression Recognition based on Primitive Surface Feature Distribution," IEEE Computer Vision and Pattern Recognition, pp.1399- 1406, 2006.
F. Drnaika, F. Davoine, "Simultaneous Facial Action Tracking and Expression Recognition in the presence of head motion," Int. Journal of Computer Vision, Vol.76, No.3, pp.257-281, 2008.

상세보기
S. Lucey, I. Mathews, C. Hu, Z, Ambadar, F. Torre, J. Cohn, "AAM Derived Face Representations for Robust Facial Action Recognition," IEEE Int. Conf. Automatic Face and Gesture Recognition, pp.155-160, 2006.
Jane Reilly, John Ghent, John Mcdonald, "Investigating the Dynamics of Facial Expressions," Lecture Notes in Computer Science, Vol.4292, pp.334-343, 2006.

상세보기
http://koreanface.culturecontent.com/
J. O. Kim, J. H. Chung, "On a Face Detection with an Adaptive Template Matching and an Efficient Cascaded Object Detection," Lecture Notes in Computer Science, Vol.3645, pp.414-422, 2005.

상세보기
M. Isard, A. Blake, " Condensation-conditional density propagation for visual tracking", International Journal of Computer Vision, Vol.29, No.1, pp.5-28, 1998
R. Gonzalez, R. Woods, "Digital Image Processing", Addison-Wesley Publishing Company, pp.142, 1992.
M. S. Bartlett, "Machine Learning Methods for Fully Automatic Recognition of Facial Expressions and Actions," Proc. IEEE Conf. of SMC, pp.592-597, 2004.
M. Black, A. Rangarajan, "On the Unification of Line Processes, Outlier Rejection, and Robust Statistics with Applications in Early Vision," International Journal of Computer Vision, Vol.19, No.1, pp.57-92, 1996.

상세보기
김진옥, "표정 정규화를 통한 얼굴 인식율 개선", 정보처리학회 논문지B, 제15-B권, pp.477-486, 2008.

원문보기 상세보기
김진옥,"상황에 민감한 베이지안 분류기를 이용한 얼굴 표정 기반의 감정 인식", 정보처리학회논문지B, 제13-B권, pp.653- 662, 2006.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증