[논문]히스토그램을 이용한 얼굴 표정 인식 방법

허경무

doi:10.5302/j.icros.2014.14.9030

히스토그램을 이용한 얼굴 표정 인식 방법
A Face Expression Recognition Method using Histograms 원문보기

제어·로봇·시스템학회 논문지 = Journal of institute of control, robotics and systems, v.20 no.5, 2014년, pp.520 - 525

Abstract ▼ AI-Helper

Generally, feature area detection methods are widely used for face expression recognition by detecting the feature areas of human eyes, eyebrows and mouth. In this paper, we proposed a face expression recognition method using the histograms of the face, eyes and mouth for many applications including robot technology. The experimental results show that the proposed method has a new type of face expression recognition capability compared to conventional methods.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 특징 영역 검출 방법 대신에 밝기 정보를 이용하여 얼굴 표정을 인식하는 방법을 제안하고, 그 타당성을 보이고자 한다. 구체적으로는 얼굴 영상의 밝기 히스토그램을 이용하여, 얼굴 표정의 변화와 히스토그램과의 관계를 분석하고, 이를 통해 얼굴 표정을 인식하는 방법이다.

제안 방법

물론 이렇게 변환하는 식들은 다양하게 존재한다. 하지만 본 논문에서는 그중 가장 널리 사용되는 방법을 사용하였다. 즉 그레이 이미지에서의 Gray Level은

이론/모형

여기서, R, G, B는 각 픽셀이 가지는 Red, Green, Blue 성분 값이고, 식 (1)에 의해서 계산되는 값이 그 픽셀이 그레이 이미지로 변환되었을 때 가지는 값이다. 그런 후, 변환된 그레이 이미지에서 배경부분을 제외시키기 위하여 일반적으로 많이 사용되는 Sobel Filter를 이용하였다. 이 필터는 edge를 상대적으로 강하게 표시하는 특징이 있다.
이 방법에서 퍼지 분류기는 규칙수가 복수인 매우 복잡한 형태를 가지게 된다. 따라서 분류기에 입력수가 많아도 좋은 성능을 가지게 하기 위하여 선형 행렬 부등식을 이용한 최적화 방법을 사용하여 퍼지 분류기를 사용한다.
이렇게 하면 사람의 얼굴에 해당하는 부분만을 영상에 남길 수 있게 된다[13]. 이렇게 변환된 이미지의 히스토그램을 식 (2)를 이용하여 각 영상의 평균 명도값(AGL: Average Gray Level) 값을 구하였다. 히스토그램의 AGL 값은 입력되어지는 영상의 히스토그램의 분포에 따라 변하게 되고, 이것은 표정 변화를 인식하는데 유용한 데이터로 사용된다.

성능/효과

또한 부끄러울 때와 창백할 때의 표정들도 특징 영역 검출 방 법으로는 인식하기 어려운 표정이나, 본 제안된 법으로는 충분히 인식이 가능하다는 장점을 갖고 있다. 더 나아가 본 방법과 히스토그램 명세화(Histogram Specification) 방법을 이용하면, 밝기나 색깔 조정을 통한 얼굴 표정 변형 또는 생성도 가능하다고 판단된다.
따라서 히스토그램을 이용한 본 얼굴 표정 인식 방법은 영상 처리 시간이 많이 들지 않으면서도 세밀한 표정 변화를 감지할 수 있는 하나의 대안으로서, 충분히 가치와 유용성이 크다고 판단된다. 다만, 아직 초기 연구 단계로서 실용적이고 심층적인 후속 연구를 통해, 체계적인 인식방법과 조명 환경에 의한 영향 최소화 방안 등을 계속 집중적으로 연구해나갈 예정이다.
즉 히스토그램에 의해 실시간으로 표정의 변화를 상당히 알아낼 수가 있다는 것이다. 또한 부끄러울 때와 창백할 때의 표정들도 특징 영역 검출 방 법으로는 인식하기 어려운 표정이나, 본 제안된 법으로는 충분히 인식이 가능하다는 장점을 갖고 있다. 더 나아가 본 방법과 히스토그램 명세화(Histogram Specification) 방법을 이용하면, 밝기나 색깔 조정을 통한 얼굴 표정 변형 또는 생성도 가능하다고 판단된다.
히스토그램의 차이를 보면 보통 눈의 히스토그램보다 초롱초롱한 눈의 히스토그램이 높은 명암도 성분을 갖는 쪽으로 이동하였다는 것을 알 수 있으며, 낮은 명암도 성분이 전체적으로 줄어든 것을 알 수 있다. 또한, 졸린 눈 이미지의 히스토그램은 낮은 명암도 성분을 갖는 쪽으로 이동하면서 전체적으로 높은 명암도 성분보다는 낮은 명암도 성분이 고르게 증가한 것을 알 수 있다. 이러한 결과는 표 2에 있는 AGL 값들로 확인할 수 있다.
본 논문에서 우리는 히스토그램을 이용하여 얼굴 표정을 인식하는 방법을 제안하고, 실험을 통해 타당성을 보였다. 종래의 얼굴 표정 인식 방법들은 눈썹, 입 등의 특징 영역 검출을 통해 인식함으로 인해 검출 방법 설계의 어려움 및 표정 인식에 어려움이 많고, 특히 특징 영역 검출로써 알아보기 힘든 미세한 표정 차이를 파악하기에는 역부족이었던 것이 사실이다.
위의 실험 결과를 통해 우리가 제안한 히스토그램을 이용한 얼굴 표정 인식 방법이 상당히 타당성이 있음을 보였다. 종래의 얼굴 표정 인식 방법들이 눈과 눈썹, 입 등의 특징 영역 검출을 통해 인식함으로 인해 정확한 검출 및 표정 인식에 어려움이 많고, 특히 미세한 표정 변화를 감지하기가 어려웠던 것에 비해, 본 제안 방법으로 이러한 어려움을 어느 정도 극복할 수 있음을 확인할 수 있었다.
위의 실험 결과를 통해 우리가 제안한 히스토그램을 이용한 얼굴 표정 인식 방법이 상당히 타당성이 있음을 보였다. 종래의 얼굴 표정 인식 방법들이 눈과 눈썹, 입 등의 특징 영역 검출을 통해 인식함으로 인해 정확한 검출 및 표정 인식에 어려움이 많고, 특히 미세한 표정 변화를 감지하기가 어려웠던 것에 비해, 본 제안 방법으로 이러한 어려움을 어느 정도 극복할 수 있음을 확인할 수 있었다. 즉 히스토그램에 의해 실시간으로 표정의 변화를 상당히 알아낼 수가 있다는 것이다.

후속연구

따라서 히스토그램을 이용한 본 얼굴 표정 인식 방법은 영상 처리 시간이 많이 들지 않으면서도 세밀한 표정 변화를 감지할 수 있는 하나의 대안으로서, 충분히 가치와 유용성이 크다고 판단된다. 다만, 아직 초기 연구 단계로서 실용적이고 심층적인 후속 연구를 통해, 체계적인 인식방법과 조명 환경에 의한 영향 최소화 방안 등을 계속 집중적으로 연구해나갈 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	holistic 방법이란?	사람의 얼굴에서 감정적인 특징을 포함하고 있는 영역은 눈, 눈썹, 입 꼬리, 입술 주변부 등으로 주로 눈썹과 입꼬리 형태에 초점을 맞추어 감정 내포 영역을 설정한다. 감정 특징 검출은 크게 두 가지 방법으로 구분되는데 첫번째로 holistic 방법으로 전체적인 얼굴 영상에서의 픽셀 값의 intensity를 모델링하거나 표현함으로써 특징을 검출하는 방식이다[9,10]. 그 예로 이미지 전체의 구성을 local binary pattern을 이용하여 이미지를 분석한 후, templat matching방법을 이용하여 이미지가 감정을 나타내는 DB중에 어느부분에 가까운지를 판별하여 최종적으로 감정을 인식하는 방법이다[9].
	얼굴 표정을 추적하는 이전 연구들의 한계점은?	얼굴 표정을 추적하는 이전 연구들은 상태 공간을 최대한 축소하여 추적을 하였다. 이렇게 하면 대략적인 위치와 모양만을 알 수 있게 되어, 감정과 의도를 분석하는데 쓰이기엔 어려움이 많다[6,8]. 또한 강인하게 처리할 수 있는 대신, 계산량이 많아져 처리 속도가 늦어진다는 단점도 존재한다. 또한 종래의 얼굴 표정 인식 방법들이 눈과 눈썹, 입 등의 특징 영역 검출을 통해 인식함으로서, 검출되기 힘든 미세한 표정 차이를 파악하기에는 역부족이었던 것이 사실이다. 또한 부끄러울 때와 창백할 때의 표정 들은 특징 영역 검출방법으로는 인식하기 어려운 표정 들이다[1-8,11,12].

참고문헌 (13)

T. I. Yoo, K. B. Kim, and Y. M. Joo, "Fuzzy-model- based emotion recognition using advanced face detection," The KIEE Summer Conference, pp. 2083-2084, Jul. 2006.
K.-E. Ko and K.-B. Sim, "Development of facial expression recognition system based on bayesian network using FACS and AAM," International Journal of Fuzzy Logic and Intelligent Systems, vol. 19, no. 4, pp. 562-567, Aug. 2009.

원문보기 상세보기
Y. H. Joo, S. Y. Lee, and K.-B. Sim, "Emotional recognition system using eigenfaces," International Journal of Fuzzy Logic and Intelligent Systems, vol. 13, no. 2, pp. 216-221, Mar. 2003.

원문보기 상세보기
J.-H. Lee, "An AAM-based method of facial expression recognition using the change of feature point locations," Master's Thesis of Pusan National University, Feb. 2011
M. F. Valstar, B. Jiang, M. Mehu, M. Pantic, and K. Scherer, "The first facial expression recognition and analysis challenge," Automatic Face & Gesture Recognition and Workshops (FG 2011), pp. 921-926, Mar. 2011.
C. Shana, S. Gong, and P. W. McOwanb, "Facial expression recognition based on Local Binary Patterns : A comprehensive study," Image and Vision Computing, vol. 27, no. 6, pp. 803-816, May 2009.

상세보기
I. Cohen, N. Sebe, A. Garg, L. S. Chen, and T. S. Huang, "Facial expression recognition from video sequences: temporal and static modeling," Computer Vision and Image Understanding, vol. 91, no. 1-2, pp. 160-187, Aug. 2003.

상세보기
P. Lucey, J.F. Cohn, T. Kanade, J.Saragih, and Z. Ambadar, "The extended Cohn-Kanade dataset (CK+): A complete dataset for action unit and emotion-specified expression," Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 94-101, Jun. 2010.
C. Shan, S. Gong, and P. W. McOwan, "Facial expression recognition based on Local Binary Patterns : A comprehensive study," Image and Vision Computing, vol. 27, no. 6, pp. 803-816, May 2009.

상세보기
R. A. Khan, A. Meyer, H. Konik, and S. Bouakaz, "Facial expression recognition using entropy and brightness features," Intelligent Systems Design and Applications (ISDA), 2011 11th International Conference, pp. 737-742, Nov. 2011.
R. C. Gonzalez and R. E. Woods, "Digital image processing," Prentice Hall, 2002.
A. K. Jain, "Fundamentals of digital mage processing," Prentice Hall, 1989.
B.-S. Chang, "The design and implementation of real-time emotional avatar based on a facial expression recognition," Master`s Thesis of Daejeon University, Feb. 2005.

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증