본 연구는 PCA와 템플릿 정합을 사용한 얼굴 표정 인식 알고리즘을 제안한다. 먼저 얼굴 영상은 Haar-like feature의 특징 마스크를 사용하여 획득한다. 획득한 얼굴 영상은 눈과 눈썹을 포함하고 있는 얼굴 상위 부분과 입과 턱을 포함하고 있는 얼굴 하위 부분으로 분리하여 얼굴 요소 추출에 용이하게 나눈다. 얼굴 요소 추출은 눈 영상과 입 영상을 추출하는 과정으로 먼저 학습영상으로 PCA를 거쳐 생성된 고유얼굴을 구한다. 고유 얼굴에서 고유 입과 고유 눈을 획득하고, 이를 얼굴 분리 영상과 템플릿 매칭시켜 얼굴요소를 추출한다. 얼굴 요소는 눈과 입이 있으며 두 요소의 기하학적 특징으로 표정을 인식한다. 컴퓨터 모의실험 결과에 따르면 제안한 방법이 기존의 방법보다 추출률이 우수하게 나왔으며, 특히 입 요소의 추출률은 99%에 달하였다. 또 이 얼굴 요소 추출 방법을 표정인식에 적용하였을 때 놀람, 화남, 행복의 3가지 표정의 인식률이 80%를 상회하였다.
본 연구는 PCA와 템플릿 정합을 사용한 얼굴 표정 인식 알고리즘을 제안한다. 먼저 얼굴 영상은 Haar-like feature의 특징 마스크를 사용하여 획득한다. 획득한 얼굴 영상은 눈과 눈썹을 포함하고 있는 얼굴 상위 부분과 입과 턱을 포함하고 있는 얼굴 하위 부분으로 분리하여 얼굴 요소 추출에 용이하게 나눈다. 얼굴 요소 추출은 눈 영상과 입 영상을 추출하는 과정으로 먼저 학습영상으로 PCA를 거쳐 생성된 고유얼굴을 구한다. 고유 얼굴에서 고유 입과 고유 눈을 획득하고, 이를 얼굴 분리 영상과 템플릿 매칭시켜 얼굴요소를 추출한다. 얼굴 요소는 눈과 입이 있으며 두 요소의 기하학적 특징으로 표정을 인식한다. 컴퓨터 모의실험 결과에 따르면 제안한 방법이 기존의 방법보다 추출률이 우수하게 나왔으며, 특히 입 요소의 추출률은 99%에 달하였다. 또 이 얼굴 요소 추출 방법을 표정인식에 적용하였을 때 놀람, 화남, 행복의 3가지 표정의 인식률이 80%를 상회하였다.
This paper proposed a recognition algorithm of human facial expressions using the PCA and the template matching. Firstly, face image is acquired using the Haar-like feature mask from an input image. The face image is divided into two images. One is the upper image including eye and eyebrow. The othe...
This paper proposed a recognition algorithm of human facial expressions using the PCA and the template matching. Firstly, face image is acquired using the Haar-like feature mask from an input image. The face image is divided into two images. One is the upper image including eye and eyebrow. The other is the lower image including mouth and jaw. The extraction of facial components, such as eye and mouth, begins getting eye image and mouth image. Then an eigenface is produced by the PCA training process with learning images. An eigeneye and an eigenmouth are produced from the eigenface. The eye image is obtained by the template matching the upper image with the eigeneye, and the mouth image is obtained by the template matching the lower image with the eigenmouth. The face recognition uses geometrical properties of the eye and mouth. The simulation results show that the proposed method has superior extraction ratio rather than previous results; the extraction ratio of mouth image is particularly reached to 99%. The face recognition system using the proposed method shows that recognition ratio is greater than 80% about three facial expressions, which are fright, being angered, happiness.
This paper proposed a recognition algorithm of human facial expressions using the PCA and the template matching. Firstly, face image is acquired using the Haar-like feature mask from an input image. The face image is divided into two images. One is the upper image including eye and eyebrow. The other is the lower image including mouth and jaw. The extraction of facial components, such as eye and mouth, begins getting eye image and mouth image. Then an eigenface is produced by the PCA training process with learning images. An eigeneye and an eigenmouth are produced from the eigenface. The eye image is obtained by the template matching the upper image with the eigeneye, and the mouth image is obtained by the template matching the lower image with the eigenmouth. The face recognition uses geometrical properties of the eye and mouth. The simulation results show that the proposed method has superior extraction ratio rather than previous results; the extraction ratio of mouth image is particularly reached to 99%. The face recognition system using the proposed method shows that recognition ratio is greater than 80% about three facial expressions, which are fright, being angered, happiness.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한 적은 수의 얼굴요소로도 표정을 인식할 수 있다는 가능성을 보여주었다. 본 논문은 얼굴 요소 중 2가지만을 사용하여 표정인식에 필요한 데이터를 줄여 감정인식에서의 복잡성을 줄이고 처리시간을 단축하고자 하였다. 이를 위해 PCA에 의한 주성분 분석과 템플릿 매칭만으로 얼굴 요소를 추출한 후 각 요소의 특징점을 추출하는 방법을 제안한다.
본 연구는 얼굴 요소 추출 방법에 의한 표정 인식방법을 제안하였다. 제안한 시스템은 PCA를 사용하여 고유 눈과 고유 입 영상을 구하고, 이를 얼굴 영상에 템플릿 매칭하여 얼굴 요소를 추출한다.
제안 방법
제안한 방법의 성능을 측정하기 위하여 다양한 얼굴 표정이 있는 JAFFE 데이터베이스에 표정 인식을 적용 하였다. JAFFE는 10명의 일본여성 모델이 짓는 7가지 표정(무표정, 기쁨, 화남, 놀람, 공포, 슬픔, 혐오)을 담고 있으며, 이 중에서 화남(Anger), 행복(Happy), 놀람 (Surprise), 슬픔(Sad) 표정을 짓는 얼굴 영상만을 골라 인식하는 실험을 진행하였다. [표 3]은 제안한 방법을 적용하여 얻은 감정별 표정 인식률이다.
추원국[23]은 28개의 학습영상에 대해 눈 영역을 캐니 에지 검출 방법으로 추출한 다음 얼굴의 기하학적 특징을 활용하여 나머지 요소를 구분하였으며, 단일영상에서 여러 개의 특징이 추출되므로 각 분류기의 결과를 중첩함으로써, 오분류를 줄이고 서브셋 영상 구성 숫자를 줄였다. 구분된 서브셋 영상은 PCA로 조합하여 얼굴을 확인하는 방법을 사용하였다. 그는 얼굴 인식을 요소 추출에서 한 가지 요소라도 추출되면 인식되었다고 정의하였다.
입력된 영상에서 얼굴 영상을 획득하고, 눈과 입의 얼굴 요소를 추출하고, 그 요소별 특징을 분석하여 표정을 인식한다. 본 연구는 정지영상에서 얼굴 표정을 인식할 것이며 인식할 표정은 기쁨, 놀람, 슬픔, 화남의 기본적인 4가지 표정으로 제한하였다.
그 얼굴에서 기하학적으로 중요한 부분을 차지하고 있는 눈과 코의 위치를 찾아내고 얼굴을 정규화하는 과정으로 구성된다. 본 연구에서는 김상준의 눈 요소 추출에서 얻은 결과값을 활용하여 결과를 분석하였다. 그가 얻은 눈 요소의 인식율은 오차 허용 픽셀을 ±15로 정하였을 때 수치이며, 제안한 방법이 그의 방법보다 1.
표정 인식은 눈 요소 영상에서의 특징과 입 요소 영상에서의 특징을 통하여 인식된다. 실험을 통하여 각 감정별 인식률이 높게 나온 요소의 특징을 우선적으로 분석하고, 나머지 요소를 적용시켜 표정을 인식하는 시스템을 구현하였다.
얼굴 영역 검출에 앞서 입력 영상에 전처리 과정이 선행된다. 영상 전처리는 입력된 컬러영상을 그레이 이미지로 변환한 후 히스토그램 평활화를 적용한다. 히스 토그램 평활화는 영상의 밝기 분포를 재분배하고 명암 대비를 최대화 하여 영상의 얼굴 검출 특성을 증가시킨다.
본 논문은 얼굴 요소 중 2가지만을 사용하여 표정인식에 필요한 데이터를 줄여 감정인식에서의 복잡성을 줄이고 처리시간을 단축하고자 하였다. 이를 위해 PCA에 의한 주성분 분석과 템플릿 매칭만으로 얼굴 요소를 추출한 후 각 요소의 특징점을 추출하는 방법을 제안한다.
[그림 4]는 제안한 방법의 전체 순서도이다. 입력된 영상에서 얼굴 영상을 획득하고, 눈과 입의 얼굴 요소를 추출하고, 그 요소별 특징을 분석하여 표정을 인식한다. 본 연구는 정지영상에서 얼굴 표정을 인식할 것이며 인식할 표정은 기쁨, 놀람, 슬픔, 화남의 기본적인 4가지 표정으로 제한하였다.
제안한 방법의 성능을 측정하기 위하여 다양한 얼굴 표정이 있는 JAFFE 데이터베이스에 표정 인식을 적용 하였다. JAFFE는 10명의 일본여성 모델이 짓는 7가지 표정(무표정, 기쁨, 화남, 놀람, 공포, 슬픔, 혐오)을 담고 있으며, 이 중에서 화남(Anger), 행복(Happy), 놀람 (Surprise), 슬픔(Sad) 표정을 짓는 얼굴 영상만을 골라 인식하는 실험을 진행하였다.
본 연구는 얼굴 요소 추출 방법에 의한 표정 인식방법을 제안하였다. 제안한 시스템은 PCA를 사용하여 고유 눈과 고유 입 영상을 구하고, 이를 얼굴 영상에 템플릿 매칭하여 얼굴 요소를 추출한다. 제안한 방법의 성능 평가를 위해 조명변화가 다양한 PIE 데이터베이스와 얼굴 표정이 다양한 Cohn-Kanade 얼굴 데이터베이스에서 얼굴 요소 추출 실험을 진행하였으며, 실험 결과 눈과 입 모두에서 90% 이상의 높은 추출률을 보였다.
표정 인식은 추출된 얼굴 요소 영상에서 표정 인식에 필요한 정보를 산출하고 그 정보를 기반으로 표정을 인식하는 과정이다. 제안한 시스템은 입 요소 영상과 눈 요소 영상의 기하학적 특징을 계산하여 표정을 인식하고, 총 4개의 감정인 놀람(Surprise), 슬픔(Sad), 행복(Happy), 화남(Anger)을 인식한다.
대상 데이터
Cohn-Kanade 얼굴 데이터베이스에서 1000개의 얼굴 영상을 사용하여 얼굴 요소 추출 실험을 진행하였으며, 추출 결과는 [표 2]에 나타내었다.
PIE 데이터베이스에서 선택한 264개 입력 영상은 정면 얼굴 영상이며, 24가지 조명 변화가 있는 영상들이다. 이 영상들에 대해 본 시스템을 적용하여 [표 1]과 같은 각 얼굴 요소별 인식률을 얻었다.
히스 토그램 평활화는 영상의 밝기 분포를 재분배하고 명암 대비를 최대화 하여 영상의 얼굴 검출 특성을 증가시킨다. 전처리 과정을 거친 영상은 Haar-like feature 템플릿을 사용하여 160x160 픽셀의 크기로 얼굴 영상 영역을 획득한다. [그림 5]는 입력 영상에서 얼굴 영역을 추출한 결과를 보인 것이다[18].
표정 인식 실험에서 쓰인 입력 영상은 안경을 착용하고 있지 않으며 수염이 없는 백인과 황인으로 구성된 남녀의 정면 얼굴이 담긴 PIE 데이터베이스(PIE database)[21]와 Cohn-Kanade 얼굴 데이터베이스(Cohn-Kanade face database)[22]를 사용하였다.
이론/모형
다음은 눈 요소 영상에서 해리스 코너 검출(Harris corner detect)를 사용하여 구한 코너점의 개수와 코너 점의 위치를 이용한 표정 인식이다[20]. 코너점은 회색 영상을 오츠 이진화하고, 캐니 에지 검출(Canny edge detect)을 사용하여 에지를 구한 후 해리스 코너 검출 알고리즘을 적용하여 구한다. [그림 10]은 대표되는 눈 영역 감정별 해리스 코너 점을 나타내는 그림이다.
성능/효과
[표 3]에 따르면 제안한 방법이 박성천의 방법보다 약간 우수하며, 화남, 행복, 놀람 감정에서의 표정 인식율이 80%이상 된다는 것을 알 수 있다.
그가 얻은 눈 요소의 인식율은 오차 허용 픽셀을 ±15로 정하였을 때 수치이며, 제안한 방법이 그의 방법보다 1.1%이상 향상되었음을 알 수 있다.
[그림 8]은 [그림 7]의 입 영역 감정별 대표 이진영상의 Y축 히스토그램을 계산한 그림이고, [그림 9]는 [그림 7]의 입 영역 감정별 대표 이진영상의 X축 히스토그램을 계산한 그림이다. 두 히스토그램 값을 분석한 결과 놀람은 대체로 X축과 Y축 히스토그램 분포가 호의 모습을 하고 있고, 슬픔은 Y축 히스토그램의 윗부분에 최대값이 분포하고, X축 히스토그램 값과 전체 픽셀의 개수가 적은 경향이 있다. 행복과 화남은 비슷한 히스토그램분포를 보이고 있지만 행복은 Y축 히스토그램의 최대값이 상위부분에 있고, Y축 히스토그램의 하위 픽셀 개수 차이를 비교하였을 때 화남의 픽셀 개수가 더 많은 경향이 있다.
제안한 얼굴 요소 추출 방법은 기존 방법과 비교하였을 때 학습 영상을 실험 데이터베이스 영상에서 생성하지 않아서 더욱 신뢰할 수 있을 뿐만 아니라 학습 영상의 개수도 훨씬 적어 고유 영상 생성시간도 단축되었다. 또한 감정별 표정 인식도 슬픔을 제외한 화남, 행복, 놀람은 모두 80%가 넘는 인식율을 보였다. 슬픔이 다른 감정에 비해 가장 낮은 인식율을 보인 이유는 감정 변화에 따른 얼굴의 기하학적 특징 때문이다.
모두 105가지의 서로 다른 근육 운동이 포함된 표정에서 기쁨은 86%, 놀람은 94%, 분노는 92%, 공포는 86%, 슬픔은 80%, 혐오는 92%의 인식률을 보여주었다. 또한 적은 수의 얼굴요소로도 표정을 인식할 수 있다는 가능성을 보여주었다. 본 논문은 얼굴 요소 중 2가지만을 사용하여 표정인식에 필요한 데이터를 줄여 감정인식에서의 복잡성을 줄이고 처리시간을 단축하고자 하였다.
Yacoob과 Davis[11, 재인용]은 표정 변화상의 frame 단위마다 눈, 눈썹, 코, 입 등의 특징요소 영역을 찾아낸 후 광류 계산을 하여 표정인식을 시도하였다. 모두 105가지의 서로 다른 근육 운동이 포함된 표정에서 기쁨은 86%, 놀람은 94%, 분노는 92%, 공포는 86%, 슬픔은 80%, 혐오는 92%의 인식률을 보여주었다. 또한 적은 수의 얼굴요소로도 표정을 인식할 수 있다는 가능성을 보여주었다.
제안한 시스템은 PCA를 사용하여 고유 눈과 고유 입 영상을 구하고, 이를 얼굴 영상에 템플릿 매칭하여 얼굴 요소를 추출한다. 제안한 방법의 성능 평가를 위해 조명변화가 다양한 PIE 데이터베이스와 얼굴 표정이 다양한 Cohn-Kanade 얼굴 데이터베이스에서 얼굴 요소 추출 실험을 진행하였으며, 실험 결과 눈과 입 모두에서 90% 이상의 높은 추출률을 보였다.
제안한 얼굴 요소 추출 방법은 기존 방법과 비교하였을 때 학습 영상을 실험 데이터베이스 영상에서 생성하지 않아서 더욱 신뢰할 수 있을 뿐만 아니라 학습 영상의 개수도 훨씬 적어 고유 영상 생성시간도 단축되었다. 또한 감정별 표정 인식도 슬픔을 제외한 화남, 행복, 놀람은 모두 80%가 넘는 인식율을 보였다.
하지만 제안한 방법은 얼굴 요소를 추출할 때 요소 주변에 잡음이 많은 영상이거나 어두운 이미지에서는 추출률이 떨어지는 경향을 보였으며, 눈 요소 추출이입 요소 추출보다 낮은 인식률을 보였다. 향후 이를 개선하기 위해서는 잡음을 제거하는 필터의 사용과 양쪽 눈을 한 번에 추출하지 않고 따로 처리하는 방법 등을 연구할 필요가 있어 보인다.
후속연구
또한, 표정인식 부분에서 표정인식에 쓰일 데이터가 2가지 요소로 한정되어 있어 좀 더 세밀한 감정 표현과 높은 인식률을 나타낼 수 없었다. 이를 개선하기 위하여 눈썹, 코와 같은 얼굴 요소를 더 추가하는 방법과 최근에 활발히 연구가 되고 있는 음성 감성 인식을 결합하면 좀 더 다양한 감정과 향상된 감정인식률을 보일 수 있을 것이다.
하지만 제안한 방법은 얼굴 요소를 추출할 때 요소 주변에 잡음이 많은 영상이거나 어두운 이미지에서는 추출률이 떨어지는 경향을 보였으며, 눈 요소 추출이입 요소 추출보다 낮은 인식률을 보였다. 향후 이를 개선하기 위해서는 잡음을 제거하는 필터의 사용과 양쪽 눈을 한 번에 추출하지 않고 따로 처리하는 방법 등을 연구할 필요가 있어 보인다.
질의응답
핵심어
질문
논문에서 추출한 답변
Local Binary Pattern은 어떤 특성을 가지고 잇는가?
전체 얼굴 형태를 인식하는 방법으로 최근에 개발된 LBP(Local Binary Pattern)는 픽셀 주변과의 밝기차를 이진화하여 사용하는 방법으로 주위 조명 변화나 회전 등에 강인한 특성을 가졌으며[3], LDP(Local Derivative Pattern)는 픽셀 밝기의 변화를 이용하는 방법으로 영상에 선명한 경계부분이 있는 지문 같은 무늬 인식에 적합하다[4].
얼굴 요소 추출에 사용되는 방법엔 무엇이 있는가?
얼굴 요소 추출에 사용 되는 방법은 세 가지로 나눌 수 있다. 첫 번째는 얼굴 요소의 템플릿을 얼굴 영상에 매칭시켜 유사도에 따라 추출하는 템플릿 매칭법이고, 두 번째는 얼굴 요소의 특징을 검출하는 특징 매칭법이며, 마지막으로 얼굴 요소와 피부간의 색상차를 이용하는 색상 정보법이 있다[2].
얼굴 요소 추출은 어떤 분야에 많이 사용되는가?
특히 컴퓨터에 카메라를 부착하여 인간의 얼굴을 촬영하고, 영상처리기술로 얼굴 요소를 추출 연구가 활발히 진행되고 있다. 얼굴 요소 추출은 얼굴 인식, 얼굴 검색, 얼굴 추적, 얼굴 표정 인식 분야에서 많이 사용된다[1]. 얼굴 요소 추출에 사용 되는 방법은 세 가지로 나눌 수 있다.
참고문헌 (25)
최명근, 표정변화에 따른 얼굴요소의 특징점 추적에 관한 연구, 연세대학교 대학원 컴퓨터과학과 석사학위논문, 2011.
Hiroshi Sako, Mark Whitehouse, Anthony Smith, and Alistair Sutherland, "Real-Time Facial-Feature Tracking Based on Matching Techniques and Its Applications," IEEE, 1994.
이희재, "조명과 회전에 강한 LBP 기반의 얼굴 탐지", 한국HCI학회 2014HCI학술대회논문집, pp.171-173, 2014(2).
A. Pentland, B. Moghaddam, T. Starner, and M. Turk, "View-Based and Modular Eigenspaces for Face Recognition," in Proc. IEEE Computer Soc. Conf. on Computer Vision and Patt. Recog, pp.84-91, 1994.
설태인, "조명분리 고유얼굴에 기반한 조명에 강인한 얼굴 인식", 한국콘텐츠학회논문지, 제9권, 제2호, pp.115-124, 2009.
임동훈, 초보자를 위한 OpenCV를 이용한 영상 처리, 자유아카데미, p.230, 2012.
http://www.kasrl.org/jaffe.html.
우효정, "표정인식을 위한 PCA와 템플릿 정합을 사용한 얼굴 요소 추출", 충북대학교 산업과학기술연구소, 제27권, 제2호, pp.23-27, 2013.
N. Otsu, "A Threshold Selection Method from Gray-Level Histograms," IEEE Trans. on Systems, Man and Cyberneticss, Vol.SMC-9, No.1, pp.62-66, 1979(1).
C. Harris and M. Stephens, "A combined corner and edge detector," Proc. of the 4th Alvey Vision Conference, pp.147-151, 1988.
Terence Sim, Simon Baker, Maan Bsat, "The CMU Pose,Illumination,and Expression (PIE)database," Proceeding of Automatic Faceand Gesture Recognition, 2002.
The AR Face Database, http://rvl1.ecn.purdue.edu/-aleix/aleix_face_DB.html.
추원국, PCA와 얼굴요소 특징을 결합한 하이브리드 얼굴인식에 대한 연구, 세종대학교 대학원 컴퓨터공학과 석사학위논문, 2012.
김상준, 표정인식 시스템을 위한 흑백 영상 기반의 얼굴 검색과 특징점 추출, 고려대학교 대학원 메카트로닉스학과 석사학위논문, 2004.
박성천, 기하학적 특징과 미세 텍스쳐 분포를 이용한 얼굴 검출과 표정 인식 방법, 단국대학교 대학원 석사학위논문, 2010.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.