얼굴 표정인식에 관한 연구는 대부분 얼굴의 정면 화상을 가지고 연구를 한다. 얼굴 표정인식에 큰 영향을 미치는 대표적인 부위는 눈과 입이다. 그래서 표정 인식 연구자들은 눈, 눈썹, 입을 중심으로 표정 인식이나 표현 연구를 해왔다. 그러나 일상생활에서 카메라 앞에서는 대부분의 사람들은 눈동자의 빠른 변화의 인지가 어렵다. 또한 많은 사람들이 안경을 쓰고 있다. 그래서 본 연구에서는 눈이 가려진 경우의 표정 인식을 Principal Component Analysis (PCA)를 이용하여 시도하였다.
얼굴 표정인식에 관한 연구는 대부분 얼굴의 정면 화상을 가지고 연구를 한다. 얼굴 표정인식에 큰 영향을 미치는 대표적인 부위는 눈과 입이다. 그래서 표정 인식 연구자들은 눈, 눈썹, 입을 중심으로 표정 인식이나 표현 연구를 해왔다. 그러나 일상생활에서 카메라 앞에서는 대부분의 사람들은 눈동자의 빠른 변화의 인지가 어렵다. 또한 많은 사람들이 안경을 쓰고 있다. 그래서 본 연구에서는 눈이 가려진 경우의 표정 인식을 Principal Component Analysis (PCA)를 이용하여 시도하였다.
A research about facial image recognition is studied in the most of images in a full race. A representative part, effecting a facial image recognition, is eyes and a mouth. So, facial image recognition researchers have studied under the central eyes, eyebrows, and mouths on the facial images. But mo...
A research about facial image recognition is studied in the most of images in a full race. A representative part, effecting a facial image recognition, is eyes and a mouth. So, facial image recognition researchers have studied under the central eyes, eyebrows, and mouths on the facial images. But most people in front of a camera in everyday life are difficult to recognize a fast change of pupils. And people wear glasses. So, in this paper, we try using Principal Component Analysis(PCA) for facial image recognition in blindfold case.
A research about facial image recognition is studied in the most of images in a full race. A representative part, effecting a facial image recognition, is eyes and a mouth. So, facial image recognition researchers have studied under the central eyes, eyebrows, and mouths on the facial images. But most people in front of a camera in everyday life are difficult to recognize a fast change of pupils. And people wear glasses. So, in this paper, we try using Principal Component Analysis(PCA) for facial image recognition in blindfold case.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
즉, 입만으로도 일정 수준까지는 감정을 인식 할 수 있다고 가정할 수 있다. 그래서 본 논문에서는 입의 모양만으로 표정을 인식하는 실험을 하기 전에 눈이 가려진 사진을 보고 피험자들이 각 사진들이 나타내는 표정을 어느 정도까지 인식할 수 있는지를 설문조사를 통해 통계를 내보았다. 본 실험을 통해 우리는 입의 모양만으로 하는 표정 인식의 한계와 목표치를 설정 할 수 있다.
얼굴 전체부분을 사용함에 따라 많은 양의 데이터를 연산 처리를 해야 한다. 그래서 본 논문은 기존의 얼굴 전체 데이터를 가지고 감정 인식한 것 보다 더 작은 데이터 량을 연산하기 위해서 눈을 가려진 경우의 PCA룰 이용한 감정인식을 시도하였다. 눈이 가려진 사람의 얼굴 표정 사진을 사람이 인식하는 인식실험과 PCA 를 이용하여 얼굴표정에서의 감정 인식하는 실험을 하였다.
이때는 2명의 표정을 대상으로 하여 8(广90%의 인식률을 보였으나, 이때 실험에 사용된 사진은 학습한 대상의 사진이므로 일반적인 결과로 인정하기는 어려움이 있다. 본 논문에서는 눈을 가린 사진에 대해 표정 인식을 시도하였다. 또한, 분류 알고리즘으로는 Principal Component Analysis를 사용하였다.
제안 방법
본 논문에서는 기존의 얼굴 전체 영역을 대상으로 감정을 인식하지 않고 얼굴에서 가장 미세한 변화를 보이는 눈을 가리고 가장 큰 변화를 보이는 입의 표정만으로 감정인식을 하였다. 그리고 감정인식 방법에 있어서도 PCA를 이용하여 감정인식을 하였다.
눈이 가려진 사람의 얼굴 표정 사진을 사람이 인식하는 인식실험과 PCA 를 이용하여 얼굴표정에서의 감정 인식하는 실험을 하였다. 그리고 두 실험을 서로 비교하였다. 실험 결과로 PCA를 이용해서 얼굴표정에서의 감정인식이 최고로 높을 때의 인식률은 51%로써 절대적인 수치로는 그다지 좋은 인식률은 아니지만, 사람의 인식률도 49%밖에 안 되었던 것을 감안한다면그리 나쁜 성능을 보이는 것이 아님을 알 수 있다.
그래서 본 논문은 기존의 얼굴 전체 데이터를 가지고 감정 인식한 것 보다 더 작은 데이터 량을 연산하기 위해서 눈을 가려진 경우의 PCA룰 이용한 감정인식을 시도하였다. 눈이 가려진 사람의 얼굴 표정 사진을 사람이 인식하는 인식실험과 PCA 를 이용하여 얼굴표정에서의 감정 인식하는 실험을 하였다. 그리고 두 실험을 서로 비교하였다.
이와 같이 대부분의 연구자들은 표정 인식에서 두 가지 방법을 사용하는데, 그 방법으로는 기준점들의 지리적 위치를 사용하는 방법과 기즌점에서의 Gabor filter coefficient를 사용하는 방법이 있다. 본 논문에서는 기존의 얼굴 전체 영역을 대상으로 감정을 인식하지 않고 얼굴에서 가장 미세한 변화를 보이는 눈을 가리고 가장 큰 변화를 보이는 입의 표정만으로 감정인식을 하였다. 그리고 감정인식 방법에 있어서도 PCA를 이용하여 감정인식을 하였다.
앞에서 설정한 방법대로 30개의 사진으로 이루어진 설문지를 설문 대상자 20명에게 보여주고 답하는 방법에 대한 간단한 설명을 약 3분간 해준 뒤에 문항당 10초씩 답을 하도록 하였다. 이는 너무 오랜 시간 동안 표정을 보는 것보다 짭은 시간만 보는 것이 감정 인식에서 더욱 의미 있기 때문이다.
이렇게 수집된 30장의 사진을 20명의 사람들에게 보여주고 사진 속의 사람이 어떤 감정을 갖고 있는지를 물어 보았다. 실제 사용되어진 문항은 아래와 같다.
대상 데이터
본 실험* 위해 사용된 사진의 사이즈는 768x1024 이고, 학습용 사진으로는 5가지 감정을 위해 그림 4와 같은 5장의 사진을 사용하였다.
본 실험을 위해 6명의 남성(26~37세의 다양한 지역 출신의 대학원생)으로부터 5가지 표정(무표정, 화, 웃음, 슬픔, 놀람)을 연기하도록 하고 눈을 제외한 부분만을 사진으로 찍었다. 이렇게 수집된 30장의 사진을 20명의 사람들에게 보여주고 사진 속의 사람이 어떤 감정을 갖고 있는지를 물어 보았다.
이론/모형
본 논문에서는 눈을 가린 사진에 대해 표정 인식을 시도하였다. 또한, 분류 알고리즘으로는 Principal Component Analysis를 사용하였다.
성능/효과
그리고 애매하다고 답한 개수를 나타내었다. 그 결과로 전체의 인식률은 약 49%이고 오답의 확률은 약 10%, 약39% 는 애매함으로 답을 하였다. 애매함에 속한 사진들은 대부분화, 슬픔, 놀람의 감정을 의도한 것들로써, 앞의 결과와 마찬가지로 3가지 표정들의 경우 눈이 가려졌을 때 인식에서의 어려움이 있다는 것을 보여준다.
그리고 두 실험을 서로 비교하였다. 실험 결과로 PCA를 이용해서 얼굴표정에서의 감정인식이 최고로 높을 때의 인식률은 51%로써 절대적인 수치로는 그다지 좋은 인식률은 아니지만, 사람의 인식률도 49%밖에 안 되었던 것을 감안한다면그리 나쁜 성능을 보이는 것이 아님을 알 수 있다. 앞으로 입 모양 뿐만 아니라 코 옆과 입 근처의 근육의 미세한 움직임도 인식해서 인식률을 높이고 감성 인식에서의 학습에 있어서도 다른 많은 유전 알고리즘을 이용해서 인식률 높이는 연구가 진행 될 것이다.
후속연구
정지 얼굴 영상은 동영상에 비해 처리량은 적지만, 얼굴의 비강 체적 변형이 큰 경우 매칭이나 정합에 의한 인식이 힘들고, 얼굴 표정영상을 자동으로 지정하기가 어렵다는 단점이 있다. 둘째는 동영상에서 사용자의 얼굴 변화를 분석하여 표정을 인식하는 연구로, 표정의 변화를 연속적으로 처리할 수 있어 실시간 응용제품에 유용하게 사용될 수 있다. 주로 사용되는 알고리즘으로는 신경망을 이용한 학습에 의한 인식, 얼굴 전체의 움직임 패턴에 주목하여 생성시킨 모션필드의 데이터베이스와 이용자의 모션필드에 부합되는 3차원 모델과의 상관관계에 의해 인식하는 방법 등이 있다.
앞으로 입 모양 뿐만 아니라 코 옆과 입 근처의 근육의 미세한 움직임도 인식해서 인식률을 높이고 감성 인식에서의 학습에 있어서도 다른 많은 유전 알고리즘을 이용해서 인식률 높이는 연구가 진행 될 것이다. 또한 감정인식에 있어서 데이터 처리량을 최소화하여 이동로봇의 수행에 적용하는 연구도 같이 진행될 것이다.
실험 결과로 PCA를 이용해서 얼굴표정에서의 감정인식이 최고로 높을 때의 인식률은 51%로써 절대적인 수치로는 그다지 좋은 인식률은 아니지만, 사람의 인식률도 49%밖에 안 되었던 것을 감안한다면그리 나쁜 성능을 보이는 것이 아님을 알 수 있다. 앞으로 입 모양 뿐만 아니라 코 옆과 입 근처의 근육의 미세한 움직임도 인식해서 인식률을 높이고 감성 인식에서의 학습에 있어서도 다른 많은 유전 알고리즘을 이용해서 인식률 높이는 연구가 진행 될 것이다. 또한 감정인식에 있어서 데이터 처리량을 최소화하여 이동로봇의 수행에 적용하는 연구도 같이 진행될 것이다.
참고문헌 (9)
주영훈, 이상윤, 심귀보, 'Eigenface를 이용한 인간의 감정인식 시스템,' 한국퍼지 및 지능시스템학회 논문지, 제13권, 제2호, pp. 216-221, 2003
I. Budiu, I. Kotsia, and I. Pitas, 'Facial expression analysis under partial conclusion,' Proc. of ICASSP, vol. 5, pp. 453-356, March 2005
Maja Pantie and Leon Rothkrantz 'Case-Based Reasoning for User Profiled Recognition of Emotions from Face Images.' IEEE International Conference on Multimedia and Expo, 2004
Vo Dinh Minh Nhat and Sung Young Lee, 'Two-dimensional Weighted PCA algorithm for Face Recognition,' Proc. of 2005 IEEE International Symposium on Computational Intelligence in Robotics and Automation, 2005.
M. Anouar Mellakh, Dijana Petrovska-Delacretaz, Bernadette Dorizzi 'Using Signal/Hesidual Information of Eigenfaces for PCA Face Space Dimensionality Characteristics,' The 18th International Conference on Pattern Recognition, 2006
Liyanage C. DESILVA, Tsutomu MIYASATO, and Ryohei NAKATSU, 'Facial Emotion Recognition Using Multi-modal Information,' International Conference on Information, Communications and Signal Processing ICICS, 1997
Hui-Yuan Wang, Xiao-Tuan Wu, 'Weighted PCA Space and its Application in Face Recognition,' Proc. of the Fourth International Conference on Machine Learning and Cybernetics, 2005
Lin Luo, M.N.S. Swamy, Eugene I.Plotkin, 'A Modified PCA Algorithm for Face Recognition,' CCECE 2003-CCGEI2003, Montreal, 2003
Hyun-chul Choi and Se-Young Oh, 'Realtime Facial Expression Recognition using Active Appearance Model and Multilayer Perceptron,' SICE-ICASE International Joint Conference, 2006
※ AI-Helper는 부적절한 답변을 할 수 있습니다.