[논문]PCA을 이용한 얼굴표정의 감정인식 방법

김호덕; 양현창; 박창현; 심귀보

PCA을 이용한 얼굴표정의 감정인식 방법
Emotion Recognition Method of Facial Image using PCA 원문보기

김호덕 (중앙대학교 전자전기공학부) , 양현창 (중앙대학교 전자전기공학부) , 박창현 (한국전자통신연구원 전파방송연구단 전파기술연구그룹) , 심귀보 (중앙대학교 전자전기공학부)

얼굴 표정인식에 관한 연구에서 인식 대상은 대부분 얼굴의 정면 정지 화상을 가지고 연구를 한다. 얼굴 표정인식에 큰 영향을 미치는 대표적인 부위는 눈과 입이다. 그래서 표정 인식 연구자들은 얼굴 표정인식 연구에 있어서 눈, 눈썹, 입을 중심으로 표정 인식이나 표현 연구를 해왔다. 그러나 일상생활에서 카메라 앞에 서는 대부분의 사람들은 눈동자의 빠른 변화의 인지가 어렵고, 많은 사람들이 안경을 쓰고 있다. 그래서 본 연구에서는 눈이 가려진 경우의 표정 인식을 Principal Component Analysis (PCA)를 이용하여 시도하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

즉, 입만으로도 일정 수준까지 감정을 인식 할 수 있다고 가정할 수 있다. 그래서 본 논문에서는 입의 모양만으로 표정을 인식하는 실험을 하기 전에 눈이 가려진 사진을 보고 피험자들이 각 사진들이 나타내는 표정을 어느 정도까지 인식할 수 있는지를 설문조사를 통해 통계를 내보았다. 본 실험을 통해 입의 모양만으로 하는 표정인식의 한계와 목표치를 설정 할 수 있다.
대부분의 연구자들이 얼굴 전체에서 주요 부위에 대한 연구를 진행하는 반면, 일부에서는 얼굴의 일부분이 가려졌을 경우에 대한 연구를 진행해 왔다[7]. 본 논문에서는 눈을 가린 사진에 대해 표정 인식을 시도하였다. 또한, 분류 알고리즘으로는 Principal Component Analysis# 사용하였다.

제안 방법

얼굴 벡터를 계산한다. 각 인식후보 얼굴 벡터와 평균 얼굴 벡터의 차를 계산 한 뒤 그 차 벡터의 공분산 행렬을 계산하고 그로부터고유값을 계산한다. 이때의 고유값은 평균 얼굴 영상에 대한 분산의 정도를 나타내는 것이며, 이를 고유 얼굴이라고 한다-.
768 H024의 행렬을 786432x1의 행벡터로 인식후보 얼굴 벡터 집합을 구성한다. 그 후 발생하는 에러를 줄이기 위해 미리 설정된 평균과 분산을 기준으로 모든 이미지를 정규화 하였다
이와 같이 대부분의 연구자들은 표정 인식에서 두 가지 방법을 사용하는데, 그것들은 기준점들의 지리적 위치를 사용하는 방법과 기준점에서의 Gabor filter coefficient를 사용하는 방법이다. 본 논문에서는 기존의 얼굴전체 영역을 대상으로 감성을 인식하지 않고 얼굴에서 눈을 가리고 입의 표정만으로 PCA를 이용한 감성인식을 하였다
본 논문은 눈이 가려진 사람의 얼굴 표정 사진을 사람이 인식한 것과 PCA를 이용하여 얼굴표정에서의 감성인식을 비교하였다. PCA를 이용해서 얼굴표정에서의 감정인식이 최고로 높을 때의 인식률은 51%로써 절대적인 수치로는 그다지 좋은 인식률은 아니지만, 사람의 인식률도 49%밖에 안 되었던 것을 감안한다면그리 나쁜 성능을 보이는 것이 아님을 알 수 있다.
앞에서 설정한 방법대로 30개의 사진으로 이루어 진 설문지를 설문 대상자 20명 에 게 보여주고 답하는 방법에 대한 간단한 설명을 약 3분간 해준 뒤에 문항 당 10초씩 답을 하도록 하였다. 이는 너무 오랜 시간동안 표정을 보는 것보다 짧은 시간만 보는 것이 감정 인식에서 더욱 의미 있기 때문이다.
찍었다. 이렇게 수집 된 30장의 사진을 20명의 사람들에게 보여주고 사진 속의 사람이 어떤 감정을 갖고 있는지를 물어 보았다.

대상 데이터

본 실험을 위해 6명의 남성(26~37세의 다양한 지역 출신의 대학원생)으로부터 5가지 표정 (무표정, 화, 웃음, 슬픔, 놀람)을 연기하도록 하고 눈을 제외한 부분만을 사진으로 찍었다. 이렇게 수집 된 30장의 사진을 20명의 사람들에게 보여주고 사진 속의 사람이 어떤 감정을 갖고 있는지를 물어 보았다.
본 실험을 위해 사용된 사진의 사이즈는 768 xl024 이고 학습용 사진으로는 5가지 감정을 위해 5장의 사진을 사용하였다. 768 H024의 행렬을 786432x1의 행벡터로 인식후보 얼굴 벡터 집합을 구성한다.

성능/효과

답한 개수를 나타내었다. 그 결과로 전체의 인식률은 약49%이고 오답의 확률은 약 10%, 약39%는 애매함으로 답을 하였다. 애매함에 속한 사진들은 화, 슬픔, 놀람의 감정을 의도한 것들로써, 앞의 결과와 마찬가지로 3가지 표정들의 경우 눈이 가려졌을 때 인식에서의 어려움이 있다는 것을 보여준다.

후속연구

동영상에 비해 처리량은 적지만, 얼굴의 비강체적 변형이 큰 경우 매칭이나 정합에 의한 인식이 힘들고, 얼굴 표정영상을 자동으로 지정하기 어렵다는 단점이 있다. 둘째는 동영상에서 사용자의 얼굴 변화를 분석하여 표정을 인식하는 연구로, 표정의 변화를 연속적으로 처리할 수 있어 실시간 응용제품에 유용하게 사용될 수 있다. 주로 사용되는 알고리즘으로는 신경망을 이용한 학습에 의한 인식, 얼굴 전체의 움직임 패턴에 주목하여 생성시 킨 모션필드의 데 이 터 베이스와 이용자의 모션필드에 부합되는 3차원 모델과의 상관관계에 의해 인식하는 방법 등이 있다.
PCA를 이용해서 얼굴표정에서의 감정인식이 최고로 높을 때의 인식률은 51%로써 절대적인 수치로는 그다지 좋은 인식률은 아니지만, 사람의 인식률도 49%밖에 안 되었던 것을 감안한다면그리 나쁜 성능을 보이는 것이 아님을 알 수 있다. 앞으로 입모양뿐만 아니라 코 옆과 입 근처의 근육의 미세한 움직임도 인식해서 인식률을 높이고 감성 인식에서의 학습에 있어서도 다른 많은 유전 알고리즘을 이용해서 인식률 높이는 연구가 진행 될 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

PCA을 이용한 얼굴표정의 감정인식 방법
Emotion Recognition Method of Facial Image using PCA 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

PCA을 이용한 얼굴표정의 감정인식 방법 Emotion Recognition Method of Facial Image using PCA 원문보기

초록 AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

PCA을 이용한 얼굴표정의 감정인식 방법
Emotion Recognition Method of Facial Image using PCA 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper