[논문]얼굴표정을 이용한 감정인식 및 표현 기법

주종태; 박경진; 고광은; 양현창; 심귀보

얼굴표정을 이용한 감정인식 및 표현 기법
Emotion Recognition and Expression using Facial Expression 원문보기

주종태 (중앙대학교 전자전기공학부) , 박경진 (중앙대학교 전자전기공학부) , 고광은 (중앙대학교 전자전기공학부) , 양현창 (중앙대학교 전자전기공학부) , 심귀보 (중앙대학교 전자전기공학부)

본 논문에서는 사람의 얼굴표정을 통해 4개의 기본감정(기쁨, 슬픔, 화남, 놀람)에 대한 특징을 추출하고 인식하여 그 결과를 이용하여 감정표현 시스템을 구현한다. 먼저 주성분 분석(Principal Component Analysis)법을 이용하여 고차원의 영상 특징 데이터를 저차원 특징 데이터로 변환한 후 이를 선형 판별 분석(Linear Discriminant Analysis)법에 적용시켜 좀 더 효율적인 특징벡터를 추출한 다음 감정을 인식하고, 인식된 결과를 얼굴 표현 시스템에 적용시켜 감정을 표현한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

감정을 인식하는 방법에는 크게 음성을 이용하는 방법과 얼굴 표정 영상을 이용하는 방법으로 나눌 수 있다[1]. 본 논문에서는 얼굴 표정 영상을 가지고 감정을 인식하고 표현하는 방법에 대한 것이다.
각각의 감정을 나타내는 두 직선사이를 이등분하는 직선을 구분하고, 각 감정에 속하는 영역의 크기로서 감정을 분류하게 된다. 본 논문에서는 이와 같은 영역의 크기를 더음과 같은 헤론의 공식을 통해 구했다.

제안 방법

이렇게 수집 된 25 장의 사진(그림 2)을 50명의 사람들에게 보여주고 사진 속의 사람이 어떤 감정을 갖고 있는지를 물어보았다. 50명의 설문 대상자들에게 25개의 사진과 사진의 사람들이 의도한 5가지 감정과 애매함을 포함하여 6가지 문항으로 이루어진 설문지를 배포한 후 20초 안에 답을 하도록 하였다. 이는 너무 오랜 시간동안 표정을 보는 것보다 짧은 시간만 보는 것이 감정 인식에서 더욱 의미가 있기 때문이다.
재구성한다. LDA을 통해 재구성된 특징 벡터 값들과 각 감정별 클래스들의 평균값들의 거리를 nearest neighbor를 사용하여 측정한 후 그 거리가 최소가 되는 클래스를 선택하여 감정을 분류한다. LDA을 통해 재구성된 특징 벡터들의 분포도를 보여주고 있으며 그림 6은 실험을 통해 얻은 5개의 fisherfaces를 보여주고 있다.
또한 감정 인식된 결과를 이용하여 동적 감정 공간에서 감정을 표현하는 시스템을 구현하였다.
본 실험은 PCA와 LDA을 이용하여 얼굴표정에 대해 감정인식을 하고, PCA만 사용하여 인식하는 경우와 인식률을 비교해 보았다. 본 실험은 그림 2의 영상들을 학습 영상으로 사용하였으며, 각 영상의 크기는 320x240으로 표현하였다.
본 연구에서는 이를 얼굴 표정을 통한 감정을 인식하는데 이용하였다. 즉, 일정한 크기의 얼굴 영상 벡터 气는 PCA 방법을 통해 p 차원의 벡터로 투영되고, 다시 LDA 방법에 의해 q 차원의 새로운 벡터 z, 로 다음 식에 의해 재구성 된다[10].
하고 사진으로 찍었다. 이렇게 수집 된 25 장의 사진(그림 2)을 50명의 사람들에게 보여주고 사진 속의 사람이 어떤 감정을 갖고 있는지를 물어보았다. 50명의 설문 대상자들에게 25개의 사진과 사진의 사람들이 의도한 5가지 감정과 애매함을 포함하여 6가지 문항으로 이루어진 설문지를 배포한 후 20초 안에 답을 하도록 하였다.
이와 같은 표정 변화 시스템 알고리즘은 먼저 입력으로부터 각 감정의 가중치를 입력 받게 되는데 본 연구에서는 5개의 감정에 대해 LDA 방법을 통해 분류되어 진 값들을 감정별로 클래스화를 시킨 후, 특정한 감정 결과 값이 감정별 클래스에 속한 정도를 구한다. 이값은 감정별로 0과 1 사이로 표현되며, 표현되어진 값은 감정 표현 시스템의 입력 값으로 사용되어지게 된다.
한편 표정 인식된 결과 값을 감정 표현 시스템에 적용하게 되는데 본 논문에서 사용된 감정 표현은 본 연구실에서 개발한 감정 표현 방법을 이용하였으며, 그 방법은 대략 다음과 같다⑻.

대상 데이터

감정을 표현하기 위한 파라미터로 눈썹 3개 (00, 01, 02), 눈 3개입 3개(Z”, 们 arc) 총 9개의 파라미터를 정의하였다. 여기서 代는 수평점, h는 수직 높이, 後는 수평 넓이, arc는횐 방향 및 정도를 각각 나타낸다.
본 실험은 그림 2의 영상들을 학습 영상으로 사용하였으며, 각 영상의 크기는 320x240으로 표현하였다. 검증 영상은 그림 4의 사진을 사용하였으며 영상학습 영상과 학습영상과 동일하다. 영상들은 고차원 형태로 이루어져 있기 때문에 이는 차원의 저주의 문제가 발생할 수 있다.
본 실험은 그림 2의 영상들을 학습 영상으로 사용하였으며, 각 영상의 크기는 320x240으로 표현하였다. 검증 영상은 그림 4의 사진을 사용하였으며 영상학습 영상과 학습영상과 동일하다.
본 실험을 위해 5명의 남성(25세-31세의 다양한 지역 출신의 대학원생)으로부터 5가지 표정(무표정, 화, 웃음, 슬픔, 놀람)을 연기 하도록 하고 사진으로 찍었다. 이렇게 수집 된 25 장의 사진(그림 2)을 50명의 사람들에게 보여주고 사진 속의 사람이 어떤 감정을 갖고 있는지를 물어보았다.

이론/모형

본 연구에서는 동적으로 변화하는 2차원 감정 공간 모델을 적용하여 인간의 감정 표현 시스템과 유사한 감정 표현 알고리즘을 사용하였다 ⑻.
본 연구에서는 얼굴 영상의 고차원 공간을 저차원 특징 공간으로 변환하는 PCA(Principal Component Analysis)⑹를 이용하여 특징 벡터를 추출한 후, 클래스 간의 특징 벡터들을 비교적 정확하게 분류하는 LDA(Linear Discriminant Analysis) 방법[기을 통해서 얼굴표정을 인식한다.
영상들은 고차원 형태로 이루어져 있기 때문에 이는 차원의 저주의 문제가 발생할 수 있다. 이를 해결하기 위해 저차원으로 축소해 주는 PCA 방법을 사용하였으며 고유 벡터의 수는 임의로 100개로 지정해 주어 실험한 결과 그림 4와 같은 고유 얼굴들이 나타났다.

성능/효과

본 논문에서는 5가지 감정(무표정, 화, 기쁨, 놀람, 슬픔)에 대하여 PCA 방법 및 PCA-LDA 방법을 이용하여 감정을 인식 하였으며 그 결과 PCA 방법보다 PCA-LDA 빙법이 인식율이 더 우수함을 알 수 있었으며, 사람들의 인식률과도 크게 차이나지 않았다. 또한 감정 인식된 결과를 이용하여 동적 감정 공간에서 감정을 표현하는 시스템을 구현하였다.
이 실험 결과는 그림 3에서 보이는 바와 같이, 웃음과 무표정에 대한 사람들의 인식률은 거의 70% 정도로 정확한 반면, 슬픔과 놀람은 약 30%로 매우 저조한 인식률을 보였다. 이는 슬픔과 놀람의 경우 눈의 모양을 통한 인식 의존도가 매우.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

얼굴표정을 이용한 감정인식 및 표현 기법
Emotion Recognition and Expression using Facial Expression 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

연구과제 타임라인

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

얼굴표정을 이용한 감정인식 및 표현 기법 Emotion Recognition and Expression using Facial Expression 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

얼굴표정을 이용한 감정인식 및 표현 기법
Emotion Recognition and Expression using Facial Expression 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper