[논문]얼굴 특징점 추적을 통한 사용자 감성 인식

이용환; 김흥준

얼굴 특징점 추적을 통한 사용자 감성 인식
Emotion Recognition based on Tracking Facial Keypoints 원문보기

반도체디스플레이기술학회지 = Journal of the semiconductor & display technology, v.18 no.1, 2019년, pp.97 - 101

이용환 (원광대학교 디지털콘텐츠공학과) , 김흥준 (경남과학기술대학교 컴퓨터공학과)

Abstract ▼ AI-Helper

Understanding and classification of the human's emotion play an important tasks in interacting with human and machine communication systems. This paper proposes a novel emotion recognition method by extracting facial keypoints, which is able to understand and classify the human emotion, using active Appearance Model and the proposed classification model of the facial features. The existing appearance model scheme takes an expression of variations, which is calculated by the proposed classification model according to the change of human facial expression. The proposed method classifies four basic emotions (normal, happy, sad and angry). To evaluate the performance of the proposed method, we assess the ratio of success with common datasets, and we achieve the best 93% accuracy, average 82.2% in facial emotion recognition. The results show that the proposed method effectively performed well over the emotion recognition, compared to the existing schemes.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 사람 얼굴을 기반하여 감정을 분류하는감성인식 모델을 제안하였다. 제안 시스템에서는 기존의 얼굴 특징 랜드마크를 추출하는 AAM 알고리즘을 활용하고 사람 감정에 따라 랜드마크의 변화량을 추정하여 감정을 인식한다.
본 논문에서는 입력된 영상을 분석하여 사용자의 얼굴 감성을 인식하는 방법을 제안하고 이를 구현한다. 제안알고리즘은 입력 영상에서 얼굴 영역을 검출하고 AAM기반의 얼굴 특징 랜드마크를 추출한다.
본 절에서는 얼굴 특징을 찾는 AAM에 대해 설명하고, 얼굴 기반의 감정 인식 기술에 대한 연구 동향을 살펴본다.

가설 설정

구성된 Shape모델은 수식(2)로 표현되며, x^-는 평균 Shape벡터, Φ_i는 Shape파라미터이다. 사람의 얼굴 생김새와 표정에 따라 절대적인 얼굴 각 부위의 좌표는 다르지만, 위상은 동일하게 나타난다. [6].

제안 방법

본 연구에서는 AAM을 통해 입력 영상의 랜드마크를검출하고 표정 변화에 따른 랜드마크의 움직임과 변화로 감정을 분류하는 방법을 제안한다. 제안 알고리즘에 대한 블록 다이어그램은 Fig.
해당 연구에서는 얼굴 표정 변화를 46개 단위(AU, Action Unit)로 구분하고 AU 조합 규칙을 통해 감정 지정 표현을 정의하는 표현식을 제안하였다. 본 연구에서의 얼굴 감정 판별 모델은 FACS의 기본 AU를 기반하여, 감정 인식을 위한 표현 규칙을 정의하고, 특징 랜드마크의 상대적 위치와 랜드마크의 변화량을 추적하여 사용자의 감성을 분류하여 판별한다. Fig.
제안알고리즘은 입력 영상에서 얼굴 영역을 검출하고 AAM기반의 얼굴 특징 랜드마크를 추출한다. 얼굴 변화에 따른 감정 인식 모델을 수립하고, 특징점을 기반하여 사용자의 기본 감정을 인식한다.
본 논문에서는 사람 얼굴을 기반하여 감정을 분류하는감성인식 모델을 제안하였다. 제안 시스템에서는 기존의 얼굴 특징 랜드마크를 추출하는 AAM 알고리즘을 활용하고 사람 감정에 따라 랜드마크의 변화량을 추정하여 감정을 인식한다. 추정 과정에서 랜드마크의 이웃간 기여도를 할당하고 가중치가 적용된 기여도 정보를 분류하는 Fuzzy k-NN 알고리즘을 적용하였다.
본 논문에서는 입력된 영상을 분석하여 사용자의 얼굴 감성을 인식하는 방법을 제안하고 이를 구현한다. 제안알고리즘은 입력 영상에서 얼굴 영역을 검출하고 AAM기반의 얼굴 특징 랜드마크를 추출한다. 얼굴 변화에 따른 감정 인식 모델을 수립하고, 특징점을 기반하여 사용자의 기본 감정을 인식한다.
제안 알고리즘에 대한 블록 다이어그램은 Fig. 1과 같으며, 구현하는 감정 인식체계는 기존에 알려진 AAM알고리즘을 통해 얼굴 특징랜드마크를 추출하고[17], 제안하는 감정 인식 모델에 따라 랜드마크의 변화량을 계산하여 감정을 판단한다.
Ekman 은 모든 얼굴 표정 단위의 집합을 정의하는 모델을 정의하면서, 얼굴 표정 단위에 기반하여 시각적으로 식별 가능한 얼굴 움직임을 표현하는 FACS(Facial Action Coding System) 시스템을 연구 개발하였다[9]. 해당 연구에서는 얼굴 표정 변화를 46개 단위(AU, Action Unit)로 구분하고 AU 조합 규칙을 통해 감정 지정 표현을 정의하는 표현식을 제안하였다. 본 연구에서의 얼굴 감정 판별 모델은 FACS의 기본 AU를 기반하여, 감정 인식을 위한 표현 규칙을 정의하고, 특징 랜드마크의 상대적 위치와 랜드마크의 변화량을 추적하여 사용자의 감성을 분류하여 판별한다.

대상 데이터

제안한 감정 인식 모델의 성능적 평가를 위해 감성 인식 분야에서 많이 활용되는 CK+(Extended Cohn-KanadeDataset)[16]을 대상으로 실험하였다.

데이터처리

Sprios는 적절한 얼굴 특징을 추출하고 사용자의 감정 상태를 인식하는 여러 표정 변화를 연구하였다[12]. 추정 정확도의 신뢰도를 측정하기 위해 ISO MPEG-4표준에 따라 정의된 정면 얼굴의 비디오에서 변화량을 추출하였다. 얼굴 정면 사진 또는 프로파일 얼굴 영상을 기반으로 얼굴 표정 단위를 인식하는 몇몇 프로토타입 시스템도 발표되었다[13-14].

이론/모형

Shape은 표정과 생김새에 따라 다양한 벡터가 생성되며, 좌표상의 크기, 위치, 기울기가 일정하지 않으므로, Procrustes Alignment를 수행하여 벡터들을 정렬한 후, PCA(Principal Component Analysis)를 이용하여 Shape모델을 구성한다. 구성된 Shape모델은 수식(2)로 표현되며, x^-는 평균 Shape벡터, Φ_i는 Shape파라미터이다.
입력 데이터의 분류를 결정하기 위해 각각의 이웃 마다 기여도를 할당하여 기여에 따른 정보를 추가하여 분류하는 Fuzzy k-NN(Neighbor Nearest) 알고리즘을 적용한다 개별 클래스에 대한 기여도를 결정하는 MahalanobiosDistance를 계산하고 가까운 거리에 있는 클래스에 대한 기여도에 가중치를 적용한다. 클래스 c에 대한 이웃들의 기여도는 수식(4)로 계산된다.
제안 시스템에서는 기존의 얼굴 특징 랜드마크를 추출하는 AAM 알고리즘을 활용하고 사람 감정에 따라 랜드마크의 변화량을 추정하여 감정을 인식한다. 추정 과정에서 랜드마크의 이웃간 기여도를 할당하고 가중치가 적용된 기여도 정보를 분류하는 Fuzzy k-NN 알고리즘을 적용하였다. 얼굴 감성 인식의 공용 데이터로 CK+를 이용하여 성능을 측정하였으며, 기쁨, 슬픔, 화남과 평범한 얼굴 감정을 대상으로 실험 결과 82% 수준의 감정 인식률을 보였다.

성능/효과

2% 수준의 인식 성공률을 달성하였다. 실험 결과에 따르면 기쁨을 위한 제어점과 분산은 정규 표현식에서 보다 현저한 변화 차이를 보이며, 인식 성공률에서 가장 우수하게 나타났다. 얼굴 특징점의 변화에 민감한 감정에서 보다 우수한 인식률을 보였으며, 슬픔 감정의 경우 다른 감정에 비해 얼굴 특성을 묘사하는데 어려움이 있어, 얼굴 특징 랜드마크의 변화 상태를 정의하고 이를 추정하는 비율에서 상대적으로 다른 감정보다 낮은 인식 수준을 보였다.
추정 과정에서 랜드마크의 이웃간 기여도를 할당하고 가중치가 적용된 기여도 정보를 분류하는 Fuzzy k-NN 알고리즘을 적용하였다. 얼굴 감성 인식의 공용 데이터로 CK+를 이용하여 성능을 측정하였으며, 기쁨, 슬픔, 화남과 평범한 얼굴 감정을 대상으로 실험 결과 82% 수준의 감정 인식률을 보였다.
실험 결과에 따르면 기쁨을 위한 제어점과 분산은 정규 표현식에서 보다 현저한 변화 차이를 보이며, 인식 성공률에서 가장 우수하게 나타났다. 얼굴 특징점의 변화에 민감한 감정에서 보다 우수한 인식률을 보였으며, 슬픔 감정의 경우 다른 감정에 비해 얼굴 특성을 묘사하는데 어려움이 있어, 얼굴 특징 랜드마크의 변화 상태를 정의하고 이를 추정하는 비율에서 상대적으로 다른 감정보다 낮은 인식 수준을 보였다.
실험 결과는 Table 2와 같다. 제안된 감정 인식 모델에 따라 프로토타입 시스템에서 82.2% 수준의 인식 성공률을 달성하였다. 실험 결과에 따르면 기쁨을 위한 제어점과 분산은 정규 표현식에서 보다 현저한 변화 차이를 보이며, 인식 성공률에서 가장 우수하게 나타났다.

후속연구

향후 제안 알고리즘을 보다 정교하게 구분하는 감정인식 분류 모델로 확장하고, 4개의 감정 이외에 보다 많은 감정을 분류하도록 연구 확장하며, 응용 프로그램에서의 적용을 고려할 예정이다. 사람과 컴퓨터의 상호작용에 적용하여 사용자의 감정에 따라 컴퓨터의 서로 다른 서비스 지원, 사용자 상황 및 상태 감정에 따른 인지적 커뮤니케이션을 수행하고 분별력 있는 정보 디스플레이가 하나의 서비스 사례가 될 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	얼굴 인식 및 신원 인증 기술이 다양한 분야에서 활용되고 있는 이유는?	얼굴은 일상 생활에서 매우 중요한 대상이 된다. 우리는 얼굴을 통해서 사람의 신원을 파악하고, 그 사람에 대한 여러 정보를 얻을 수 있기 때문이다[1]. 얼굴 인식 및 신원 인증 기술이 다양한 분야에서 활용되고 있는 이유이다[2].
	감성 인식 기술은 크게 어떤 기술이 있는가?	사람의 감정을 분석하는 감성 인식 기술은 크게 영상인식 기반 기술과 음성 인식 기반 기술이 있다[1, 4]. 사람의 얼굴 영상을 인식하고 분석하여 감정을 인지하는 영상 기반 기술이 주변 환경 영향에 보다 강인하여 많은 연구가 수행되고 있다.
	소셜 로봇의 특징은?	얼굴 인식 분야 이외에, 사람의 감정을 인식하는 기술이 다방면에서 활용되고 있으며, 최근 다양한 기술과 기계의 발달로 인하여, 소셜 로봇이 화제가 되기도 한다[3]. 과거의 기계적인 움직임을 통해 사람의 육체적 노동을 대신하는 기존 로봇과는 다르게, 소셜 로봇은 사람과의 커뮤니케이션 능력을 갖추고, 사람의 감정 상태를 분석하여 정서적인 상호작용을 수행한다. 또한 사용자-컴퓨터 인터페이스에서도 감성 인식이 활용된다.

참고문헌 (17)

Aleix Martinez and Shichuan Du, "A Model of the Perception of Facial Expressions of Emotion by Humans: Research Overview and Perspectives," Journal of Machine Learning Research, Vol. 13, pp. 1589-1608, 2012.
Lacopo Masi, Yue Wu, Tal Hassner and Prem Natarajan, "Deep Face Recognition: A Survey," International Conference on Graphics, Patterns and Images, pp. 471-478, 2018.
Jamy Li, "Social Robots as Interactive Technology Agents: Supporting Design with Exploratory Assessment," International Conference on Human-Robot Interaction, pp. 629-630, 2016.
Changrong Yu, Jiehan Zhou and Kukka Riekki, "Expression and Analysis of Emotions: Survey and Expreiment," Workshops on Ubiquitous, Autonomic and Trusted Computing, pp. 428-433, 2009.
G.J. Edwards, C.J. Taylor and T.F. Cootes, "Interpreting Face Images using Active Appearance Models," International Conference on Automatic Face and Gesture Recognition, 1998.
Eui-Young Cha, Jung-Hwa Lee and Hyun-Jun Park, "Facial Expression Recognition based on AAM using Backpropagation," Journal of Korea Multimedia Society, Vol. 13, No. 1, pp. 227-230, 2010.
T.F. Cootes, G.J. Edwards, C.J.Taylor, "Active Appearance Models," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 6, pp. 681-685, 2001.

상세보기
G. H. and P. M., "Automatic Temporal Segment Detection and Affect Recognition from Face and Body Display," IEEE Transactions on Systems, Man, and Cybernetics - Part B, Vol. 39, No. 1, pp. 64-84, 2009.

상세보기
P. Ekman and W. Friesen, Facial Action Coding System (FACS): Investigator's Guide, Consulting Psychologists Press, 1978.
I. Cohen, A. Garg, and T. S. Huang, "Emotion Recognition from Facial Expressions using Multilevel HMM," Workshop on Affective Computing, 2000.
Y. Koda, Y. Yoshitomi, M. Nakano, and M. Tabuse, "Facial Expression Recognition for Speaker using Thermal Image Processing and Speech Recognition System," International Symposium on Robot and Human Interactive Communication, 2009.
S. V. Ioannou, A. T. Raouzaiou, V. A. Tzouvaras, T. P. Mailis, K. C. Karpouzis, and S. D. Kollias. Emotion, "Recognition through Facial Expression Analysis based on a Neurofuzzy Network", Neural Networks, Vol. 18, No. 4, pp. 423-435, 2005.

상세보기
P. M. and I. Patras, "Dynamics of Facial Expression: Recognition of Facial Actions and their Temporal Segments from Face Profile Image Sequences," IEEE Transactions on Systems, Man and Cybernetics, Vol. 36, No. 2, pp.433-449, 2006.

상세보기
P. M. and L. Rothkrantz, "Facial Action Recognition for Facial Expression Analysis from Static Face Images," IEEE Transactions on Systems, Man and Cybernetics - Part B, Vol. 34, No. 3, pp. 1449-1461, 2004.

상세보기
M. Valster, P. M., Z. Ambadar, and J. Cohn, "Spontaneous vs. Posed Facial Behavior: Automatic Analysis of Brow Actions," ACM, pp. 162-170, 2006.
P. Lucey, J. F. Cohn, T. Kanade, J. Saragih, Z. Ambadar, and I. Matthews, "The Extended Cohn-Kanade Dataset (ck+): A Complete Dataset for Action Unit and Emotion-Specified Expression," Conference on Computer Vision and Pattern Recognition, pp. 94-101, 2010.
Y.H. Lee and H.J. Kim, "Face Detection using AdaBoost and ASM," Journal of the Semiconductor and Display Technology, Vol. 17, No. 4, 2018.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증