[논문]얼굴 특징 변화에 따른 휴먼 감성 인식

이용환; 김영섭

[국내논문] 얼굴 특징 변화에 따른 휴먼 감성 인식
Human Emotion Recognition based on Variance of Facial Features 원문보기

반도체디스플레이기술학회지 = Journal of the semiconductor & display technology, v.16 no.4, 2017년, pp.79 - 85

이용환 (원광대학교 디지털콘텐츠공학과) , 김영섭 (단국대학교 전자전기공학과)

Abstract ▼ AI-Helper

Understanding of human emotion has a high importance in interaction between human and machine communications systems. The most expressive and valuable way to extract and recognize the human's emotion is by facial expression analysis. This paper presents and implements an automatic extraction and recognition scheme of facial expression and emotion through still image. This method has three main steps to recognize the facial emotion: (1) Detection of facial areas with skin-color method and feature maps, (2) Creation of the Bezier curve on eyemap and mouthmap, and (3) Classification and distinguish the emotion of characteristic with Hausdorff distance. To estimate the performance of the implemented system, we evaluate a success-ratio with emotional face image database, which is commonly used in the field of facial analysis. The experimental result shows average 76.1% of success to classify and distinguish the facial expression and emotion.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 입력된 사진 영상을 분석하여 사용자의 얼굴 감성을 인식하는 방법을 제안하고 이를 구현하여 실험한다. 제안 알고리즘은 색-기반의 얼굴 특징 맵을 검출하고, 일반화된 곡선과 거리 측정을 통해 감성을 분석하고, 인간 감성을 5가지로 분류하여 인식한다.
본 논문에서는 사진 영상에서의 얼굴 영역을 분석하여 감성을 판별한다. 제안 알고리즘의 성능 평가를 위해 감성인식 분야에서 공용으로 활용되는 FEI 데이터베이스와 CK 데이터베이스를 사용한다.
최근 인간-컴퓨터 인터페이스 분야에서 다양한 형태의 사용자 감성 기술 적용이 연구되고 있다. 본 논문에서는 얼굴 표정을 분석하고 사용자감성 모델을 수립하여, 입력된 사진 영상에서 얼굴 기반으로 사용자의 감성을 인식하는 알고리즘을 제시하고 이를 구현하였다. 제안 알고리즘은 2단계 수행되며, 첫 번째 단계에서는 피부색 분할 알고리즘을 통해 얼굴 영역을 검출한다.

가설 설정

눈은 CbCr 영역에서 붉은 색 요소가 적고, 파란 색 요소가 높다는 특성을 갖는다[13]. 또한 얼굴을 통해 피부 영역을 검출할 때는 두 눈이 모두 이미지 내에 존재한다는 가정 하에 수행한다. 즉, 얼굴의 측면에서 생성되어 두 눈 중에 하나만 나타나는 이미지는 검출대상에서 제외한다.

제안 방법

본 논문에서는 입력된 사진 영상을 분석하여 사용자의 얼굴 감성을 인식하는 방법을 제안하고 이를 구현하여 실험한다. 제안 알고리즘은 색-기반의 얼굴 특징 맵을 검출하고, 일반화된 곡선과 거리 측정을 통해 감성을 분석하고, 인간 감성을 5가지로 분류하여 인식한다.
Sprios는 적절한 얼굴 특징을 추출하고 사용자의 감정 상태를 인식하는 여러 표정 변화를 연구하였다[7]. 추정 정확도의 신뢰도를 측정하기 위해 ISO MPEG-4 표준에 따라 정의된 정면 얼굴의 비디오에서 변화량을 추출하였다. 얼굴 정면 사진 또는 프로파일 얼굴 이미지를 기반으로 얼굴 표정 단위를 인식하는 몇몇 프로토타입 시스템도 발표되었다[8-9].
첫 번째 단계에서는 원본 입력 이미지에서 얼굴 영역을 검출하고 검출된 관심 영역에서 눈과 입을 중심으로 특징을 추출한다. 특징점을 기반으로 커브 곡선을 생성하고, 특징점과 곡선의 변화량을 산출한다. 점과 곡선의 변화에 따라 분류한 인간의 감성 모델에 따라, 변화량에서 가장 근접한 인간 감성으로 분류하여 얼굴 표정 감성을 인식한다.
특징점을 기반으로 커브 곡선을 생성하고, 특징점과 곡선의 변화량을 산출한다. 점과 곡선의 변화에 따라 분류한 인간의 감성 모델에 따라, 변화량에서 가장 근접한 인간 감성으로 분류하여 얼굴 표정 감성을 인식한다. 제안 시스템의 블록 다이어그램은 Fig.
점과 곡선의 변화에 따라 분류한 인간의 감성 모델에 따라, 변화량에서 가장 근접한 인간 감성으로 분류하여 얼굴 표정 감성을 인식한다. 제안 시스템의 블록 다이어그램은 Fig. 1과 같으며, 구현하는 감성 인식 프레임워크는여러 공용 데이터셋을 기초하여 객관적 평가요소를 통해 성능을 실험한다.
칼라 모델 변환 후, 정확한 얼굴 영역 검출을 위해 전처리 과정으로 조명 보정을 수행한다. 조명 조건에 따라 성능에 영향을 미치는 요소가 존재하기 때문에, 이미지의 강도(Intensity) 값을 균등하게 평활화를 수행한다.
수평 방향으로 시작점과 마지막 점을 좌/우측에서, 수직 방향으로 중심점의 상단과 하단의 픽셀 위치를 추출한다. 각 영역에 대한 4개 경계 제어점을 통과하는 좌측 눈과 우측 눈, 입에 대한 베지어 곡선을 각각 생성한다.
학습 데이터베이스는 사용자 개인 정보와 사용자의 얼굴 사진을 분석하여 얻은 5개 감정 정보가 저장된다. 얼굴 감성을 검출하기 위해, 입력 이미지와 데이터베이스 내의 이미지들 사이의 각 관심 영역을 1:1 대응하여 계산한다. 베지어 곡선은 얼굴 특징의 주요 제어점을 연결되며, 사용자의 얼굴 크기 또는 입력 이미지의 크기에 따라, 차이를 갖고 있다.
따라서 유사도 일치를 평가하기 위해, 베지어 곡선의 각 너비와 폭을 일정한 간격을 유지해야 하며, 너비와 폭을 0에서 100까지로 변환 변위를 정규화한다. 정규화 변환 이후, 하우스도로프 거리(Hausdorff Distance)를 적용하여 두 모델(입력 이미지 의 추출 곡선과 대상 이미지들에 대해 사전에 추출된 곡선) 간의 형상 행렬을 비교 평가한다. 두 곡선 p(s)와 q(s) 사이의 거리 dH(p,q)는 식 (11)을 통해 계산한다[16].
본 연구에서는 사람의 감정을 5가지로 분류하고, 웃음, 슬픔, 놀람, 화남, 무표정의 감성 표현을 실험으로 측정 평가한다. 입력 이미지로부터 분석된 얼굴 표현은 무표정 얼굴로 구성된 얼굴 모델 데이터베이스와 비교 측정되며, 모든 얼굴 이미지는 임계치를 매개변수로 사용되어 정규화된다.
베지어 곡선은 얼굴 특징의 주요 제어점을 통과하여 보간된 곡선 선분이다. 각 곡선에 대해 인접한 곡선세그먼트를 형성하고, 곡선 세그먼트를 기반으로 하우스도로프 거리를 계산하며, 얼굴 감성의 분석과 결정은 얼굴의 유사성을 측정하여 판별한다. 제안 알고리즘의 성능을 측정하기 위해, 감성인식 연구분야에서 많이 활용되는 공용 데이터셋을 사용하며, 인식 정확도는 제공되는 GTS(Ground Truth Sets)에 따라 판정한다.
각 곡선에 대해 인접한 곡선세그먼트를 형성하고, 곡선 세그먼트를 기반으로 하우스도로프 거리를 계산하며, 얼굴 감성의 분석과 결정은 얼굴의 유사성을 측정하여 판별한다. 제안 알고리즘의 성능을 측정하기 위해, 감성인식 연구분야에서 많이 활용되는 공용 데이터셋을 사용하며, 인식 정확도는 제공되는 GTS(Ground Truth Sets)에 따라 판정한다.
Ekman 은 모든 얼굴 표정 단위의 집합을 정의하는 모델을 정의하면서, 얼굴 표정 단위에 기반하여 시각적으로 식별 가능한 얼굴 움직임을 표현하는 FACS(facial Action Coding System)시스템을 연구 개발하였다[5]. 해당 연구에서는 얼굴 표정 변화를 46개 단위(AU, Action Unit)로 구분하고 AU 조합 규칙을 통해 감정 지정 표현을 정의하는 표현식을 제안하였다. 본 연구에서의 얼굴 감정 판별 모델은 FACS의 기본 AU를 기반하여, 감성 인식을 위한 표현 규칙을 Table 1과 같이 정의하고, 특징점의 상대적 위치와 베지어 곡선의 변화를 추적하여 사용자의 감성을 분류하여 판별한다.
해당 연구에서는 얼굴 표정 변화를 46개 단위(AU, Action Unit)로 구분하고 AU 조합 규칙을 통해 감정 지정 표현을 정의하는 표현식을 제안하였다. 본 연구에서의 얼굴 감정 판별 모델은 FACS의 기본 AU를 기반하여, 감성 인식을 위한 표현 규칙을 Table 1과 같이 정의하고, 특징점의 상대적 위치와 베지어 곡선의 변화를 추적하여 사용자의 감성을 분류하여 판별한다.
4는 서로 다른 감성의 얼굴 모형에 대해 AU 제어점의 변화를 시각적으로 표현한다. 감성적 패턴을 표시하기 위한 방법으로, 장시간 비디오 시퀸스에서 실험을 통해 시간에 따라 특징 제어점과 베지어 곡선의 변화를 추적하며, 전체 실험 데이터에 대한 평균 분산을 고려하여 AU의 상대적 변화량을 검증하였다.
본 논문에서는 얼굴 표정을 분석하고 사용자감성 모델을 수립하여, 입력된 사진 영상에서 얼굴 기반으로 사용자의 감성을 인식하는 알고리즘을 제시하고 이를 구현하였다. 제안 알고리즘은 2단계 수행되며, 첫 번째 단계에서는 피부색 분할 알고리즘을 통해 얼굴 영역을 검출한다. 눈과 입에 초점을 두고 2개의 관심 영역을 검출하여 특징점을 추출하고 베지어 곡선을 연결하여 입력 이미지에 대한 사용자 얼굴 특징을 해석한다.
제안 알고리즘은 2단계 수행되며, 첫 번째 단계에서는 피부색 분할 알고리즘을 통해 얼굴 영역을 검출한다. 눈과 입에 초점을 두고 2개의 관심 영역을 검출하여 특징점을 추출하고 베지어 곡선을 연결하여 입력 이미지에 대한 사용자 얼굴 특징을 해석한다. 두 번째 단계에서는 베지어 곡선과 하우스도로프 거리를 이용하여 특징적 감성의 변화량을 계산하고 수립한 감성 모델과의 비교 검증을 통해 사용자의 감성을 판별하였다.
눈과 입에 초점을 두고 2개의 관심 영역을 검출하여 특징점을 추출하고 베지어 곡선을 연결하여 입력 이미지에 대한 사용자 얼굴 특징을 해석한다. 두 번째 단계에서는 베지어 곡선과 하우스도로프 거리를 이용하여 특징적 감성의 변화량을 계산하고 수립한 감성 모델과의 비교 검증을 통해 사용자의 감성을 판별하였다. 실험 결과에서 사용자 감성 인식 평균 성공률 76.

대상 데이터

베지어 곡선을 적용하려면, 각 관심 영역의 일부 제어점을 추출해야 한다. 본 논문에서는 관심 영역은 눈과 입이며, 우측 눈과 좌측 눈을 포함하여 2개의 눈과 1개의 입 영역을 대상으로 한다. EyeMap와 MouthMap에서 각각의 관심 영역 내의 가장 높은 연결 영역을 찾기 위해 Big Connection 알고리즘을 적용한다.
본 논문에서는 사진 영상에서의 얼굴 영역을 분석하여 감성을 판별한다. 제안 알고리즘의 성능 평가를 위해 감성인식 분야에서 공용으로 활용되는 FEI 데이터베이스와 CK 데이터베이스를 사용한다. FEI DB는 총 2,800개의 이미지를 가지고 있으며, 200명에 대해 여러 각도에서 촬영된 14개의 얼굴 사진으로 구성되어 있으며, 각 사용자에 대해 정면에서 촬영된 무표정 사진과 웃는 사진들을 포함한다[17].
CK DB는 100명의 대학생을 대상으로 얼굴 표정을 비디오로 촬영하여 생성되었다. 무표정한 얼굴에서 표정 변화까지의 이미지 시퀸스를 8-비트 그레이스케일, 640*480 크기로 구성되어 있다. 여성/남성, 18세~30세 사이의 연령 분포, 미국인/유럽인/아프리카인/아시아인 등을 포괄적인 사용자를 포함한다[18].

이론/모형

본 논문에서는 관심 영역은 눈과 입이며, 우측 눈과 좌측 눈을 포함하여 2개의 눈과 1개의 입 영역을 대상으로 한다. EyeMap와 MouthMap에서 각각의 관심 영역 내의 가장 높은 연결 영역을 찾기 위해 Big Connection 알고리즘을 적용한다. 각 관심 영역에서 4개의 경계 지점을 선별한다.

성능/효과

웃음, 슬픔, 놀람, 화남, 무표정과 같은 서로 다른 표정에서 감성인식을 수행한 결과는 Table 2와 같다. 구현한 알고리즘에서는 580개의 입력 얼굴 이미지에서 463개를 정확하게 인식하여 76.1%의 성공적 인식률을 얻을 수 있었다.
두 번째 단계에서는 베지어 곡선과 하우스도로프 거리를 이용하여 특징적 감성의 변화량을 계산하고 수립한 감성 모델과의 비교 검증을 통해 사용자의 감성을 판별하였다. 실험 결과에서 사용자 감성 인식 평균 성공률 76.1%를 얻었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	인간의 표정과 감성을 분석하고 인식하는 연구가 활발해지는 이유는 무엇인가?	인간의 표정과 감성을 분석하고 인식하는 연구는 많은 관심을 보이며, 신경과학, 인지과학 및 컴퓨터공학에서 폭넓게 연구되고 있다[1]. 이러한 연구분야는 사람의 두 손 자유도를 유지하면서 인간-컴퓨터 인터페이스(HumanComputer Interface)를 개선하는 효과를 얻을 수 있을 뿐 아니라, 컴퓨터가 사용자의 피드백을 취하는 행동을 개선하는 데에 높은 기여를 할 수 있기 때문이다. 이는 키보드나 마우스 등의 사용자 피드백과 같은 전통적인 방식에서 스마트폰 또는 카메라를 통해 사용자의 활동을 자동으로 인식하면서 지능적으로 상호작용을 할 수 있기 때문에 활용도가 매우 높다.
	인간 감성이 나타나는 영역은 무엇인가?	보통 인간은 말을 하면서 억양등으로 감정을 표시하지만, 손 동작과 얼굴 표정, 제스처(Gesture)에서도 인간의 감정을 나타내기도 한다. 다시 말해, 인간 감성은 음성, 시각적 동작, 이외의 신체 변화와 움직임에서도 나타난다[2]. 이러한 인간 감성을 시스템에서는 주로 비디오 시퀸스(Sequence)를 기반으로 표정의 변화를 자연스럽게 인식하는 방법이 많이 사용된다[3].
	표정 분석과 감성 인식을 위한 제안 알고리즘은 무엇인가?	표정 분석과 감성 인식을 위한 제안 알고리즘은 크게 2단계로 구성된다. 첫 번째 단계에서는 원본 입력 이미지에서 얼굴 영역을 검출하고 검출된 관심 영역에서 눈과 입을 중심으로 특징을 추출한다. 특징점을 기반으로 커브 곡선을 생성하고, 특징점과 곡선의 변화량을 산출한다. 점과 곡선의 변화에 따라 분류한 인간의 감성 모델에 따라, 변화량에서 가장 근접한 인간 감성으로 분류하여 얼굴 표정 감성을 인식한다. 제안 시스템의 블록 다이어그램은 Fig.

참고문헌 (20)

Ralph Adolphs, "Recognizing Emotion from Facial Expressions: Psychological and Neurological Mechanisms", Behavioral and Cognitive Neuroscience Reviews, 1(1), (2002).

상세보기
Ira Cohen, Ashutosh Garg, Thomas S. Huang, "Emotion Recognition from Facial Expressions using Multilevel HMM", Proceeding of the Workshop on Affective Computing, pp.1-7, (2000).
Nicu Sebe, Ira Cohen, Theo Gevers, Thomas S. Huang, "Multimodal Approaches for Emotion Recognition: A Survey", Internet Imaging VI, SPIE, 5670, pp. 56-67. (2005).
Hatice Gunes, Massimo Piccardi, "Automatic Temporal Segment Detection and Affect Recognition from Face and Body Display", IEEE Transactions on Systems, Man, and Cybernetics - Part B, 39(1), pp.64-84, (2009).

상세보기
Paul Ekman, Wallace V. Friesen, "Facial Action Coding System (FACS): Investigator's Guide", Consulting Psychologists Press, (1978).
Yuu Nakanishi, Yasunari Yoshitomi, Taro Asada, Masayoshi Tabuse, "Facial Expression Recognition for Speaker using Thermal Image Processing and Speech Recognition System", IEEE International Symposium on Robot and Human Interactive Communication, (2009).
Ioannou S. V., Raouzaiou A. T., Tzouvaras V. A., Mailis T. P., Karpouzis K. C., Kollias S. D., "Emotion Recognition through Facial Expression Analysis based on a Neurofuzzy Network", Neural Networks, 18(4), pp.423-435, (2005).

상세보기
M. Pantic, I. Patras, "Dynamics of Facial Expression: Recognition of Facial Actions and their Temporal Segments from Face Profile Image Sequences", IEEE Transactions on Systems, Man and Cybernetics, 36(2), pp.433-449, (2006).

상세보기
M. Pantic, Leon J.M. Rothkrantz, "Facial Action Recognition for Facial Expression Analysis from Static Face Images", IEEE Transactions on Systems, Man and Cybernetics - Part B, 34(3), pp.1449-1461, (2004).

상세보기
Michel F. Valster, Maja Pantic, Zara Ambadar, Jeffrey F. Cohn, "Spontaneous vs. Posed Facial Behavior: Automatic Analysis of Brow Actions", International Conference on Multimodal Interfaces, pp.162-170, (2006).
Rafael C. Gonzalea, Richard E.Woods, Steven L. Eddins, "Digital Image Processing using Matlab", Prentice Hall, (2004).
Yong-Hwan Lee, Tae-Kyu Han, Young-Seop Kim, Sang-Burm Rhee, "An Efficient Algorithm for Face Recognition in Mobile Environments", Asian Journal of Information Technology, 4(8), pp.796-802, (2005).
Rein-Lien Hsu, Mohamed Abdel-Mattaleb, Anil K. Jain, "Face Detection in Color Images", IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(5), pp.696-701, (2002).

상세보기
Samuel R. Buss, "3D Computer Graphics - A Mathematical Introduction with OpenGL", Cambridge University Press, (2003).
Mohammed Riazur Rahman, M. Ameer Ali, Golam Sorwar, "Finding Significant Points for Parametric Curve Generation Techniques", Journal of Advanced Computations, 2(2), (2008).
Seon-Hong Kim, Young Joon Ahn, "An Approximation of Circular Arcs by Quartic Bezier Curves", Computer-Aided Design, 39(6), pp.490-493, (2007).

상세보기
Carlos Eduardo, Thomaz Gilson, Antonio Giraldi, "A New Ranking Method for Principal Components Analysis and its Application to Face Image Analysis", Image and Vision Computing, 28(6), pp.902-913, (2010).

상세보기
Takeo Kanade, Jeffrey F. Cohn Yingli Tian, "Comprehensive Database for Facial Expression Analysis", Proceedings of the International Conference on Automatic Face and Gesture Recognition, pp.484-491, (2000).
Wuri Han, Yong-Hwan Lee, Jeho Park, Youngseop Kim, "Dynamic Emotion Classification through Facial Recognition", Journal of the Semiconductor and Display Technology, 12(3), (2013).
Yong-Hwan Lee, Heung-Jun Kim, "Evaluation of Feature Extraction and Matching Algorithms for the use of Mobile Application", Journal of the Semiconductor and Display Technology, 14(4), (2015).

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증