얼굴 표정은 상호간의 소통에 있어 중요한 의미를 갖는다. 얼굴 근육의 움직임은 감성 정보를 제공하는데, 이는 사회적 관계를 향상하는 데 중요한 역할을 한다. 그러나 얼굴의 단순 움직임만으로는 복잡한 사회 감성을 인식하기에 정확하지 않다. 본 연구의 목적은 친밀도, 공감도, 긍정도와 같은 사회감성을 인식하기 위한 얼굴의 미세 움직임을 분석하는 것이다. 76명의 피험자를 대상으로 상기 사회감성을 유발하는 자극을 제시하였고 카메라를 사용하여 얼굴 표정을 측정하였다. 결론적으로 친밀함, 공감도, 긍정도의 사회 감성에서 얼굴의 미세움직임이 다르게 나타났다. 총 44개의 얼굴 근육 중 3개의 무의식 근육과 18개의 의식 근육의 움직임 양을 추출한 후, 고속푸리에변환(Fast Fourier Tranform, FFT)을 통하여 (Dominant) Frequency 대역을 확인하였다. 독립 t-검정 결과, 친밀도 상황에서는 코 주변과 볼 주변 근육, 공감도 상황에서는 입 주변 근육, 긍정도 상황에서는 턱 주변 근육에서 유의한 차이를 보였다. 이는 애니메이션의 가상 아바타 등 얼굴 표정의 새로운 표현요소를 제안하고 근육에 따른 사회감성 인식의 기초 연구로서 활용 가능할 것으로 사료 된다.
얼굴 표정은 상호간의 소통에 있어 중요한 의미를 갖는다. 얼굴 근육의 움직임은 감성 정보를 제공하는데, 이는 사회적 관계를 향상하는 데 중요한 역할을 한다. 그러나 얼굴의 단순 움직임만으로는 복잡한 사회 감성을 인식하기에 정확하지 않다. 본 연구의 목적은 친밀도, 공감도, 긍정도와 같은 사회감성을 인식하기 위한 얼굴의 미세 움직임을 분석하는 것이다. 76명의 피험자를 대상으로 상기 사회감성을 유발하는 자극을 제시하였고 카메라를 사용하여 얼굴 표정을 측정하였다. 결론적으로 친밀함, 공감도, 긍정도의 사회 감성에서 얼굴의 미세움직임이 다르게 나타났다. 총 44개의 얼굴 근육 중 3개의 무의식 근육과 18개의 의식 근육의 움직임 양을 추출한 후, 고속푸리에변환(Fast Fourier Tranform, FFT)을 통하여 (Dominant) Frequency 대역을 확인하였다. 독립 t-검정 결과, 친밀도 상황에서는 코 주변과 볼 주변 근육, 공감도 상황에서는 입 주변 근육, 긍정도 상황에서는 턱 주변 근육에서 유의한 차이를 보였다. 이는 애니메이션의 가상 아바타 등 얼굴 표정의 새로운 표현요소를 제안하고 근육에 따른 사회감성 인식의 기초 연구로서 활용 가능할 것으로 사료 된다.
Facial expression is important factor on social interaction. Facial muscle movement provides emotion information to develop social network. However, facial movement has less determined to recognize social emotion. This study is to analyze facial micro-movements and to recognize the social emotion su...
Facial expression is important factor on social interaction. Facial muscle movement provides emotion information to develop social network. However, facial movement has less determined to recognize social emotion. This study is to analyze facial micro-movements and to recognize the social emotion such as intimacy, empathy, and valence. 76 university students were presented to the stimuli for social emotions and was measure their facial expression using camera. As a results, facial micro-movement. showed significant difference of social emotion. After extracting the movement amount of 3 unconscious muscles and 18 conscious muscles, Dominant Frequency band was confirmed. While muscle around the nose and cheek showed significant difference in the intimacy, one around mouth did in the empathy and one around jaw in the valence. The results proposed new facial movement to express social emotion in virtual avatars and to recognize social emotion.
Facial expression is important factor on social interaction. Facial muscle movement provides emotion information to develop social network. However, facial movement has less determined to recognize social emotion. This study is to analyze facial micro-movements and to recognize the social emotion such as intimacy, empathy, and valence. 76 university students were presented to the stimuli for social emotions and was measure their facial expression using camera. As a results, facial micro-movement. showed significant difference of social emotion. After extracting the movement amount of 3 unconscious muscles and 18 conscious muscles, Dominant Frequency band was confirmed. While muscle around the nose and cheek showed significant difference in the intimacy, one around mouth did in the empathy and one around jaw in the valence. The results proposed new facial movement to express social emotion in virtual avatars and to recognize social emotion.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그렇기 때문에 정적인 사진이 아닌 움직이는 얼굴의 구간별 표정을 보는 것은 상대방의 감성을 인지하는 데에 있어 중요하다. 따라서 본 연구에서는 각 사회감성(친밀도, 공감도, 긍정도)의 표정 생성, 유지, 소멸 별 로 어떠한 차이가 있는지 확인하였다.
따라서 본 연구에서는 친밀도(Intimacy), 공감도(Empathy), 긍정도(Valence)의 감성에 따른 얼굴 근육의 미세한 움직임 반응 차이를 확인하고자 한다. 구체적으로 얼굴 표정을 좀 더 세분하게 나누어 확인하기 위해 얼굴 표정의 생성, 유지, 소멸 세 구간으로 나누어 확인하였다.
본 연구는 사회감성(친밀도, 공감도, 긍정도)에 따른 얼굴 근육의 미세한 움직임(Dominant Frequency) 의 차이에 관하여 연구하였다. Ekman(1984)의 연구에 따르면 감성을 나타내는 얼굴 표정은 생성(onset), 유지(apex), 소멸(offset)을 포함한다[16].
0을 사용하여 친밀도, 공감도, 긍정도의 각 집단 간의 차이를 확인하기 위해 독립 t-검정을 시행하였다. 본 연구에서는 친밀도, 공감도, 긍정도에 따른 근육 별 생성 유지 소멸의 차이를 알아보고자 했기 때문에 각 사회감성(친밀도, 공감도, 긍정도) 에 따른 기본 감성의 차이는 보지 않았다.
제안 방법
설정된 근육 영역에서 Centroid를 정하고 해당 움직임 정보를 취득 하였으며, 움직임의 정보는 현재 frame과 다음 frame 간의 차이 값을 통해 움직임의 양을 추출하였다. Centroid 움직임 정보는 LX, LY, RX, RY 값으로 나뉘어 추출하였다. LX, LY는 얼굴 왼쪽의 Centroid X, Centroid Y값, RX, RY는 얼굴 오른쪽의 Centroid X, Centroid Y값을 의미한다.
따라서 본 연구에서는 친밀도(Intimacy), 공감도(Empathy), 긍정도(Valence)의 감성에 따른 얼굴 근육의 미세한 움직임 반응 차이를 확인하고자 한다. 구체적으로 얼굴 표정을 좀 더 세분하게 나누어 확인하기 위해 얼굴 표정의 생성, 유지, 소멸 세 구간으로 나누어 확인하였다.
또한 다른 사람의 정서를 느낌으로서 잠재적 기회나 위협에 효과적인 대처가 가능하다[10]. 따라서 첫 번째 감성을 공감도로 선택하였다. 감성 모델링에 관한 연구들 중에서는 사회적 관계에 따라 타인과의 거리나 관계 정도가 약하고 강함을 구분하여 모델링하거나, 타인과 친하고 가까운 정도를 기준으로 친밀도 및 다른 감성을 모델링한 연구들이 있다[11][12].
또한 추출된 근육 기반 얼굴 움직임 데이터를 6 가지의 기본 감성으로 나눈 후, 표정생성(Onset), 유지(Apex), 소멸(Offset) 3 구간으로 나누었으며 이는 [그림 3]과 같다.
긍정도의 경우 면 대 면 상황에서 Happy 표정을 따라하는 경우를 긍정, Anger 표정을 따라하는 경우를 부정으로 정의하였다. 마지막으로 공감도의 경우 스크린 상황에서의 Leader의 표정을 따라하는(Imitation) Follower를 상대방의 표정의 공감하는 상황, 혼자서 표정을 짓는(Self-expression) Follower의 표정은 공감하지 않는 상황으로 정의하여 두 사람의 표정을 비교한다.
설정된 근육 영역에서 Centroid를 정하고 해당 움직임 정보를 취득 하였으며, 움직임의 정보는 현재 frame과 다음 frame 간의 차이 값을 통해 움직임의 양을 추출하였다. Centroid 움직임 정보는 LX, LY, RX, RY 값으로 나뉘어 추출하였다.
얼굴의 눈, 코, 입, 눈썹, 볼, 코 등 137개의 Vertex를 가진 3D Model 인 visage|SDK(Visage Technologies AB 2008)기반으로 트래킹한 후, 얼굴 근육 12개를 Vertex에 맵핑하여 근육 영역을 설정하였다. 설정한 근육은 [그림 2]와 같다.
LX, LY는 얼굴 왼쪽의 Centroid X, Centroid Y값, RX, RY는 얼굴 오른쪽의 Centroid X, Centroid Y값을 의미한다. 얼굴의 왼쪽 오른쪽 영역으로 나눠지지 않는 눈살근, 입둘레근, 턱끝근의 경우에는 하나의 Centroid X, Centroid Y값으로 추출하였다. 이러한 움직임 데이터를 고속푸리에변환(Fast Fourier Tranform, FFT)을 통하여 각 얼굴 움직임 정보에서 우세한 (Dominant) Frequency 대역을 추출하였다.
감성 모델링에 관한 연구들 중에서는 사회적 관계에 따라 타인과의 거리나 관계 정도가 약하고 강함을 구분하여 모델링하거나, 타인과 친하고 가까운 정도를 기준으로 친밀도 및 다른 감성을 모델링한 연구들이 있다[11][12]. 이러한 연구를 바탕으로 본 연구에서는 타인과 친한지, 친하지 않은지 정도를 나타낸 친밀도를 두 번째 감성으로 선정하였다. Russell(1980)의 연구에 의하면 감성은 긍정과 부정, 쾌 불쾌의 차원적 해석을 진행한다[13].
얼굴의 왼쪽 오른쪽 영역으로 나눠지지 않는 눈살근, 입둘레근, 턱끝근의 경우에는 하나의 Centroid X, Centroid Y값으로 추출하였다. 이러한 움직임 데이터를 고속푸리에변환(Fast Fourier Tranform, FFT)을 통하여 각 얼굴 움직임 정보에서 우세한 (Dominant) Frequency 대역을 추출하였다. 식은 다음과 같다.
대상 데이터
본 연구에 참여한 피실험자는 각 총 72명(남 36, 평균 나이 23.03세 ± 3.27)을 대상으로 실험을 진행 하였다.
데이터처리
SPSS 17.0을 사용하여 친밀도, 공감도, 긍정도의 각 집단 간의 차이를 확인하기 위해 독립 t-검정을 시행하였다. 본 연구에서는 친밀도, 공감도, 긍정도에 따른 근육 별 생성 유지 소멸의 차이를 알아보고자 했기 때문에 각 사회감성(친밀도, 공감도, 긍정도) 에 따른 기본 감성의 차이는 보지 않았다.
이론/모형
각 Task의 자극으로 Ekman의 6 Basic Emotion인 공포(Fear), 혐오 (Disgust), 화남(Anger), 슬픔(Sad), 놀람(Surprise), 행복(Happy)과 웃음(Smile)의 7 개의 얼굴 표정 이미지가 사용되었다. 각 피험자는 6 basic emotion의 얼굴 이미지를 순서대로 보고 표정을 먼저 따라하는 Leader와 Leader의 표정을 보고 따라하는 Follower로 나눈다.
성능/효과
따라서 본 연구에서는 타인과의 인터렉션 시에 발생할 수 있는 감성 중 공감도(Empathy), 친밀도(Intimacy), 긍정도(Valence) 의 감성에 따른 얼굴 근육의 미세 움직임을 확인하였다.
이는 무의식적으로 상대방에게 공감하는 긍정적인 반응일 때 눈썹주름근이 올라가는 연구결과에서처럼 상대방과 공감할 때 눈썹주름근에서 차이가 있는 것으로 해석할 수 있다[7]. 마지막으로 긍정도에서는 볼과 턱 주변의 근육에서 미세움직임의 차이가 나타났다. 긍 부정의 감성 차원을 결정하는 대다수의 연구들에서 큰 광대근은 긍, 부정 감성 차원에 영향을 미치는 근육이다[20].
마지막으로 소멸 구간에서 왼쪽 입꼬리내림근(t (142) = 0.460 , p = 0.009), 눈썹주름근(t (142) = 2.340 , p = 0.021), 눈둘레근(t (142) = 2.193 , p = 0.030), 큰광 대근(t (142) = 1.990 , p = 0.049)의 Centroid X, 입꼬리 내림근(t (142) = 2.637 , p = 0.009), 큰광대근(t (142) = 2.427 , p = 0.016)의 Centroid Y, 오른쪽 위입술코방울 올림근(t (142) = 2.637 , p = 0.009), 입꼬리내림근(t (142) = 2.055 , p = 0.042), 큰광대근의 Centroid X(t (142) = 2.584 , p = 0.011), 눈살근의 X, Y가 유의미한 차이를 보였다 (p < 0.05).
마지막으로 소멸 구간에서 입둘레근(t (142) = -2.215 , p = 0.028)과 턱끝근(t (142) = -1.997 , p = 0.048)의 Centroid X가 유의미한 차이를 보였다 (p < .05).
27)을 대상으로 실험을 진행 하였다. 모든 피험자에게 실험에 대한 대략적인 사항에 대해 설명하였으며, 실험 전날 충분한 수면을 통해 실험 당일 피로를 최소화 하였다. 또한 참여도를 높이기 위하여 소정의 금액을 지급하였다.
후속연구
이러한 연구결과를 통해 향후 근육기반으로 사회감성을 인식할 수 있는 사회감성 표정 인식 시스템의 기초 연구로 활용 가능 할 것이다. 또한 각 사회감성(친밀도, 공감도, 긍정도)에 따라 차이가 나는 얼굴 근육을 가상 아바타, 영화 캐릭터, 게임 등에 적용한다면 더욱 정교하고 실재감 있는 표현요소로서 활용 가능할 것으로 사료된다.
하지만 근육의 움직임 양 뿐만 아니라 근육의 움직임 속도나 시간 등을 추후 연구한다면 보다 실감적인 표현 요소로써 적용할 수 있을 것이다. 또한 친밀도, 공감도, 긍정도와의 사회감성 간의 상호작용 효과를 고려하여 친밀도에서의 행복 표정, 공감도에서의 행복 표정, 긍정도에서의 행복 표정이 각 각 어떻게 다른지에 관한 연구를 진행한다면 어떠한 근육이 각 사회감성을 구분 지을 수 있을 지도 가능할 것이다.
이는 두 사람의 인터렉션에 따른 근육의 미세움직임 차이를 확인한 연구로 고차원 얼굴 표현 기술 및 감성 인식의 기초연구로써 활용 가능할 것으로 사료된다.
이러한 연구결과를 통해 향후 근육기반으로 사회감성을 인식할 수 있는 사회감성 표정 인식 시스템의 기초 연구로 활용 가능 할 것이다. 또한 각 사회감성(친밀도, 공감도, 긍정도)에 따라 차이가 나는 얼굴 근육을 가상 아바타, 영화 캐릭터, 게임 등에 적용한다면 더욱 정교하고 실재감 있는 표현요소로서 활용 가능할 것으로 사료된다.
하지만 근육의 움직임 양 뿐만 아니라 근육의 움직임 속도나 시간 등을 추후 연구한다면 보다 실감적인 표현 요소로써 적용할 수 있을 것이다. 또한 친밀도, 공감도, 긍정도와의 사회감성 간의 상호작용 효과를 고려하여 친밀도에서의 행복 표정, 공감도에서의 행복 표정, 긍정도에서의 행복 표정이 각 각 어떻게 다른지에 관한 연구를 진행한다면 어떠한 근육이 각 사회감성을 구분 지을 수 있을 지도 가능할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
인간은 언어에 의해서만 의사소통을 하는 존재가 아니라는 뜻은 무엇인가?
Birdwhistell(2010)은 전체커뮤니케이션의 65% 이상이 비언어적 형태로 전달되는 것으로 인간은 언어에 의해서만 의사소통을 하는 존재가 아니라고 설명한다[1]. 즉, 의사 전달 시 비언어적 표현 수단이 언어적 표현 수단 보다 더 많이 사용된다. 그 중에서도 인간의 얼굴은 개개인을 구분할 수 있는 신체 부위이자 정서의 내적 상태를 이해하는 주요한 커뮤니케이션 수단이다[2].
얼굴 근육의 움직임은 무엇을 제공하는가?
얼굴 표정은 상호간의 소통에 있어 중요한 의미를 갖는다. 얼굴 근육의 움직임은 감성 정보를 제공하는데, 이는 사회적 관계를 향상하는 데 중요한 역할을 한다. 그러나 얼굴의 단순 움직임만으로는 복잡한 사회 감성을 인식하기에 정확하지 않다.
인간의 얼굴은 어떤 수단인가?
즉, 의사 전달 시 비언어적 표현 수단이 언어적 표현 수단 보다 더 많이 사용된다. 그 중에서도 인간의 얼굴은 개개인을 구분할 수 있는 신체 부위이자 정서의 내적 상태를 이해하는 주요한 커뮤니케이션 수단이다[2].
참고문헌 (20)
R. L. Birdwhistell, Kinesics and context: Essays on body motion communication, University of Pennsylvania press, 2010.
F. I. Parke and K. Waters, Computer facial animation, CRC Press, 2008.
G. D. de Boulogne and R. A. Cuthbertson, The mechanism of human facial expression, Cambridge university press, 1990.
P. Ekman, W. V. Friesen, M. O'Sullivan, A. Chan, I. Diacoyanni-Tarlatzis, K. Heider, R. Krause, W. A. LeCompte, T. Pitcairn, and P. E. Ricci-Bitti, "Universals and cultural differences in the judgments of facial expressions of emotion," J. Pers. Soc. Psychol., Vol.53, No.4, p.712, 1987.
S. Porter, L. Ten Brinke, and B. Wallace, "Secrets and lies: Involuntary leakage in deceptive facial expressions as a function of emotional intensity," J. Nonverbal Behav., Vol.36, No.1, pp.23-37, 2012.
P. Ekman, "Lie catching and microexpressions," The philosophy of deception, pp.118-133, 2009.
U. Dimberg, M. Thunberg, and K. Elmehed, "Unconscious facial reactions to emotional facial expressions," Psychol. Sci., Vol.11, No.1, pp.86-89, 2000(1).
M. Schulte-Ruther, H. J. Markowitsch, G. R. Fink, and M. Piefke, "Mirror neuron and theory of mind mechanisms involved in face-to-face interactions: a functional magnetic resonance imaging approach to empathy," J. Cogn. Neurosci., Vol.19, No.8, pp.1354-1372, 2007.
M. B. Holbrook and R. Batra, "Assessing the role of emotions as mediators of consumer responses to advertising," Journal of consumer research, pp.404-420, 1987.
B. E. Wexler, S. Warrenburg, G. E. Schwartz, and L. D. Janer, "EEG and EMG responses to emotion-evoking stimuli processed without conscious awareness," Neuropsychologia, Vol.30, No.12, pp.1065-1079, 1992.
P. Ekman, "Expression and the nature of emotion," Approaches to emotion, Vol.3, pp.19-344, 1984.
M. Argyle and J. Dean, "Eye-contact, distance and affiliation," Sociometry, pp.289-304, 1965.
U. Hess, M. G. Beaupre, and N. Cheung, "Who to whom and why-cultural differences and similarities in the function of smiles," An empirical reflection on the smile, Vol.4, p.187, 2002.
L. M. Coutts and F. W. Schneider, "Affiliative conflict theory: An investigation of the intimacy equilibrium and compensation hypothesis," J. Pers. Soc. Psychol., Vol.34, No.6, p.1135, 1976.
P. Winkielman and J. T. Cacioppo, "Mind at ease puts a smile on the face: psychophysiological evidence that processing facilitation elicits positive affect," J. Pers. Soc. Psychol., Vol.81, No.6, p.989, 2001.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.