본 연구에서는 감성 변화에 따라 나타나는 얼굴 표정에 대한 해부학적 접근방식으로 근육 체계에 의해서 부호화하는 얼굴 움직임 부호화 시스템(FACS, Facial Action Coding System)을 얼굴표정에 적용하고 이를 바탕으로 듀센스마일(Duchenne smile)을 가상 캐릭터에 적용하여 검증해 보고자 한다. 인간의 표정을 인식하는 방식이 동일하게 가상의 캐릭터에도 적용된다는 선행연구를 바탕으로 애니메이션, 게임 등의 캐릭터에 보다 사실적인 표정을 담을 수 있는 연구 방식을 제안하고자 한다. 실험을 위해 훈련된 연극전공 학생들에게 정서 유발 실험을 통해 듀센 스마일과 일반 스마일을 추출하였다. 추출된 표정을 바탕으로 얼굴 근육 데이터를 표집하여 입과 입술주변의 근육과 다른 부위의 얼굴 표정 빈도를 산출하여 얻어진 데이터를 가상 캐릭터에 적용해 보았다. 그 결과 미소 표정에서 근육의 움직임은 협골 대근육의 수축으로 인한 입술 끝이 상향운동을 하며 안륜근이 수축하며 뺨이 올라가고 눈의 아래쪽 외측 눈꺼풀이 올라가는 표정이 나타났다. 개방성과 관련된 입주변 근육(AU25, AU26, AU27)과 코주위 근육(AU9)이 함께 협골근과 광대근 주변 근육의 움직임이 표현되었다. 그중 듀센 미소는 협골 대근육과 안륜근이 동시에 움직이는 형태로 발생되었다. 이를 바탕으로 본인의 의지에 의해 수행 가능한 광대근육과 감성적 정서에 공감하여 웃음의 형태로 나타나는 안륜근을 구분하고 이를 가상의 캐릭터의 근육에 적용하여 인간의 표정과 가상의 캐릭터 표정이 서로 구분 가능한지를 설문을 통해 알아보고자 하였다.
본 연구에서는 감성 변화에 따라 나타나는 얼굴 표정에 대한 해부학적 접근방식으로 근육 체계에 의해서 부호화하는 얼굴 움직임 부호화 시스템(FACS, Facial Action Coding System)을 얼굴표정에 적용하고 이를 바탕으로 듀센스마일(Duchenne smile)을 가상 캐릭터에 적용하여 검증해 보고자 한다. 인간의 표정을 인식하는 방식이 동일하게 가상의 캐릭터에도 적용된다는 선행연구를 바탕으로 애니메이션, 게임 등의 캐릭터에 보다 사실적인 표정을 담을 수 있는 연구 방식을 제안하고자 한다. 실험을 위해 훈련된 연극전공 학생들에게 정서 유발 실험을 통해 듀센 스마일과 일반 스마일을 추출하였다. 추출된 표정을 바탕으로 얼굴 근육 데이터를 표집하여 입과 입술주변의 근육과 다른 부위의 얼굴 표정 빈도를 산출하여 얻어진 데이터를 가상 캐릭터에 적용해 보았다. 그 결과 미소 표정에서 근육의 움직임은 협골 대근육의 수축으로 인한 입술 끝이 상향운동을 하며 안륜근이 수축하며 뺨이 올라가고 눈의 아래쪽 외측 눈꺼풀이 올라가는 표정이 나타났다. 개방성과 관련된 입주변 근육(AU25, AU26, AU27)과 코주위 근육(AU9)이 함께 협골근과 광대근 주변 근육의 움직임이 표현되었다. 그중 듀센 미소는 협골 대근육과 안륜근이 동시에 움직이는 형태로 발생되었다. 이를 바탕으로 본인의 의지에 의해 수행 가능한 광대근육과 감성적 정서에 공감하여 웃음의 형태로 나타나는 안륜근을 구분하고 이를 가상의 캐릭터의 근육에 적용하여 인간의 표정과 가상의 캐릭터 표정이 서로 구분 가능한지를 설문을 통해 알아보고자 하였다.
In this study, we apply the facial Facial Action Coding System for coding the muscular system anatomical approach facial expressions to be displayed in response to a change in sensitivity. To verify by applying the virtual character the Duchenne smile to the original. I extracted the Duchenne smile ...
In this study, we apply the facial Facial Action Coding System for coding the muscular system anatomical approach facial expressions to be displayed in response to a change in sensitivity. To verify by applying the virtual character the Duchenne smile to the original. I extracted the Duchenne smile by inducing experiment of emotion (man 2, woman 2) and the movie theater department students trained for the experiment. Based on the expression that has been extracted, I collect the data of the facial muscles. Calculates the frequency of expression of the face and other parts of the body muscles around the mouth and lips, to be applied to the virtual character of the data. Orbicularis muscle to contract end of lips due to shrinkage of the Zygomatic Major is a upward movement, cheek goes up, the movement of the muscles, facial expressions appear the outer eyelid under the eye goes up with a look of smile. Muscle movement of large muscle and surrounding Zygomatic Major is observed together (AU9) muscles around the nose and (AU25, AU26, AU27) muscles around the mouth associated with openness. Duchen smile occurred in the form of Orbicularis Oculi and Zygomatic Major moves at the same time. Based on this, by separating the orbicularis muscle that is displayed in the form of laughter and sympathy to emotional feelings and viable large muscle by the will of the person, by applying to the character of the virtual, and expression of human I try to examine expression of the virtual character's ability to distinguish.
In this study, we apply the facial Facial Action Coding System for coding the muscular system anatomical approach facial expressions to be displayed in response to a change in sensitivity. To verify by applying the virtual character the Duchenne smile to the original. I extracted the Duchenne smile by inducing experiment of emotion (man 2, woman 2) and the movie theater department students trained for the experiment. Based on the expression that has been extracted, I collect the data of the facial muscles. Calculates the frequency of expression of the face and other parts of the body muscles around the mouth and lips, to be applied to the virtual character of the data. Orbicularis muscle to contract end of lips due to shrinkage of the Zygomatic Major is a upward movement, cheek goes up, the movement of the muscles, facial expressions appear the outer eyelid under the eye goes up with a look of smile. Muscle movement of large muscle and surrounding Zygomatic Major is observed together (AU9) muscles around the nose and (AU25, AU26, AU27) muscles around the mouth associated with openness. Duchen smile occurred in the form of Orbicularis Oculi and Zygomatic Major moves at the same time. Based on this, by separating the orbicularis muscle that is displayed in the form of laughter and sympathy to emotional feelings and viable large muscle by the will of the person, by applying to the character of the virtual, and expression of human I try to examine expression of the virtual character's ability to distinguish.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
3) 이와 같이 다양한 형식의 미소가 있으나 현재 캐릭터에 표현되는 미소는 겉으로 보여지는 외형적인 미소에 그치고 있다. 따라서 본 논문은 다윈이 주장한 보편적 정서 아래에서 긍정적인 정서를 표현하는 미소와 불쾌한 상태에서도 의도적으로 표현되는 미소의 특징을 찾아낸 듀센의 연구를 바탕으로 가상의 캐릭터에 미소를 대입하여 외형적 특징과 함께 내면적 요소를 표현하는 방식을 제안하고자 한다.
그 중 얼굴표정을 통해 시각적 방법으로 감성을 파악하는 가장 대표적인 방법은 얼굴의 움직임을 측정하여 부호화하는 방식이다. 본 연구는 연기를 전문으로 하는 학생의 감성 표정 중 긍정적 미소와 부정적 미소의 표정을 추출하여 분석하고 이를 가상 캐릭터에 적용하여 보다 정교한 표현을 찾고 이를 설문조사하여 검증하고자 한다. 본 연구의 구성은 다음과 같다 선행 연구로 얼굴 감정인식 방법의 대표적인 방식인 얼굴 움직임 부호화 시스템과 표정을 만드는 얼굴의 주요 근육에 대하여 알아본다.
본 연구는 인간 표정에 나타나는 감성기호들을 범주화할 수 있다는 것을 증명한 기존 연구를 바탕으로 듀센에 의해 분류된 미소를 가상의 캐릭터와 연계하여 증명하고자 하였다. 연구결과는 인간이 얻는 미소의 표현을 가상의 캐릭터에 동일하게 적용될 경우 미묘한 근육의 움직임을 인간과 가상의 캐릭터에서 동일하게 파악 할 수 있는 것으로 나타났다.
본 연구에서는 긍정적 정서 유발 조건과 부정적 정서 유발 조건하에서 미소 연기를 추출하여 이를 구분하는 실험을 설계하였다. 피실험자는 표정연기 능력을 검증받은 평균연령 24세의 연기전공자(남: 4명, 여:4명)를 섭외하였다.
본 연구는 연기를 전문으로 하는 학생의 감성 표정 중 긍정적 미소와 부정적 미소의 표정을 추출하여 분석하고 이를 가상 캐릭터에 적용하여 보다 정교한 표현을 찾고 이를 설문조사하여 검증하고자 한다. 본 연구의 구성은 다음과 같다 선행 연구로 얼굴 감정인식 방법의 대표적인 방식인 얼굴 움직임 부호화 시스템과 표정을 만드는 얼굴의 주요 근육에 대하여 알아본다. 선행 연구를 바탕으로 긍정적과 부정적 정서유발 후의 연기자의 미소를 촬영하여 표정의 3D 대응점을 생성 설계하고 이를 바탕으로 가상캐릭터를 제작하여 설문을 통해 검증 하고자 한다.
실험 후 수집된 자료는 미소 행동의 출현 빈도와 표준 편차를 산출하고, 미소 행동이 출현했을 때 자주 출현되는 미소 얼굴 움직임을 모두 관찰하여 자주 관찰된 얼굴 행위의 출현 빈도의 평균 표준편차를 산출하였다. 실험의 주목적은 듀센 미소 유형으로 분류된 미소 행동과 듀센 미소가 아닌 기타 미소 유형으로 분류된 미소 행동들에 대해서 각 지속 시간의 평균과 표준 편차를 산출하는 것이었다.
가설 설정
그러나 사실적인 얼굴 표정의 표현에서 주의해야 할 점은 인간과의 유사도가 높아지면 높아질수록 호감도는 상승하지만, 인간과의 차이를 느끼지 못할 정도의 수준에 이르기 직전에 극복해야 할 언캐니밸리(uncanny valley)가 존재한다는 것이다.14) 가상의 캐릭터로 표현된 표정이 인간보다 더 인간적인 극 사실적 캐릭터로 발전한다면 부정적인 감성적 반응인 나타날 수 있다. 그러하기에 추후 연구될 캐릭터의 외형적 표정 표현 요소는 가상캐릭터가 캐릭터로서의 특성을 갖추어 상호 교감할 수 있는 요소가 가미됨과 동시에 캐릭터의 내면적 요인과 외면적 요인의 관계성을 동일시하는 작업이 선행되어야할 것이다.
제안 방법
3D 얼굴 모델 생성 단계에서는 Face Machine에서 사용된 3D 얼굴 데이터를 사용하여 폴리곤 메쉬를 분할하고 Skin Shader를 적용하여 얼굴을 모델링하였다. 실제 사람 얼굴의 근육 모델과 연기자의 미소근육을 참고하여 가상캐릭터의 얼굴 모형에 적용시켰고, 미소 표정 생성 단계에서는 AU(Action Unit)의 조합으로 얼굴 표정을 나타내고 가상 캐릭터의 근육의 강도를 조절하여 표정을 만들어 낸다.
가상 캐릭터의 FACS의 AU조합 측면을 분석하여 미소 표정패턴을 구축하였고 기본표정의 3D캐릭터에 감정차원에 따라 변화된 3D캐릭터를 오버랩하여 표정 근육별 근육운동의 변화와 움직임을 분석하였다. 각 감정을 표현할 때 변화하는 표정을 패턴화하기 위한 FACS이론에 근거하여 AU조합을 통하여 표정변화를 데이터베이스화하기 위함이다.
이후, 입력 2D 이미지 시퀀스로부터 얼굴의 특징점들을 추출하고 매칭(matching)하여 특징 점들의 3D좌표를 적절하게 적용한다. 구축된 3D 변형 형상 모델이 구한 3D의 점, 선, 면을 잘 정합되도록 3D 변형 가능 형상 모델을 조정하여 얼굴의 3D 형상 모델을 얻었다.
본 연구를 위한 실험 장소는 외부와의 소음이 밀폐된 공간 상태에서 진행되었다. 긍정, 부정적 기저를 제공하기 위해서 피실험자가 시청하기에 적당한 정면 45도 각도에 대형 스크린을 장착하였으며 피실험자의 표정을 관찰하기 위해 HD급 카메라 한 대를 정면에 설치하였다. 가상 캐릭터 제작과 감성 측정의 정확성을 위해 측면에도 HD급 카메라 한 대를 추가 설치하였다.
본 연구의 구성은 다음과 같다 선행 연구로 얼굴 감정인식 방법의 대표적인 방식인 얼굴 움직임 부호화 시스템과 표정을 만드는 얼굴의 주요 근육에 대하여 알아본다. 선행 연구를 바탕으로 긍정적과 부정적 정서유발 후의 연기자의 미소를 촬영하여 표정의 3D 대응점을 생성 설계하고 이를 바탕으로 가상캐릭터를 제작하여 설문을 통해 검증 하고자 한다.
이렇게 수집 된 영상을 3D 프로그램을 이용해서 가상의 캐릭터로 재가공하였다. 수집된 영상의 표정 정보는 가상의 캐릭터로 재가공하여 일반인 40명에게 보여주고 영상과 가상캐릭터 사이의 표정을 구분할 수 있는지를 조사하였다. 40명의 설문 대상자들에게 연기자가 연기한 표정연기와 연기자의 표정연기를 바탕으로 재가공한 가상의 캐릭터를 구분하는 설문지를 배포한 후 즉각 대답하도록 하였고 이는 너무 오랜 시간동안 표정을 보는 것보다 짧은 시간만 보는 것이 감정 인식에서 더욱 의미가 있기 때문이다.
피실험자는 표정연기 능력을 검증받은 평균연령 24세의 연기전공자(남: 4명, 여:4명)를 섭외하였다. 실험 순서는 참고영상 세션(Reference), 휴식(Rest), 연기 세션(Practice)으로 나누었고 1차 실험은 긍정적 기저 레퍼런스 40초, 휴식 20초, 연기 10초의 순서로 연기자에게 주어진 긍정적 정서유발 조건하에 미소 표정을 5회 반복 실시하였다. 2차 실험은 1차 실험과 동일한 조건하에서 진행하였으며, 자극은 부정적 정서 유발 조건하에서 미소를 강요하였다.
가상캐릭터 제작은 폴리곤(Polygon) 방식을 사용하였고, 3D 얼굴모델링에 키프레임 방법을 사용하여 애니메이션의 정교함을 높였다. 실험실에서 취득한 남, 녀 8명의 정면, 측면의 표정을 바탕으로 3D 대응점(3D Dense Points)에 적용하여 매칭하는 방식으로 미소표정을 재구성 하였다. 연기자를 통해서 얻어진 표정의 특징점들을 Face Machine의 넙스 방식의 마스크를 이용하여 FACS의 AUs(Action Units)를 재구성하고 이를 바탕으로 입력된 표정상태를 파악하여 3D 모델을 변형하였다.
실험은 긍정적 정서 유발 조건을 먼저 제시한 후 부정적 정서유발 조건을 제시하였다. 이러한 진행 순서는 부정적 정서 유발조건에 의해 야기된 부정적 정서가 긍정적 정서 유발 조건에서 야기된 긍정적 정서보다 더 오래 지속되는 경향이 있다는 Ekman의 1988년 논문에 근거하였다.
가상 캐릭터 제작과 감성 측정의 정확성을 위해 측면에도 HD급 카메라 한 대를 추가 설치하였다. 실험자의 모든 행동은 실험실 밖의 HD급 카메라로 관찰 되었으며 정서 유발 조건의 진행과정과 실험자의 얼굴 표정을 관찰하기 위해 얼굴의 정면과 좌측을 녹화하였다. 실험 진행 상황에서 부정적 정서 유발 조건 후 미소 표현 중 실험자가 안정을 취하지 못하는 경우 30분간의 안정을 갖고 2회 이상 반복적으로 불안감이 증폭될 경우 실험을 중단하였다.
실험자의 미소 얼굴 표정을 관찰하기 위하여 1978년에 발표한 Oster의 논문에서 제시한 AU12가 움직이는 순간을 미소의 시작점으로 미소표정을 표집하였다.12) 실험순서가 끝난 후 관찰실 화면을 통해 AU12의 움직임이 파악되는 순간을 시작점으로 잡았고 근육의 이완이 끝나는 시점을 완결로 기록하였다.
실험자의 얼굴 표정에 초점을 두고 촬영한 2대의 HD급 카메라에 녹화된 자료를 컴퓨터에 전환시켜 전면 얼굴 표정을 보여주는 자료에 대해 초당 30프레임 단위로 얼굴 표정의 움직임을 분석하여 결과를 도출하였다. 실험자의 표정을 정확히 얻기 위하여 배경은 녹색바탕을 사용하여 추후 에프터이펙트(After effect)에서 크로마키(Chromakey)를 사용한 방식으로 얼굴표정만을 보다 정밀하게 추출하였다.
실험자의 얼굴 표정에 초점을 두고 촬영한 2대의 HD급 카메라에 녹화된 자료를 컴퓨터에 전환시켜 전면 얼굴 표정을 보여주는 자료에 대해 초당 30프레임 단위로 얼굴 표정의 움직임을 분석하여 결과를 도출하였다. 실험자의 표정을 정확히 얻기 위하여 배경은 녹색바탕을 사용하여 추후 에프터이펙트(After effect)에서 크로마키(Chromakey)를 사용한 방식으로 얼굴표정만을 보다 정밀하게 추출하였다. 이렇게 수집 된 영상을 3D 프로그램을 이용해서 가상의 캐릭터로 재가공하였다.
연기자를 통해서 얻어진 표정의 특징점들을 Face Machine의 넙스 방식의 마스크를 이용하여 FACS의 AUs(Action Units)를 재구성하고 이를 바탕으로 입력된 표정상태를 파악하여 3D 모델을 변형하였다. 아래 3D 가상캐릭터 얼굴표현 시스템 개요도와 같이 3D 얼굴 모델 생성 단계, 근육 모델 적용 단계, AUs의 조합으로 얼굴 표정 생성 단계의 세 부분으로 적용하여 제작하였다.
실험실에서 취득한 남, 녀 8명의 정면, 측면의 표정을 바탕으로 3D 대응점(3D Dense Points)에 적용하여 매칭하는 방식으로 미소표정을 재구성 하였다. 연기자를 통해서 얻어진 표정의 특징점들을 Face Machine의 넙스 방식의 마스크를 이용하여 FACS의 AUs(Action Units)를 재구성하고 이를 바탕으로 입력된 표정상태를 파악하여 3D 모델을 변형하였다. 아래 3D 가상캐릭터 얼굴표현 시스템 개요도와 같이 3D 얼굴 모델 생성 단계, 근육 모델 적용 단계, AUs의 조합으로 얼굴 표정 생성 단계의 세 부분으로 적용하여 제작하였다.
실험자의 표정을 정확히 얻기 위하여 배경은 녹색바탕을 사용하여 추후 에프터이펙트(After effect)에서 크로마키(Chromakey)를 사용한 방식으로 얼굴표정만을 보다 정밀하게 추출하였다. 이렇게 수집 된 영상을 3D 프로그램을 이용해서 가상의 캐릭터로 재가공하였다. 수집된 영상의 표정 정보는 가상의 캐릭터로 재가공하여 일반인 40명에게 보여주고 영상과 가상캐릭터 사이의 표정을 구분할 수 있는지를 조사하였다.
대상 데이터
모든 실험자는 조건마다 약 3분씩 진행되는 두 가지 조건 모두에 참여하게 된다. 본 연구를 위한 실험 장소는 외부와의 소음이 밀폐된 공간 상태에서 진행되었다. 긍정, 부정적 기저를 제공하기 위해서 피실험자가 시청하기에 적당한 정면 45도 각도에 대형 스크린을 장착하였으며 피실험자의 표정을 관찰하기 위해 HD급 카메라 한 대를 정면에 설치하였다.
본 연구에서는 긍정적 정서 유발 조건과 부정적 정서 유발 조건하에서 미소 연기를 추출하여 이를 구분하는 실험을 설계하였다. 피실험자는 표정연기 능력을 검증받은 평균연령 24세의 연기전공자(남: 4명, 여:4명)를 섭외하였다. 실험 순서는 참고영상 세션(Reference), 휴식(Rest), 연기 세션(Practice)으로 나누었고 1차 실험은 긍정적 기저 레퍼런스 40초, 휴식 20초, 연기 10초의 순서로 연기자에게 주어진 긍정적 정서유발 조건하에 미소 표정을 5회 반복 실시하였다.
데이터처리
13) 1차 검증 작업 후 녹화된 자료를 근거로 재합의 과정을 거쳤다. 1차, 2차 검증을 통한 관찰자간의 일치도는 Cohen의 Kappa를 이용한 분류 정확도 측정을 통하여 산출하였다. 미소 유형 범주화에 대한 관찰자간 일치도는 K = .
설문 결과는 정규성 검증 결과 정규성을 따르지 않아 비모수검정인 Mann-Whitney U- Test를 사용하였다. 긍정적 정서 유발후 미소유형과 부정적 정서 유발 후 미소유형의 비교집단보다 통계적으로 유의미하게 유사성을 가지고 있다는 것이 영상과 가상캐릭터를 통해 동시에 증명되었다.
실험 진행 상황에서 부정적 정서 유발 조건 후 미소 표현 중 실험자가 안정을 취하지 못하는 경우 30분간의 안정을 갖고 2회 이상 반복적으로 불안감이 증폭될 경우 실험을 중단하였다. 실험 후 수집된 자료는 미소 행동의 출현 빈도와 표준 편차를 산출하고, 미소 행동이 출현했을 때 자주 출현되는 미소 얼굴 움직임을 모두 관찰하여 자주 관찰된 얼굴 행위의 출현 빈도의 평균 표준편차를 산출하였다. 실험의 주목적은 듀센 미소 유형으로 분류된 미소 행동과 듀센 미소가 아닌 기타 미소 유형으로 분류된 미소 행동들에 대해서 각 지속 시간의 평균과 표준 편차를 산출하는 것이었다.
이론/모형
가상캐릭터 제작은 폴리곤(Polygon) 방식을 사용하였고, 3D 얼굴모델링에 키프레임 방법을 사용하여 애니메이션의 정교함을 높였다. 실험실에서 취득한 남, 녀 8명의 정면, 측면의 표정을 바탕으로 3D 대응점(3D Dense Points)에 적용하여 매칭하는 방식으로 미소표정을 재구성 하였다.
하나는 영상 기반의 얼굴 인식 방법이고 다른 하나는 모델 기반의 얼굴 인식방법이다. 본 연구에서는 미소의 형태학적 차이와 의미를 규명하기 위해서 얼굴표정과 진심의 얼굴 표정에 대한 연결을 사전에 가정하지 않은 채 얼굴 표정을 부호화해줄 수 있는 방식으로 얼굴 움직임 부호화 시스템(FACS, Facial Action Coding System)을 사용하였다.9) Paul Ekman은 FACS를 통해 사람의 표정은 외형, 성별, 나이 등의 요소에 상관 없이 감정에 대하여 공통적인 반응이 나타난다고 보았고 인간의 정서적 범주에 상응하는 얼굴 근육의 움직임을 규정하고 표정에 기반을 둔 개별적인 기본정서를 설명하고자 하였다.
성능/효과
이러한 진행 순서는 부정적 정서 유발조건에 의해 야기된 부정적 정서가 긍정적 정서 유발 조건에서 야기된 긍정적 정서보다 더 오래 지속되는 경향이 있다는 Ekman의 1988년 논문에 근거하였다.11) 두 실험 사이에서의 전이 효과를 최소화하기 각 실험 중간에는 10분간의 휴식시간을 가졌다. 모든 실험자는 조건마다 약 3분씩 진행되는 두 가지 조건 모두에 참여하게 된다.
12) 실험순서가 끝난 후 관찰실 화면을 통해 AU12의 움직임이 파악되는 순간을 시작점으로 잡았고 근육의 이완이 끝나는 시점을 완결로 기록하였다. 실험자에게 자극제시 전에 미소를 보이다가 완전히 사라지기 전에 새로 제시된 자극으로 미소가 반복되는 경우에는 자극을 제시한 시점을 미소의 종결과 시작점으로 설정하였다.
그러나 일반적인 표정과는 달리 미소의 경우 긍정적인 정서상태가 아닌 불쾌한 상황에서도 미소표정이 표현된다는 것을 보고하면서 미소의 정서 표현이 보편적인 것이 아니며 각 문화 특유의 표현으로 나타나는 것이라고 주장되어지고 있다.2) 즉, 부정적 정서상태에서도 사회적 미소, 공손한 미소, 위장된 미소같이 의도적인 미소와 진심이 담겨있는 미소는 서로 다른 형태로 표현된다고 명명하였다.3) 이와 같이 다양한 형식의 미소가 있으나 현재 캐릭터에 표현되는 미소는 겉으로 보여지는 외형적인 미소에 그치고 있다.
2) 즉, 부정적 정서상태에서도 사회적 미소, 공손한 미소, 위장된 미소같이 의도적인 미소와 진심이 담겨있는 미소는 서로 다른 형태로 표현된다고 명명하였다.3) 이와 같이 다양한 형식의 미소가 있으나 현재 캐릭터에 표현되는 미소는 겉으로 보여지는 외형적인 미소에 그치고 있다. 따라서 본 논문은 다윈이 주장한 보편적 정서 아래에서 긍정적인 정서를 표현하는 미소와 불쾌한 상태에서도 의도적으로 표현되는 미소의 특징을 찾아낸 듀센의 연구를 바탕으로 가상의 캐릭터에 미소를 대입하여 외형적 특징과 함께 내면적 요소를 표현하는 방식을 제안하고자 한다.
프랑스 해부학자 듀센은 진정한 기쁨을 표현하는 미소는 얼굴의 협골 대근육(zygomatic major muscle)과 안륜근(orbicularis oculi muscle)의 결합과 수축으로써 표현될 수 있다고 기술하고 있다.5) 얼굴 근육 중 협골 대근육은 자신의 의지에 상관없이 인위적으로 수행이 가능하지만, 안륜근은 뇌를 통한 정서적 자극에 의해서만 작동하며 인위적인 미소를 표현하기 위한 근육의 수축을 유발하지 못한다. 듀센이 제시한 이론은 추후 Ekman, Friesen, Ancoli에 의해서 안륜근은 의도적으로 작동할 수 없다고 검증되었다.
듀센이 제시한 이론은 추후 Ekman, Friesen, Ancoli에 의해서 안륜근은 의도적으로 작동할 수 없다고 검증되었다.6) 즉, 긍정적 정서를 수반하지 않는 조건에서는 듀센 미소가 아닌 다른 미소를 표현한다는 결과들은 미소가 반드시 긍정적 정서를 수반하는 것이 아니라 정서 상태가 독립적으로 표현될 수 있다는 Ekman의 지적을 지지한다고 하겠다.7) 이와 같이 듀센의 미소 연구는 추후 Ekman과 Friesen에 의해 두 근육의 경우 입 가장자리가 광대뼈 쪽으로 당겨 올라가는 협골 대근육과 뺨이 올라가서 눈을 둘러싼 골격의 안쪽으로 주위 피부가 모아지게 되는 안륜근의 변화에 의해 검증, 확인하였다.
긍정적 정서 유발후 미소유형과 부정적 정서 유발 후 미소유형의 비교집단보다 통계적으로 유의미하게 유사성을 가지고 있다는 것이 영상과 가상캐릭터를 통해 동시에 증명되었다. 결과적으로 미소의 경우 웃는 얼굴은 주로 사회적 수단으로 사용되는 표정으로 유의미한 차이가 적거나 차이가 나지 않는 경향을 보였고 이러한 경향은 가상캐릭터에서도 거의 동일하게 나타났다.
설문 결과는 정규성 검증 결과 정규성을 따르지 않아 비모수검정인 Mann-Whitney U- Test를 사용하였다. 긍정적 정서 유발후 미소유형과 부정적 정서 유발 후 미소유형의 비교집단보다 통계적으로 유의미하게 유사성을 가지고 있다는 것이 영상과 가상캐릭터를 통해 동시에 증명되었다. 결과적으로 미소의 경우 웃는 얼굴은 주로 사회적 수단으로 사용되는 표정으로 유의미한 차이가 적거나 차이가 나지 않는 경향을 보였고 이러한 경향은 가상캐릭터에서도 거의 동일하게 나타났다.
연구결과는 인간이 얻는 미소의 표현을 가상의 캐릭터에 동일하게 적용될 경우 미묘한 근육의 움직임을 인간과 가상의 캐릭터에서 동일하게 파악 할 수 있는 것으로 나타났다. 남녀 8명을 통해 얻어진 영상추출을 통해 긍정적 정서유발이 반영된 미소는 AU 6와 AU12의 얼굴 움직임이 나타났다. 반면에 부정적 정서 유발 후 발생된 미소는 AU 6가 나타나지 않거나 미묘하게 나타났고 대부분의 미소는 AU12를 통해 나타났다.
미소 표정은 상향중심의 이완성 근육운동을 주로 보여준다. 눈썹과 눈꺼풀의 이완정도, 입술양끝의 상향운동 정도, 입벌림 크기의 정도에 따라 각기 감정의 표현의 차이가 나타났다. 입을 열었을때 보여지는 표정의 움직임들(AU 0, AU 24, Au25, AU 27)중 입술을 편안하게 다문 상태(AU 0)에서 입술을 편안하게 다문 상태(AU0)에서의 미소는 거의 나타나지 않았으며, 치아가 보일정도로 입술 사이가 벌어지는 정도의 미소가 가장 흔하게 나타났다.
실험자에게 자극제시 전에 미소를 보이다가 완전히 사라지기 전에 새로 제시된 자극으로 미소가 반복되는 경우에는 자극을 제시한 시점을 미소의 종결과 시작점으로 설정하였다. 미소의 발생을 부호화하는데 있어서 미소의 시작과 종결에서 관찰자간의 불일치가 2초보다 적으면 일치한 것으로 계산 되었다.13) 1차 검증 작업 후 녹화된 자료를 근거로 재합의 과정을 거쳤다.
실험을 통해 연기자로부터 얻어진 표정 근육의 움직임과 가상의 캐릭터에 적용한 AUs의 움직임 적용 방식은 아래와 같다. 얼굴의 상부는 눈주위의 안륜근과 전두근의 수축 및 이완정도, 표정근육의 운동방향 등에 따라 큰 영향을 미치는 것을 파악할 수 있었다. 얼굴 하부는 입 주위의 근육으로 입꼬리를 올려주는 대협골근과 아랫입술 내림을 담당하는 하순하제근의 운동방향과 정도가 감정차원을 결정하는데 영향을 미쳤다.
본 연구는 인간 표정에 나타나는 감성기호들을 범주화할 수 있다는 것을 증명한 기존 연구를 바탕으로 듀센에 의해 분류된 미소를 가상의 캐릭터와 연계하여 증명하고자 하였다. 연구결과는 인간이 얻는 미소의 표현을 가상의 캐릭터에 동일하게 적용될 경우 미묘한 근육의 움직임을 인간과 가상의 캐릭터에서 동일하게 파악 할 수 있는 것으로 나타났다. 남녀 8명을 통해 얻어진 영상추출을 통해 긍정적 정서유발이 반영된 미소는 AU 6와 AU12의 얼굴 움직임이 나타났다.
가끔은 AU6 발생없이 AU12가 긍정적 정서의 경우보다 과다하게 표현되었다. 이와 같은 영상의 결과를 3D대응점을 바탕으로 가상 캐릭터에 동일하게 적용 하였고 비교조사 결과 영상과 가상의 캐릭터를 통한 미소의 구분이 유사하게 나타났다. 이와 같이 내면의 작은 표정의 변화를 가상의 캐릭터에 적용해 보는 실험에서 작은 근육의 변화에 의한 미소의 변화를 일반인이 쉽게 구분할 수 있었다.
눈썹과 눈꺼풀의 이완정도, 입술양끝의 상향운동 정도, 입벌림 크기의 정도에 따라 각기 감정의 표현의 차이가 나타났다. 입을 열었을때 보여지는 표정의 움직임들(AU 0, AU 24, Au25, AU 27)중 입술을 편안하게 다문 상태(AU 0)에서 입술을 편안하게 다문 상태(AU0)에서의 미소는 거의 나타나지 않았으며, 치아가 보일정도로 입술 사이가 벌어지는 정도의 미소가 가장 흔하게 나타났다. 부정적 자극에서 발생되는 미소는 AU 9과 AU10의 근육의 변화가 자주 목격되었으며.
AU 15/18/23의 움짐임이 상황/인물에 따라 발생하였다. 특히, 미소짓는 입의 얼굴 행위 단위인 AU 12는 긍정적 정서 유발 조건과 부정적 정서 유발 조건 모두에서 나타났다. 미소 행동이 출현될 때 마다 동시에 나타나는 다른 얼굴 부위의 움직임을 관찰한 결과, 안륜근의 수축으로 일어나는 뺨 올라가고 아래 눈꺼풀이 올라가는 얼굴 움직임(AU 6)이 자주 출현하였다.
후속연구
그러하기에 추후 연구될 캐릭터의 외형적 표정 표현 요소는 가상캐릭터가 캐릭터로서의 특성을 갖추어 상호 교감할 수 있는 요소가 가미됨과 동시에 캐릭터의 내면적 요인과 외면적 요인의 관계성을 동일시하는 작업이 선행되어야할 것이다.15) 즉, 영상의 시각적 묘사가 현실세계와 유사한 정도가 깊어진다면 시각적 정보를 전달하는 정도에 따라 재현 방식을 전달하는 현실적 리얼리즘이 결정되기에 시각적 재현 방식(depiction)16)과 언캐니밸리의 가장 적절한 요소를 찾는 후행 연구가 진행되어야 할 것이다.
14) 가상의 캐릭터로 표현된 표정이 인간보다 더 인간적인 극 사실적 캐릭터로 발전한다면 부정적인 감성적 반응인 나타날 수 있다. 그러하기에 추후 연구될 캐릭터의 외형적 표정 표현 요소는 가상캐릭터가 캐릭터로서의 특성을 갖추어 상호 교감할 수 있는 요소가 가미됨과 동시에 캐릭터의 내면적 요인과 외면적 요인의 관계성을 동일시하는 작업이 선행되어야할 것이다.15) 즉, 영상의 시각적 묘사가 현실세계와 유사한 정도가 깊어진다면 시각적 정보를 전달하는 정도에 따라 재현 방식을 전달하는 현실적 리얼리즘이 결정되기에 시각적 재현 방식(depiction)16)과 언캐니밸리의 가장 적절한 요소를 찾는 후행 연구가 진행되어야 할 것이다.
본 논문은 영상에서 추출한 미소의 표현이 가상 캐릭터에서도 동일시 사람들의 표정의 적용가능하다는 이론적 측면이 연구됨으로써 새로운 기술 개발의 장을 열 수 있게 될 것으로 예상된다. 미세근육의 조절로 효율적인 가상 캐릭터의 감정표현을 위한 표정 표현방식을 쉽게 인지하고 적용할 수 있으며 기술적인 완성도와 표현력이 있는 캐릭터 제작 프로세스에 효율적으로 활용할 수 있으리라고 본다. 추후 정서 표현에 있어서 훈련된 연기자와 훈련받지 않은 일반인과의 구별이 이루어지지 않아 앞으로의 연구에서는 보다 많은 피실험자를 대상으로 하여 좀 더 정확한 변수를 찾아내야 할 것이다.
본 논문은 영상에서 추출한 미소의 표현이 가상 캐릭터에서도 동일시 사람들의 표정의 적용가능하다는 이론적 측면이 연구됨으로써 새로운 기술 개발의 장을 열 수 있게 될 것으로 예상된다. 미세근육의 조절로 효율적인 가상 캐릭터의 감정표현을 위한 표정 표현방식을 쉽게 인지하고 적용할 수 있으며 기술적인 완성도와 표현력이 있는 캐릭터 제작 프로세스에 효율적으로 활용할 수 있으리라고 본다.
이와 같이 내면의 작은 표정의 변화를 가상의 캐릭터에 적용해 보는 실험에서 작은 근육의 변화에 의한 미소의 변화를 일반인이 쉽게 구분할 수 있었다. 앞으로 가상 캐릭터의 활용도가 확대되어감에 따라 효과적인 캐릭터의 동작이나 표정연출에 대한 중요도 또한 더욱 높아질 것으로 예상된다.
추후 정서 표현에 있어서 훈련된 연기자와 훈련받지 않은 일반인과의 구별이 이루어지지 않아 앞으로의 연구에서는 보다 많은 피실험자를 대상으로 하여 좀 더 정확한 변수를 찾아내야 할 것이다. 인간의 표정을 인식하는 방식이 동일하게 가상 캐릭터에도 적용된다는 검증을 바탕으로 우리가 인식하지 못했던 표정을 담아서 콘텐츠에 접목한다면 가상의 캐릭터에 보다 사실적인 표정을 표현할 수 있을 것을 검증 할 수 있을 것으로 기대한다. 그러나 사실적인 얼굴 표정의 표현에서 주의해야 할 점은 인간과의 유사도가 높아지면 높아질수록 호감도는 상승하지만, 인간과의 차이를 느끼지 못할 정도의 수준에 이르기 직전에 극복해야 할 언캐니밸리(uncanny valley)가 존재한다는 것이다.
미세근육의 조절로 효율적인 가상 캐릭터의 감정표현을 위한 표정 표현방식을 쉽게 인지하고 적용할 수 있으며 기술적인 완성도와 표현력이 있는 캐릭터 제작 프로세스에 효율적으로 활용할 수 있으리라고 본다. 추후 정서 표현에 있어서 훈련된 연기자와 훈련받지 않은 일반인과의 구별이 이루어지지 않아 앞으로의 연구에서는 보다 많은 피실험자를 대상으로 하여 좀 더 정확한 변수를 찾아내야 할 것이다. 인간의 표정을 인식하는 방식이 동일하게 가상 캐릭터에도 적용된다는 검증을 바탕으로 우리가 인식하지 못했던 표정을 담아서 콘텐츠에 접목한다면 가상의 캐릭터에 보다 사실적인 표정을 표현할 수 있을 것을 검증 할 수 있을 것으로 기대한다.
질의응답
핵심어
질문
논문에서 추출한 답변
얼굴 움직임 부호화 시스템은 무엇인가?
본 연구에서는 감성 변화에 따라 나타나는 얼굴 표정에 대한 해부학적 접근방식으로 근육 체계에 의해서 부호화하는 얼굴 움직임 부호화 시스템(FACS, Facial Action Coding System)을 얼굴표정에 적용하고 이를 바탕으로 듀센스마일(Duchenne smile)을 가상 캐릭터에 적용하여 검증해 보고자 한다. 인간의 표정을 인식하는 방식이 동일하게 가상의 캐릭터에도 적용된다는 선행연구를 바탕으로 애니메이션, 게임 등의 캐릭터에 보다 사실적인 표정을 담을 수 있는 연구 방식을 제안하고자 한다.
미소란?
얼굴의 표정 중 가장 복합적인 의미를 가지고 있는 요소는 미소라 할 수 있다. 미소는 기쁨이나 즐거움과 같은 내적 경험을 표현할 때 가장 쉽게 인식되는 보편적 얼굴 표정이지만 미소가 표현하는 의미와 관련해서 혼동을 일으키는 대표적인 얼굴 표정 중의 하나이다.4) 기본적으로 미소는 즐거움, 행복감, 환희 등으로 표현할 수 있는 긍정 정서 중의 하나로, 단기간 얼굴 표정에 나타나는 강한 정서이며 행복감을 표현하는 방식이다.
훈련된 연극전공 학생들에게 정서 유발 실험을 통해 듀센 스마일과 일반 스마일을 추출 후 추출된 표정을 바탕으로 가상 캐릭터에 적용해본 결과는?
추출된 표정을 바탕으로 얼굴 근육 데이터를 표집하여 입과 입술주변의 근육과 다른 부위의 얼굴 표정 빈도를 산출하여 얻어진 데이터를 가상 캐릭터에 적용해 보았다. 그 결과 미소 표정에서 근육의 움직임은 협골 대근육의 수축으로 인한 입술 끝이 상향운동을 하며 안륜근이 수축하며 뺨이 올라가고 눈의 아래쪽 외측 눈꺼풀이 올라가는 표정이 나타났다. 개방성과 관련된 입주변 근육(AU25, AU26, AU27)과 코주위 근육(AU9)이 함께 협골근과 광대근 주변 근육의 움직임이 표현되었다. 그중 듀센 미소는 협골 대근육과 안륜근이 동시에 움직이는 형태로 발생되었다. 이를 바탕으로 본인의 의지에 의해 수행 가능한 광대근육과 감성적 정서에 공감하여 웃음의 형태로 나타나는 안륜근을 구분하고 이를 가상의 캐릭터의 근육에 적용하여 인간의 표정과 가상의 캐릭터 표정이 서로 구분 가능한지를 설문을 통해 알아보고자 하였다.
참고문헌 (14)
진중권, 진중권의 이매진, 씨네21북스, 2008.
함선혜, "영상 콘텐츠의 형식적 리얼리즘과 유인가가 수용자의 미적 반응에 미치는 효과", 한국 언론 학보(53권 6호), 2009.
Darwin, C., The expression of the emotions in man and animals, University of Chicago Press, 1965.
Duchenne de Boulogne, G. B. The Mechanism of human facial expression, New York: Cambridge University Press, 1990. (원서: 1862년 출판)
Ekman, P., & Friesen, W., The Facial action coding system, Palo Alto, CA: Consulting Psychologists Press, 1978.
Ekman, P., & Friesen, W., Felt, False, and miserable smiles, Journal of Nonverbal Behavior, 1982.
Ekman, P., & Friesen, W. V., & Ancoli, S. Facial signs of emotional experience, Journal of Personality and Social Psychology, 1980.
Ekman P., W. V. Friesen & Tomkins. S., Facial Affect Scoring Technique, A First Validity Study Semiotica, 3(1):1971.
LaBarre, W., The cultural basis of emotions and gestures, Journal of Personality, 1947.
Oster, H., Facial expression and affect development, In M. Lewis & L. A. Rosenblum(Eds.), The development of affect. NY: Plenum Press, 1978.
Hess, U., & Kleek, R., Differentiating emotion elicited and deliberate emotional facial expressions, In P. Ekman & E. L. Rosenberg(Eds.), What the face reveals. New York; Oxford University Press.
Fogel, A., Affective dynamics in early infancy: Affective tolerance. In T. Field and A. Fogel (Eds.), Emotion and early interaction, 1982.
Ekman. P., & Davidson, R. J. Davidson, Voluntary smiling changes regional brain activity, Psychological Science4(5), 1993.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.