최근 기존 전시 공간 내에 유비쿼터스 환경이 구축되면서, 관객과의 상호작용을 통해 전시 효과를 배가할 수 있는 인터랙티브 전시에 많은 사람들의 관심이 집중되고 있다. 이러한 인터랙티브 전시가 보다 고도화되기 위해서는 전시물에 대한 다양한 관객 반응을 측정하고, 이를 통해 대상 관객이 어떤 감정을 느끼는지 예측할 수 있는 적절한 의사결정지원 모형이 요구된다. 이러한 배경에서 본 연구는 인터랙티브 전시 공간 내에서 수집 가능한 다양한 관객 반응 중 얼굴표정의 변화를 이용하여, 관객의 감정을 추론, 판단하는 지능형 모형을 제시한다. 본 연구에서 제시하는 모형은 무자극 상태의 관객의 표정과 자극이 주어졌을 때 관객의 표정이 어떻게 변화하는지 변화량을 측정하여, 이를 기반으로 인공신경망 기법을 이용해 해당 관객의 감정을 판단하는 모형이다. 이 때, 제안모형의 감정 분류체계로는 간결하면서도 실무에 적용이 용이하여 그간 기존 문헌에서 널리 활용되어 온 매력-각성(Valence-Arousal) 모형을 사용한다. 제안모형의 유용성을 검증하기 위해, 본 연구에서는 2011 서울 DMC 컬쳐 오픈 행사에 참여하여, 일반인을 대상으로 얼굴 표정 변화 데이터를 수집하고, 이들이 느끼는 감정 상태를 설문조사하였다. 그리고 나서, 이 자료들을 대상으로 본 연구에서 제안하는 모형을 적용해 보고, 제안모형이 비교모형으로 설정된 통계기반 예측모형에 비해 더 우수한 성과를 보이는지 확인해 보았다. 실험 결과, 본 연구에서 제시하는 모형이 비교 모형인 중회귀분석 모형보다 더 우수한 결과를 제공함을 확인할 수 있었다. 본 연구를 통하여 구축된 관객 감정 판단 모형을 실제 전시장에서 활용한다면 전시물을 관람하는 관객의 반응에 따라 시의적절하면서도 효과적인 대응이 가능하기 때문에, 관객의 몰입과 만족을 보다 증대시킬 수 있을 것으로 기대된다.
최근 기존 전시 공간 내에 유비쿼터스 환경이 구축되면서, 관객과의 상호작용을 통해 전시 효과를 배가할 수 있는 인터랙티브 전시에 많은 사람들의 관심이 집중되고 있다. 이러한 인터랙티브 전시가 보다 고도화되기 위해서는 전시물에 대한 다양한 관객 반응을 측정하고, 이를 통해 대상 관객이 어떤 감정을 느끼는지 예측할 수 있는 적절한 의사결정지원 모형이 요구된다. 이러한 배경에서 본 연구는 인터랙티브 전시 공간 내에서 수집 가능한 다양한 관객 반응 중 얼굴표정의 변화를 이용하여, 관객의 감정을 추론, 판단하는 지능형 모형을 제시한다. 본 연구에서 제시하는 모형은 무자극 상태의 관객의 표정과 자극이 주어졌을 때 관객의 표정이 어떻게 변화하는지 변화량을 측정하여, 이를 기반으로 인공신경망 기법을 이용해 해당 관객의 감정을 판단하는 모형이다. 이 때, 제안모형의 감정 분류체계로는 간결하면서도 실무에 적용이 용이하여 그간 기존 문헌에서 널리 활용되어 온 매력-각성(Valence-Arousal) 모형을 사용한다. 제안모형의 유용성을 검증하기 위해, 본 연구에서는 2011 서울 DMC 컬쳐 오픈 행사에 참여하여, 일반인을 대상으로 얼굴 표정 변화 데이터를 수집하고, 이들이 느끼는 감정 상태를 설문조사하였다. 그리고 나서, 이 자료들을 대상으로 본 연구에서 제안하는 모형을 적용해 보고, 제안모형이 비교모형으로 설정된 통계기반 예측모형에 비해 더 우수한 성과를 보이는지 확인해 보았다. 실험 결과, 본 연구에서 제시하는 모형이 비교 모형인 중회귀분석 모형보다 더 우수한 결과를 제공함을 확인할 수 있었다. 본 연구를 통하여 구축된 관객 감정 판단 모형을 실제 전시장에서 활용한다면 전시물을 관람하는 관객의 반응에 따라 시의적절하면서도 효과적인 대응이 가능하기 때문에, 관객의 몰입과 만족을 보다 증대시킬 수 있을 것으로 기대된다.
Recently, due to the introduction of high-tech equipment in interactive exhibits, many people's attention has been concentrated on Interactive exhibits that can double the exhibition effect through the interaction with the audience. In addition, it is also possible to measure a variety of audience r...
Recently, due to the introduction of high-tech equipment in interactive exhibits, many people's attention has been concentrated on Interactive exhibits that can double the exhibition effect through the interaction with the audience. In addition, it is also possible to measure a variety of audience reaction in the interactive exhibition. Among various audience reactions, this research uses the change of the facial features that can be collected in an interactive exhibition space. This research develops an artificial neural network-based prediction model to predict the response of the audience by measuring the change of the facial features when the audience is given stimulation from the non-excited state. To present the emotion state of the audience, this research uses a Valence-Arousal model. So, this research suggests an overall framework composed of the following six steps. The first step is a step of collecting data for modeling. The data was collected from people participated in the 2012 Seoul DMC Culture Open, and the collected data was used for the experiments. The second step extracts 64 facial features from the collected data and compensates the facial feature values. The third step generates independent and dependent variables of an artificial neural network model. The fourth step extracts the independent variable that affects the dependent variable using the statistical technique. The fifth step builds an artificial neural network model and performs a learning process using train set and test set. Finally the last sixth step is to validate the prediction performance of artificial neural network model using the validation data set. The proposed model is compared with statistical predictive model to see whether it had better performance or not. As a result, although the data set in this experiment had much noise, the proposed model showed better results when the model was compared with multiple regression analysis model. If the prediction model of audience reaction was used in the real exhibition, it will be able to provide countermeasures and services appropriate to the audience's reaction viewing the exhibits. Specifically, if the arousal of audience about Exhibits is low, Action to increase arousal of the audience will be taken. For instance, we recommend the audience another preferred contents or using a light or sound to focus on these exhibits. In other words, when planning future exhibitions, planning the exhibition to satisfy various audience preferences would be possible. And it is expected to foster a personalized environment to concentrate on the exhibits. But, the proposed model in this research still shows the low prediction accuracy. The cause is in some parts as follows : First, the data covers diverse visitors of real exhibitions, so it was difficult to control the optimized experimental environment. So, the collected data has much noise, and it would results a lower accuracy. In further research, the data collection will be conducted in a more optimized experimental environment. The further research to increase the accuracy of the predictions of the model will be conducted. Second, using changes of facial expression only is thought to be not enough to extract audience emotions. If facial expression is combined with other responses, such as the sound, audience behavior, it would result a better result.
Recently, due to the introduction of high-tech equipment in interactive exhibits, many people's attention has been concentrated on Interactive exhibits that can double the exhibition effect through the interaction with the audience. In addition, it is also possible to measure a variety of audience reaction in the interactive exhibition. Among various audience reactions, this research uses the change of the facial features that can be collected in an interactive exhibition space. This research develops an artificial neural network-based prediction model to predict the response of the audience by measuring the change of the facial features when the audience is given stimulation from the non-excited state. To present the emotion state of the audience, this research uses a Valence-Arousal model. So, this research suggests an overall framework composed of the following six steps. The first step is a step of collecting data for modeling. The data was collected from people participated in the 2012 Seoul DMC Culture Open, and the collected data was used for the experiments. The second step extracts 64 facial features from the collected data and compensates the facial feature values. The third step generates independent and dependent variables of an artificial neural network model. The fourth step extracts the independent variable that affects the dependent variable using the statistical technique. The fifth step builds an artificial neural network model and performs a learning process using train set and test set. Finally the last sixth step is to validate the prediction performance of artificial neural network model using the validation data set. The proposed model is compared with statistical predictive model to see whether it had better performance or not. As a result, although the data set in this experiment had much noise, the proposed model showed better results when the model was compared with multiple regression analysis model. If the prediction model of audience reaction was used in the real exhibition, it will be able to provide countermeasures and services appropriate to the audience's reaction viewing the exhibits. Specifically, if the arousal of audience about Exhibits is low, Action to increase arousal of the audience will be taken. For instance, we recommend the audience another preferred contents or using a light or sound to focus on these exhibits. In other words, when planning future exhibitions, planning the exhibition to satisfy various audience preferences would be possible. And it is expected to foster a personalized environment to concentrate on the exhibits. But, the proposed model in this research still shows the low prediction accuracy. The cause is in some parts as follows : First, the data covers diverse visitors of real exhibitions, so it was difficult to control the optimized experimental environment. So, the collected data has much noise, and it would results a lower accuracy. In further research, the data collection will be conducted in a more optimized experimental environment. The further research to increase the accuracy of the predictions of the model will be conducted. Second, using changes of facial expression only is thought to be not enough to extract audience emotions. If facial expression is combined with other responses, such as the sound, audience behavior, it would result a better result.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
구체적으로 본 논문은 인터랙티브 전시 공간 내에서 수집 가능한 다양한 관객 반응 데이터 중 얼굴 표정의 변화를 통해 대상 관객이 얼마나 대상물에 매력을 느끼고 있는지, 그리고 대상물에 몰입해 있는지를 판단할 수 있는 인공신경망 기반의 관객 감정 판단 모형을 제시하였다. 이러한 지능형 모형에 의거한 인간의 감정 판단을 전시 분야에 응용한 학술적 접근은 본 논문이 사실상 최초라고 판단되며, 이것이 본 논문이 갖는 가장 큰 학술적 의의라고 사료된다.
우선 매력도 추정을 위한 인공신경망 모형 구축 실험에 대한 결과를 보면 다음과 같다. 본 실험은 은닉층 노드의 수가 각각 5개, 9개, 14개, 18개 일경우에 대해 실험해 보고, 성과가 가장 우수한 경우의 모형을 선정하는 것으로 실험을 진행하였다. 그 결과 <표 7>과 같은 결과를 얻을 수 있었다.
본 연구는 인터랙티브 전시장에 참여한 관객들에게 개인화된 전시 서비스를 제공하기 위해, 관객의 반응을 통해 그 관객의 감정을 판단할 수 있는 새로운 모형을 제안하는 것을 목적으로 한다. 인공신경망 기법에 의해 학습되는 본 연구의 제안 모형은 관객의 얼굴 특징의 변화를 통해, 그 관객이 현재 대상 전시물에 대해 얼마나 매력을 느끼고 있는지, 그리고 얼마나 몰입하고 있는지를 판단할 수 있다.
첫 번째 단계는 자료 수집 단계인데, 이 단계에서는 관객의 감정을 판단할 수 있도록 인공 신경망 모형을 학습시킬 수 있는 원천 데이터를 수집하는 단계이다. 본 연구에서는 매력도와 각성도를 모두 예측하기 위한 모형의 입력 데이터로 사용하기 위해, 피실험자 1명 당 크게 세 가지 상태의 얼굴 표정을 캡처한 사진의 데이터를 수집한다. 본 실험에서 크게 세 가지 상태의 화상을 이용한 이유는 다음과 같다.
본 연구에서는 얼굴 특징으로부터 감정을 판단하기 위한 도구로 인공신경망을 적용하고자 하는 데, 본 연구와 마찬가지로 얼굴 특징으로부터 특정 패턴을 인식하는 연구는 기존에도 많이 시도되어 왔다. 예를 들어, Ioanna-Ourania(2004), Mark et al.
본 연구에서는 일반인을 대상으로 분석 데이터를 수집하여 제안하는 새로운 관객 반응 판단 모형의 유용성을 검증해 보고자 하였다. 이를 위해 서울 상암동에서 개최된 2011 서울 DMC 컬쳐 오픈 행사에 참가하여, 9월 29일부터 10월 1일까지 2박 3일간 행사 참여자들을 대상으로 데이터를 수집하였다.
상기 지적한 기존 연구들의 한계점을 보완하고자, 본 연구에서는 수집 가능한 다양한 관객 반응 중에서 얼굴표정이 변화하는 데이터를 이용하여 관객이 전시물에 대해 어떤 감정을 느끼는지를 판단하는 새로운 모형을 제시하고자 하였다. 이 때, 감정에 대한 분류체계는 기존 연구들이 주로 사용해 온 Ekman의 6가지 분류체계가 아닌 매력-각성 (Valence-Arousal, 이하 V-A) 모형을 적용함으로써, 판단된 감정을 토대로 적절한 전시 서비스의 변화가 이루어질 수 있도록 하였다.
이러한 상태 데이터들은 모두 얼굴이 찍힌 화상 이미지들인데, 본 연구에서는 이들 이미지들로부터 와 같은 총 64개의 얼굴 특징점을 도출해 이들을 기준으로 얼굴 특징을 산출하고자 하였다.
하지만, 이들 기존 연구들은 대부분 얼굴 특징의 변화량에서 감정을 판단할 때, 앞서 소개한 Ekman의 6가지 유형만을 적용해 왔다는 한계가 존재한다. 이러한 한계점을 보완하기 위하여 본 연구에서는 인공신경망 기법으로 V-A 모형 기반의 감정을 판단할 수 있는 새로운 모형을 제안하고자 한다.
본 연구에서는 제안모형에 사용된 인공신경망 기법의 우수성을 검증하기 위해, 비교모형으로 중회귀분석 기법을 적용하였다. 이를 통해, 과연 인공신경망 기법이 관객 감정을 판단하기 위한 모형으로 적합한지 확인해 보고자 하였다.
이러한 관객 맞춤형 개인화 서비스를 제공하기 위해서는 우선 전시물을 관람하는 관객의 반응을 이해하고, 이를 통해 대상 관객의 감정을 판단하는 것이 필요하다. 이에 본 논문에서는 기존의 연구들을 바탕으로 인터랙티브 전시 공간 내에서 수집 가능한 관객 반응 데이터를 이용하여 관객의 감정을 판단할 수 있는 새로운 모형을 구축하기 위한 연구를 수행하였다.
김용준과 조성배(2009)는 베이지안(Bayesian) 체계를 사용하여 추론된 사용자의 감정을 V-A 모형을 사용하여 표현하였고, 추론된 감정을 통해 현재 상황에 가장 적합한 장르의 벨소리를 추천하여 사용자의 편의를 증대하였다. 이에, 본 연구 역시 이처럼 상대적으로 응용가능성이 더 높다고 평가되는 V-A 모형에 기반하여 관객의 감정을 체계화하고자 하였다.
둘째, 일부 몰입도 측정에 관련된 연구가 존재하긴 하지만, 유비쿼터스 공간 구성의 어려움으로 인해 실시간으로 수집되는 데이터를 이용하지 못하는 한계점이 존재한다. 이에, 본 연구에서는 기존 논문들이 지닌 한계점을 보완하고자 인터랙티브 전시 공간 내에서 관객이 전시물을 관람 하는 중 실시간으로 수집되는 데이터를 이용하여 전시물에 대한 관객의 몰입의 정도가 어떠한지 판단할 수 있는 모형을 제시하고자 한다.
제안 방법
다음 <표 8>은 각성도를 판단하기 위한 인공신경망 모형의 실험 결과를 제시하고 있다. 각성도의 경우, 은닉층 노드의 수가 각각 5개, 10개, 15개, 20 개 일 경우에 대해 실험해 보고, 성과가 가장 우수한 경우의 모형을 선정하는 것으로 실험을 진행하였다.
이를 바탕으로 본 연구에서는 Pantic and Rothkrantz(2000)가 제시한 얼굴 특징점을 추출된 64개의 얼굴 특징점과 대응시켰다. 그리고 Pantic and Rothkrantz(2000)이 제시한 30개의 얼굴 특징값 중 거리와 각도에 관계있는 18개의 얼굴 특징값과 17개의 AU를 이용한 35개의 특징값을 산출하여 이들을 후보 독립변수군으로 활용하였다. 본 연구에서 사용하는 후보 독립변수들의 필드는 <표 3>과 같다.
그리고, 전처리 과정을 통해 최종적으로 실험에 활용할 데이터 집합을 구축하였는데, 특징점 도출에 실패하거나 설문에서 인지된 몰입도와 매력도에 대한 응답이 누락된 사례들을 찾아 분석 대상에서 삭제하였다. 그리고, 기존에 응답자 단위로 분류/정리되어 있던 전체 데이터 집합을 긍정적 자극과 부정적 자극 별로 구분해 각각 독립된 표본 1건으로 분리시켰다. 그 결과, 총 297건의 레코드로 구성된 전체 분석용 데이터 집합이 산출되었다.
이 세가지 상태의 입력 데이터로 이용하여 본 연구에서 제안한 관객 반응 예측 모형을 학습한다. 그리고, 본 연구에서 제안하는 모형의 출력값은 매력도와 각성도로써, 이 출력값은 사후 설문지를 통해 관객이 직접 작성함으로써 얻어진다. 출력값은 매력도와 각성도 둘 다 7점 리커트(Likert) 척도를 사용한다.
이렇게 산출된 64개의 얼굴 특징점 좌표들은 고정점인 30번 좌표(코 끝 위치 좌표)를 기준으로 위치를 보정하였다. 그리고, 전처리 과정을 통해 최종적으로 실험에 활용할 데이터 집합을 구축하였는데, 특징점 도출에 실패하거나 설문에서 인지된 몰입도와 매력도에 대한 응답이 누락된 사례들을 찾아 분석 대상에서 삭제하였다. 그리고, 기존에 응답자 단위로 분류/정리되어 있던 전체 데이터 집합을 긍정적 자극과 부정적 자극 별로 구분해 각각 독립된 표본 1건으로 분리시켰다.
하지만, 이것만으로는 매력도까지 예측하기는 어려운 면이 있기 때문에 자극 상태를 긍정적인 자극과 부정적인 자극이 주어진 상태로 나눠서 데이터를 수집해야 한다. 따라서, 본 실험에서는 크게 세 가지 상태의 화상을 이용하여 매력도와 각성도를 예측하기로 한다. 첫 번째 상태는 중립상태로 실험장비에 입장한 직후 촬영된 얼굴의 정지화상이다.
각성도 실험 분석 결과, 은닉층 노드 수가 두 번째로 적은 10개일 때 모형의 예측 정확도가 가장 높은 것을 알 수 있다. 따라서, 인공신경망 기반 각성도 판단 모형은 은닉층 노드 수가 10개인 모형을 최종적으로 선택하였다.
<표 7>에서 볼 수 있듯이, 은닉층 노드 수가 가장 적은 5개일 때 매력도 판단 모형의 정확도가 가장 높은 것을 알 수 있다. 따라서, 인공신경망 기반 매력도 판단 모형은 은닉층 노드 수가 5개인 모형을 최종적으로 선택하였다.
매력도와 각성도 추정을 위한 인공신경망 모형의 경우, 학습 방법으로는 역전파 알고리즘을 사용하였고, 학습률을 10%, 모멘텀률은 10%로 설정하 였다. 변환함수로는 로지스틱(Sigmoid)함수를 사용하였으며, 계층구조는 3계층 퍼셉트론, 즉, 은닉층 수는 1개로 설계하였다.
매력도와 각성도 추정을 위한 인공신경망 모형의 경우, 학습 방법으로는 역전파 알고리즘을 사용하였고, 학습률을 10%, 모멘텀률은 10%로 설정하 였다. 변환함수로는 로지스틱(Sigmoid)함수를 사용하였으며, 계층구조는 3계층 퍼셉트론, 즉, 은닉층 수는 1개로 설계하였다. 학습중지점을 탐색하기 위해서는 테스트 데이터 집합을 기준으로 최소 오류 도달 후 50000번 도달 시 중지하는 것으로 하였다.
때문에 현재 학계뿐만 아니라, 업계(예：미국 Affectiva社)에서도 매력-각성 모형에 기반한 감정 모델링 기법을 활용하고 있다. 본 연구에서 종속변수로 활용된 매력도와 각성도는 실험에 참가한 관객들에게 직접 설문을 받아 수집하였는데, 측정 단위로는 7점 리커트 척도를 사용하였다. 본 연구에서 사용하는 독립변수의 필드를 정리하면 <표 4>와 같다.
앞서 산출된 데이터 집합으로부터 매력도와 각성도를 예측 및 판단할 수 있는 모형을 개발하기 위해, 1차적으로 각 종속변수들과 통계적으로 유의한 상관관계를 갖는 특징변수, 즉 독립변수를 선정하였다. 본 연구에서는 실제 모형에 활용될 독립 변수를 선정하기 위해 2가지 통계기법을 이용하였다. 우선, 비율형 변수로 측정되어 있는 독립변수들에 대해서는 상관분석을 통해, 피어슨(Pearson) 상관 계수를 산출하고, 이 값이 통계적으로 유의한지 검증하였다.
본 연구에서는 인공신경망 모형 구축에 앞서 전체 297건의 데이터를 아래와 같이 학습용 데이터 집합(Training Set)과 테스트 데이터 집합(Test Set), 그리고 검증용 데이터 집합(Validation Set)으로 구분하였다. 구분된 데이터 집합은 다음 <표 6> 과 같다.
이 때, 감정에 대한 분류체계는 기존 연구들이 주로 사용해 온 Ekman의 6가지 분류체계가 아닌 매력-각성 (Valence-Arousal, 이하 V-A) 모형을 적용함으로써, 판단된 감정을 토대로 적절한 전시 서비스의 변화가 이루어질 수 있도록 하였다. 아울러, 관객의 감정을 판단하기 위한 모형을 학습하기 위한 기법으로는 인공신경망 기법, 그 중에서도 역전파 알고리즘을 제안한다.
앞서 산출된 데이터 집합으로부터 매력도와 각성도를 예측 및 판단할 수 있는 모형을 개발하기 위해, 1차적으로 각 종속변수들과 통계적으로 유의한 상관관계를 갖는 특징변수, 즉 독립변수를 선정하였다. 본 연구에서는 실제 모형에 활용될 독립 변수를 선정하기 위해 2가지 통계기법을 이용하였다.
세 번째 단계는 본 연구에서 제안하는 새로운 관객 반응 판단 모형에 대한 독립변수와 종속변수들을 설정하는 단계이다. 우선 본 연구 모형에서 사용될 종속변수는 매력도와 각성도의 2가지가 되며, 이는 피실험자에 대한 설문을 통해 리커트 척도를 이용해 측정된 값을 적용한다. 한편, 독립변수로는 앞의 두 번째 단계에서 도출된 각종 얼굴 특징 변화값들이 사용된다.
학습중지점을 탐색하기 위해서는 테스트 데이터 집합을 기준으로 최소 오류 도달 후 50000번 도달 시 중지하는 것으로 하였다. 은닉층을 구성하는 노드의 수로는 매력도의 경우 5, 9, 14, 18의 4가지 경우에 대해, 각성도의 경우 5, 10, 15, 20의 4가지 경우에 대해 모두 실험해 본 뒤, 가장 우수한 성과를 보이는 노드수를 선택하였다. 그리고 인공신경망 실험을 수행하기 위한 도구로는 상용 소프트웨어인 Neuroshell2 4.
마지막 상태는 부정적 각성상태로 부정적 각성을 유발하는 동영상 시청할 때 촬영된 정지화상이다. 이 세가지 상태의 입력 데이터로 이용하여 본 연구에서 제안한 관객 반응 예측 모형을 학습한다. 그리고, 본 연구에서 제안하는 모형의 출력값은 매력도와 각성도로써, 이 출력값은 사후 설문지를 통해 관객이 직접 작성함으로써 얻어진다.
Pantic and Rothkrantz (2000)는 인간의 얼굴 전체 영상에서 얼굴표정을 인식하고 이를 감정별로 분류하는 ISFER(Integrated System for Facial Expression Recognition) 시스템 개발에 대한 연구를 진행하였다. 이들이 진행한 연구에서는 정지된 얼굴 전체 영상에서 19개의 얼굴 특징점을 바탕으로 30개의 얼굴 특징값을 설정하고, 이를 바탕으로 하는 17개의 AU(Action Unit)을 활용하여 30개의 얼굴 특징점들의 변화를 측정하여 감정을 분류하였다. 이를 바탕으로 본 연구에서는 Pantic and Rothkrantz(2000)가 제시한 얼굴 특징점을 추출된 64개의 얼굴 특징점과 대응시켰다.
본 연구는 인터랙티브 전시장에 참여한 관객들에게 개인화된 전시 서비스를 제공하기 위해, 관객의 반응을 통해 그 관객의 감정을 판단할 수 있는 새로운 모형을 제안하는 것을 목적으로 한다. 인공신경망 기법에 의해 학습되는 본 연구의 제안 모형은 관객의 얼굴 특징의 변화를 통해, 그 관객이 현재 대상 전시물에 대해 얼마나 매력을 느끼고 있는지, 그리고 얼마나 몰입하고 있는지를 판단할 수 있다.
전술했듯이, 본 연구에서는 관객 감정 판단에 사용될 종속변수로 관객의 인지된 매력도(perceived valence)와 인지된 각성도(perceived arousal)의 두 개의 변수 필드를 사용하기로 하였다. 즉, 관객감정 판단을 위한 모형으로 매력-각성 모형을 활용한다.
최종적으로 본 연구에서 제안한 인공신경망 기반 판단 모형과 비교모형인 중회귀분석 기반 판단 모형의 성능을 과 같이 비교해 보았다.
대상 데이터
본 행사에 참여한 관람객은 총 198명이었는데, 이들에 대한 인구통계 학적 정보는 다음 와 같다.
이를 위해 서울 상암동에서 개최된 2011 서울 DMC 컬쳐 오픈 행사에 참가하여, 9월 29일부터 10월 1일까지 2박 3일간 행사 참여자들을 대상으로 데이터를 수집하였다. 실험을 위한 데이터 수집 장소는 DMC 디지털파빌리온 1층 IT KOREA관 어트랙티브 행복관이었으며, 이곳에서 대형 DID, u-테이블, 고해상도 웹캠 등 첨단 하드웨어 장비와 Flash로 프로그래밍된 소프트웨어로 구성된 자료 수집을 위한 실험 부스를 운영하였다. 본 행사에 참여한 관람객은 총 198명이었는데, 이들에 대한 인구통계 학적 정보는 다음 <표 2>와 같다.
이러한 상태 데이터들은 모두 얼굴이 찍힌 화상 이미지들인데, 본 연구에서는 이들 이미지들로부터 <그림 4>와 같은 총 64개의 얼굴 특징점을 도출해 이들을 기준으로 얼굴 특징을 산출하고자 하였다. 이 때, 얼굴 특징점을 도출하는 데에는 해당 분야에 있어 국내 최고의 기술수준을 보유한 기업인 올라웍스(http://www. olaworks.com/)의 솔루션을 제공받아 사용하였다.
본 연구에서는 일반인을 대상으로 분석 데이터를 수집하여 제안하는 새로운 관객 반응 판단 모형의 유용성을 검증해 보고자 하였다. 이를 위해 서울 상암동에서 개최된 2011 서울 DMC 컬쳐 오픈 행사에 참가하여, 9월 29일부터 10월 1일까지 2박 3일간 행사 참여자들을 대상으로 데이터를 수집하였다. 실험을 위한 데이터 수집 장소는 DMC 디지털파빌리온 1층 IT KOREA관 어트랙티브 행복관이었으며, 이곳에서 대형 DID, u-테이블, 고해상도 웹캠 등 첨단 하드웨어 장비와 Flash로 프로그래밍된 소프트웨어로 구성된 자료 수집을 위한 실험 부스를 운영하였다.
따라서, 본 실험에서는 크게 세 가지 상태의 화상을 이용하여 매력도와 각성도를 예측하기로 한다. 첫 번째 상태는 중립상태로 실험장비에 입장한 직후 촬영된 얼굴의 정지화상이다. 두 번째 상태는 긍정적 각성상태로써 긍정적인 각성을 유발하는 동영상을 시청할 때 촬영된 얼굴의 정지화상이다.
본 행사에 참여한 관람객은 총 198명이었는데, 이들에 대한 인구통계 학적 정보는 다음 <표 2>와 같다. 총 데이터 샘플 수는 정지 상태를 기준으로 중립 상태 데이터, 긍정적 각성 상태 데이터, 부정적 각성 상태 데이터 각각 198개로 총 594개였다. 이러한 상태 데이터들은 모두 얼굴이 찍힌 화상 이미지들인데, 본 연구에서는 이들 이미지들로부터 <그림 4>와 같은 총 64개의 얼굴 특징점을 도출해 이들을 기준으로 얼굴 특징을 산출하고자 하였다.
데이터처리
우선, 비율형 변수로 측정되어 있는 독립변수들에 대해서는 상관분석을 통해, 피어슨(Pearson) 상관 계수를 산출하고, 이 값이 통계적으로 유의한지 검증하였다. 명목형(Boolean) 변수로 측정되어 있는 독립변수들에 대해서는 독립표본 t-검정(independent Samples t-test)을 통해, 유의변수를 추출하였다.
본 연구에서는 실제 모형에 활용될 독립 변수를 선정하기 위해 2가지 통계기법을 이용하였다. 우선, 비율형 변수로 측정되어 있는 독립변수들에 대해서는 상관분석을 통해, 피어슨(Pearson) 상관 계수를 산출하고, 이 값이 통계적으로 유의한지 검증하였다. 명목형(Boolean) 변수로 측정되어 있는 독립변수들에 대해서는 독립표본 t-검정(independent Samples t-test)을 통해, 유의변수를 추출하였다.
네 번째 단계는 종속변수인 매력도와 각성도에 유의한 상관관계를 갖는 특징변수들, 즉 독립변수들을 추출하기 위한 단계이다. 이 때 유의한 독립 변수를 추출하기 위한 기법으로는 통계적 검정 기법, 그 중에서도 상관분석과 독립표본 t-검정을 이용해 분석한다.
이론/모형
은닉층을 구성하는 노드의 수로는 매력도의 경우 5, 9, 14, 18의 4가지 경우에 대해, 각성도의 경우 5, 10, 15, 20의 4가지 경우에 대해 모두 실험해 본 뒤, 가장 우수한 성과를 보이는 노드수를 선택하였다. 그리고 인공신경망 실험을 수행하기 위한 도구로는 상용 소프트웨어인 Neuroshell2 4.0을 사용하였다.
본 연구에서는 얼굴 특징점으로부터 얼굴 특징을 도출하는데 있어, Pantic and Rothkrantz(2000)의 연구결과를 참조하였다. Pantic and Rothkrantz (2000)는 인간의 얼굴 전체 영상에서 얼굴표정을 인식하고 이를 감정별로 분류하는 ISFER(Integrated System for Facial Expression Recognition) 시스템 개발에 대한 연구를 진행하였다.
본 연구에서는 제안모형에 사용된 인공신경망 기법의 우수성을 검증하기 위해, 비교모형으로 중회귀분석 기법을 적용하였다. 이를 통해, 과연 인공신경망 기법이 관객 감정을 판단하기 위한 모형으로 적합한지 확인해 보고자 하였다.
본 연구에서는 제안모형의 판단 정확도를 검증하기 위한 기준으로 MAE(Mean Absolute Error)를 사용한다. MAE는 예측된 값과 실제값의 차이들에 대해 절대값을 취해 평균한 값으로서, 그 값이 작으면 작을수록 정확도가 높은 것으로 판단할 수 있다.
사용자의 반응을 이용하여 감정을 판단하는 기존 연구들은 대체로 P. Ekman의 6가지 감정 분류 체계를 활용하였다( 참고).
임승희 등(2009)은 몰입 이론(flow theory)을 인터랙티브 전시에 적용하는 방안을 제시하였다. 이 연구에서는 몰입 이론에 기반하여 전시콘텐츠를 제작하고, 관람객의 몰입도를 분석하기 위해 경험 표집법(Experience Sampling Method : ESM)을 사용하여 주관적 경험을 측정하였다. 한편 김미연 등 (2008)은 인터랙티브 공간의 사례 조사를 통하여, 전시 콘텐츠와 체험 방식에 대해 분석하고, 인터랙티브 전시공간의 체험 방식의 분류에 대한 접근과 분석과정을 통해, 체험을 디자인하기 위한 전시 공간의 공간적 고려사항을 도출하였다.
이들이 진행한 연구에서는 정지된 얼굴 전체 영상에서 19개의 얼굴 특징점을 바탕으로 30개의 얼굴 특징값을 설정하고, 이를 바탕으로 하는 17개의 AU(Action Unit)을 활용하여 30개의 얼굴 특징점들의 변화를 측정하여 감정을 분류하였다. 이를 바탕으로 본 연구에서는 Pantic and Rothkrantz(2000)가 제시한 얼굴 특징점을 추출된 64개의 얼굴 특징점과 대응시켰다. 그리고 Pantic and Rothkrantz(2000)이 제시한 30개의 얼굴 특징값 중 거리와 각도에 관계있는 18개의 얼굴 특징값과 17개의 AU를 이용한 35개의 특징값을 산출하여 이들을 후보 독립변수군으로 활용하였다.
전술했듯이, 본 연구에서는 관객 감정 판단에 사용될 종속변수로 관객의 인지된 매력도(perceived valence)와 인지된 각성도(perceived arousal)의 두 개의 변수 필드를 사용하기로 하였다. 즉, 관객감정 판단을 위한 모형으로 매력-각성 모형을 활용한다. 매력-각성 모형은 해당 관객이 제공되고 있는 자극에 얼마나 호감을 갖고 있는지(매력도), 그리고 그 자극에 얼마나 관심을 갖고 있는지(각성도)를 동시에 측정할 수 있어, 실용성 관점에서 활용도가 아주 높은 모형이다.
성능/효과
각성도 실험 분석 결과, 은닉층 노드 수가 두 번째로 적은 10개일 때 모형의 예측 정확도가 가장 높은 것을 알 수 있다. 따라서, 인공신경망 기반 각성도 판단 모형은 은닉층 노드 수가 10개인 모형을 최종적으로 선택하였다.
그 결과, 매력도의 경우, 비율형 변수로 측정되어 있는 독립변수들은 총 3개의 변수가 90% 신뢰수준 하에서 유의변수로 산출되었다. 그리고 명목형 변수로 측정되어 있는 독립변수들은 통계 검증 결과 총 7개의 변수가 90% 신뢰수준 하에서 유의 변수로 산출되었다.
그리고, 기존에 응답자 단위로 분류/정리되어 있던 전체 데이터 집합을 긍정적 자극과 부정적 자극 별로 구분해 각각 독립된 표본 1건으로 분리시켰다. 그 결과, 총 297건의 레코드로 구성된 전체 분석용 데이터 집합이 산출되었다.
그 결과, 매력도의 경우, 비율형 변수로 측정되어 있는 독립변수들은 총 3개의 변수가 90% 신뢰수준 하에서 유의변수로 산출되었다. 그리고 명목형 변수로 측정되어 있는 독립변수들은 통계 검증 결과 총 7개의 변수가 90% 신뢰수준 하에서 유의 변수로 산출되었다. 따라서, 총 35개의 변수 중 통계 검증 결과 매력도와 유의하다고 판단된 독립변수는 총 10개이다.
그 결과, 매력도의 경우, 비율형 변수로 측정되어 있는 독립변수들은 총 3개의 변수가 90% 신뢰수준 하에서 유의변수로 산출되었다. 그리고 명목형 변수로 측정되어 있는 독립변수들은 통계 검증 결과 총 7개의 변수가 90% 신뢰수준 하에서 유의 변수로 산출되었다. 따라서, 총 35개의 변수 중 통계 검증 결과 매력도와 유의하다고 판단된 독립변수는 총 10개이다.
그리고 명목형 변수로 측정되어 있는 독립변수들은 통계 검증 결과 총 7개의 변수가 90% 신뢰수준 하에서 유의변수로 산출되었다. 따라서, 총 35개의 변수 중 총 9개의 독립변수가 각성도와 유의한 것으로 파악되었다.
그리고 명목형 변수로 측정되어 있는 독립변수들은 통계 검증 결과 총 7개의 변수가 90% 신뢰수준 하에서 유의 변수로 산출되었다. 따라서, 총 35개의 변수 중 통계 검증 결과 매력도와 유의하다고 판단된 독립변수는 총 10개이다.
최종적으로 본 연구에서 제안한 인공신경망 기반 판단 모형과 비교모형인 중회귀분석 기반 판단 모형의 성능을 <표 10>과 같이 비교해 보았다. 비교 결과, 각성도와 매력도 모두 본 연구에서 제안하는 인공신경망 모형이 중회귀분석 모형보다 더 높은 정확도의 판단결과를 제공하고 있음을 확인할 수 있었다. 아울러, 각성도를 예측하는 모형이 매력도를 예측하는 모형에 비해 대체로 MAE가 작다는, 즉 예측오차가 더 적다는 점을 확인할 수 있다.
비교 결과, 각성도와 매력도 모두 본 연구에서 제안하는 인공신경망 모형이 중회귀분석 모형보다 더 높은 정확도의 판단결과를 제공하고 있음을 확인할 수 있었다. 아울러, 각성도를 예측하는 모형이 매력도를 예측하는 모형에 비해 대체로 MAE가 작다는, 즉 예측오차가 더 적다는 점을 확인할 수 있다. 이는 매력도보다는 각성도를 예측하는 것이 상대적으로 더 수월하다는 점, 즉 각성도의 변화가 매력도의 변화보다 관객의 얼굴표정에 더 잘 드러난다는 점을 일부 시사한다고 할 수 있다.
첫째, 자료 수집을 일반인 대상으로 하다 보니 통제가 어렵다는 한계점을 지닌다. 즉, 실험 환경에 최적화하지 못하여 수집한 데이터에 노이즈가 많아 전반적으로 예측력이 떨어지는 현상이 나타나고 있는 것으로 해석된다. 둘째, 관객반응 분석을 위한 정보를 얼굴 표정 변화에 국한한 점도 본 연구의 한계점 중 하나이다.
후속연구
즉, 실험 환경에 최적화하지 못하여 수집한 데이터에 노이즈가 많아 전반적으로 예측력이 떨어지는 현상이 나타나고 있는 것으로 해석된다. 둘째, 관객반응 분석을 위한 정보를 얼굴 표정 변화에 국한한 점도 본 연구의 한계점 중 하나이다. 추후 연구에서 소리/음성, 동작 등이 반영되면, 더 나은 결과를 얻을 수 있을 것으로 기대된다.
첫째, 인터랙티브 전시 공간 내에서 관객이 전시물을 관람하는 중 해당 전시물에 대한 관객의 감정, 그 중에서도 특히 몰입도를 직접 측정하려는 연구가 거의 전무하다. 둘째, 일부 몰입도 측정에 관련된 연구가 존재하긴 하지만, 유비쿼터스 공간 구성의 어려움으로 인해 실시간으로 수집되는 데이터를 이용하지 못하는 한계점이 존재한다. 이에, 본 연구에서는 기존 논문들이 지닌 한계점을 보완하고자 인터랙티브 전시 공간 내에서 관객이 전시물을 관람 하는 중 실시간으로 수집되는 데이터를 이용하여 전시물에 대한 관객의 몰입의 정도가 어떠한지 판단할 수 있는 모형을 제시하고자 한다.
이로 인해 현재 얼굴 특징점 좌표값에 대한 위치 변화량이 크지 않은데, 이것이 예측 정확도를 높이는데 주요한 방해요인이 되고 있는 것으로 보인다. 때문에 추후 수행될 실증분석에서는 보다 고해상도의 얼굴 화상을 수집, 저장할 필요가 있다. 아울러, 정지 화상이 아닌 동영상 분석을 시도할 경우, 더 예측성과가 좋아진다는 기존 연구(예：Nicolaou et al.
, 2011; Ekman, 1972). 마지막으로 셋째, 사용자의 얼굴표정을 대상으로 감정을 추론하는 연구들 대부분이 실험실 환경에서 얻어진 소수의 데이터를 기반으로 실험이 이루어지거나, JAFFE DB같은 외국에서 만들어진 공개 데이터베이스를 기반으로 실험을 수행하였다는 한계점을 지니고 있다.
추후 연구에서 소리/음성, 동작 등이 반영되면, 더 나은 결과를 얻을 수 있을 것으로 기대된다. 마지막으로 현재 제시한 모형이 저해상도 정지화상에 기반하고 있다는 점도 한계점으로 지적된다. 이로 인해 현재 얼굴 특징점 좌표값에 대한 위치 변화량이 크지 않은데, 이것이 예측 정확도를 높이는데 주요한 방해요인이 되고 있는 것으로 보인다.
실무적 관점에서 본 연구에서 제안하는 인공신경망 기반 관객 감정 판단 모형은 매력-각성 모형에 기반하고 있기 때문에, 그 활용도가 높을 것으로 기대된다. 만약 본 연구의 제안모형이 실제 인터랙티브 전시에 적용된다면, 전시물을 관람하는 관객의 매력도나 각성도가 낮다고 예측하는 경우, 전시물 관람에 조금 더 집중하기 위한 환경 조성 (소리, 조명 조절 등)을 만든다거나 아니면 다른 컨텐츠를 추천하던지 등 관객에게 적합한 다양한 대응책을 마련할 수 있다. 이렇듯, 본 연구의 제안 모형은 인터랙티브 전시 분야의 원천기술로서, 그 활용도가 매우 높을 것으로 전망된다.
이렇듯, 본 연구의 제안 모형은 인터랙티브 전시 분야의 원천기술로서, 그 활용도가 매우 높을 것으로 전망된다. 매력-각성 모형의 두 가지 차원 중 특히, 각성도 차원은 그 실무적 활용도가 더 높을 수 있을 것으로 전망되는데, 추후 교육, 광고 등의 분야로 확대 적용 가능하다. 또한, 감정을 예측하는 기존 연구들은 대부분 외국 환경, 특히, 미국 환경에 최적화 되어 있어 일반화하기에는 한계점을 지니고 있다 하지만, 본 연구는 한국인을 대상으로 모형을 구축했다는 점에서 또 하나의 실무적 의의가 있다.
반면 연구의 한계점을 살펴보면, 본 연구에서 구축한 인공신경망 기반 관객 감정 판단 모형은 비교모형인 중회귀모형보다 예측 정확도가 높기는 하나, 아직까지 전반적으로 예측 정확도가 많이 떨어진다. 그 원인은 다음과 같이 세 가지 부분에 있다고 사료된다.
실무적 관점에서 본 연구에서 제안하는 인공신경망 기반 관객 감정 판단 모형은 매력-각성 모형에 기반하고 있기 때문에, 그 활용도가 높을 것으로 기대된다. 만약 본 연구의 제안모형이 실제 인터랙티브 전시에 적용된다면, 전시물을 관람하는 관객의 매력도나 각성도가 낮다고 예측하는 경우, 전시물 관람에 조금 더 집중하기 위한 환경 조성 (소리, 조명 조절 등)을 만든다거나 아니면 다른 컨텐츠를 추천하던지 등 관객에게 적합한 다양한 대응책을 마련할 수 있다.
때문에 추후 수행될 실증분석에서는 보다 고해상도의 얼굴 화상을 수집, 저장할 필요가 있다. 아울러, 정지 화상이 아닌 동영상 분석을 시도할 경우, 더 예측성과가 좋아진다는 기존 연구(예：Nicolaou et al., 2011)가 존재하므로, 시간의 흐름에 따른 변화량 분석에 대한 연구가 추후 이루어져야 할 것이다.
만약 본 연구의 제안모형이 실제 인터랙티브 전시에 적용된다면, 전시물을 관람하는 관객의 매력도나 각성도가 낮다고 예측하는 경우, 전시물 관람에 조금 더 집중하기 위한 환경 조성 (소리, 조명 조절 등)을 만든다거나 아니면 다른 컨텐츠를 추천하던지 등 관객에게 적합한 다양한 대응책을 마련할 수 있다. 이렇듯, 본 연구의 제안 모형은 인터랙티브 전시 분야의 원천기술로서, 그 활용도가 매우 높을 것으로 전망된다. 매력-각성 모형의 두 가지 차원 중 특히, 각성도 차원은 그 실무적 활용도가 더 높을 수 있을 것으로 전망되는데, 추후 교육, 광고 등의 분야로 확대 적용 가능하다.
그 원인은 다음과 같이 세 가지 부분에 있다고 사료된다. 첫째, 자료 수집을 일반인 대상으로 하다 보니 통제가 어렵다는 한계점을 지닌다. 즉, 실험 환경에 최적화하지 못하여 수집한 데이터에 노이즈가 많아 전반적으로 예측력이 떨어지는 현상이 나타나고 있는 것으로 해석된다.
둘째, 관객반응 분석을 위한 정보를 얼굴 표정 변화에 국한한 점도 본 연구의 한계점 중 하나이다. 추후 연구에서 소리/음성, 동작 등이 반영되면, 더 나은 결과를 얻을 수 있을 것으로 기대된다. 마지막으로 현재 제시한 모형이 저해상도 정지화상에 기반하고 있다는 점도 한계점으로 지적된다.
질의응답
핵심어
질문
논문에서 추출한 답변
인터랙티브 시스템이란 어떤 시스템인가?
인터랙티브란 컴퓨터 공학 분야에서는 ‘대화식’, 통신 분야에서는 ‘양방향 통신’이라는 의미로 해석되며, 인터랙티브 시스템은 사용자가 마치 컴퓨터와 대화를 하듯이 쌍방향으로 입력과 출력을 할 수 있는 시스템을 나타낸다(김규정 등, 2008). 이러한 인터랙티브를 전시 분야에 응용한 인터랙티브 전시는 전시물과 관객 간의 상호작용을 기반으로 관객이 작품을 스스로 선택하고 직접 손으로 만지고 조작(hands-on)하고 관찰하면서 작품의 내용을 창의적으로 이해하고 경험하게 되는 전시 방법이다(김철근 등, 1996; 최지영 등, 2010).
인터랙티브란 무엇인가?
인터랙티브란 컴퓨터 공학 분야에서는 ‘대화식’, 통신 분야에서는 ‘양방향 통신’이라는 의미로 해석되며, 인터랙티브 시스템은 사용자가 마치 컴퓨터와 대화를 하듯이 쌍방향으로 입력과 출력을 할 수 있는 시스템을 나타낸다(김규정 등, 2008). 이러한 인터랙티브를 전시 분야에 응용한 인터랙티브 전시는 전시물과 관객 간의 상호작용을 기반으로 관객이 작품을 스스로 선택하고 직접 손으로 만지고 조작(hands-on)하고 관찰하면서 작품의 내용을 창의적으로 이해하고 경험하게 되는 전시 방법이다(김철근 등, 1996; 최지영 등, 2010).
인터랙티브 전시 관련 기존 연구들의 한계점은 무엇인가?
하지만, 이와 같은 인터랙티브 전시 관련 기존 연구들에는 몇 가지 한계점이 존재한다. 첫째, 인터랙티브 전시 공간 내에서 관객이 전시물을 관람하는 중 해당 전시물에 대한 관객의 감정, 그 중에서도 특히 몰입도를 직접 측정하려는 연구가 거의 전무하다. 둘째, 일부 몰입도 측정에 관련된 연구가 존재하긴 하지만, 유비쿼터스 공간 구성의 어려 움으로 인해 실시간으로 수집되는 데이터를 이용하지 못하는 한계점이 존재한다. 이에, 본 연구에서는 기존 논문들이 지닌 한계점을 보완하고자 인터랙티브 전시 공간 내에서 관객이 전시물을 관람 하는 중 실시간으로 수집되는 데이터를 이용하여 전시물에 대한 관객의 몰입의 정도가 어떠한지 판단할 수 있는 모형을 제시하고자 한다.
참고문헌 (33)
김규정, 김봉화, 이명학, 한혜정, "음성인식 기반인터랙티브 미디어 아트의 연구 1-소리-시각 인터랙티브 설치미술 불꽃 뮤직을 중심으로-", 기초조형학연구, 9권 5호(2008), 27-35.
김대수, 신경망 이론과 응용, 하이테크정보, 1993.
김미연, 김정현, 최진원, "인터렉티브 체험형 전시공간 디자인을 위한 사례분석 연구", 대한건축학회, 24권 1호(2008), 11-18.
김용준, 조성배, "감정 모델을 통해 휴대폰의 벨소리를 추천하는 상황 인식 추천 시스템", 한국정보과학회 2009 한국컴퓨터종합학술대회 논문집, 36권 1호(2009), 162-165.
김철근 외, 전시이론과 기법 연구집, 국립중앙과학관, 학술총서 12권(1996).
송현미, 최준혁, 임채진, "첨단과학기술 체험전시를 위한 연출기법 및 전시구성체계에 관한 연구-첨단과학분야(NT, MEMS, BT)의 체험전시를 중심으로-", 한국실내디자인학회 학술대회논문집, 7권 1호(2005), 182-186.
심홍기, 김승권, "인공신경망을 이용한 대대전투간작전지속능력 예측에 관한 연구", 대한산업공학회/한국경영과학회 춘계공동학술대회, 2008.
유민준, 김현주, 이인권, "감성모델을 이용한 음악탐색 인터페이스", 한국 HCI 2009 학술대회,(2009), 707-710.
유재엽, "영상미디어 연출 특성에 따른 공간 표현에 관한 연구", 한국실내디자인학회논문집, 13권 6호(2004), 175-183.
Bouzalmat, A., N. Belghini, A. Zarghili, J. Kharroubi, and A. Majda, "Face Recognition Using Neural Network Based Fourier Gabor Filters and Random Projection", International Journal of Computer Science and Security (IJCSS), Vol.5, No.3(2011), 376-386.
Brainerd, C. J., R. E. Holliday, V. F. Reyna, Y. Yang, and M. P. Toglia, "Developmental reversals in false memory : Effects of emotional valence and arousal", Journal of Experimental Child Psychology, Vol.107(2010), 137-154.
Colibazzi, T., J. Posner, Z. Wang, D. Gorman, A. Gerber, and S. Yu, "Neural systems subserving valence and arousal during the experience of induced emotions", Emotion, Vol.10, No.3(2010), 377-389.
Ekman, P., "Universals and Cultural Differences in Facial Expressions of Emotion. In J. Cole (Ed.)", Nebraska Symposium on Motivation, Vol.19(1972), 207-282.
Haykin, S., "Neural Networks : A Comprehensive Foundation", Prentice Hall : Upper Saddle River, NJ, USA, 1999.
Henry, A. R., B. Shumeet, and K. Takeo, "Neural Network-Based Face Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.1(1998), 23-38.
Huang, C. L. and Y. M. Huang, "Facial Expression Recognition Using Model-Based Feature Extraction and Action Parameters Classification", Journal of Visual Communication and Image Representation, Vol.8, No.3(1977), 278 -290.
Lane, R. and L. Nadel, Cognitive Neuroscience of Emotion. Oxford Univ. Press, 2000.
Lewis, P. A., H. D. Critchley, P. Rotshtein, and R. J. Dolan, "Neural Correlates of Processing Valence and Arousal in Affective Words", Cerebral Cortex, Vol.17, No.3(2007), 742- 748.
Luigina, C., "Situating 'Place' in Interaction Design : Enhancing the User Experience in Interactive Environments", Dept. of Computer Science and Information Systems, University of Limerick, 2004.
MaCulloch, W. S. and W. H. Pitts, "A logical calculus of ideas immanent in nervous activity", Bulletin of Mathematical Biophysics, Vol.9 (1943), 115-133.
Mark, R., Y. Yaser, and S. D. Larry, "Human Expression Recognition from Motion Using : a Radial Basis Function Network Architecture", IEEE Transactions on Neural Networks, Vol.7, No.5(1996), 1121-1138.
Mehrabian, A. and J. Russell, An Approach to Environmental Psychology. MIT Press, 1974.
Nicolaou, M., H. Gunes, and M. Pantic, "Continuous Prediction of Spontaneous Affect from Multiple Cues and Modalities in Valence-Arousal Space", IEEE Transactions on Affective Computing, Vol.2, No.2(2011), 92-105.
Oliveira, A. M., M. P. Teixeira, I. B. Fonseca, and M. Oliveira, "Joint Model-Parameter Validation of Self-Estimates of Valence and Arousal : Probing a Differential-Weighting Model of Affective Intensity", Proc. 22nd Ann. Meeting Int'l Soc. for Psychophysics (2006), 245-250.
Pantic, M. and L. J. M. Rothkrantz, "Expert system for automatic analysis of facial expressions", Image and Vision Computing, Vol.18(2000), 881-905.
Stathopoulou, I. O. and G. A. Tsihrintzis, "An Improved Neural Network-Based Face Detection and Facial Expression Classification System", IEEE International Conference on Systems, Man, and Cybernetics 2004, The Hague, The Netherlands(2004).
Xu, M., J. S. Jin, S. Luo, and L. Duan, "Hierarchical movie affective content analysis based on arousal and valence features", MM '08 : Proc . of the 16th ACM Mult, (2008), 677- 680.
Zahid, R., G. Suat, B. Micheal, and R. Bernd, "A Unified Features Approach to Human Face Image Analysis and Interpretation", Affective Computing and Intelligent Interaction(ACII), (2009), 41-48.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.