[논문]얼굴 표정 인식 기반 컨텐츠 선호도 추론 시스템

이연곤; 조덕현; 장준익; 서일홍

문제 정의

의미 있는 얼굴 단위 움직임 체계는 심리학자들이 만들어놓았다.[6][7] 본 논문에서는 감정 및 선호도 파악에 매우 중요한 영향을 끼치는 얼굴 단위 움직임만을 선별하여 인식하고자 한다. <그림 2>와 <그림 3>에 인식할 얼굴 단위 움직임들이 명시되어 있다.
어떤 컨텐츠의 평가에 모든 순간에 느낀 감정들이 동일하게 작용하지는 않는다. 따라서 본 논문에서는 중요한 순간의 감정에 가중치를 주었다. 가중 함수는 상황에 따라 두 가지 형태로 정의하여 사용한다.
본 논문에서는 얼굴 표정 인식을 기반으로 하여 컨텐츠 선호도를 추론하는 시스템을 제안하였다. 제안하는 시스템은 기존의 수동 컨텐츠 선호도 투표 시스템의 문제점인 컨텐츠 소비자의 부담감과 번거로움, 조작 위험성 등을 해소함으로써 보다 편리하고 효율적이며 신뢰도 높은 서비스를 제공할 수 있도록 해준다.
이러한 문제점들을 해결하기 위해 본 논문에서는 컨텐츠 소비자의 얼굴 표정을 인식하여 자동으로 선호도를 추론하는 시스템을 제안한다. 이와 관련된 연구로 TV 시청자의 생체신호를 TV 프로그램 추천 시스템에 활용한 연구가 있다.

제안 방법

컨텐츠 소비자의 만족도에 가장 큰 영향을 미치는 시간은 컨텐츠 후반부이기 때문이다. 두 번째는 컨텐츠 제작자의 의도에 적합한 지 여부를 판단할 때의 가중 함수로, 가우시안 함수 형태를 띠도록 하였다. 어떤 컨텐츠 제작자는 소비자가 그 컨텐츠를 좋아하는지 여부보다 자신의 목적에 부합했는지 여부를 더 알고 싶을 수 있다.
보다 정확하고 효율적인 인식을 위해서 얼굴 위쪽 단위 움직임과 얼굴 아래쪽 단위 움직임을 나누어 인식한다. <그림 2>에 얼굴 위쪽용 신경망을, <그림 3>에 얼굴 아래쪽용 신경망을 나타냈다.
본 논문에서 제안하는 시스템은 Windows 환경에서 C++와 OpenCV 2.0을 이용하여 구현되었으며, 실험은 랩톱PC에서 built-in camera를 활용하여 진행되었다.실험에 사용된 AAM 모델은 동일 인물에 대해 여러 변화를 주어 직접 촬영한 50장의 영상에 각각 58개의 특징점을 찍어 학습시켰다.
본 논문에서는 대표적 얼굴심리학자인 폴 에크먼이 개발한 FACS(Facial Action Coding System)[6]와 EMFACS(EMotional FACS)[7]를 근간으로 하여 과 같이 6가지 기본 감정을 인식하는 규칙들을 만들었으며, 이들을 기반으로 감정을 인식한다.
상황에 맞게 선택된 가중 함수와 매 프레임 별로 인식된 감정을 곱한 뒤, 각 감정들을 bin으로 하는 히스토그램을 쌓는다. 그리고 히스토그램에서 가장 높은 수치를 가지는 bin의 감정이 컨텐츠 소비자가 현재 컨텐츠를 소비하면서 얻은 주요 인상 혹은 감정이라고 판단한다.
실험은 실제 유튜브에서 동영상을 보는 영상을 촬영한 뒤에, 촬영한 영상을 구현한 시스템에 입력으로 넣어서 수행하였다. 3명의 피실험자가 3가지 동영상을 보면서 실험을 수행한 결과, 전반적으로 컨텐츠 소비자가 컨텐츠에 대해 직접 내린 평가와 유사한 결과가 나오는 것을 확인할 수 있었다.
첫 번째는 컨텐츠 소비자가 해당 컨텐츠를 좋아하는지 여부를 판단할 때의 가중 함수로, 단조 증가 선형 함수 형태를 띠도록 하였다. 컨텐츠 소비자의 만족도에 가장 큰 영향을 미치는 시간은 컨텐츠 후반부이기 때문이다.

대상 데이터

DB[9]에 직접 얼굴 단위 움직임을 라벨링한 데이터를 학습 데이터로 이용하였다.
0을 이용하여 구현되었으며, 실험은 랩톱PC에서 built-in camera를 활용하여 진행되었다.실험에 사용된 AAM 모델은 동일 인물에 대해 여러 변화를 주어 직접 촬영한 50장의 영상에 각각 58개의 특징점을 찍어 학습시켰다. 또 다층 퍼셉트론 신경망을 학습시키기 위해서 직접 촬영한 얼굴 영상들과 JAFFE(JApanese Female Facial Expression)

이론/모형

본 논문에서는 얼굴을 찾는 방법으로 Viola&Jones Detector[4]를 사용한다.
얼굴 단위 움직임 인식을 위한 방법으로는 다층 퍼셉트론 신경망[8]을 이용한다. 그 이유는 얼굴 단위 움직임은 한 순간에 한 가지만 발현되는 것이 아니라 여러 가지가 동시에 발현될 수 있는데, 이를 모두 인식하는 방법으로 신경망이 가장 적합하기 때문이다.
즉, 감정 인식을 위해서는 이들의 위치와 모양을 알아야 한다. 얼굴 특징점 추출을 위해 본 논문에서는 AAM(Active Appearance Model)[5]을 사용한다. AAM은 얼굴이나 손 같이 변형 가능한 객체의 특징점을 추출하는 데 활용되는 통계적 모델로, 특징점 위치 정보를 모델링한 shape 모델과 픽셀 세기 정보를 모델링한 texture 모델로 구성된다.

성능/효과

실험은 실제 유튜브에서 동영상을 보는 영상을 촬영한 뒤에, 촬영한 영상을 구현한 시스템에 입력으로 넣어서 수행하였다. 3명의 피실험자가 3가지 동영상을 보면서 실험을 수행한 결과, 전반적으로 컨텐츠 소비자가 컨텐츠에 대해 직접 내린 평가와 유사한 결과가 나오는 것을 확인할 수 있었다. <그림 5>에 실험 결과 영상을 나타냈다.
본 논문에서 제안하는 시스템은 6가지 기본 감정에 추가로 무표정(neutral)도 인식이 가능하다. 따라서 무표정도 히스토그램의 하나의 bin으로 취급하였다.
본 논문에서는 얼굴 표정 인식을 기반으로 하여 컨텐츠 선호도를 추론하는 시스템을 제안하였다. 제안하는 시스템은 기존의 수동 컨텐츠 선호도 투표 시스템의 문제점인 컨텐츠 소비자의 부담감과 번거로움, 조작 위험성 등을 해소함으로써 보다 편리하고 효율적이며 신뢰도 높은 서비스를 제공할 수 있도록 해준다. 이러한 점들과 컨텐츠 소비 중 스마트 기기를 통해 전면 얼굴 영상을 얻는 것이 용이하다는 점에서 본 논문에서 제안하는 시스템의 실용도는 높다고 할 수 있겠다.

후속연구

또한 얼굴 표정에는 사람의 감정, 의도, 상태 등 상당히 많은 정보가 담겨 있으며, 대체로 문화권에 상관없이 보편적이다.[3] 따라서 본 논문에서 제안하는 컨텐츠 선호도 자동 추론 시스템은 기존 수동 투표 시스템의 문제점을 해결하여 좀 더 효율적이고 신뢰도가 높으며, 보편적으로 적용이 가능한 서비스를 제공할 것으로 기대된다.
향후에는 배경, 조명 등의 환경 변화가 있거나 표정 변화가 심해지면 얼굴 특징점 추출을 제대로 하지 못하는 문제점을 해결하여 좀 더 강인한 성능을 갖는 시스템을 개발할 계획이다. 또한 감정 인식하는 부분을 단순 규칙 기반 방법 대신 확률 기반 방법으로 변경하여 불확실한 상황과 표정에 적절히 대응하도록 할 계획이다.
제안하는 시스템은 기존의 수동 컨텐츠 선호도 투표 시스템의 문제점인 컨텐츠 소비자의 부담감과 번거로움, 조작 위험성 등을 해소함으로써 보다 편리하고 효율적이며 신뢰도 높은 서비스를 제공할 수 있도록 해준다. 이러한 점들과 컨텐츠 소비 중 스마트 기기를 통해 전면 얼굴 영상을 얻는 것이 용이하다는 점에서 본 논문에서 제안하는 시스템의 실용도는 높다고 할 수 있겠다.
향후에는 배경, 조명 등의 환경 변화가 있거나 표정 변화가 심해지면 얼굴 특징점 추출을 제대로 하지 못하는 문제점을 해결하여 좀 더 강인한 성능을 갖는 시스템을 개발할 계획이다. 또한 감정 인식하는 부분을 단순 규칙 기반 방법 대신 확률 기반 방법으로 변경하여 불확실한 상황과 표정에 적절히 대응하도록 할 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

얼굴 표정 인식 기반 컨텐츠 선호도 추론 시스템
Facial expression recognition-based contents preference inference system 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

얼굴 표정 인식 기반 컨텐츠 선호도 추론 시스템 Facial expression recognition-based contents preference inference system 원문보기

초록 AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

얼굴 표정 인식 기반 컨텐츠 선호도 추론 시스템
Facial expression recognition-based contents preference inference system 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper