[논문]표정인식을 활용한 고객피드백에 관한 연구

송은지; 강민식

문제 정의

서비스 산업의 경쟁력을 높이기 위해서는 고객 중심의 피드백 분석 및 평가가 필요하며 고객의 의견을 실시간으로 모니터링하고 문제가 발생하였을 때 이를 알리고 적절한 대안을 지원하는 시스템이 필요하다. 본 논문에서는 사용자의 감정 기호를 파악하여 고객 중심의 맞춤형 서비스 기능을 제공할 수 있도록 인간의 표정을 인식하는 알고리즘을 이용하여 만족도를 측정하는 알고리즘을 개발 한다.
표정 변화는 주의, 정서, 의도, 반응 등을 나타내는 주요한 단서이다. 본 연구는 자동적인 방법으로, 자연스러운 사용환경에서 사용자 얼굴영상에서 나타나는 표정, 정서 혹은 호감도를 인식하는 것을 목적으로 한다[1].
기존의 표정 인식 연구는 대부분 컨트롤된 환경에서 획득된, 정면 얼굴만을 대상으로 하기 때문에, 얼굴의 자세 변화, 조명 변화 등을 수반하는 경우에 성능이 급격하게 저하되는 문제가 있다. 본 연구에서는 얼굴의 자세 변화, 국소적인 변형, 조명에 강인한 영상의 특징을 고려하여 자연스러운 환경에서, 높은 정확도로 표정을 인식하는 것을 목적으로 한다[2,3].

제안 방법

주어진 영상에 대하여, 얼굴을 검출하고, 얼굴 특징점을 추출한 후에, 3차원 모델을 이용하여, 3차원 얼굴포즈를 추정하고, 모델링한 후에, 컴퓨터 그래픽스 렌더링 기법을 적용하여 정면영상을 생성한다. 둘째, 정규화된 정면영상에 대하여, 대표적인 딥러닝신경망 학습방법의 일종인, 콘볼루셔널신경망 (이하 CNN) [51]을 적용하여 표정분류에 적합한 특징을 추출하고 표정을 분류한다. 영상을 기반으로 특징을 추출하기 때문에, 표정 변화시 발현되는 미묘한 영상텍스처의 변화를 잡아낼 수 있으며, CNN의 적용으로, 조명 등의 변화에 강인한 특징 요소의 추출이 가능하다.
이와 같은 접근 방법으로, 제약이 없는 자연스러운 사용환경에서 (in the wild) 적용할 수 있도록, 자세변화, 조명변화에 강인한 표정인식 시스템을 구현하는 것이 가능하다. 정면영상생성 기법과, CNN을 이용한 표정인식 모듈이 각각 구현되었고, 개별적으로 테스트 되었다. CNN을 이용하여 개발된 영상기반의 표정인식 알고리즘을 대표적인 표정 데이터베이스를 활용하여 테스트 한 결과, 7가지 표정에 대하여, 92.
첫째, 임의의 자세로 주어진 얼굴영상에 대하여, 정면영상생성 기법을 적용하여, 정면 영상으로 렌더링 한 후에, 표정해석 기법을 적용함으로서, 자세변화에 불변하는 특징요소를 추출하고 비교하는 것이 가능하다. 주어진 영상에 대하여, 얼굴을 검출하고, 얼굴 특징점을 추출한 후에, 3차원 모델을 이용하여, 3차원 얼굴포즈를 추정하고, 모델링한 후에, 컴퓨터 그래픽스 렌더링 기법을 적용하여 정면영상을 생성한다. 둘째, 정규화된 정면영상에 대하여, 대표적인 딥러닝신경망 학습방법의 일종인, 콘볼루셔널신경망 (이하 CNN) [51]을 적용하여 표정분류에 적합한 특징을 추출하고 표정을 분류한다.
표 3에서는 표준적인 7개의 표정으로 분류한 결과를, 선호도 (좋음 – 보통 – 나쁨) 분류기와 각성수준 (각성 – 보통) 분류기를 사용한 결과들과 비교하였다.

데이터처리

제안하는 방법의 성능을 2가지의 베이스라인 방법과 비교하였다. 표1은 입력영상에 대하여 가우 시안 필터와 히스토그램 평활화를 적용한 후에, 벡터로 나타낸 후에 K-NN (k=20) 방법을 사용한 결과를 나타낸다.

성능/효과

정면영상생성 기법과, CNN을 이용한 표정인식 모듈이 각각 구현되었고, 개별적으로 테스트 되었다. CNN을 이용하여 개발된 영상기반의 표정인식 알고리즘을 대표적인 표정 데이터베이스를 활용하여 테스트 한 결과, 7가지 표정에 대하여, 92.3%의 평균 인식성능을, 호감도 분류 (like, dislike, neutral)에서는 86.6%, 각성수준의 분류 (aroused)에서는 89.6%의 인식성능을 보였다.
본 연구에서는 감성ICT기술 중 표정인식기술을 이용하여 고객의 만족도를 평가하는 알고리즘을 제안하고 실험결과에서 높은 인식률을 보였다. 즉, 영상픽셀을 처리하여 적용한 방법과, 특징요소를 직접 사용하여 인식한 종래의 방법에 비하 여, 제안하는 CNN 방법이 더 높은 인식성능을 나타내었음을 확인하였다.
표2는 입력영상 대신에 추출된 2차원의 특징요소를 정규화 한 후에, 벡터로 표현한 후에 동일한 K-NN을 적용하여 실험한 결과를 나타낸다. 영상픽셀을 처리하여 적용한 방법과, 특징요소를 직접 사용하여 인식한 종래의 방법에 비하여, 제안하는 CNN 방법이 더 높은 인식성능을 나타내었음을 확인하였다. 표 3에서는 표준적인 7개의 표정으로 분류한 결과를, 선호도 (좋음 – 보통 – 나쁨) 분류기와 각성수준 (각성 – 보통) 분류기를 사용한 결과들과 비교하였다.
이와 유사한 방식으로, 각성수준 분류기는 anger, disgust, fear, joy, surprise를 “각성”(aroused)으로 neutral과 sadness를 “보통”(neutral)로 분류하였다 선호도 분류기와 각성수준 분류기는 각각 일관된 기준으로 분류된 검사자료에 대하여 86.6%와 89.6%의 인식성능 (정확도)을 보였다.
본 연구에서는 감성ICT기술 중 표정인식기술을 이용하여 고객의 만족도를 평가하는 알고리즘을 제안하고 실험결과에서 높은 인식률을 보였다. 즉, 영상픽셀을 처리하여 적용한 방법과, 특징요소를 직접 사용하여 인식한 종래의 방법에 비하 여, 제안하는 CNN 방법이 더 높은 인식성능을 나타내었음을 확인하였다. 표준적인 7개의 표정으로 분류한 결과를 이용하여 선호도분류기와 각성수준 분류기를 사용한 결과들과 비교하여 좋은 결과를 얻었다.
본 연구에서는 다음과 같은 방법을 제안하고, 개발하였다. 첫째, 임의의 자세로 주어진 얼굴영상에 대하여, 정면영상생성 기법을 적용하여, 정면 영상으로 렌더링 한 후에, 표정해석 기법을 적용함으로서, 자세변화에 불변하는 특징요소를 추출하고 비교하는 것이 가능하다. 주어진 영상에 대하여, 얼굴을 검출하고, 얼굴 특징점을 추출한 후에, 3차원 모델을 이용하여, 3차원 얼굴포즈를 추정하고, 모델링한 후에, 컴퓨터 그래픽스 렌더링 기법을 적용하여 정면영상을 생성한다.
즉, 영상픽셀을 처리하여 적용한 방법과, 특징요소를 직접 사용하여 인식한 종래의 방법에 비하 여, 제안하는 CNN 방법이 더 높은 인식성능을 나타내었음을 확인하였다. 표준적인 7개의 표정으로 분류한 결과를 이용하여 선호도분류기와 각성수준 분류기를 사용한 결과들과 비교하여 좋은 결과를 얻었다. 이것은 설문이나 SNS를 통해 얻은 고객만족도에 관한 정보의 정확도를 높이는데 응용될 수 있다.

후속연구

이것은 설문이나 SNS를 통해 얻은 고객만족도에 관한 정보의 정확도를 높이는데 응용될 수 있다. 설문조사와의 결합 혹은 수업환경에서의 표정해석 등에 실제 활용될 수 있도록 분류방법을 개선하는 것이 향후 과제이다.
6%의 인식성능 (정확도)을 보였다. 이렇게 새롭게 분류된 표정 분류기들은, 설문조사와 연동 하거나, 학습환경에서 사용자의 각성 정도를 파악하고 분류하는데 활용될 수 있을 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

표정인식을 활용한 고객피드백에 관한 연구
A Study on Customer Feedback using Facial Expression 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

데이터처리

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

표정인식을 활용한 고객피드백에 관한 연구 A Study on Customer Feedback using Facial Expression 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

데이터처리

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

표정인식을 활용한 고객피드백에 관한 연구
A Study on Customer Feedback using Facial Expression 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper