[논문]동영상에서의 모델기반 특징추출을 이용한 얼굴 표정인식

박미애; 최성인; 임동악; 고재필

문제 정의

본 논문에서는 동영상에서의 표정변화 단계에 기반 한 표정인식 방법을 설명한다. 전체 과정을 그림 1에 도식화 하였다.
본 논문에서는 연구추세인 동영상에서의 얼굴표정인식을 목표로 하여, Bourel 모델에 기반 하면서 특징점 추출의 수작업을자동화하기 위해 Abboud의 방법을 도입한다. 그러나, 본 논문에서는 Abboud와는 달리 에지정보에 기반 하는 Active Shape Models (ASM)[U]을 도입하여 특징추출 과정을 제안하고, 표정인식 성능향상을 위한 새로운 개체기반 분류방법을 제안한다.

제안 방법

Dubuisson[8]은 영상 정규화의 중요성을 보였으며, YongShen이이은 정지영상에 스케치하듯 얼굴의 윤곽선을 그린 후, 입력영상과 정합시켜 표정을 인식하는 방법을 제안하여 에지정보를 이용한 표정인식의 가능성을 보여주었다. BoureL et이 10]은 동영상의 각 프레임에서 얼굴표정의특징이 되는 눈썹, 코, 입에서 12개의 특징점을 수작업으로 추출한 후 제안한 상태기반모델을 통해 표정인식을 수행하였다.
위해 Abboud의 방법을 도입한다. 그러나, 본 논문에서는 Abboud와는 달리 에지정보에 기반 하는 Active Shape Models (ASM)[U]을 도입하여 특징추출 과정을 제안하고, 표정인식 성능향상을 위한 새로운 개체기반 분류방법을 제안한다.
본 논문에서는 얼굴의 표정을 인식하기 위해서 ASM을 이용하여 특징을 추출하고 상태기반 모델을 이용하여 표정 시퀀스를상태벡터로 나타냈으며, 표정분류를 위한 개체기반 학습발법을제안하여 사용하였다.
얼굴의 표정을 분류하기 위해서 새로운 개체 기반 학습 방법을 제안하고, 실험에서 kNN(k-Nearest Nei앙ibor) 분류기와 비교하여 그 결과를 보여준다.
우선 동영상의 각 프레임에서 얼굴모양을, 대표적 통계적 모양 모델인 ASM을 통해 학습시키고 정함과정을 통해 입력 영상의 얼굴 요소 특징들을 추출한다. ASM에 의해 정합된 영상에서, ASM의 모양 파라미터 벡터를 추출한다.
Chung-Lin Huang, 은 모델기반방법과 Action Parameter (AP)를 사용한 얼굴표정 인식 기법을 제안했다. 이 방법은 특징을 추출하기 위해서 모델을 이용하고, 분류를 위해 AP profile을 사용하여 얼굴의 표정을 인식했다. 그러나, 이 방법은 일부 표정만을 인식하는데 그쳤다.
이러한 문제를 완화하고자, 안정적으로 정합될 수 있는 58개의 점을 추가하어 정합성능에 영향을 주는 기존의 12개 특징 첨의 영향을 줄이도록 하였다. 실험에서 12개의 특징점보다 70개의 특징점이 훨씬 좋은 정합 결과를 나타내는 것을 확인하였다.
ASM에 의해 정합된 영상에서, ASM의 모양 파라미터 벡터를 추출한다. 추출된 모양 파라미터 벡터들은 각 동영상에 대해 모양 파라미터 벡터 집합을 구성하는데, 집합내의 모양 파라미터 벡터들의 변화과정을 3단계의 상태 벡터로 표현하여 마지막 단계에서 이를 이용한 얼굴 표정 인식을 수행한다.
표정인식 성능을 검사하기 위해, Leave-One-Out 방법론[13]에 따라 총 36개의 표정 시퀀스 중 학습데이터로 35개, 실험데이터로 1개씩 선정하여, 실험데이터와 학습데이터를 바꾸어가며 36번 반복 수행하였으며, 인식률은 이들의 평균치로 계산하였다.

대상 데이터

이 데이터베이스는 96명으로 구성되어있으며, 각각 1~9개의 표정 시퀀스를 가지고 있고, 각 표정시퀀스는 4~66개의 프레임으로 구성된다. 본 논문에서는 이 중 6가지 표정 시퀀스를 가지고 있는 13명을 선별하였고, 선형모델인 ASM으로 모델링하기 어려운 조명, 얼굴 크기, 인종이 유사한 최종 6명에 대한 총 36시퀀스, 180 프레임을 선정하였다.
얼굴표정을 인식하기 위한 데이터로는 인종과 성별, 그리고 표정들이 골고루 포함되어 있으며, 정규화 된 영상 크기를 제공하고 있어 많은 연구자들이 사용하고 있는 Kanade-Cohn Face Database[12]를 사용한다. 이 데이터베이스는 96명으로 구성되어있으며, 각각 1~9개의 표정 시퀀스를 가지고 있고, 각 표정시퀀스는 4~66개의 프레임으로 구성된다.
사용한다. 이 데이터베이스는 96명으로 구성되어있으며, 각각 1~9개의 표정 시퀀스를 가지고 있고, 각 표정시퀀스는 4~66개의 프레임으로 구성된다. 본 논문에서는 이 중 6가지 표정 시퀀스를 가지고 있는 13명을 선별하였고, 선형모델인 ASM으로 모델링하기 어려운 조명, 얼굴 크기, 인종이 유사한 최종 6명에 대한 총 36시퀀스, 180 프레임을 선정하였다.

성능/효과

kNN 분류기를 사용하여 실험한 결과는 50%에 미치지 못하는 매우 낮은 인식률을 보였으며, 제안한 개체기반학습 방법이 월등히 높은 인식률을 보여주었다. 천자의 경우 성능이 매우 저조한데, 이는 ASM의 모양 파라미터 정보의 효용성은 얼마나 정합이 잘되는가에 좌우되는데, 수작업으로 얼굴특징을 선정하는 것보다 그 정밀도가 떨어졌기 때문인 것으로 판단된다.
더 나은 성능을 보여주었다. 또한, 12개의 특징점을 사용한 인식률이 70개의 특징점을 사용한 인식률보다 더 높게 나타났으며, surprise, anger, feai■는 다른 표정에 비해 인식이 잘 되는 것을 나타냈다. 이로부터, 12개의 특징점 변화가 얼굴의 표정정보를 잘 표현하며 특히 surprise, anger, fear 등을 잘 표현하고 있다고 볼 수 있다.
줄이도록 하였다. 실험에서 12개의 특징점보다 70개의 특징점이 훨씬 좋은 정합 결과를 나타내는 것을 확인하였다.
이를 통해, 표정인식에서 얼굴요소의 지형적 특징의 효용성을 보여주었다.
천자의 경우 성능이 매우 저조한데, 이는 ASM의 모양 파라미터 정보의 효용성은 얼마나 정합이 잘되는가에 좌우되는데, 수작업으로 얼굴특징을 선정하는 것보다 그 정밀도가 떨어졌기 때문인 것으로 판단된다. 이에 비해 제안한 방법은 표정별로 서로 다른 모양 파라미터를 선별하게 되어 정말도가 떨어진 핏팅 정보를 배제하게 되어 보다 높은 인식률을 보인 것으로 판단된다. 제안방법의 표정별 인식성능은 표1에 정리하였다.
제안된 개체기반 학습방법은 표정별로 상이한 상태벡터를 선정함으로써 더 나은 성능을 보여주었다. 또한, 12개의 특징점을 사용한 인식률이 70개의 특징점을 사용한 인식률보다 더 높게 나타났으며, surprise, anger, feai■는 다른 표정에 비해 인식이 잘 되는 것을 나타냈다.
이로부터, 12개의 특징점 변화가 얼굴의 표정정보를 잘 표현하며 특히 surprise, anger, fear 등을 잘 표현하고 있다고 볼 수 있다. 제안방법은 선형 ASM을 사용하였기 때문에 인종, 성별, 얼굴 크기, 포즈 등 변화요인이 큰 데이터들을 다룰 수 없었는데, 커널머신이나 가우시안믹스춰 모델을 기반으로 하는 비선형 ASM 모델을 적용함으로써 이러한 다양한 변화요인에 대처할 수 있다.
표 1에서 보이는 것과 같이 12개의 특징점를 사용한 인식률은 88.9%, 70개의 특징점를 사용한 인식률은 86.1%를 나타냈으나, 위와 같이 분산이 넓게 분포한다, 그리고 surprise, anger, fear 는 다른 표정에 비해 인식이 잘 되는 것으로 나타났다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

동영상에서의 모델기반 특징추출을 이용한 얼굴 표정인식
Facial Expression Recognition using Model-based Feature Extraction in Image Sequence 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

동영상에서의 모델기반 특징추출을 이용한 얼굴 표정인식 Facial Expression Recognition using Model-based Feature Extraction in Image Sequence 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

동영상에서의 모델기반 특징추출을 이용한 얼굴 표정인식
Facial Expression Recognition using Model-based Feature Extraction in Image Sequence 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper