[논문]인물에 독립적인 표정인식을 위한 Action Unit 기반 얼굴특징에 관한 연구

이승호; 김형일; 박성영; 노용만

[국내논문] 인물에 독립적인 표정인식을 위한 Action Unit 기반 얼굴특징에 관한 연구
Action Unit Based Facial Features for Subject-independent Facial Expression Recognition 원문보기

이승호 (한국과학기술원 전기및전자공학과) , 김형일 (한국과학기술원 전기및전자공학과) , 박성영 (한국과학기술원 전기및전자공학과) , 노용만 (한국과학기술원 전기및전자공학과)

실제적인 표정인식 응용에서는 테스트 시 등장하는 인물이 트레이닝 데이터에 존재하지 않는 경우가 빈번하여 성능 저하가 발생한다. 본 논문에서는 인물에 독립적인(subject-independent) 표정인식을 위한 얼굴특징을 제안한다. 제안방법은 인물에 공통적인 얼굴 근육 움직임(Action Unit(AU))에 기반한 기하학 정보를 표정 특징으로 사용한다. 따라서 인물의 고유 아이덴티티(identity)의 영향은 감소되고 표정과 관련된 정보는 강조된다. 인물에 독립적인 표정인식 실험결과, 86%의 높은 표정인식률과 테스트 비디오 시퀀스 당 3.5ms(Matlab 기준)의 매우 빠른 분류속도를 달성하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 본 논문에서는 인물에 독립적인 (subject-independent) 표정인식을 위한 새로운 얼굴 특징을 제안한다. 제안방법의 특장점은 다음과 같이 두 가지로 요약된다.
본 논문에서는 인물에 독립적인(subject-independent) 표정인식을 위한 얼굴특징을 제안하였다. 제안 방법은 테스트에 등장하는 인물에 관계없이 표정과 관련된 성분을 추출하기 위해 Action Unit(AU)에 기반한 기하학 특징을 정의하였다.

제안 방법

1) 제안방법은 사람이 특정 표정(예 : Surprise)을 지을 때 공통적으로 나타나는 얼굴 근육 움직임 (Action Unit(AU)[5])에 기반한 기하학 정보를 표정 특징으로 사용한다. 따라서 인물의 고유 아이덴티티(identity)의 영향은 감소되고 표정과 관련된 정보는 강조되어 표정 분류 시 분별력을 높인다.
제안방법은 인물에 독립적인 표정인식을 위해 인식을 수행할 비디오 시퀀스에서 표정세기(intensity)가 가장 큰 피크(peak) 표정 얼굴과 동일한 인물의 중립 (neutral) 얼굴 간의 차이 (difference)를 이용한다. 또한 제안방법은 표정얼굴을 AU 관점에서 분석하기 위해 얼굴의 랜드마크 (landmark) 검줄을 사용한다. 본 논문에서는 얼굴 랜드마크 검출을 위해 [6]의 방법을 사용하였다.
각각의 비디오 시퀀스는 최소 5 개에서 최대 67 개의 프레임을 포함하며 첫 프레임에서 중립(neutral)으로 시작하여 점차 표정의 세기가 강해져서 마지막 프레임에서 피크(peak) 표정을 나타낸다. 본 논문에서는 제안하는 방법에서 각각 비디오 시퀀스의 첫 프레임과 마지막 프레임을 중립 프레임과 피크 프레임으로 사용하였다. 그림 2는 6 가지 기본 감정에 대한 비디오 시퀀스의 피크 표정얼굴과 29 쌍의 랜드마크 간 거리를 표시한 예를 보여준다.
제안 방법은 테스트에 등장하는 인물에 관계없이 표정과 관련된 성분을 추출하기 위해 Action Unit(AU)에 기반한 기하학 특징을 정의하였다. 인물에 독립적인 표정 인식에서 실험을 수행한 결과, 86%의 높은 표정인식률을 달성하였으며 특징의 적은 차원 수에 의해 Matlab 환경에서 테스트 비디오 시퀀스 당 평균 3.
시퀀스에서 제안하는 AU 기반 얼굴특징 추출방법을 설명한다. 제안방법은 인물에 독립적인 표정인식을 위해 인식을 수행할 비디오 시퀀스에서 표정세기(intensity)가 가장 큰 피크(peak) 표정 얼굴과 동일한 인물의 중립 (neutral) 얼굴 간의 차이 (difference)를 이용한다. 또한 제안방법은 표정얼굴을 AU 관점에서 분석하기 위해 얼굴의 랜드마크 (landmark) 검줄을 사용한다.

대상 데이터

데이터베이스[9]를 사용하였다. 일곱 가지의 감정 중 하나로 라벨링 된 325개의 비디오 시퀀스 (Anger 45 기, Contempt 18 기, Disgust 58 기, Fear 25 기, Happy 69 기, Sadness 28 기, Surprise 82 개)를 선택 하였다. 각각의 비디오 시퀀스는 최소 5 개에서 최대 67 개의 프레임을 포함하며 첫 프레임에서 중립(neutral)으로 시작하여 점차 표정의 세기가 강해져서 마지막 프레임에서 피크(peak) 표정을 나타낸다.
제안하는 방법을 평가하기 위해 Cohn-Kanade plus (CK+) 데이터베이스[9]를 사용하였다. 일곱 가지의 감정 중 하나로 라벨링 된 325개의 비디오 시퀀스 (Anger 45 기, Contempt 18 기, Disgust 58 기, Fear 25 기, Happy 69 기, Sadness 28 기, Surprise 82 개)를 선택 하였다.
예제

제안하는 표정인식 특징의 효용성을 검증하기 위해 표정 인식에서 대표적인 시공간 얼굴특징인 LBP-TOP[3]와 LPQ-TOP[4]가 비교 목적으로 사용되었다. 공정한 비교를 위해 LBP-TOP 와 LPQ-TOP 의 분류는 제안 방법과 동일하게 SR 분류방법을 사용하였다.

이론/모형

사용되었다. 공정한 비교를 위해 LBP-TOP 와 LPQ-TOP 의 분류는 제안 방법과 동일하게 SR 분류방법을 사용하였다.
여기서 £ 은 에러 텀(error term)이다. 본 논문에서는 수식 ₍₄₎의 _sparse해 _(solution)벡 터 _[7]W 를 구하기 위해 regularized orthogonal matching pursuit(ROMP)[8]를 사용하였다
또한 제안방법은 표정얼굴을 AU 관점에서 분석하기 위해 얼굴의 랜드마크 (landmark) 검줄을 사용한다. 본 논문에서는 얼굴 랜드마크 검출을 위해 [6]의 방법을 사용하였다. 이 방법을 중립 얼굴과 피크 표정얼굴에 적용하여 얻은 49 개의 얼굴 랜드마크 검출결과 예를 그림 1(a)와 (b) 에각각 나타내었다.
인물에 독립적인 표정 인식 성능 측정을 위해 [10]에서 제시한 방법과 유사하게 leave-one-subject-out(LOSO) 크로스 밸리데이션 (cross validation) 방식[10]을 채택하였다. 성능 척도로서 표정인식 률(recognition rate)를 사용하였다.
그림 2는 6 가지 기본 감정에 대한 비디오 시퀀스의 피크 표정얼굴과 29 쌍의 랜드마크 간 거리를 표시한 예를 보여준다. 인물에 독립적인 표정 인식 성능 측정을 위해 [10]에서 제시한 방법과 유사하게 leave-one-subject-out(LOSO) 크로스 밸리데이션 (cross validation) 방식[10]을 채택하였다. 성능 척도로서 표정인식 률(recognition rate)를 사용하였다.

성능/효과

2) 얼굴특징 추출 시 29 종류의 기하학 특징만을 사용하므로 특징벡터의 차원수를 대폭 감소시킬 수 있다. 표정 데이터를 적은 저장공간으로도 보존할 수 있기 때문에 방대한 양의 표정 데이터를 처리 및 저장해야 하는 대용량 감성인식이나 생체인식 시스템에 적용이 용이하다.
대표적인 공용 데이터베이스인 Cohn-Kanade plus(CK+)를 이용하여 인물에 독립적인 인식조건에서 실험을 수행한 결과, 제안방법은 대표적인 표정 특징인 LBP-TOP 와 LPQ-TOP 보다 높은 표정인식률을 달성하였다.
제안 방법은 테스트에 등장하는 인물에 관계없이 표정과 관련된 성분을 추출하기 위해 Action Unit(AU)에 기반한 기하학 특징을 정의하였다. 인물에 독립적인 표정 인식에서 실험을 수행한 결과, 86%의 높은 표정인식률을 달성하였으며 특징의 적은 차원 수에 의해 Matlab 환경에서 테스트 비디오 시퀀스 당 평균 3.5ms 의 매우 빠른 분류 속도를 보였다.
제안 방법은 비교방법에 비해 약 4~6% 높은 표정 인식률을 보였다. 시공간의 텍스처에 기반하는 LBP-TOP 와 LPQ-TOP 에 비해 제안방법은 중립표정 대비 변화하는 AU 기반 특징을 추출한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 인물에 독립적인 표정인식을 위한 Action Unit 기반 얼굴특징에 관한 연구
Action Unit Based Facial Features for Subject-independent Facial Expression Recognition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 인물에 독립적인 표정인식을 위한 Action Unit 기반 얼굴특징에 관한 연구 Action Unit Based Facial Features for Subject-independent Facial Expression Recognition 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 인물에 독립적인 표정인식을 위한 Action Unit 기반 얼굴특징에 관한 연구
Action Unit Based Facial Features for Subject-independent Facial Expression Recognition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper