초록 ▼

얼굴 영상 기반의 감정 인식 시스템 및 방법이 개시된다.얼굴 영상 기반의 감정 인식 시스템은 얼굴 인식을 위한 개인별 얼굴 사진과 기계 학습(machine learning)에 의해 개인별 얼굴 사진의 감정 상태에 따른 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 얼굴의 특징점들과 그 얼굴 사진과 관련된 감정 상태에 따른 영상 패치 기반 데이터를 저장하는 저장된 얼굴 인식 DB와 얼굴 인식 시스템; 및 상기 얼굴 인식 DB와 연동되며, 대상 사람의 얼굴 영상 를 입력받아 N개의 얼굴 특징점들을 추출하고, 특징점 기반 감정 인

얼굴 영상 기반의 감정 인식 시스템 및 방법이 개시된다.얼굴 영상 기반의 감정 인식 시스템은 얼굴 인식을 위한 개인별 얼굴 사진과 기계 학습(machine learning)에 의해 개인별 얼굴 사진의 감정 상태에 따른 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 얼굴의 특징점들과 그 얼굴 사진과 관련된 감정 상태에 따른 영상 패치 기반 데이터를 저장하는 저장된 얼굴 인식 DB와 얼굴 인식 시스템; 및 상기 얼굴 인식 DB와 연동되며, 대상 사람의 얼굴 영상 를 입력받아 N개의 얼굴 특징점들을 추출하고, 특징점 기반 감정 인식 결과 와 그 특징점들 근처의 영상 패치로부터 영상 기반의 감정인식 결과 를 제공하여 대상 사람의 얼굴의 최종 감정 인식 결과를 출력하는 감정 인식 시스템을 포함한다.대상 사람의 얼굴 영상을 입력받아 얼굴 이미지를 캡춰하여 인공 신경망 기술(CNN)을 사용하여 얼굴의 특징점들(facial landmarks)을 추출하고, 추출된 얼굴 특징점들과 그 특징점들 근처의 영상 패치로부터 특징점 기반의 감정인식 결과와 영상 기반의 감정인식 결과를 제공하여 얼굴의 미세한 표정 변화를 인식하고 희노애락의 감정 상태(기쁨, 슬픔, 두려움, 화남) 를 추정하여 그 사람의 감정 상태를 출력한다.

대표청구항 ▼

얼굴 인식을 위한 개인별 얼굴 사진과 기계 학습(machine learning)에 의해 개인별 얼굴 사진의 감정 상태에 따른 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 얼굴의 특징점들과 그 얼굴 사진과 관련된 감정 상태에 따른 영상 패치 기반 데이터를 저장하는 저장된 얼굴 인식 DB와 얼굴 인식 시스템; 및 상기 얼굴 인식DB와 연동되며, 대상 사람의 얼굴 영상 를 입력받아 N개의 얼굴 특징점들을 추출하고, 특징점 기반 감정 인식 결과 와 그 특징점들 근처의 영상 패치로부터 영상 기반의 감정인식 결과 를 제공하여 대상 사

얼굴 인식을 위한 개인별 얼굴 사진과 기계 학습(machine learning)에 의해 개인별 얼굴 사진의 감정 상태에 따른 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 얼굴의 특징점들과 그 얼굴 사진과 관련된 감정 상태에 따른 영상 패치 기반 데이터를 저장하는 저장된 얼굴 인식 DB와 얼굴 인식 시스템; 및 상기 얼굴 인식DB와 연동되며, 대상 사람의 얼굴 영상 를 입력받아 N개의 얼굴 특징점들을 추출하고, 특징점 기반 감정 인식 결과 와 그 특징점들 근처의 영상 패치로부터 영상 기반의 감정인식 결과 를 제공하여 대상 사람의 얼굴의 최종 감정 인식 결과를 출력하는 감정 인식 시스템을 포함하며, 상기 감정 인식 시스템은 얼굴 영상 를 입력받아 N개의 얼굴 특징점에 대한 좌표 를 출력하는 얼굴 특징점 추출부; 얼굴 인식DB에 통계적으로 감정상태에 따른 얼굴 표정의 특징점 데이터가 저장되며, 상기 N개의 얼굴 특징점들에 대한 좌표 를 입력받아 상기 감정상태에 따른 얼굴 표정의 특징점 데이터와 비교하여 특징점 기반 감정 인식 결과를 제공하는 특징점 기반 감정 인식부; 입력 얼굴 영상과 상기 N개의 얼굴 특징점 좌표들을 입력받아 얼굴 특징점 좌표를 중심으로 가로, 세로가 W 픽셀의 길이를 가지는 정사각형 패치를 얼굴 영상으로부터 추출하여 결과적으로 총 N개의 영상 패치 를 제공하는 영상 패치 추출부; 상기 영상 패치 추출부로부터 상기 총 N개의 영상 패치 를 입력받고, 영상 패치 기반 감정 인식 결과 를 제공하는 영상 패치 기반 감정 인식부; 및 상기 특징점 기반 감정 인식부 및 상기 영상 패치 기반 감정 인식부로부터 각각 특징점 기반 감정 인식 결과 와 영상 패치 기반 감정 인식 결과 를 입력받아 최종 감정 인식 결과 를 출력하는 감정 인식 결과 융합부를 포함하며, 상기 감정 인식 결과 융합부는 과 는 모두 M 차원의 벡터로 M개의 감정 카테고리에 대한 확률 분포를 나타내며, 그렇게 추정된 두 개의 감정 인식 결과 벡터는 상기 감정 인식 결과 융합부로 입력되고, 최종 감정 인식 결과 가 계산되며,이는 의 관계식을 통해 특징점 기반 감정 인식 결과 벡터와 영상 패치 기반 감정 인식 결과 벡터의 가중치 평균으로 계산될 수 있으며, 여기서 α는 특징점 기반 감정 인식 결과에 대한 가중치를 나타내며, 인식된 감정의 카테고리 는 가장 높은 확률을 가지는 감정의 인덱스 로 계산되어 감정 인식 시스템의 최종 감정 인식 결과가 출력되는,얼굴 영상 기반의 감정 인식 시스템.