초록 ▼

본 발명은 입력된 얼굴 이미지로부터 감정을 식별하는 얼굴 감정 인식 장치 및 그 방법에 대한 것이다. 본 발명에 따르면, 입력된 얼굴 이미지로부터 감정을 식별하는 얼굴 감정 인식 장치에 있어서, 감정 인식 대상이 되는 얼굴 이미지를 입력받고, 입력된 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출하며, 추출된 특징으로부터 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 전달하는 얼굴 특징 추출부, 상기 입력된 얼굴 이미지와 동일 인물에 대한 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출하고, 상

본 발명은 입력된 얼굴 이미지로부터 감정을 식별하는 얼굴 감정 인식 장치 및 그 방법에 대한 것이다. 본 발명에 따르면, 입력된 얼굴 이미지로부터 감정을 식별하는 얼굴 감정 인식 장치에 있어서, 감정 인식 대상이 되는 얼굴 이미지를 입력받고, 입력된 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출하며, 추출된 특징으로부터 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 전달하는 얼굴 특징 추출부, 상기 입력된 얼굴 이미지와 동일 인물에 대한 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출하고, 상기 좌표의 차이값을 CNN알고리즘의해 적용하여 상위 2개의 감정에 대한 벡터값을 산출하는 기하학적 변화량 추출부, 그리고 상기 얼굴 특징 추출부로부터 추출된 감정 인식값과 상기 기하학적 변화량 추출부에서 산출된 벡터값에 각각 가중치를 부여하여 산출된 결과값 중 최고값을 가진 감정을 최종 감정으로 분류하는 감정 분류부를 포함한다. 본 발명에 따른 얼굴 표정 인식 장치는 종래의 알고리즘을 통해 획득한 상위 2 개의 감정 내에서 빈번하게 발생되는 감정인식 오류를 개선하고, 얼굴 특징을 통해 추출된 인식값과 기하학적 변화량을 통해 산출된 벡터값에 각각 가중치를 부여 결과값을 산출함으로써 정확도가 개선된 최종 감정이 결정되는 효과를 지닌다.

대표청구항 ▼

입력된 얼굴 이미지로부터 감정을 식별하는 얼굴 감정 인식 장치에 있어서, 감정 인식 대상이 되는 얼굴 이미지를 입력받고, 입력된 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출하며, 추출된 특징으로부터 순위에 따라 나열된 6개의 감정을 획득하고, 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 기하학적 변화량 추출부 및 감정분류부에 각각 전달하는 얼굴 특징 추출부, 상기 입력된 얼굴 이미지와 동일 인물에 대한 표정이 없는 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출하고, CNN알고리즘에 의해

입력된 얼굴 이미지로부터 감정을 식별하는 얼굴 감정 인식 장치에 있어서, 감정 인식 대상이 되는 얼굴 이미지를 입력받고, 입력된 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출하며, 추출된 특징으로부터 순위에 따라 나열된 6개의 감정을 획득하고, 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 기하학적 변화량 추출부 및 감정분류부에 각각 전달하는 얼굴 특징 추출부, 상기 입력된 얼굴 이미지와 동일 인물에 대한 표정이 없는 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출하고, CNN알고리즘에 의해 조합된 6개의 감정에 상기 좌표의 차이값을 적용하여 상위 2개의 감정에 대한 벡터값을 산출하는 기하학적 변화량 추출부, 그리고상기 얼굴 특징 추출부로부터 전달받은 상위 2개의 감정으로부터 산출된 감정 인식값과 상기 기하학적 변화량 추출부에서 산출된 벡터값에 각각 가중치를 부여하여 상위 2개 감정에 대한 각각의 결과값을 산출하며, 산출된 결과값 중 최고값을 가진 감정을 분류하는 감정 분류부를 포함하며,상기 얼굴 특징 추출부는,상기 감정 인식 대상이 되는 얼굴 이미지를 입력받는 이미지 입력모듈,상기 입력된 얼굴 이미지로부터 얼굴 영역을 분리하는 얼굴 영역 인식모듈, 상기 분리된 얼굴 이미지를 오토인코더(autoencoder)에 적용하여 상기 입력된 얼굴 이미지로부터 기본 얼굴 이미지를 생성하여 기하학적 변화량 추출부로 전달하는 얼굴 생성모듈, 상기 얼굴 영역만 분리된 얼굴 이미지에 블러링(blurring)을 적용하여 노이즈를 제거한 다음, LBP(local binary pattern) 알고리즘을 이용하여 주요 액션 유니트(action units) 위주로 얼굴의 주요 특징정보를 추출하는 얼굴 특징 추출모듈, 그리고상기 추출된 얼굴의 주요 특징정보를 CNN알고리즘에 적용하여 6가지의 감정 결과를 산출하고, 산출된 6가지의 감정 결과 중에서 상위 2개에 해당하는 감정을 기하학적 변화량 추출부 및 감정분류부에 각각 전달하는 판단모듈을 포함하고상기 감정 분류부는, 상기 얼굴 특징 추출부로부터 상위 2가지의 감정에 대한 정보를 전달받는 감정수신모듈,상기 얼굴 특징 추출부로부터 전달받은 상위 2가지의 감정을 감정 인식값으로 산출하여 정규화하는 인식값 산출모듈, 그리고상기 얼굴 특징 추출부의 상위 2가지의 감정에 대한 인식값과 상기 기하학적 변화량 추출부로부터 전달받은 상위 2가지의 감정에 대한 벡터값에 가중치를 부여하여 상기 상위 2가지의 감정에 대해 결과값을 산출하며, 산출된 결과값 중에서 최고 값이 부여된 감정을 상기 감정 인식 대상이 되는 얼굴 이미지에 대한 감정으로 결정하는 분류모듈을 포함하는 얼굴 감정 인식 장치.