선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 사람의 얼굴모양과 크기는 다양하기 때문에 기하학적으로 얼굴을 모델링하는 방식은 오차가 크다. 그렇기 때문에 기하학적 방법에서 얼굴의 특징 점을 찾는 방향으로 연구가 진행되었다. 얼굴에서의 특징 점은 눈썹, 눈, 코, 입, 턱선 등의 중요 포인트를 가리키며, 사람이 직접 손으로 좌표 포인트를 찍은 학습자료가 요구된다.
- 또한 액션유닛의 조합은 7000가지 정도가 되기 때문에 각 유닛을 학습하기 위해서는 현실적으로 방대한 학습 데이터베이스가 필요하게 된다. 방대한 학습데이터와 기하학적 특징의 단점을 보완하기 위하여 본 연구에서는 얼굴유닛을 제안하였다. 얼굴 유닛은 표정을 인식하기 위한 단위 유닛으로서.
- 본 논문에서는 얼굴 유닛(Facial Unit)과 AdaBoost를 이용한 표정인식 시스템을 제안하였다. 기존의 액션 유닛이 많은 DB를 요구하기 때문에 적은 수의 얼굴 유닛 집합을 제안하고 AdaBoost를 이용하여 학습하였다.
- 또한 얼굴의 표정을 나타내는 특징의 정의도 중요하다. 본 논문에서는 표정인식을 위해 다양한 기반 기술 연구와 특징 개발 및 표정을 인식하기 위한 프레임워크를 제안한다. 그림 1에 묘사된 전체 프레임워크는 다음과 같이 구성된다.
가설 설정
- Fig. 2. The values of pixels in an arbitrary 3x3 region. 그림 3.
제안 방법
- Online 실험은 스마트폰의 안드로이드 환경에 표정인식 시스템을 탑재하여 실시간으로 표정인식 테스트를 수행하는 방법을 말한다. Offline실험과 유사하게 4개의 감정(Neutral, Happy, Surprise, Angry)으로 테스트 하였다. 스마트폰에서 표정인식이 이루어질 경우 휴대가 편리한 이점이 있어서 좋지만 앱 프로그래밍을 해야 하는 번거로움과 스마트폰의 하드웨어가 컴퓨터보다 사양이 낮아서 프로그램이 느려져 딜레이가 생길 수 있다는 단점이 있다.
- Online 실험의 테스트를 위해서 피실험자 4명(남자 2+여자2)을 모집하여 스마트폰을 들고 손을 뻗을 수 있는 거리 내에서 감정을 유발하여 테스트를 하였다. Online 환경은 조명 변화, 손의 흔들림, 기기의 성능 등의 문제로 offline 실험보다 조건이 더욱 까다롭다.
- 총 실험 횟수는 조명별(2가지), 각도별(3가지), 거리별(2가지), 피실험자(5명)로 감정별로 60번 실험을 행하였다. 감정을 평가하는 방법으로는 감정을 유발하여 감정이 나타나는 5 frame을 추출하여 연속으로 3번 이상 정확한 감정이 나오면 맞는 것으로 평가하였다. 인식률은(인식된 감정/전체 감정 평가 수)로 측정하였고 학습에는 5가지 감정을 사용하였으나 Angry와 Disgust의 감정이 유사하여 테스트에는 두 개의 감정을 통합하여 총 4가지 감정으로 테스트를 하였다.
- 거리가 멀어지면 얼굴의 크기가 100 × 100 pixel 이하로 작아지며, 얼굴 검출의 성능에는 문제가 없었지만 얼굴 특징점 추출이 실패할 확률이 높아져서 거리를 1m로 제안하였다.
- 본 논문에서는 얼굴 유닛(Facial Unit)과 AdaBoost를 이용한 표정인식 시스템을 제안하였다. 기존의 액션 유닛이 많은 DB를 요구하기 때문에 적은 수의 얼굴 유닛 집합을 제안하고 AdaBoost를 이용하여 학습하였다. 기존의 방법에 비해 더욱 간단하고 적은 수의 학습 데이터를 이용하여 학습이 가능하며 만족할 만한 성능을 얻었다.
- [2] 그들은 FACS를 개선하여 사람이 표정을 지을 때 액션 유닛이 독립적으로 나타나지 않고 조합으로 나타나기 때문에 기존의 액션 유닛을 조합하고 신경망을 이용하여 학습하는 새로운 방법을 제안하였다. 또한 표정의 정확한 기하학적 모델을 구성하여 특징으로 사용하였다. H.
- 본 논문에서 표정을 인식하기 위하여 사용된 학습 알고리즘은 AdaBoost이다. 미리 지정된 얼굴유닛을 이미지 데이터로부터 추출한 이후에 각 얼굴유닛을 학습 이미지로부터 모아서 표 1의 구성처럼 AdaBoost학습을 수행하였다. (FU1, FU2), (FU3, FU4), (FU7, FU8, FU9)를 각 세트로 구성하여 각각의 세트를 AdaBoost로 학습한 다음, 테스트 이미지에서 나온 얼굴유닛을 조합하여 표정을 인식하는 방법이다.
- 본 논문에서 제안한 얼굴유닛(Facial Units)은 얼굴의 표정을 나타내기 위한 기본적인 유닛으로 눈썹, 눈, 코. 입 부분으로 나누어진다.
- 그림 1에 묘사된 전체 프레임워크는 다음과 같이 구성된다. 얼굴 이미지에서 얼굴을 찾기 위해서 얼굴검출을 수행하고, 검출된 얼굴 이미지에서 특징점을 찾기 위해서 얼굴정렬 알고리즘을 수행한 후, 얼굴의 표정을 잘 표현하기 위하여 얼굴 유닛들(Facial Units)을 추출한 후, AdaBoost[8～10] 알고리즘을 이용하여 얼굴단위를 학습한다. 얼굴검출은 LBP 특징벡터와 AdaBoost 학습으로 만들어졌다.
- Step 4. 얼굴과 비얼굴 이미지의 pixel 위치에서 weighted kernels indices의 테이블을 수식(1), (2)을 이용하여 생성한다.
- 얼굴 유닛은 표정을 인식하기 위한 단위 유닛으로서. 얼굴에서 4가지 부분(눈썹, 눈, 코, 입)을 추출하였다. 일반적으로 화가 난 얼굴에서는 미간이 찌푸려지며 놀란 얼굴에서는 입이 크게 벌어지며 눈이 커지는 현상을 볼 수 있다.
- 이미지를 이용하여 random fern을 적용하여 학습하는 방법은 첫 번째 노드에서 얼굴이미지의 2개의 쌍의 점을 랜덤하게 추출하여 추출된 점의 pixel값을 비교하여 random하게 선택한 threshold값의 크기와 비교를 한다. 두 번째 노드에서는 다른 2개의 쌍의 점을 추출하여 크기를 비교한다.
- 기존의 방법에 비해 더욱 간단하고 적은 수의 학습 데이터를 이용하여 학습이 가능하며 만족할 만한 성능을 얻었다. 이번 연구에서는 피실험자의 감정을 유발하여 학습데이터 및 테스트 데이터를 제작하였다. 더 도전적인 과제는 감정의 유발이 아닌 자연스런 감정을 인식하는 방법이다.
- 감정을 평가하는 방법으로는 감정을 유발하여 감정이 나타나는 5 frame을 추출하여 연속으로 3번 이상 정확한 감정이 나오면 맞는 것으로 평가하였다. 인식률은(인식된 감정/전체 감정 평가 수)로 측정하였고 학습에는 5가지 감정을 사용하였으나 Angry와 Disgust의 감정이 유사하여 테스트에는 두 개의 감정을 통합하여 총 4가지 감정으로 테스트를 하였다.
- 감정을 평가하는 방법으로는 감정을 유발하여 감정이 나타나는 5 frame을 추출하여 연속으로 3번 이상 정확한 감정이 나오면 맞는 것으로 평가하였다. 인식률은(인식된 감정/전체 감정 평가 수)로 측정하였고 학습에는 5가지 감정을 사용하였으나 Angry와 Disgust의 감정이 유사하여 테스트에는 두 개의 감정을 통합하여 총 4가지 감정으로 테스트를 하였다.
- 조명 변화를 위해서 실내, 실외 두 가지 환경에서, 각도 변화를 위해서 정면 얼굴의 각도가 +15‘에서-15’까지 변화한 상태에서, 거리 변화를 위해서 0.5m과 1m 두 가지 거리를 이용하여 테스트를 진행하였다.
- 계속해서 5개의 점의 쌍을 비교하여 5번째 노드까지의 threshold값과 비교하여 최종 종단 노드에 도달하게 된다. 종단 노드에 도달한 이미지를 이용하여 delta-shape을 구하고 종단 노드의 사이즈로 나누어 줌으로서 실제 delta-shape을 구하게 된다. 모든 학습데이터를 random fern을 이용하여 종단 노드로 구분시켜주면 전체 학습데이터를 이용하여 delta-shape의 크기를 구할 수 있다.
- 5m과 1m 두 가지 거리를 이용하여 테스트를 진행하였다. 총 실험 횟수는 조명별(2가지), 각도별(3가지), 거리별(2가지), 피실험자(5명)로 감정별로 60번 실험을 행하였다. 감정을 평가하는 방법으로는 감정을 유발하여 감정이 나타나는 5 frame을 추출하여 연속으로 3번 이상 정확한 감정이 나오면 맞는 것으로 평가하였다.
- Online 환경은 조명 변화, 손의 흔들림, 기기의 성능 등의 문제로 offline 실험보다 조건이 더욱 까다롭다. 총 실험 횟수는 피실험자(4명)로 감정별로 10번 실험을 행하였다. 감정을 평가하는 방법으로는 감정을 유발하여 감정이 나타나는 5 frame을 추출하여 연속으로 3번 이상 정확한 감정이 나오면 맞는 것으로 평가하였다.
- 본 논문에서 offline 실험은 실시간으로 테스트를 진행하지 않고 사진을 촬영한 후 테스트 프로그램을 이용하여 성능을 측정하는 실험방식을 말한다. 테스트를 위해서 피실험자 5명(남자3+여자2)을 모집하여 조명변화, 얼굴 각도 변화, 거리 변화를 적용하여 테스트를 진행하였다. 조명 변화를 위해서 실내, 실외 두 가지 환경에서, 각도 변화를 위해서 정면 얼굴의 각도가 +15‘에서-15’까지 변화한 상태에서, 거리 변화를 위해서 0.
- 표정 인식을 위하여 얼굴 검출, 얼굴 정렬 기능을 수행하였다. 얼굴이 검출되면 여기에 얼굴 정렬 기능을 수행하여 중요 특징점을 추출한 후 그 특징점을 이용하여 표정 인식을 수행하게 된다.
대상 데이터
- Ekman and Friesen은 자세한 얼굴표정을 인식하기 위하여 Facial Action Coding System(FACS)을 제안하였다.[1] FACS는 44개의 액션유닛(Action Units)으로 구성되어 있으며, 얼굴의 미세한 표정 변화를 나타내기 위해서 유닛들의 조합을 사용하였다. 액션 유닛은 얼굴의 미세한 표정변화를 나타내기 위한 단위로 정의되었지만 최근의 기계학습 기반 자동 인식을 위해서는 각 표정 유닛의 데이터베이스를 구성해야 하기 때문에 많은 학습자료가 요구된다.
- 본 논문에 구현된 시스템은 PC Windows7 환경에서 Visual C++와 OpenCV 2.4.6을 이용하여 구현하였고, 실험은 노트북에서 Logitech camera를 사용하여 테스트 하였다. 학습에 사용된 DB는 피실험자를 모집하여 각 감정별로 감정을 유도하여 영상을 제작한 후 이미지를 추출하여 수집하였으며 총 4300장의 이미지가 학습에 사용되었다.
- 표 2에 자세한 조합 방법을 나타내었다. 실제 제안한 얼굴유닛의 개수는 9가지이지만 코 부분의 특징이 정확하게 나타나지 않는 단점이 있어서 실험에는 코 부분을 제외한 7가지의 조합을 사용하였다.
- 6을 이용하여 구현하였고, 실험은 노트북에서 Logitech camera를 사용하여 테스트 하였다. 학습에 사용된 DB는 피실험자를 모집하여 각 감정별로 감정을 유도하여 영상을 제작한 후 이미지를 추출하여 수집하였으며 총 4300장의 이미지가 학습에 사용되었다. 그림 5는 학습에 사용된 이미지의 샘플을 보여준다.
- Step 1. 학습에 필요한 N f개의 얼굴 이미지와 Nnf개의 비얼굴 이미지를 준비한다.
이론/모형
- Regressor r을 학습하기 위하여 random fern 알고리즘을 사용한다. Fern은 F개의 features와 thresholds를 이용하여 feature 공간을 2F개의 bin으로 나눈다.
- 얼굴 이미지가 주어졌을 때, 얼굴 정렬의 최종 목표는 초기 shape이 실제 shape과 가장 근접되게 만드는 것이다. 그래서 얼굴정렬을 위해서 boosted regression 방법을 사용하였다. Boosted regression은 초기위치와 실체위치의 경로 T를 연결하기 위하여 weak regressors(R1 ,.
- 본 논문에서 표정을 인식하기 위하여 사용된 학습 알고리즘은 AdaBoost이다. 미리 지정된 얼굴유닛을 이미지 데이터로부터 추출한 이후에 각 얼굴유닛을 학습 이미지로부터 모아서 표 1의 구성처럼 AdaBoost학습을 수행하였다.
- 얼굴 이미지에서 얼굴을 찾기 위해서 얼굴검출을 수행하고, 검출된 얼굴 이미지에서 특징점을 찾기 위해서 얼굴정렬 알고리즘을 수행한 후, 얼굴의 표정을 잘 표현하기 위하여 얼굴 유닛들(Facial Units)을 추출한 후, AdaBoost[8～10] 알고리즘을 이용하여 얼굴단위를 학습한다. 얼굴검출은 LBP 특징벡터와 AdaBoost 학습으로 만들어졌다. LBP 특징은 전체적인 조명 변화에 강인하여 얼굴 모델을 학습할 때 얼굴의 특징을 잘 표현한다.
- 주어진 얼굴 특징점이 실제 얼굴 특징점에 가장 가깝게 목표 함수를 추론하는 방법이다. 얼굴에 있는 전체 특징점을 vectorial regression을 이용하여 각각의 점이 아닌 전체점을 한 번에 학습하였고, 학습 방법으로는 random fern을 사용하였다. 또한, shape indexed feature를 사용하여 사람의 얼굴 크기나 모양에 상관없이 특징점을 찾을 수 있는 장점이 있다.
- 얼굴 검출은 표정을 인식하기 위한 전처리 단계로서 학습 및 테스트 이미지가 주어졌을 경우 이미지에서 얼굴을 추출하는 단계이다. 얼굴을 검출하기 위하여 LBP[4]와 AdaBoost[10]을 사용하였다. LBP는 조명의 변화에 강인한 특징을 가진다.
- LBP 특징은 전체적인 조명 변화에 강인하여 얼굴 모델을 학습할 때 얼굴의 특징을 잘 표현한다. 얼굴정렬 알고리즘은 X. Cao 등이 제안한 boosted regression 방법을 사용하였으며,[11] 이는 다양한 얼굴에 강인한 특성을 가지고 있고, 실시간에 적용할 수 있을 만큼 속도가 빠르다.
- Cao[11]에 나와 있는 그림처럼 사람의 얼굴은 인종, 성별, 나이 등에 따라서 얼굴의 모양이 다르게 나타나기 때문에 이미지의 중앙을 기준으로 얼굴의 특징점의 좌표를 설정하면 얼굴 모양의 다양함 때문에 얼굴의 특징분포가 사람마다 조금씩 다른 위치에 존재하게 되고 일반화하기 어려운 문제가 있다. 이런 문제를 해결하기 위하여 shape indexed feature를 사용한다. 글로벌 좌표를 사용하는 방법(이미지의 중앙을 기준)보다 특징점을 기반(로컬한 특징점을 기준좌표로 설정)으로 같은 거리에 떨어져 있는 이미지의 pixel값이 더욱 유사하기 때문에 random fern을 사용할 때 인종, 성별, 나이 등에 받는 영향이 적어진다.
- [1] 얼굴의 정확한 특징점을 얼굴정렬 알고리즘으로 찾아낼 수 있으면 얼굴의 지역적인 영역을 특징으로 선택하는 것이 더욱 강인한 특징을 만들어낼 수 있다. 최종적으로 추출된 각각의 얼굴유닛을 AdaBoost 알고리즘을 이용하여 학습하게 된다.
성능/효과
- 그들은 얼굴 정렬 방법을 사용하지 않고 기하학적 방법으로 얼굴을 정렬하였다. 기존 방법과 유사한 연구를 수행하였으나 성능은 90% 이상의 결과를 보였다. Kotsia 등은 3가지(Gabor, DNMF, and Geometric displacement) 방법을 JAFFE와 Cohn-Kanade 데이터베이스를 이용하여 테스트하고 각각 91.
- 기존의 액션 유닛이 많은 DB를 요구하기 때문에 적은 수의 얼굴 유닛 집합을 제안하고 AdaBoost를 이용하여 학습하였다. 기존의 방법에 비해 더욱 간단하고 적은 수의 학습 데이터를 이용하여 학습이 가능하며 만족할 만한 성능을 얻었다. 이번 연구에서는 피실험자의 감정을 유발하여 학습데이터 및 테스트 데이터를 제작하였다.
- 그림 6은 4가지 감정의 실험 결과 예제를 보여준다. 실험 결과는 offline에서 Neutral(100%), Happy(95.3%), Surprise(94.0%), Angry(81.3%)의 성능을 보였으며 평균 인식 시간은 30msec가 나왔다. 실내, 실외, 성별에 따른 성능차이는 미미했으며, 가까운 거리가 성능이 좋게 나왔다.
- 표 3을 보면 Neutral의 감정은 실내, 실외 모두 100%의 성능으로 정확하게 평서 감정을 인지하는 것을 알 수 있다. 다른 감정들은 실험자들의 감정유발이 정확하지 않아서 표정을 정확하게 표현하지 못하는 경우에는 평서 감정으로 나타난다.
후속연구
- 더 도전적인 과제는 감정의 유발이 아닌 자연스런 감정을 인식하는 방법이다. 향후에는 이에 대해서 연구해 볼 계획이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.