[논문]점진적 능동준지도 학습 기반 고효율 적응적 얼굴 표정 인식

김진우; 이필규

doi:10.7236/jiibc.2017.17.2.165

점진적 능동준지도 학습 기반 고효율 적응적 얼굴 표정 인식
High Efficiency Adaptive Facial Expression Recognition based on Incremental Active Semi-Supervised Learning 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.17 no.2, 2017년, pp.165 - 171

초록
AI-Helper

사람의 얼굴 표정을 실제 환경에서 인식하는 데에는 여러 가지 난이한 점이 존재한다. 그래서 학습에 사용된 데이터베이스와 실험 데이터가 여러 가지 조건이 비슷할 때에만 그 성능이 높게 나온다. 이러한 문제점을 해결하려면 수많은 얼굴 표정 데이터가 필요하다. 본 논문에서는 능동준지도 학습을 통해 다양한 조건의 얼굴 표정 데이터를 쉽게 모으고 보다 빠르게 성능을 확보할 수 있는 방법을 제안한다. 제안하는 알고리즘은 딥러닝 네트워크와 능동 학습 (Active Learning)을 통해 초기 모델을 학습하고, 이후로는 준지도 학습(Semi-Supervised Learning)을 통해 라벨이 없는 추가 데이터를 확보하며, 성능이 확보될 때까지 이러한 과정을 반복한다. 위와 같은 능동준지도 학습(Active Semi-Supervised Learning)을 통해서 보다 적은 노동력으로 다양한 환경에 적합한 데이터를 확보하여 성능을 확보할 수 있다.

Abstract ▼ AI-Helper

It is difficult to recognize Human's facial expression in the real-world. For these reason, when database and test data have similar condition, we can accomplish high accuracy. Solving these problem, we need to many facial expression data. In this paper, we propose the algorithm for gathering many facial expression data within various environment and gaining high accuracy quickly. This algorithm is training initial model with the ASSL (Active Semi-Supervised Learning) using deep learning network, thereafter gathering unlabeled facial expression data and repeating this process. Through using the ASSL, we gain proper data and high accuracy with less labor force.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

아직까지 기계는 사람의 뇌가 갖고 있는 능력을 따라 가진 못한다. 따라서 우리는 사람이 감정을 표현하는 다양한 요인 중 일부만을 선택하여 사람의 감정을 학습하고 인식하기 위한 연구를 해오고 있다. 그 중에서도 얼굴 표정 인식 연구는 컴퓨터 비전은 물론 패턴 인식, 인공지능 분야에서도 매우 활발하게 연구가 이루어지고 있는 화제의 분야다.
본 논문에서는 적은 노동력으로 다양한 환경 변화에 적응할 수 있는 학습 모델을 만들 수 있도록 점진적 능동 준지도 학습 기법을 제안하였다. 실험 도중 준지도 학습결과가 좋지 않아 성능 향상에 문제를 일으키기도 하였으나, 이전 성능과의 비교를 통해 실험에서 배제하는 방법을 통해 이러한 문제를 해결할 수 있었다.
실험 대상의 생김새, 인종, 연령, 나이 및 조명이나 포즈 등 다양한 요인으로 인해 실제 세계에서는 이보다 성능이 떨어지게 된다. 이에 본 논문에서는 이러한 환경의 변화에 따라 감소한 인식률을 보다 적은 노력으로 빠르게 회복하기 위한 새로운 기법을 제안하였다.

가설 설정

얼굴 표정 인식에서 사용하는 얼굴 분석하는 방법은 미국의 심리학자인 폴 에크만(Paul Ekman)이 제안한 기본 6정서에서 기인한다. 폴 에크만은 사람의 표정이 외형, 나이, 성별 등 여러 가지 요소에 따라 크게 영향을 받지만, 그 영향을 받지 않는 공통적인 요소가 있음을 가정하였다. 그는 해부학적 기준을 통해 사람의 얼굴 표정의 공통적인 요소를 찾아내고 분류했는데, 이것이 바로 기본 6정서이다.

제안 방법

추가로 수집한 실험 데이터는 5세트씩 6가지 환경에 대한 것으로 총 210장이며, 성능을 측정할 때는 각 감정 당 5장씩 총 35장으로 이루어진 5개의 실험 데이터로 측정하여 평균을 내었다. 또한 우리는 능동준지도 방법을 통해 도중에 성능이 수렴 할 때마다 실험환경을 바꿔가며 새로운 환경에 대한 이전 학습 모델의 성능 변화를 계속하여 측정하였다. 그 결과는 그림 7과 같다.
그림 3은 제안 시스템의 전체 구성을 보여준다. 먼저 BU3DFE 데이터베이스를 사용해 충분히 학습하여 뛰어난 벡터 추출 능력을 지닌 사전 학습 모델을 만들어 낸다. 다음으로 사전 학습 모델을 기반으로 능동 학습을 통해 초기 학습 모델을 만든다.
이러한 문제를 해결하여 비용과 시간을 줄이기 위한 방법 중 하나가 바로 이전에 학습한 모델이 가지고 있는 지식을 전달하는 전이학습 기법이다. 본 실험에서는 전이학습 기법을 사용하여 이전에 학습한 파라미터들을 인계하였으며, 재학습 시간을 단축하였다^[13].
이 데이터베이스는 그림 8과 같이 분노, 역겨움, 공포, 행복, 슬픔, 놀람, 무표정의 7가지 라벨을 가지며, 각 라벨 당 4개의 감정 레벨을 가진 100명의 얼굴 표정으로 구성되어 있다^[14]. 우리는 그 중에 가장 감정 레벨이 강한 이미지만 하나씩 뽑아서 사전학습용 데이터베이스를 만들었다. 각 감정 당 100개 씩 총 700장의 이미지로 사전학습을 실시했다.

대상 데이터

우리는 그 중에 가장 감정 레벨이 강한 이미지만 하나씩 뽑아서 사전학습용 데이터베이스를 만들었다. 각 감정 당 100개 씩 총 700장의 이미지로 사전학습을 실시했다.
그림 9와 같이 우리는 BU3DFE 데이터베이스에 위에 언급한 이미지 전처리 과정을 거친 후 VGG기반 딥러닝 네트워크 모델로 학습했으며, 점진적 능동준지도 학습을 위한 초기 모델은 사전 학습 모델에서 학습된 파라미터를 전이학습 방식을 통해 전달 받아 새롭게 수집한 라벨이 없는 실험 데이터를 사용하여 학습하였다.
본 실험에 사용될 사전 학습 모델을 학습하는데는 BU3DFE 데이터베이스를 사용했다. 이 데이터베이스는 그림 8과 같이 분노, 역겨움, 공포, 행복, 슬픔, 놀람, 무표정의 7가지 라벨을 가지며, 각 라벨 당 4개의 감정 레벨을 가진 100명의 얼굴 표정으로 구성되어 있다^[14].
얼굴 표정 인식을 위한 학습에는 VGG verydeep 16 네트워크를 사용했다. 이 네트워크는 기존의 VGG 네트워크에 매우 작은(3x3) 컨볼루션 필터를 추가하여 대규모 이미지 인식에 있어서 보다 뛰어난 성능을 보인다.
본 실험에 사용될 사전 학습 모델을 학습하는데는 BU3DFE 데이터베이스를 사용했다. 이 데이터베이스는 그림 8과 같이 분노, 역겨움, 공포, 행복, 슬픔, 놀람, 무표정의 7가지 라벨을 가지며, 각 라벨 당 4개의 감정 레벨을 가진 100명의 얼굴 표정으로 구성되어 있다^[14]. 우리는 그 중에 가장 감정 레벨이 강한 이미지만 하나씩 뽑아서 사전학습용 데이터베이스를 만들었다.
이때, 초기 학습용 데이터베이스는 각 감정 당 2장씩 총 14장으로 구성했으며 점진적인 성능 향상을 확인하기 위해 매번 실험시마다 각 감정 당 1장씩 총 7장의 데이터베이스를 추가하여 재학습하였다. 추가로 수집한 실험 데이터는 5세트씩 6가지 환경에 대한 것으로 총 210장이며, 성능을 측정할 때는 각 감정 당 5장씩 총 35장으로 이루어진 5개의 실험 데이터로 측정하여 평균을 내었다.
이때, 초기 학습용 데이터베이스는 각 감정 당 2장씩 총 14장으로 구성했으며 점진적인 성능 향상을 확인하기 위해 매번 실험시마다 각 감정 당 1장씩 총 7장의 데이터베이스를 추가하여 재학습하였다. 추가로 수집한 실험 데이터는 5세트씩 6가지 환경에 대한 것으로 총 210장이며, 성능을 측정할 때는 각 감정 당 5장씩 총 35장으로 이루어진 5개의 실험 데이터로 측정하여 평균을 내었다. 또한 우리는 능동준지도 방법을 통해 도중에 성능이 수렴 할 때마다 실험환경을 바꿔가며 새로운 환경에 대한 이전 학습 모델의 성능 변화를 계속하여 측정하였다.

이론/모형

본 실험에서는 먼저 두 눈 사이의 거리를 a로 놓고 특정 비율로 얼굴 이미지를 잘라내는 공간적 평준화 기법을 사용했으며, 또한 조명에 의한 간섭을 최소화하기 위해 빛의 강도가 가장 약한 곳과 강한 곳의 평균값을 활용하는 강도 평준화 기법도 사용하였다^[11].
얼굴 표정 인식에서 사용하는 얼굴 분석하는 방법은 미국의 심리학자인 폴 에크만(Paul Ekman)이 제안한 기본 6정서에서 기인한다.

후속연구

실험 도중 준지도 학습결과가 좋지 않아 성능 향상에 문제를 일으키기도 하였으나, 이전 성능과의 비교를 통해 실험에서 배제하는 방법을 통해 이러한 문제를 해결할 수 있었다. 제안 시스템은 다양한 환경에서 수많은 학습 데이터를 필요로 하는 실험에 적용되어 데이터 확보에 어려움을 경우에 큰 도움을 줄 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	컨볼루션 신경망의 학습 과정은?	컨볼루션 신경망은 최근에 주목을 받고 있는 새로운 기계 학습 방식 중 하나이다. 컨볼루션 신경망은 사용자가 미리 정해놓은 네트워크의 구조를 따라 특징 벡터의 추출과 분류를 반복(iteration)을 하면서, 각 이미지에서 적절한 특징 벡터를 뽑아 실측 자료(Ground Truth)의 라벨로 분류가 되도록 네트워크를 학습해 나간다. 이렇게 학습된 네트워크는 학습 데이터에 따라 각각 물체나 사람 등 목적으로 하는 대상을 분류하기에 딱 맞는 전용 특징 벡터를 뽑을 수 있게끔 된다.
	얼굴 표정 인식에서 특징 벡터란?	우리는 화난 표정, 웃는 표정, 놀란 표정 등 사람의 얼굴을 보면 한 눈에 그 표정을 분간할 수 있는데, 그건 치켜 올라간 눈꼬리나 꽉 다문 입술, 크게 벌어진 입 등의 특징을 우리가 빠르게 파악하기 때문이다. 특징 벡터란 이러한 각 얼굴 표정이 갖는 특징을 기계도 사람처럼 파악할 수 있도록 기호화 한 것이다. 그 후, 각종 분류기(Classifier)를 사용하여 추출된 특징 벡터를 서로 구분한다.
	능동준지도 학습 알고리즘의 학습 과정은?	본 논문에서는 능동준지도 학습을 통해 다양한 조건의 얼굴 표정 데이터를 쉽게 모으고 보다 빠르게 성능을 확보할 수 있는 방법을 제안한다. 제안하는 알고리즘은 딥러닝 네트워크와 능동 학습 (Active Learning)을 통해 초기 모델을 학습하고, 이후로는 준지도 학습(Semi-Supervised Learning)을 통해 라벨이 없는 추가 데이터를 확보하며, 성능이 확보될 때까지 이러한 과정을 반복한다. 위와 같은 능동준지도 학습(Active Semi-Supervised Learning)을 통해서 보다 적은 노동력으로 다양한 환경에 적합한 데이터를 확보하여 성능을 확보할 수 있다.

참고문헌 (15)

A. Mehrabian, "Communication without words," Psychol. Today, Vol. 2, pp. 53-5, 1968. DOI : http://dx.doi.org/10.1371/journal.pone.0032321

상세보기
Xiaoming Zhao, Shiqing Zhang, "A Review on Facial Expression Recognition - Feature Extraction and Classification", IETE Technical Review, 2016. DOI : http://dx.doi.org/10.1080/02564602.2015.1117403
Changxing Ding, "Robust Face Recognition Via Multimodal Deep Face Representation", IEEE TRANSACTIONS ON MULTIMEDIA, VOL. 17, NO. 11, NOVEMBER 2015. DOI : http://dx.doi.org/10.1109/TMM.2015.2477042

상세보기
B. Fasel, Juergen Luettin, "Automatic facial expression analysis: a survey", International Journal of Computer Science & Engineering Survey (IJCSES), Vol.3, No.6, December 2012. DOI : http://dx.doi.org/10.1016/S0031-3203(02)00052-3

상세보기
H. Rowley, S. Baluja, and T. Kanade, "Human face detection in visual scenes." Technical Report CMU-CS-95-158R, School of Computer Science, Carnegie Mellon University, Nov. 1995.
Andre Teixeira Lopes, Edilson de Aguiar, Thiago Oliveira-Santos, "A Facial Expression Recognition System Using Convolutional Networks", 28th SIBGRAPI Conference on Aug. 2015. DOI : http://dx.doi.org/10.1109/SIBGRAPI.2015.14
Ken Chatfield, Karen Simonyan, Andrea Vedaldi, Andrew Zisserman, "Return of the Devil in the Details: Delving Deep into Convolutional Nets", arXiv:1405.3531v4 [cs.CV] 5 Nov 2014.
Karen Simonyan, Andrew Zisserman, "Very deep convolutional networks for large-scale image recognition", arXiv:1409.1556v6 [cs.CV] 10 Apr 2015.
Cohn, D., Ghahramani, Z., Jordan, M., "Active learning with statistical models." Journal of Artificial Intelligence Research, Vol.4, pp. 129-145, 1999. DOI : https://doi.org/10.1613/jair.295

상세보기
Riccardi, G. and Hankkani-Tur, D., "Active learning: theory and applications to automatic speech recognition", IEEE Transactions on Speech and Audio Processing, Vol.13, No.4, pp. 504-511, 2005. DOI : https://doi.org/10.1109/TSA.2005.848882

상세보기
Andre Teixeira Lopes, Edilson de Aguiar, Alberto F. De Souza, Thiago Oliverira-Santos, "Facial expression recognition with Convolutional Neural Networks: Coping with few data and the training sample order", Pattern Recognition Volume 61, January 2017, Pages 610-628. DOI : http://dx.doi.org/10.1016/j.patcog.2016.07.026

상세보기
Gil-Jin Jang, Ahra Jo, Jeong-Sik Park, Yong-Ho Seo, "Video-based Facial Emotion Recognition using Active Shape Models and StatisticalPattern Recognizers", JIIBC, VOL. 14 NO. 3,June 2014. pp.139-146. DOI : http://dx.doi.org/10.7236/JIIBC.2014.14.3.139

원문보기 상세보기
Sinno Jialin Pan, Qiang Yang, "A Survey on Transfer Learning", IEEE Trans. Knowl. Data Eng. 22, 1345-1359 (2010). DOI : https://doi.org/10.1109/TKDE.2009.191

상세보기
Lijun Yin, Xiaochen Chen, Yi Sun, Tony Worm, Michael Reale, "A High-Resolution 3D Dynamic Facial Expression Database.", The 8th International Conference on Automatic Face and Gesture Recognition, 17-19 September 2008. DOI : https://doi.org/10.1109/AFGR.2008.481332
Alvin Poernomo, Dae-Ki Kang, "Content-Aware Convolutional Neural Network for Object Recognition Task.", IJASC, Vol. 5, No. 3 pp. 1-7 May 2016. DOI : https://doi.org/10.7236/IJASC.2016.5.3.1

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증