[논문]얼굴 표정 인식을 위한 유전자 알고리즘 기반 심층학습 모델 최적화

박장식

doi:10.13067/jkiecs.2020.15.1.85

얼굴 표정 인식을 위한 유전자 알고리즘 기반 심층학습 모델 최적화
Optimization of Deep Learning Model Based on Genetic Algorithm for Facial Expression Recognition 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.15 no.1, 2020년, pp.85 - 92

초록
AI-Helper

심층학습은 많은 양의 데이터셋을 학습에 활용하여 객체 분류, 검출, 분할 등의 영상 분석에 탁월한 성능을 나타내고 있다. 본 논문에서는 데이터셋의 종류가 다양한 얼굴 표정인식 데이터셋들을 활용하여 학습 데이터셋의 특성이 심층학습 성능에 영향을 줄 수 있음을 확인하고, 각 학습 데이터셋에 적합한 심층학습 모델의 구성 요소를 설정하는 방법을 제안한다. 제안하는 방법은 심층학습 모델의 성능에 영향을 주는 구성 요소인 활성함수, 그리고 최적화 알고리즘을 유전 알고리즘을 이용하여 선정한다. CK+, MMI, KDEF 데이터셋에 대해서 널리 활용되고 있는 심층학습 모델의 각 구성 요소별 다양한 알고리즘을 적용하여 성능을 비교 분석하고, 유전 알고리즘을 적용하여 최적의 구성 요소를 선정할 수 있음을 시뮬레이션을 통하여 확인한다.

Abstract ▼ AI-Helper

Deep learning shows outstanding performance in image and video analysis, such as object classification, object detection and semantic segmentation. In this paper, it is analyzed that the performances of deep learning models can be affected by characteristics of train dataset. It is proposed as a method for selecting activation function and optimization algorithm of deep learning to classify facial expression. Classification performances are compared and analyzed by applying various algorithms of each component of deep learning model for CK+, MMI, and KDEF datasets. As results of simulation, it is shown that genetic algorithm can be an effective solution for optimizing components of deep learning model.

주제어

표/그림 (7)

그림 그림 1. KDEF 얼굴 표정인식 데이터셋 예 Fig. 1 Examples of KDEF facial emotion recognition
그림 그림 2. 입력 데이터와 신경망 계수에 의한 오차 표면의 예 Fig. 2 An example of error surface input data and coefficients
그림 그림 3. 심층학습 기반 알츠하이머 분류를 위한 유전 알고리즘 흐름도 Fig. 3 Flow chart of genetic algorithm for Alzheimer’s disease classification based on deep learning
표 표 1 CK+ 얼굴 표정인식 데이터셋에 대한 심층학습 모델 성능 비교 Table 1. Performance comparison of deep learning models for CK+ facial expression dataset
표 표 2 MMI 얼굴 표정인식 데이터셋에 대한 심층학습 모델 성능 비교 Table 2. Performance comparison of deep learning models for MMI facial expression dataset
표 표 3 KDEF 얼굴 표정인식 데이터셋에 대한 심층학습 모델 성능 비교 Table 3. Performance comparison of deep learning models for KDEF facial expression dataset
표 표 4. 심층학습 구성 요소에 대한 염색체 부여 Table 4. Assign gene of deep learning parameters

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

사람의 얼굴 표정은 주로 입, 눈, 눈썹 등의 종합적인 형태 변 화로 나타나며, 표정의 종류도 각 지역이나 문화에 따라 다양하지만 일반적으로 6가지로 기쁨(happy), 슬픔 (sad), 분노(angry), 혐오(disgust), 공포(fear), 놀람 (surprise)이 전 세계 문화에 대체로 동일하게 인지는 것으로 알려지고 있다. FER에 대한 연구는 다양한 머리 자세[2]와 조명 상태[3], 해상도 등의 다양한 원인으로 인하여 인식률 저하에 관한 문제를 개선하고자 한다. 표정인식 성능 개선을 위하여 CK+(Cohn-Kanade dataset)[4], MMI[5] 그리고 KDEF(Karolinska directed emotional faces)[6] 등의 다양한 표정 데이터셋과 심층학습 모델들이 제공되고 있다.
본 논문에서는 3절에 언급한 GA를 이용하여 학습 데이터셋에 적합한 심층학습 구성 요소를 구하는 시 뮬레이션을 수행한다. 심층학습 구성 요소인 활성함수와 최적화 알고리즘에 대하여 표 4와 같이 이진수 값으로 염색체를 부여하고 최적화를 수행한다.

제안 방법

각 표정인식 데이터셋에 대한 최적의 심층학습 구성 요소를 선택하기 위한 유전 알고리즘을 제안한다. 제안하는 심층학습 모델의 최적화를 위한 유전 알고리즘은 그림 3과 같다.
본 논문에서는 3절에 언급한 GA를 이용하여 학습 데이터셋에 적합한 심층학습 구성 요소를 구하는 시 뮬레이션을 수행한다. 심층학습 구성 요소인 활성함수와 최적화 알고리즘에 대하여 표 4와 같이 이진수 값으로 염색체를 부여하고 최적화를 수행한다.
얼굴 표정인식을 위한 CK+, KDEF 그리고 MMI 3 가지 데이터셋에 대하여 AlexNet[9], GoogLeNet[10], VGG-16[11] 그리고 ResNet-50[12] 심층학습 모델과 구성 요소별 정확도 성능을 비교한다. 활성함수는 ReLU, Leaky ReLU 그리고 Clipped ReLU를 적용하고, 최적화 알고리즘은 SGDM, RMSprop 그리고 Adam을 적용하여 성능을 비교 분석한다.
본 논문에서는 CNN 심층학습의 학습 과정에 컨벌루션 계층과 완전연결 계층이 입력 데이터에 따른 상관 관계가 있음을 보이고, 학습 데이터셋의 특성에 따라서 비용함수(cost function or loss function)의 오류 평면(error surface)에 영향을 주는 것을 확인한다. 유전 알고리즘(GA, genetic algorithm)[7,8]을 이용하여 입력 데이터셋의 특성에 부합하는 활성함수 (activation function), 그리고 완전연결 계층의 최적화 알고리즘을 선정하는 방법을 제안한다. 얼굴표정 분류 및 인식을 위하여 표정인식을 데이터셋 영상에 대한 심층학습을 적용하는 시뮬레이션을 통하여 제안하는 유전 알고리즘을 이용하는 방법이 효과적임을 보인다.
학습 데이터셋의 통계적인 특성에 따라 CNN 심층 학습 네트워크의 성능이 의존하는 것을 확인하고, 얼굴 표정인식을 위한 영상 데이터셋에 적합한 CNN 심층학습 구성 요소를 유전 알고리즘으로 선정하는 방법을 제안한다. 얼굴 표정인식을 위한 CK+ 데이터셋에 대해서는 VGG-16에 대하여 ReLU 활성함수, Adam 최적화 알고리즘이 가장 우수한 성능을 보이 고, KDEF 데이터셋에 대해서는 GoogLeNet 모델에 대하여 Leaky ReLU 그리고 RMSprop 가 86.

대상 데이터

얼굴 표정인식 학습과 시험을 위하여 CK+, MMI 그리고 KDEF 등이 주로 활용되고 있다. CK+ 데이터셋은 분노 300장, 혐오 395장, 공포 260장, 기쁨 476 장, 슬픔 402장, 놀람 402장으로 6가지 표정으로 구성되어 있고, 계조영상(gray scale image)이다.
CK+, MMI 데이터셋에 대하여 VGG-16 모델로 GA로 20세대 최적화를 수행한 결과, CK+ 와 MMI 데이터셋에 대해서는 활성함수는 ReLU, 최적함수는 Adam 이 선정되었다. KDEF 데이터셋에 대해서는 GoogLeNet과 VGG-16로 GA 20세대 최적화를 수행 한 결과, GoogLeNet에 대해서 Leaky ReLU 활성함수 와 RMSprop가 선정되었으며, VGG-16에 대해서는 Leaky ReLU와 Adam 이 선정되었다. 시뮬레이션 결과를 통하여 최적 구성 요소를 선정하는데 GA를 적용 가능함을 확인하였다.
MMI 얼굴 표정인식 데이터셋은 2,900건의 동영상과 75명의 고해상도 정지영상으로 구성되어 있으며, 분노 33장, 찡그림(frown) 37장, 슬픔 74장, 웃음 (smile) 70장, 놀람 53장으로 5가지 표정으로 구성되어 있고, 색영상(color image)이다. 모든 동영상과 정 지영상에 대하여 주석 처리가 되어 있으며, 얼굴 영상 의 해상도는 720×576 화소이다.
얼굴 영상 해상도는 562×762 화소이다. 분노 300장, 혐오 140장, 분노 140장, 기쁨 140장, 슬픔 140장, 놀람 140 장으로 6가지 구성되어 있으며 색영상이다.

데이터처리

얼굴 표정인식을 위한 CK+, KDEF 그리고 MMI 3 가지 데이터셋에 대하여 AlexNet[9], GoogLeNet[10], VGG-16[11] 그리고 ResNet-50[12] 심층학습 모델과 구성 요소별 정확도 성능을 비교한다. 활성함수는 ReLU, Leaky ReLU 그리고 Clipped ReLU를 적용하고, 최적화 알고리즘은 SGDM, RMSprop 그리고 Adam을 적용하여 성능을 비교 분석한다. 학습률는 0.

이론/모형

완전 연결 계층은 신경망 구조로 컨벌루션과 풀링을 통하여 추출된 특징매으로 분류 기능을 수행한다. 완전 연결 계층은 일반적으로 역전파 알고리즘(back propagation algorithm)을 사용한다. CNN 심층학습에서 컨벌루션 계층의 커널 필터 계수와 완전 연결 계층의 계수는 비용함수에 대하여 경사 하강법(gradient descent) 으로 계수를 갱신한다.
초기화는 유전자 균일 분포법(gene uniform distribution)을 이용한다. 유전자 균일 분포법은 전체 집단개체의 반을 임의의 이진수로 먼저 초기화한 후, 그 집단의 나머지 반을 앞의 이진수의 보수로 초기화한다.

성능/효과

CK+, MMI 데이터셋에 대하여 VGG-16 모델로 GA로 20세대 최적화를 수행한 결과, CK+ 와 MMI 데이터셋에 대해서는 활성함수는 ReLU, 최적함수는 Adam 이 선정되었다. KDEF 데이터셋에 대해서는 GoogLeNet과 VGG-16로 GA 20세대 최적화를 수행 한 결과, GoogLeNet에 대해서 Leaky ReLU 활성함수 와 RMSprop가 선정되었으며, VGG-16에 대해서는 Leaky ReLU와 Adam 이 선정되었다.
각 데이터셋에 대하여 우수한 성능을 보이는 모델에 대하여 CNN 구성 요소를 유전자로 설정하고 GA 최적화를 수행한 결과, 개별적으로 학습한 결과와 같은 결과를 얻을 수 있었다. GA 최적화가 CNN 심층학습 의 구성 요소를 최적하는데 효과적임으로 확인하였다. 향후 컨벌루션 커널에 대하여 추가적인 실험을 수행하고, 성능의 차이를 유발하는 요인에 대하여 학습 데이터셋에 대한 통계적인 분석을 수행하고자 한다.
79%로 가장 우수하다. MMI 데이터셋에 대해서는 ReLU 활성함수와 Adam 최적화 알고리즘의 조합이 87.5% 정 확도로 우수한 성능을 보인다. 데이터셋의 종류 즉 특성에 따라서 CNN 심층학습 구성 요소를 적절히 선정 하는 것이 필요함을 확인한다.
MMI 데이터셋에 대해서는 VGG-16이 다른 모델에 비해서 우수한 분류 정확도를 나타내었다. ReLU 활성함수와 Adam 최적화 알고리즘의 조합이 87.5% 정확도로 우수한 성능을 나타낸다.
ResNet-50 일반적인 데이터셋에 대해서는 분류 성능이 우수하지만, 얼굴 표정인식 데이터셋 3가지에 대해서는 VGG-16이 ResNet-50에 비하여 대체로 우수하게 나타났다. 각 데이터셋에 대하여 널리 활용되고 있는 CNN 심층학습 모델 시뮬레이션 결과 데이터셋에 따라서 활성함수와 최적화 알고리즘에 따라서 성능이 다소 차이가 발생하는 것을 확인할 수 있다.
ResNet-50 일반적인 데이터셋에 대해서는 분류 성능이 우수하지만, 얼굴 표정인식 데이터셋 3가지에 대해서는 VGG-16이 ResNet-50에 비하여 대체로 우수하게 나타났다. 각 데이터셋에 대하여 널리 활용되고 있는 CNN 심층학습 모델 시뮬레이션 결과 데이터셋에 따라서 활성함수와 최적화 알고리즘에 따라서 성능이 다소 차이가 발생하는 것을 확인할 수 있다.
각 데이터셋에 대하여 우수한 성능을 보이는 모델에 대하여 CNN 구성 요소를 유전자로 설정하고 GA 최적화를 수행한 결과, 개별적으로 학습한 결과와 같은 결과를 얻을 수 있었다. GA 최적화가 CNN 심층학습 의 구성 요소를 최적하는데 효과적임으로 확인하였다.
본 논문에서는 CNN 심층학습의 학습 과정에 컨벌루션 계층과 완전연결 계층이 입력 데이터에 따른 상관 관계가 있음을 보이고, 학습 데이터셋의 특성에 따라서 비용함수(cost function or loss function)의 오류 평면(error surface)에 영향을 주는 것을 확인한다. 유전 알고리즘(GA, genetic algorithm)[7,8]을 이용하여 입력 데이터셋의 특성에 부합하는 활성함수 (activation function), 그리고 완전연결 계층의 최적화 알고리즘을 선정하는 방법을 제안한다.
KDEF 데이터셋에 대해서는 GoogLeNet과 VGG-16로 GA 20세대 최적화를 수행 한 결과, GoogLeNet에 대해서 Leaky ReLU 활성함수 와 RMSprop가 선정되었으며, VGG-16에 대해서는 Leaky ReLU와 Adam 이 선정되었다. 시뮬레이션 결과를 통하여 최적 구성 요소를 선정하는데 GA를 적용 가능함을 확인하였다.
학습 데이터셋의 통계적인 특성에 따라 CNN 심층 학습 네트워크의 성능이 의존하는 것을 확인하고, 얼굴 표정인식을 위한 영상 데이터셋에 적합한 CNN 심층학습 구성 요소를 유전 알고리즘으로 선정하는 방법을 제안한다. 얼굴 표정인식을 위한 CK+ 데이터셋에 대해서는 VGG-16에 대하여 ReLU 활성함수, Adam 최적화 알고리즘이 가장 우수한 성능을 보이 고, KDEF 데이터셋에 대해서는 GoogLeNet 모델에 대하여 Leaky ReLU 그리고 RMSprop 가 86.79%로 가장 우수하다. MMI 데이터셋에 대해서는 ReLU 활성함수와 Adam 최적화 알고리즘의 조합이 87.
유전 알고리즘(GA, genetic algorithm)[7,8]을 이용하여 입력 데이터셋의 특성에 부합하는 활성함수 (activation function), 그리고 완전연결 계층의 최적화 알고리즘을 선정하는 방법을 제안한다. 얼굴표정 분류 및 인식을 위하여 표정인식을 데이터셋 영상에 대한 심층학습을 적용하는 시뮬레이션을 통하여 제안하는 유전 알고리즘을 이용하는 방법이 효과적임을 보인다.

후속연구

GA 최적화가 CNN 심층학습 의 구성 요소를 최적하는데 효과적임으로 확인하였다. 향후 컨벌루션 커널에 대하여 추가적인 실험을 수행하고, 성능의 차이를 유발하는 요인에 대하여 학습 데이터셋에 대한 통계적인 분석을 수행하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	얼굴 표정인식은 무엇을 목표로 하는가?	얼굴 표정인식(FER, facial expression recognition)은 얼굴인식과 달리 각 개인 간의 차이보다는 모든 사람들의 공통된 표정 변화를 인식하는 것을 목표로 하고 많은 응용 분야에 적용되고 있다[1]. 사람의 얼굴 표정은 주로 입, 눈, 눈썹 등의 종합적인 형태 변 화로 나타나며, 표정의 종류도 각 지역이나 문화에 따라 다양하지만 일반적으로 6가지로 기쁨(happy), 슬픔 (sad), 분노(angry), 혐오(disgust), 공포(fear), 놀람 (surprise)이 전 세계 문화에 대체로 동일하게 인지는 것으로 알려지고 있다.
	얼굴 표정인식 인식률 저하에는 어떠한 원인들이 있는가?	사람의 얼굴 표정은 주로 입, 눈, 눈썹 등의 종합적인 형태 변 화로 나타나며, 표정의 종류도 각 지역이나 문화에 따라 다양하지만 일반적으로 6가지로 기쁨(happy), 슬픔 (sad), 분노(angry), 혐오(disgust), 공포(fear), 놀람 (surprise)이 전 세계 문화에 대체로 동일하게 인지는 것으로 알려지고 있다. FER에 대한 연구는 다양한 머리 자세[2]와 조명 상태[3], 해상도 등의 다양한 원인으로 인하여 인식률 저하에 관한 문제를 개선하고자 한다. 표정인식 성능 개선을 위하여 CK+(Cohn-Kanade dataset)[4], MMI[5] 그리고 KDEF(Karolinska directed emotional faces)[6] 등의 다양한 표정 데이터셋과 심층학습 모델들이 제공되고 있다.
	풀링 계층은 어떠한 역할을 하는가?	CNN 심층학습 모델은 컨벌루션 계층, 풀링 계층, 그리고 완전 연결 계층으로 구성된다. 컨벌루션 계층은 학습 영상에 대하여 컨벌루션 필터링을 통하여 각 계층별 특징맵(feature map)을 추출하고, 풀링 계층은 특징맵을 추상화하는 역할을 한다. 완전 연결 계층은 신경망 구조로 컨벌루션과 풀링을 통하여 추출된 특징매으로 분류 기능을 수행한다.

참고문헌 (12)

B. Martinez, M. F. Valstar, B. Jiang, and M. Pantic, "Automatic analysis of facial actions: a survey," IEEE Trans. Affective Computing, vol. 10, no. 3, July 2017, pp. 325-347.
H. Park, K. Kim, and E. Cha, "Facial Feature Extraction using Multiple Active Appearance Model," J. of Korean Institute of Electronic Communication Society, vol. 8, no. 8, Aug. 2013, pp. 1201-1206.
Y. Kim, S. Park, and D. Kim, "Research on Robust Face Recognition against Lighting Variation using CNN," J. of Korean Institute of Electronic Communication Society, vol. 12, no. 2, Apr. 2017, pp. 325-330.
P. Lucey, J. F. Cohn, T. Kanade, J. Saragih, Z. Ambadar, and I. Matthews, "The extended cohn-kanade dataset (CK+): A complete dataset for action unit and emotion-specified expression," In Proc. IEEE Computer Society Conf. on Computer Vision and Pattern Recognition Workshops(CVPRW), San Francisco, USA, June 2010, pp. 13-18.
M. Valstar and M. Pantic, "Induced disgust, happiness and surprise: an addition to the mmi facial expression database," In Proc. of Int. Conf. Language Resources and Evaluation, Workshop on EMOTION: Corpora for Research on Emotion and Affect, Valletta, Malta, May 2010, pp. 65-70.
E. Goeleven, R. D. Raedt, L. Leyman, and B. Verschuere, "The Karolinska directed emotional faces: a validation study," J. of Cognition and Emotion, vol. 22. no. 6, Aug. 2008, pp. 1094-1118.
W. Banzhaf, P. Nordin, R. E. Keller, and F. D. Francone, Genetic Programming an Introduction. San Francisco: Morgan Kaufmann Publisher, 1955.
L. M. Schmitt, C. L. Nehaniv, and R. H. Fujii, "Fundamental study linear analysis of genetic algorithms," Theoretical Computer Science, vol. 200, no. 1-2, June 1998, pp. 101-134.

상세보기
A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet classification with deep learning convolutional neural networks," In Proc. Neural Information Processing Systems(NIPS), Lake Tahoe, Nevada, USA, Dec. 2012, pp. 1097-1105.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going Deeper With Convolutions," In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, June 2015. pp. 1-9.
X. Zhang, J. Zou, K. He, and J. Sun, "Accelerating Very Deep Convolutional Networks for Classification and Detection," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 38, no. 10, 2016, pp. 1943-1955.

상세보기
K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," In Proc. IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Las Vegas, USA, June 2016, pp. 770-778.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증