[논문]표정 분류 연구

손나영; 조현선; 이소현; 송종우

doi:10.5351/kjas.2018.31.5.539

표정 분류 연구
Analysis of facial expression recognition 원문보기

응용통계연구 = The Korean journal of applied statistics, v.31 no.5, 2018년, pp.539 - 554

손나영 (이화여자대학교 통계학과) , 조현선 (이화여자대학교 통계학과) , 이소현 (이화여자대학교 통계학과) , 송종우 (이화여자대학교 통계학과)

초록
AI-Helper

최근 등장하는 다양한 사물인터넷 기기 혹은 상황인식 기반의 인공지능에서는 사용자와 기기의 상호작용이 중요시 된다. 특히 인간을 대상으로 상황에 맞는 대응을 하기 위해서는 인간의 표정을 실시간으로 인식하여 빠르고 정확한 판단을 내리는 것이 필요하다. 따라서, 보다 빠르고 정확하게 표정을 인식하는 시스템을 구축하기 위해 얼굴 이미지 분석에 대한 많은 연구들이 선행되어 왔다. 본 연구에서는 웹사이트 Kaggle에서 제공한 48*48 8-bit grayscale 이미지 데이터셋을 사용하여 얼굴인식과 표정분류로 구분된 두 단계를 거치는 얼굴표정 자동 인식 시스템을 구축하였고, 이를 기존의 연구와 비교하여 자료 및 방법론의 특징을 고찰하였다. 분석 결과, Face landmark 정보에 주성분분석을 적용하여 단 30개의 주성분만으로도 빠르고 효율적인 예측모형을 얻을 수 있음이 밝혀졌다. LDA, Random forest, SVM, Bagging 중 SVM방법을 적용했을 때 가장 높은 정확도를 보이며, LDA방법을 적용하는 경우는 SVM 다음으로 높은 정확도를 보이며, 매우 빠르게 적합하고 예측하는 것이 가능하다.

Abstract ▼ AI-Helper

Effective interaction between user and device is considered an important ability of IoT devices. For some applications, it is necessary to recognize human facial expressions in real time and make accurate judgments in order to respond to situations correctly. Therefore, many researches on facial image analysis have been preceded in order to construct a more accurate and faster recognition system. In this study, we constructed an automatic recognition system for facial expressions through two steps - a facial recognition step and a classification step. We compared various models with different sets of data with pixel information, landmark coordinates, Euclidean distances among landmark points, and arctangent angles. We found a fast and efficient prediction model with only 30 principal components of face landmark information. We applied several prediction models, that included linear discriminant analysis (LDA), random forests, support vector machine (SVM), and bagging; consequently, an SVM model gives the best result. The LDA model gives the second best prediction accuracy but it can fit and predict data faster than SVM and other methods. Finally, we compared our method to Microsoft Azure Emotion API and Convolution Neural Network (CNN). Our method gives a very competitive result.

주제어

표/그림 (17)

그림 Figure 2.1. Facial expression recognition algorithm.
그림 Figure 2.2. Haar features; (left) Edge feature, (middle) Line feature, (right) Center surrounded feature and special diagonal line feature.
그림 Figure 2.3. Haar features example for face detection.
그림 Figure 2.4. Face landmark.
표 Table 2.1. Structure of data
표 Table 3.1. Number of images in each step
그림 Figure 3.1. Examples incorrect label; 0 = Angry, 3 = Happy, 4 = Sad, 6 = Neutral.
그림 Figure 3.2. Ambiguity in facial expressions.
표 Table 4.1. Structure of data
그림 Figure 4.1. Eigenfaces of angry face images; (left) images classiﬁed as ‘angry’, (right) misclassiﬁed images.
그림 Figure 4.2. Landmark images of angry face images.
표 Table 4.2. Final model: confusion matrix
표 Table 4.3. Characteristics of anger facial expression
표 Table 5.1. Microsoft API: confusion matrix
그림 Figure 5.1. Structure of CNN.
표 Table 5.2. CNN: confusion matrix
표 Table 5.3. Comparison of accurracy between ﬁnal model, Microsoft API (Azure) and CNN

질의응답

핵심어	질문	논문에서 추출한 답변
	상황인식 기반의 인공지능에서 중요시 되는것은?	이미지자료의 분석이란 색상정보(RGB)와 광도정보(luminosity)를 이용하여 이미지의 특징을 파악하고, 이를 통해 피사체의 형태를 식별하거나 분류하는 것을 의미한다. 최근 등장하는 다양한 사물인터넷 기기 혹은 상황인식 기반의 인공지능에서는 사용자와 기기의 상호작용(interface)이 중요시되는데, 특히 인간의 표정을 실시간으로 인식하여 상황에 맞는 대응을 하기 위해서는 고도의 관찰력과 빠른 반응속도를 필요로 한다. 따라서, 안면의 특징을 보다 빠르고 쉽게 파악하여 감정을 정확히 예측하는 알고리즘을 개발하기 위해 많은 노력이 선행되어 왔다 (Lyons 등, 1999; Shan 등, 2009).
	이미지자료의 분석의 의미는?	이미지자료의 분석이란 색상정보(RGB)와 광도정보(luminosity)를 이용하여 이미지의 특징을 파악하고, 이를 통해 피사체의 형태를 식별하거나 분류하는 것을 의미한다. 최근 등장하는 다양한 사물인터넷 기기 혹은 상황인식 기반의 인공지능에서는 사용자와 기기의 상호작용(interface)이 중요시되는데, 특히 인간의 표정을 실시간으로 인식하여 상황에 맞는 대응을 하기 위해서는 고도의 관찰력과 빠른 반응속도를 필요로 한다.
	shape와 texture information을 종합하는 모델링 방법 중 피사체의 형태적 특성을 나타내는 것은?	이미지의 특징 정보는 크게 피사체의 모양에 대한 shape information과 질감에 대한 texture information으로 구분되며, active shape model (ASM) (Cootes 등, 1955)이나 active appearance model (AAM) (Cootes 등, 2001) 등이 shape와 texture information을종합하는 모델링 방법으로 잘 알려져 있다. Shape information은 피사체의 형태적 특성을 나타내는데, 특히 기하학적 성질을 나타낼 때는 기하정보(geometric information)으로도 이해된다. 사람의 얼굴에 관련된 대표적인 shape information으로는 얼굴 랜드마크(face landmark)를 사용할 수 있다.

참고문헌 (27)

Bradski, G. and Kaehler, A. (2008). Learning OpenCV: Computer vision with the OpenCV library, O'Reilly Media, Sebastopol.
Brieman, L. (1996). Bagging predictors, Machine Learning, 24, 123-140 .

상세보기
Breiman, L. (2001). Random forests, Machine Learning , 45, 5-32.
Cootes, T. F., Edwards, G. J., and Taylor, C. J. (2001). Active appearance models, IEEE Transactions on Pattern Analysis and Machine Intelligence, 23, 681-685 .

상세보기
Cootes, T. F., Taylor, C. J., Cooper, D. H., and Graham, J. (1995). Active shape models-their training and application, Computer Vision and Image Understanding, 61, 38-59.

상세보기
Cortes, C. and Vapnik, V. (1995). Support-vector networks, Machine Learning, 20, 273-297 .

상세보기
Daugman, J. G. (1988). Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression, IEEE Transactions on Acoustics, Speech, and Signal Processing, 36, 1169-1179.

상세보기
Ekman, P. (1992). An argument for basic emotions, Cognition & Emotion, 6, 169-200.

상세보기
Fogel, I. and Sagi, D. (1989). Gabor filters as texture discriminator, Biological Cybernetics, 61, 103-113 .

상세보기
Goodfellow, I. J., Erhan, D., Carrier, P. L., et al. (2013). Challenges in representation learning: a report on three machine learning contests, arXiv:1307.0414, from: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data
Jain, A. K. and Farrokhnia, F. (1991). Unsupervised texture segmentation using Gabor filters, Pattern Recognition, 24 , 1167-1186.

상세보기
Kazemi, V. and Sullivan, J. (2014). One millisecond face alignment with an ensemble of regression trees. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1867-1874.
King, D. E. (2009). Dlib-ml: a machine learning toolkit, Journal of Machine Learning Research, 10, 1755-1758 .
Liaw, A. and Wiener, M. (2002). Classification and Regression by randomforest, R News, 2, 18-22.
Lyons, M. J., Budynek, J., and Akamatsu, S. (1999). Automatic classification of single facial images, IEEE Transactions on Pattern Analysis and Machine Intelligence, 21, 1357-1362.

상세보기
Meyer, D., Dimitriadou, E., Hornik, K., Weingessel, A., Leisch, F., Chang, C. C., and Lin, C. C. (2017). e1071: Misc Functions of the Department of Statistics, Probability Theory Group (Formerly: E1071), TU Wien, R package version 1.6-8. from: https://CRAN.R-project.org/packagee1071
Ojala, T., Pietikainen, M., and Maenpaa, T. (2002). Multiresolution gray-scale and rotation invariant texture classification with local binary patterns, IEEE Transactions on Pattern Analysis and Machine Intelligence, 24, 971-987.

상세보기
Paul van Gent (2016). http://www.paulvangent.com/2016/08/05/emotion-recognition-using-facial-landmarks/
R Core Team (2016). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria, from: https://www.R-project.org/
Saatci, Y. and Town, C. (2006). Cascaded classification of gender and facial expression using active appearance models, In 7th International Conference on Automatic Face and Gesture Recognition (FGR06), IEEE, 393-398.
Saragih, J. M., Lucey, S., and Cohn, J. F. (2009). Face alignment through subspace constrained mean-shifts, in Proceedings / IEEE International Conference on Computer Vision, 1034-1041.
Shan, C., Gong, S., and McOwan, P. W. (2009). Facial expression recognition based on local binary patterns: a comprehensive study, Image and Vision Computing, 27, 803-816.

상세보기
Steven Puttemans (2013). https://github.com/opencv/opencv/tree/master/data/Haarcascades.
Venables, W. N. and Ripley, B. D. (2002). Modern Applied Statistics with S (4th ed), Springer, New York.
Viola, P. and Jones, M. J. (2001). Rapid object detection using a boosted cascade of simple features. In Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001, Kauai.
Viola, P. and Jones, M. J. (2004). Robust real-time face detection, International Journal of Computer Vision, 57, 137-154.

상세보기
Weihs, C., Ligges, U., Luebke, K., and Raabe, N. (2005). klaR analyzing German business cycles, In Data Analysis and Decision Support, 335-343, Springer, Heidelberg.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증