$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

깊은 Convolutional Neural Network를 이용한 얼굴표정 분류 기법
Facial Expression Classification Using Deep Convolutional Neural Network 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.22 no.2, 2017년, pp.162 - 172  

최인규 (광운대학교 전자공학과) ,  송혁 (한국전자부품연구원) ,  이상용 (광운대학교 전자공학과) ,  유지상 (광운대학교 전자공학과)

초록
AI-Helper 아이콘AI-Helper

본 논문에서는 딥러닝 기술 중의 하나인 CNN(Convolutional Neural Network)을 이용한 얼굴 표정 인식 기법을 제안한다. 기존의 얼굴 표정 데이터베이스의 단점을 보완하고자 질 좋은 다양한 데이터베이스를 이용한다. 제안한 기법에서는 '무표정', '행복', '슬픔', '화남', '놀람', 그리고 '역겨움' 등의 여섯 가지 얼굴 표정 data-set을 구축한다. 효율적인 학습 및 분류 성능을 향상시키기 위해서 전처리 및 데이터 증대 기법(data augmentation)도 적용한다. 기존의 CNN 구조에서 convolutional layer의 특징지도의 수와 fully-connected layer의 node의 수를 조정하면서 여섯 가지 얼굴 표정의 특징을 가장 잘 표현하는 최적의 CNN 구조를 찾는다. 실험 결과 제안하는 구조가 다른 모델에 비해 CNN 구조를 통과하는 시간이 가장 적게 걸리면서도 96.88%의 가장 높은 분류 성능을 보이는 것을 확인하였다.

Abstract AI-Helper 아이콘AI-Helper

In this paper, we propose facial expression recognition using CNN (Convolutional Neural Network), one of the deep learning technologies. To overcome the disadvantages of existing facial expression databases, various databases are used. In the proposed technique, we construct six facial expression da...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 위의 과정을 모든 경우의 수에 대하여 반복하여 가장 최적의 구조를 찾는 것은 그 과정이 너무 길어지는 단점이 있다. 따라서 본 논문에서는 일부 채널과 노드의 개수만을 조정하면서 그중에 최적의 구조를 찾으려는 시도를 하였다. 마지막으로 표 5에서 찾은 기준모델의 C4,5, FC6,7은 고정하고 C1-C3만 변경하면서 더 최적의 구조가 있는지 찾아보았다.
  • 본 논문에서는 기존에 많이 활용하던 데이터베이스의 문제점을 보완하고자 고해상도 data-set을 수집하고 선별한다. 또한 불필요한 정보를 제거하기 위해서 얼굴 영역을 검출하여 자르고 1-채널의 흑백영상으로 변환한다.
  • 본 논문에서는 적은 학습 데이터를 이용하여 각 표정을 잘 표현하는 특징 벡터를 추출하는 것과 동시에 영상이 입력되고 분류되기까지 수행 시간이 적게 걸리는 구조로 변경하는 것을 목표로 한다. CNN 구조에서 연산량의 대부분은 convolution 연산 과정에서 요구된다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
인간과 컴퓨터 간의 자연스러운 상호 작용을 위해서 필요한 것은 무엇인가? 이에 따라 인간과 컴퓨터와의 상호 작용(Human-Computer Interaction, HCI)에 대한 연구가 인간 공학, 산업 공학, 심리학, 컴퓨터 과학 등 여러 학문 분야에서 진행되고 있다. 인간과 컴퓨터 간의 자연스러운 상호 작용을 위해서 컴퓨터는 사용자의 의도를 종합적으로 판단하고 그에 맞는 반응을 해야 한다. 감정은 인간의 마음 상태를 표출하는 가장 중요한 요소로 사용자의 만족을 극대화하기 위해서는 사용자의 감정 인식이 중요하다.
기존의 CNN 기반의 표정인식은 어떤 기법을 이용하는가? 기존의 CNN 기반의 표정인식은 확보한 data-set에 맞춰 ILSVRC에서 검증된 모델을 조정하여 사용하거나[2] 얼굴 영역에서 획득하는 특징벡터와 얼굴의 landmark 정보를 결합하여 표정을 분류하는 기법을 이용한다[3]. 전자의 경우 data-set이 얼마나 잘 정제되어있는지에 영향을 받고 객체 분류에서 검증받은 모델이 표정분류에는 성능이 좋지 못한 경우가 있다.
Haar 특징 기반의 얼굴 검출 기법을 전처리 과정에 활용한 이유는 무엇인가? 사람의 표정을 인식할 때 얼굴 영역의 데이터만을 이용하여 처리하므로 학습 영상의 얼굴영역만 검출해서 잘라내는 전처리 과정이 필요하다. 제안한 기법에서는 Haar 특징 기반의 얼굴 검출 기법을 활용하여 얼굴영역을 검출하고 잘라낸다[17].
질의응답 정보가 도움이 되었나요?

참고문헌 (21)

  1. K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," arXiv preprint arXiv:1512.03385, 2015. 

  2. Mollahosseini, Ali, David Chan, and Mohammad H. Mahoor, "Going deeper in facial expression recognition using deep neural networks." Applications of Computer Vision (WACV), 2016 IEEE Winter Conference on. IEEE, 2016. 

  3. Jung, Heechul, et al. "Joint fine-tuning in deep neural networks for facial expression recognition." Proceedings of the IEEE International Conference on Computer Vision, 2015. 

  4. Lopes, Andre Teixeira, Edilson de Aguiar, and Thiago Oliveira-Santos, "A facial expression recognition system using convolutional networks," Graphics, Patterns and Images (SIBGRAPI), 2015 28th SIBGRAPI Conference on, IEEE, 2015. 

  5. Hamester, Dennis, Pablo Barros, and Stefan Wermter. "Face expression recognition with a 2-channel convolutional neural network," Neural Networks (IJCNN), 2015 International Joint Conference on. IEEE, 2015. 

  6. W. Bainbridge, P. Isola, and A. Oliva, "The intrinsic memorability of face photographs," Journal of Experimental Psychology: General, 142(4):1323-1334, 2013. 

  7. S. Setty and et al, "Indian Movie Face Database: A Benchmark for FaceRecognition Under Wide Variation," In NCVPRIPG, 2013. 

  8. P. Lucey, J. Cohn, T. Kanade, J. Saragih, Z. Ambadar and I. Matthews, "The extended cohn-kanade dataset (ck+): A complete dataset for action unit and emotion-specified expression," in Proceedings of the IEEE Workshop on CVPR for Human Communicative Behavior Analysis, 2010. 

  9. Ma, Correll, and Wittenbrink, The Chicago Face Database: A Free Stimulus Set of Faces and Norming Data, Behavior Research Methods, 47, 1122-1135. 

  10. ESRC 3D Face Database, http://pics.stir.ac.uk/ESRC/ 

  11. J. Van der Schalk, S. T. Hawk, A. H. Fischer, and B. J. Doosje, Moving faces, looking places: The Amsterdam Dynamic Facial Expressions Set (ADFES), Emotion, 11, 907-920. DOI: 10.1037/a0023853, 2011. 

  12. D. Lundqvist, A. Flykt, and A.Ohman (1998), The Karolinska Directed Emotional Faces - KDEF, CD ROM from Department of Clinical Neuroscience, Psychology section, Karolinska Institutet, ISBN 91-630-7164-9. 

  13. H. O'Reilly, D. Pigat, S. Fridenson, S. Berggren, S. Tal, O. Golan, S. B"olte, S. Baron-Cohen and D. Lundqvist, The EU-Emotion Stimulus Set: A Validation Study, Behavior Research Methods. DOI: 10.3758/s13428-015-0601-4, 2015. 

  14. M. Olszanowski, G. Pochwatko, K. Kuklinski, M. Scibor-Rylski, P. Lewinski and RK. Ohme, Warsaw Set of Emotional Facial Expression Pictures: A validation study of facial display photographs, Front. Psychol, 5:1516. doi: 10.3389/fpsyg.2014.01516, 2015. 

  15. A. Krizhevsky, I. Sutskever, and G. Hinton, "Imagenet classification with deep convolutional neural networks," Advances in neural information processing systems, 2012. 

  16. Learn facial expressions from an image, https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognitionchallenge/data 

  17. Viola and Jones, "Rapid object detection using a boosted cascade of simple features," Computer Vision and Pattern Recognition, 2001. 

  18. M. D. Zeiler and R. Fergus, "Visualizing and understanding convolutional networks," In European Conference on Computer Vision , Springer International Publishing, pp. 818-833, September 2014. 

  19. K. Simonyan, and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," In Proc. International Conference on Learning Representations, http://arxiv.org/abs/1409.1556 (2014). 

  20. P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R. Fergus and Y. LeCun, "OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks." In Proc. ICLR, 2014. 

  21. P. Burkert, F. Trier, M. Z. Afzal, A. Dengel, and M. Liwicki. Dexpression: "Deep convolutional neural network for expression recognition," .CoRR, abs/1509.05371, 2015. 

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로