[논문]딥러닝 표정 인식을 활용한 실시간 온라인 강의 이해도 분석

이자연; 정소현; 신유원; 이은혜; 하유빈; 최장환

doi:10.9717/kmms.2020.23.12.1464

딥러닝 표정 인식을 활용한 실시간 온라인 강의 이해도 분석
Analysis of Understanding Using Deep Learning Facial Expression Recognition for Real Time Online Lectures 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.23 no.12, 2020년, pp.1464 - 1475

이자연 (Division of Mechanical and Biomedical Engineering, Ewha Womans University) , 정소현 (Division of Mechanical and Biomedical Engineering, Ewha Womans University) , 신유원 (Division of Mechanical and Biomedical Engineering, Ewha Womans University) , 이은혜 (Division of Mechanical and Biomedical Engineering, Ewha Womans University) , 하유빈 (Division of Mechanical and Biomedical Engineering, Ewha Womans University) , 최장환 (Division of Mechanical and Biomedical Engineering, Ewha Womans University)

Abstract ▼ AI-Helper

Due to the spread of COVID-19, the online lecture has become more prevalent. However, it was found that a lot of students and professors are experiencing lack of communication. This study is therefore designed to improve interactive communication between professors and students in real-time online lectures. To do so, we explore deep learning approaches for automatic recognition of students' facial expressions and classification of their understanding into 3 classes (Understand / Neutral / Not Understand). We use 'BlazeFace' model for face detection and 'ResNet-GRU' model for facial expression recognition (FER). We name this entire process 'Degree of Understanding (DoU)' algorithm. DoU algorithm can analyze a multitude of students collectively and present the result in visualized statistics. To our knowledge, this study has great significance in that this is the first study offers the statistics of understanding in lectures using FER. As a result, the algorithm achieved rapid speed of 0.098sec/frame with high accuracy of 94.3% in CPU environment, demonstrating the potential to be applied to real-time online lectures. DoU Algorithm can be extended to various fields where facial expressions play important roles in communications such as interactions with hearing impaired people.

주제어

표/그림 (11)

표 Table 1. Related Works
그림 Fig. 1. Overall process of online real-time e-learning system based on FER.
표 Table 2. The number of classified images of each dataset
표 Table 3. Speed of each detection model
그림 Fig. 2. Architecture of VGG.
그림 Fig. 3. Architecture of VGG-GRU.
그림 Fig. 4. Architecture of ResNet-GRU.
그림 Fig. 5. Prototype and statistics of understanding. (a) Neutral state, (b) Not-understanding state, (c) Understanding state.
그림 Fig. 6. DoU Graph per iteration,
표 Table 4. Accuracy and speed of each FER model
표 Table 5. Speed of DoU algorithm

AI 본문요약
AI-Helper

문제 정의

따라서 본 연구는 딥러닝 모델을 통해 표정 인식의 정확도를 높이고, 실시간으로 다수 사용자의 표정을 이해도 클래스로 분류함으로써 기존 선행연구들의 단점을 보완하고자 한다. 더 나아가 분류 결과에 대한 통계를 실시간으로 제공하여 사용자 전체의 이해도를 한눈에 파악할 수 있게끔 시각화하는 시스템을 제공하고자 한다.
따라서 본 연구는 딥러닝 모델을 통해 표정 인식의 정확도를 높이고, 실시간으로 다수 사용자의 표정을 이해도 클래스로 분류함으로써 기존 선행연구들의 단점을 보완하고자 한다. 더 나아가 분류 결과에 대한 통계를 실시간으로 제공하여 사용자 전체의 이해도를 한눈에 파악할 수 있게끔 시각화하는 시스템을 제공하고자 한다.
본 연구는 딥러닝 기반 표정 인식을 통해 온라인 실시간 강의에서 학생의 이해도를 실시간으로 분석하는 서비스를 제안한다. 신뢰성 있는 결과 도출을 위해, face detection과 FER 모델을 함께 사용했으며 여러 모델의 비교, 분석을 통해 최적의 결과를 도출하였다.

제안 방법

1과 같다. 기존의 여러 공공 데이터셋을 본 연구의 취지에 맞게 재구성하여 연구를 진행하였다. 먼저 face detection 모델을 이용하여 데이터셋으로부터 정확한 얼굴의 위치를 얻고, 이를 FER 의 인풋으로 사용하였다.
이해도를 분석하기 위한 Facial Expression Recognition 알고리즘은 실시간에 적합하도록 상대적으로 가벼우며 일정 수준 이상의 정확도를 보장해야 한다. 따라서 가볍고 빠른 VGG, ResNet 기반의 모델을 고안하였으며, 시계열 데이터 분석에 적합한 GRU 모델을 추가하였다.
그러므로 여러 장의 연속 이미지를 빠른 속도로 분석 및 판단하는 적합한 방법이 필요하다. 따라서 본 연구는 다양한 알고리즘을 비교, 분석하여 속도를 기준으로 연구의 목적에 적합한 최적의 알고리즘을 제안하고자 한다.
모든 공공 데이터셋은 흑백 이미지이며 FER 의 인풋 이미지로 사용하기 위해 64×64로 크기 조정 후 수평, 수직 방향의 flip, 90˚ rotation의 image augmentation을 진행하였다.
본 연구는 실시간 표정 분석을 통해 학생의 이해도를 실시간으로 교수에게 보여준다. 다중 학생에 대한 분석일 경우, 해당 개인 수치의 평균 통계치를 활용해 학생들의 전체적인 이해도를 나타낸다.
본 연구에서는 구현한 DoU 알고리즘이 실제 수업에서 어떠한 방식으로 활용이 가능한지 보이기 위해 Zoom 화상 회의 애플리케이션을 사용하여 실제 온라인 실시간 수업과 같은 환경을 조성하였다. 이 때, 회의에 참여한 6명의 학생이 모두 수업을 듣고 있다는 가정하에 각자 자유롭게 표정을 짓고 그 화면을 녹화하였다.
앞에서 언급된 바와 같이, 본 연구에서 고안한 시스템은 인풋 영상을 BlazeFace를 통한 Facial Detection과, ResNet-GRU를 통한 FER 을 거쳐 이해도(Understand / Neutral / Not Understand)를 분석한 뒤 통계 결과를 도출하는 순서로 진행된다. 이 시스템은 결과적으로 CPU 환경에서 4개의 프레임당 0.

데이터처리

본 연구는 딥러닝 기반 표정 인식을 통해 온라인 실시간 강의에서 학생의 이해도를 실시간으로 분석하는 서비스를 제안한다. 신뢰성 있는 결과 도출을 위해, face detection과 FER 모델을 함께 사용했으며 여러 모델의 비교, 분석을 통해 최적의 결과를 도출하였다. BlazeFace와 ResNet-GRU 모델로 구성된 DoU 알고리즘을 제안했으며, 이는 안면인식 기술을 활용한 수업의 이해도 통계를 실시간으로 분석한 첫번째 연구라는 점에 큰 의의가 있다.
먼저 face detection 모델을 이용하여 데이터셋으로부터 정확한 얼굴의 위치를 얻고, 이를 FER 의 인풋으로 사용하였다. 최적의 결과를 도출하기 위해, face detection과 FER에 여러 모델을 적용하였고 학습 결과를 비교 분석하여 모델을 선정하였다.

이론/모형

Face detection에서 가장 좋은 성능을 보인 Blaze Face는 Depth wise separable convolution 연산과 residual connection 기법을 활용하여 속도를 단축하였다. 또한, 영상의 이전 프레임에서 계산된 6개의 얼굴 특징점의 값을 다음 프레임에 반영함으로써 연산량을 대폭 줄였다.
교육의 목적으로 FER 을 통해 표정을 분류한 선행연구들은 Table 1과 같이 진행되었다. 각 연구에서 사용한 face detection 알고리즘과 표정 분류를 위한 FER 알고리즘을 정리하였다.

성능/효과

신뢰성 있는 결과 도출을 위해, face detection과 FER 모델을 함께 사용했으며 여러 모델의 비교, 분석을 통해 최적의 결과를 도출하였다. BlazeFace와 ResNet-GRU 모델로 구성된 DoU 알고리즘을 제안했으며, 이는 안면인식 기술을 활용한 수업의 이해도 통계를 실시간으로 분석한 첫번째 연구라는 점에 큰 의의가 있다.
FER 에 가장 좋은 성능을 보인 ResNet-GRU의 residual learning은 모델의 비선형성을 높여 복잡한 바운더리로의 근사에 탁월한 성능을 보였다. 또한, 3단계의 field of view(FOV)가 GRU 모델의 인풋으로 주어지므로 표정의 중요한 정보를 더욱 효과적으로 뽑아낼 수 있었다.
392초의 빠른 속도를 보였다(Table 5). 같은 알고리즘을 GPU 환경에 적용하였을 때는 0.121초로 속도가 더욱 빨라져 성능이 향상됨을 확인하였다.
FER 에 가장 좋은 성능을 보인 ResNet-GRU의 residual learning은 모델의 비선형성을 높여 복잡한 바운더리로의 근사에 탁월한 성능을 보였다. 또한, 3단계의 field of view(FOV)가 GRU 모델의 인풋으로 주어지므로 표정의 중요한 정보를 더욱 효과적으로 뽑아낼 수 있었다. 적절히 추가된 convolutional dropout과 FC layer dropout은 모델의 파라미터 수를 대폭 줄여 실시간으로 적용 가능한 속도를 보장함에 큰 도움을 주었다.
앞에서 언급된 바와 같이, 본 연구에서 고안한 시스템은 인풋 영상을 BlazeFace를 통한 Facial Detection과, ResNet-GRU를 통한 FER 을 거쳐 이해도(Understand / Neutral / Not Understand)를 분석한 뒤 통계 결과를 도출하는 순서로 진행된다. 이 시스템은 결과적으로 CPU 환경에서 4개의 프레임당 0.392초의 빠른 속도와 94.3%의 높은 정확도를 나타냈다.
또한, 3단계의 field of view(FOV)가 GRU 모델의 인풋으로 주어지므로 표정의 중요한 정보를 더욱 효과적으로 뽑아낼 수 있었다. 적절히 추가된 convolutional dropout과 FC layer dropout은 모델의 파라미터 수를 대폭 줄여 실시간으로 적용 가능한 속도를 보장함에 큰 도움을 주었다.
Table 4와 Table 5에서 제시된 테스트 결과는 한 사람에 대하여 추출한 4개의 frame을 batch로 하여 측정되었다. 테스트 결과, DoU 알고리즘은 94.3%의 정확도(Table 4)와, CPU 환경에서 face detection부터 FER 까지 0.392초의 빠른 속도를 보였다(Table 5). 같은 알고리즘을 GPU 환경에 적용하였을 때는 0.
통제된 조건에서 시스템은 95% 정도의 훌륭한 정확도를 보이지만, 실제 영상에서 테스트한 경우에는 통제된 조건에서 만큼의 정확도가 나타나지 않는다는 한계점이 있다. 하지만 이해도에 따라 라벨링 된 데이터셋을 구축하여 추후 연구를 진행한다면, 실제 이해도 테스트에서 더 높은 정확도가 도출될 것이다.

후속연구

더 나아가 다양한 분야로의 적용 또한 기대해 볼 수 있다. 대표적으로 표정을 통한 표현이 소통에 있어 매우 중요한 청각 장애인들의 의사소통에 도움을 줄 수 있을 것이다.
이를 바탕으로 사용자의 이해도뿐만 아니라 집중도까지 분석할 수 있는 기능까지 결합한다면 교육환경 개선에 더욱 크게 이바지할 수 있을 것이다. 더 나아가 다양한 분야로의 적용 또한 기대해 볼 수 있다. 대표적으로 표정을 통한 표현이 소통에 있어 매우 중요한 청각 장애인들의 의사소통에 도움을 줄 수 있을 것이다.
본 시스템은 비대면 실시간 강의가 활발하게 진행되는 현시점에 가장 적합한 형태의 교육 시스템으로서, 다양한 학습 환경에서 매우 높은 활용도가 예상된다. 본 시스템이 제공하는 실시간 통계 수치를 통해 교수자는 학생들이 강의 중 이해하지 못한 부분을 직관적으로 파악할 수 있으며, 해당 내용에 추가적인 설명을 덧붙임으로써 적절하고 빠른 피드백을 할 수 있게 된다.
이를 바탕으로 사용자의 이해도뿐만 아니라 집중도까지 분석할 수 있는 기능까지 결합한다면 교육환경 개선에 더욱 크게 이바지할 수 있을 것이다. 더 나아가 다양한 분야로의 적용 또한 기대해 볼 수 있다.
통제된 조건에서 시스템은 95% 정도의 훌륭한 정확도를 보이지만, 실제 영상에서 테스트한 경우에는 통제된 조건에서 만큼의 정확도가 나타나지 않는다는 한계점이 있다. 하지만 이해도에 따라 라벨링 된 데이터셋을 구축하여 추후 연구를 진행한다면, 실제 이해도 테스트에서 더 높은 정확도가 도출될 것이다.

참고문헌 (46)

M.H. Immordino-Yang and A. Damasio, "We Feel, Therefore We Learn: The Relevance of Affective and Social Neuroscience to Education," Mind, Brain, and Education, Vol. 1, No. 1, pp. 3-10, 2007.

상세보기
M. Sathik and S.G. Jonathan, "Effect of Facial Expressions on Student's Comprehension Recognition in Virtual Educational Environments," SpringerPlus, Vol. 2, No. 1, pp. 455-463, 2013.

상세보기
S. Li and W. Deng, "Deep Facial Expression Recognition: A Survey," IEEE Transactions on Affective Computing, 2020. (Accepted)
J. Park, S. Jeong, W. Lee, and K. Song, "Analyzing Facial Expression of a Learner in ELearning System," Proceedings of the Korea Contents Association Conference, pp. 160-163, 2006.
K. Otwell, Facial Expression Recognition in Educational Learning Systems, 10319249, US, 2019.
O. El-Hammoumi, F. Benmarrakchi, N. Ouherrou, J. El-Kafi, and A. El-Hore, "Emotion Recognition in E-learning Systems," Proceeding of International Conference on Multimedia Computing and Systems, pp. 1-6, 2018.
A. Sarrafzadeh, S. Alexander, F. Dadgostar, C. Fan, and A. Bigdeli, "How Do You Know that I Don't Understand?" A Look at the Future of Intelligent Tutoring Systems," Computers in Human Behavior, Vol. 24, No. 4, pp. 1342-1363, 2008.

상세보기
O.K. Akputu, K.P. Seng, Y. Lee, and L. Ang, "Emotion Recognition Using Multiple Kernel Learning toward E-Learning Applications," ACM Transactions on Multimedia Computing, Communications, and Applications, Vol. 14, No. 1, pp. 1-20, 2018.

상세보기
P. Viola and M.J. Jones, "Robust Real-Time Face Detection," International Journal of Computer Vision, Vol. 57, No. 2, pp. 137-154, 2004.

상세보기
C. Wu, "New Technology for Developing Facial Expression Recognition in E-Learning," Proceeding of Portland International Conference on Management of Engineering and Technology, pp. 1719-1722, 2016.
U. Ayvaz, H. Guruler, and M.O. Devrim, "Use of Facial Emotion Recognition in E-Learning Systems," Information Technologies and Learning Tools, Vol. 60, No. 4, pp. 95-104, 2017.

상세보기
C. Sagonas, G. Tzimiropoulos, S. Zafeiriou, and M. Pantic, "300 Faces in-the-Wild Challenge: The First Facial Landmark Localization Challenge," Proceedings of the IEEE International Conference on Computer Vision Workshops, pp. 397-403, 2013.
L. Chen, C. Zhou, and L. Shen, "Facial Expression Recognition based on SVM in E-Learning," Ieri Procedia, Vol. 2, pp. 781-787, 2012.

상세보기
S.P. Deshmukh, M.S. Patwardhan, and A.R. Mahajan, "Feedback Based Real Time Facial and Head Gesture Recognition for E-Learning System," Proceedings of the ACM India Joint International Conference on Data Science and Management of Data, pp. 360-363, 2018.
M. Loh, Y. Wong, and C. Wong, "Facial Expression Recognition for E-Learning Systems Using Gabor Wavelet & Neural Network," Proceeding of IEEE International Conference on Advanced Learning Technologies, pp. 523-525, 2006.
G. Tonguc and B.O. Ozkara, "Automatic Recognition of Student Emotions from Facial Expressions during a Lecture," Computers & Education, Vol. 148, pp. 103797, 2020.

상세보기
J. Sun, X. Pei, and S. Zhou, "Facial Emotion Recognition in Modern Distant Education System Using SVM," Proceeding of International Conference on Machine Learning and Cybernetics, pp. 3545-3548, 2008.
M.A.A. Dewan, F. Lin, D. Wen, M. Murshed, and Z. Uddin, "A Deep Learning Approach to Detecting Engagement of Online Learners," Proceeding of IEEE SmartWorld, Ubiquitous Intelligence & Computing, Advanced & Trusted Computing, Scalable Computing & Communications, Cloud & Big Data Computing, Internet of People and Smart City Innovation, pp. 1895-1902, 2018.
G.E. Hinton, S. Osindero, and Y. Teh, "A Fast Learning Algorithm for Deep Belief Nets," Neural Computation, Vol. 18, No. 7, pp. 1527-1554, 2006.

상세보기
I.M. Revina and W.S. Emmanuel, "A Survey on Human Face Expression Recognition Techniques," Journal of King Saud University - Computer and Information Sciences, Vol. 1, No. 5, pp. 1-9, 2018.
F. Ghaffar, "Facial Emotions Recognition Using Convolutional Neural Net," ArXiv Preprint ArXiv:2001.01456, 2020.
P. Tarnowski, M. Kolodziej, A. Majkowski, and R.J. Rak, "Emotion Recognition Using Facial Expressions," Proceeding of International Conference on Computational Science, pp. 1175-1184, 2017.
L. Krithika and L.P. GG, "Student Emotion Recognition System (SERS) for E-Learning Improvement based on Learner Concentration Metric," Procedia Computer Science, Vol. 85, pp. 767-776, 2016.

상세보기
L. Linnenbrink-Garcia and R. Pekrun, "Students' Emotions and Academic Engagement: Introduction to the Special Issue," Contemporary Educational Psychology, Vol. 36, No. 1, pp. 1-3, 2011.

상세보기
M.A.A. Dewan, M. Murshed, and F. Lin, "Engagement Detection in Online Learning: A Review," Smart Learning Environments, Vol. 6, No. 1, pp. 1, 2019.

상세보기
A. Dhall, A. Kaur, R. Goecke, and T. Gedeon, "Emotiw 2018: Audio-Video, Student Engagement and Group-Level Affect Prediction," Proceedings of the ACM International Conference on Multimodal Interaction, pp. 653-656, 2018.
I.J. Goodfellow, D. Erhan, P.L. Carrier, A. Courville, M. Mirza, B. Hamner, et al., "Challenges in Representation Learning: A Report on Three Machine Learning Contests," Proceeding of International Conference on Neural Information Processing, pp. 117-124, 2013.
M.J. Lyons, S. Akamatsu, M. Kamachi, J. Gyoba, and J. Budynek, "The Japanese Female Facial Expression (JAFFE) Database," Proceedings of International Conference on Automatic Face and Gesture Recognition, pp. 14-16, 1998.
E. Goeleven, R. De Raedt, L. Leyman, and B. Verschuere, "The Karolinska Directed Emotional Faces: A Validation Study," Cognition and Emotion, Vol. 22, No. 6, pp. 1094-1118, 2008.

상세보기
V. Bazarevsky, Y. Kartynnik, A. Vakunov, K. Raveendran, and M. Grundmann, "Blazeface: Sub-Millisecond Neural Face Detection on Mobile Gpus," ArXiv Preprint ArXiv:1907. 05047, 2019.
A.G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, et al., "Mobilenets: Efficient Convolutional Neural Networks for Mobile Vision Applications," ArXiv Preprint ArXiv:1704.04861, 2017.
C. Szegedy, A. Toshev, and D. Erhan, "Deep Neural Networks for Object Detection," Advances in Neural Information Processing Systems, Vol. 26, pp. 2553-2561, 2013.
P. Viola and M. Jones, "Rapid Object Detection Using a Boosted Cascade of Simple Features," Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 511-518, 2001.
K. Zhang, Z. Zhang, Z. Li, and Y. Qiao, "Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks," IEEE Signal Processing Letters, Vol. 23, No. 10, pp. 1499-1503, 2016.

상세보기
N. Dalal and B. Triggs, "Histograms of Oriented Gradients for Human Detection," Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 886-893, 2005.
K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-scale Image Recognition," ArXiv Preprint ArXiv:1409.1556, 2014.
J. Chung, C. Gulcehre, K. Cho, and Y. Bengio, "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling," ArXiv Preprint ArXiv:1412.3555, 2014.
T.N. Sainath, O. Vinyals, A. Senior, and H. Sak, "Convolutional, Long Short-Term Memory, Fully Connected Deep Neural Networks," Proceeding of IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4580-4584, 2015.
Emotion Classification, (2018). https://github.com/XiaoYee/emotion_classification/commits?authorXiaoYee (accessed April 12, 2020).
K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778, 2016.
Y. Fan, X. Lu, D. Li, and Y. Liu, "Video-Based Emotion Recognition Using CNN-RNN and C3D Hybrid Networks," Proceedings of the ACM International Conference on Multimodal Interaction, pp. 445-450, 2016.
Y. Zhai, and D. He, "Video-Based Face Recognition Based on Deep Convolutional Neural Network," Proceedings of the International Conference on Image, Video and Signal Processing, pp. 23-27, 2019.
Z. Zhang, C. Wang, and Y. Wang, "Video-Based Face Recognition: State of the Art," Proceeding of Chinese Conference on Biometric Recognition, pp. 1-9, 2011.
H. Wang, Y. Wang, and Y. Cao, "Video-based Face Recognition: A Survey," World Academy of Science, Engineering and Technology, Vol. 60, pp. 293-302, 2009.
C. Shan, "Face Recognition and Retrieval in Video," Video Search and Mining, Vol. 287, pp. 235-260, 2010.
Y.H. Jung, Y.M. Song, and Y.H. Ko, "Inclined Face Detection Using JointBoost Algorithm," Journal of Korea Multimedia Society, Vol. 15, No. 5, pp. 606-614, 2012.

원문보기 상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증