[논문]최근 표정인식 기술 동향

이찬수

최근 표정인식 기술 동향 원문보기

電子工學會誌 = The journal of Korea Institute of Electronics Engineers, v.44 no.8 = no.399, 2017년, pp.37 - 43

이찬수 (영남대학교 전자공학과)

초록이 없습니다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

각 세부 영역의 결합에 의하여 최종적인 표정인식 결과를 얻게 된다. 본 논문에서는 표정에 대한 심리학적 연구를 통하여 밝혀진 기본 표정 및 이들의 조합에 의한 다양한 복합 표정과 관련된 연구들을 살펴본다. 이러한 이해를 바탕으로, 표정인식을 위하여 각각의 단계에서 기존에 많이 활용되었던 기술 및 최근에 딥러딩을 활용한 기술들을 검토하여, 다양한 표정인식에 필요한 기술들을 살펴본다.
본 연구자가 개발한 실제 몇가지 표정인식 관련 연구를 살펴봄으로써, 앞에서 설명된 표정인식의 각 단계가 어떻게 결합되어 실제 표정인식의 결과를 얻고 있는지를 검토 한다.
본 논문에서는 표정에 대한 심리학적 연구를 통하여 밝혀진 기본 표정 및 이들의 조합에 의한 다양한 복합 표정과 관련된 연구들을 살펴본다. 이러한 이해를 바탕으로, 표정인식을 위하여 각각의 단계에서 기존에 많이 활용되었던 기술 및 최근에 딥러딩을 활용한 기술들을 검토하여, 다양한 표정인식에 필요한 기술들을 살펴본다. 마지막으로 향후 표정인식 관련 전망을 제시한다.

제안 방법

<그림 7>은 AlexNet 구조를 변형하여 표정인식을 위하여 딥러닝 네트워크를 구성한 예이다. CK+ 표정 인식 데이트베이스를 이용하여 표정학습인 테스트를 수행하였다.
이에 따라 찰스 다윈은 인간 및 동물의 표정에 대한 연구를 수행하여 감정에 따른 표정의 표현에 있어서 공통점이 있음을 보였다^[1]. 이를 바탕으로 통하여, 폴 에커만(Paul Ekman) 교수가 체계적인 연구를 통하여, 표정이 인종에 차이가 없이 공통적이라는 주장을 하며^[2], 표정의 변화를 일으키는 근육에 대한 해부학적 분석을 통하여 표정변화를 기술하는 FACS(Facial Action Coding System)라는 표정변화에 대한 기술 방법을 제시하였다.
이러한 특징을 살리기 위해서는 표정의 특징들을 학습하는데 있어서 지역적인 특성들을 살려서 특징을 추출하는 것이 필요하다. 이를 위하여 지역적인 특징을 지원할 수 있는 사전학습(Dictionary Learning) 방법을 적용하여 표정을 인식함으로 견고하고 효과적인 표정인식 방업을 제안하였다. 표정의 변화가 중요하고, 따라서 모델 학습에 있어서 이미지가 아니라, 모션 흐름 (motion flow)라는 조밀 옵티컬 플로우(dense optical flow) 기법을 통하여 데이터를 가지고 인식함으로 인식률을 향상시킬 수 있었다.

성능/효과

또 다른 방법은 조밀 옵티컬 플로우의 가로방향 및 세로방향의 흐름을 입력으로 사용하는 방법을 적용할 수 있다. AlexNet을 이용하여 위의 두가지 경우에 대해서 표정인식 관련 실험을 해 본 결과 후자의 경우에 보다 효과적임을 보여주었다. <그림 7>은 AlexNet 구조를 변형하여 표정인식을 위하여 딥러닝 네트워크를 구성한 예이다.
또 다른 방법은 기존의 기하학적 특징에 의한 효과적인 표정인식 부분을 SVM 등의 인식기로 학습하고, 외형 특징에 대한 딥러닝 기반의 인식결과를 얻어 이를 상호 보완하는 방법이 있다. <그림 8>은 이러한 딥러닝과 기하학적 변화에 대한 SVM 인식기의 결합한 모델을 보여주며, 이러한 모델을 바탕으로 CK+ 데이터베이스를 바탕으로 한 표정인식에서 최고의 성능을 보여줄 수 있었다.
이를 위하여 지역적인 특징을 지원할 수 있는 사전학습(Dictionary Learning) 방법을 적용하여 표정을 인식함으로 견고하고 효과적인 표정인식 방업을 제안하였다. 표정의 변화가 중요하고, 따라서 모델 학습에 있어서 이미지가 아니라, 모션 흐름 (motion flow)라는 조밀 옵티컬 플로우(dense optical flow) 기법을 통하여 데이터를 가지고 인식함으로 인식률을 향상시킬 수 있었다.

후속연구

더불어 얼굴 표정으로부터 기본 정서 정보 뿐 아니라 보다 복잡한 표정을 이해하려는 연구 및 표정 분석을 통하여 인간 감정의 변화 분 아니라 정서 장애, 자폐 등의 진단에서 활용이 가능하며 관련된 연구를 통하여, 표정인식 분야가 계속 발전해 갈 것으로 보인다.
뿐만 아니라 IoT 기반의 다양한 스마트 디바이스가 사람의 상태를 파악하고, 이에 따른 적절한 기능을 제공하는데 있어서도 표정인식은 가장 명확하게 사람의 감정을 파악하는 수단이 될 것이다. 따라서 표정인식에 대하여 향후 보다 효과 적인 인식 방법에 대한 다양한 연구가 필요하며, 또한 기존의 표정인식 기술을 이용한 다양한 표정 인식 관련 제품의 개발이 요구된다.
이외에도 온라인 교육에 있어서 교육자의 감정이나 집중정도에 대한 판단, 자율주행 자동차에서 졸음여부 판단 등에 사용되고 있다. 앞으로 인공지능 기술이 발전해 감에 따라 기계 및 로봇들이 사람들의 많은 업무들을 대체해 가면서 인간과의 상호작용이 증가할 것으로 보이며, 이러한 상호작용 상황에서 가장 중요한 기술 중에 하나로 인간의 감성을 인식하는 것이 필요할 것으로 보여, 향후 더욱 정교한 인간 표정인식에 대한 연구가 필요한 상황이다.
표정인식 및 표정의 변화를 효과적으로 추적하기 위하여, 모델 기반의 얼굴 표정의 특징점들을 추정하고 있으며, 대표적으로 ASM(Active shape model)이 많이 사용된다. 이러한 모델의 확장을 바탕으로, 다양한 적용이 가능하며, 사람이 스트레스가 심해지면, 얼굴이 비대칭적으로 찌그러지는 것을 바탕으로 스트레스 정도를 추정하는데 사용될 수도 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	표정인식 기술에 많은 관심이 쏟아지는 이유는 무엇인가?	표정인식에 많은 관심이 쏟아지는 가장 큰 이유는 표정이 사람의 마음속에 일어나고 있는 감정에 대한 가장 직접적이고 시각적인 표현이기 때문이다. 찰스 다윈 (Charles Darwin)은 표정 인식의 범용성(universality) 을 주장하고, 이러한 표정들이 타고난 특정한 감정과 연관되어 있음을 보이고, 이러한 특징들이 사람 뿐 아니라 동물에서도 유사한 근육이 사용됨을 관찰하였다 [1] .
	폴 에커만이 제시한 FACS(Facial Action Coding System)라는 표정기술 방법의 특징은 무엇인가?	무표정을 기준으로 하여 임의의 표정 생성에 따라 변하는 얼굴 표정에 나타나는 변화를 체계적으로 기술하는 방법을 제공한 다. 얼굴근육과 관련된 해부학적 분석을 바탕으로 개발되었으며, 얼굴에 나타나는 외관상의 변화(appearance)가 기준이 된다. FACS 코딩 시스템에서는 각각의 표정동작 단위(action unit)가 움직임의 정도에 대해서도 최대 가능 움직임을 바탕으로 표시할 수 있다. 또한 폴 에커만 교수는 여섯 가지의 기본표정을 선정하고, 이 기본표정은 문명사회 뿐 아니라 비문명사회에서도 동일함을 보이며, 이 여섯 가지 기본표정이 보편적임을 주장했다.
	인간표정을 인식하기 위해 필요한 단계는 무엇인가?	인간표정을 인식하기 위해서는 크게는 [그림 1]에서 보여주는 것과 같이 얼굴검출, 특징 추출, 분류기, 표정 인식의 단계를 거치게 된다 [4] .

참고문헌 (15)

찰스 다 윈, 인간과 동물의 감정 표현, 김홍표 역, 지식을만드는지식 출판사, 2014
Paul Ekman and Dacher Keltner, "Universal Facial Expressions of Emotion: An Old Controversy and New Findings", Nonverbal Communication Where Nature Meet Culture, p.27-46, 1997
R.W. Picard, "Affective Computing," MIT Press, Cambridge, 1997
B. Fasel and J. Luettin, "Automotic Facial Expression Analysis: a Survey", Pattern Recognition, vol. 36, p.259-275, 2003

상세보기
Shichuan Du, Yong Tao, and Aleix M. Martinez, "Compound facial expressions of emotion", PNAS, 2014
M. Turk and A. Pentland, "Eigenfaces for recognition", Journal of Cognitive Neuroscience, vol. 3, no. 1, pp.71-86, 1991

상세보기
P. Viola and M. J. Jones, "Robust Real-time Face Detection", IJCV, vol. 57, no. 2, pp. 137-154, 2004

상세보기
Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato and Lior Wolf, "DeepFace: Closing the Gap to Human-Level Performance in Face Verification", CVPR 2014
Li H et al, A Convolutional Neural Network", Cascade for Face Detection, CVPR, 2015
A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep CNNs. NIPS, 2012
Kaili Zhao, Wen-Sheng Chu, Honggang Zhang, "Deep Region and Multi-label Learning for Facial Action Unit Detection", CVPR 2016
Chan-Su Lee and Ahmed Elgammal, "Facial Expression Analysis using Nonlinear Decomposable Generative Models", Lecture Notes on Computer Science, AMFG, LNCS3725, pp.17-31, 2005
Chan-Su Lee, Ahmed Elgammal and Dimitris Metaxas, "Nonlinear Dynamic Shape and Appearance Models for Facial Motion Tracking", Lecture Notes on Computer Science, PSIVT, 2007
Chan-Su Lee, Rama Chellappa, "Sparse localized facial motion dictionary learning for facial expression recognition", in Proceedings of IEEE Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.3548-3552, 2014
김민현, 김진철, 이찬수, "전역 및 지역적 동작 흐름 기반 학습모델 결합을 통한 표정인식", 전자공학회 하계학술대회, 2017

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

최근 표정인식 기술 동향 원문보기

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

최근 표정인식 기술 동향 원문보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

이찬수 (6)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper