[논문]감정 트레이닝: 얼굴 표정과 감정 인식 분석을 이용한 이미지 색상 변환

김종현

doi:10.15701/kcgs.2018.24.4.1

감정 트레이닝: 얼굴 표정과 감정 인식 분석을 이용한 이미지 색상 변환
Emotion Training: Image Color Transfer with Facial Expression and Emotion Recognition 원문보기

컴퓨터그래픽스학회논문지 = Journal of the Korea Computer Graphics Society, v.24 no.4, 2018년, pp.1 - 9

초록
AI-Helper

본 논문은 얼굴의 표정 변화를 통해 감정을 분석하는 방법으로 조현병의 초기 증상을 스스로 인지할 수 있는 감정 트레이닝 프레임워크를 제안한다. 먼저, Microsoft의 Emotion API를 이용하여 캡처된 얼굴 표정의 사진으로부터 감정값을 얻고, 피크 분석 기반 표준편차로 시간에 따라 변화하는 얼굴 표정의 미묘한 차이를 인식해 감정 상태를 각각 분류한다. 그리하여 Ekman이 제안한 여섯 가지 기본 감정 상태에 반하는 감정들의 정서 및 표현능력이 결핍된 부분에 대해 분석하고, 그 값을 이미지 색상 변환 프레임워크에 통합시켜 사용자 스스로 감정의 변화를 쉽게 인지하고 트레이닝 할 수 있도록 하는 것이 최종목적이다.

Abstract ▼ AI-Helper

We propose an emotional training framework that can determine the initial symptom of schizophrenia by using emotional analysis method through facial expression change. We use Emotion API in Microsoft to obtain facial expressions and emotion values at the present time. We analyzed these values and recognized subtle facial expressions that change with time. The emotion states were classified according to the peak analysis-based variance method in order to measure the emotions appearing in facial expressions according to time. The proposed method analyzes the lack of emotional recognition and expressive ability by using characteristics that are different from the emotional state changes classified according to the six basic emotions proposed by Ekman. As a result, the analyzed values are integrated into the image color transfer framework so that users can easily recognize and train their own emotional changes.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

좀 더 정확한 조현병 환자의 심리를 파악하기 위해서는 얼굴 표정 뿐만 아니라, 대화 스타일, 주변 환경과 대인 관계 등 다양한 요소를 고려되어 야 한다. 그렇기 때문에 본 논문에서는 제안된 연구의 결과를 저자 뿐만 아니라, 그림과 색상을 이용하여 치료하는 미술치료전문가에게 자문을 구했다.
중요한 치료의 목적으로 보고 있다. 그렇기 에 본 연구는 감정 분석을 기반으로 조현병 환자의 정서적 안정 및 치료자와의 긍정적인 관계를 형성하고, 얼굴표정과표정의 변화로 감정을 분석하여 스스로의 감정을 쉽게 인지하고 트레 이닝 할 수 있는 프레 임워크를 제 안함으로 음악 및 미술 치료 등으로 활용하여, 위에서 얘기한긍정적인 치료효과를 극대화시키고자 한다.
본 논문에서는 조현병과 같은 감정 변화가 적은 사용자들이 자신의 감정상태를 쉽게 깨달을수 있게 하는 것 뿐만 아니라, 초기 증상을 스스로 인지하고 트레이 닝 할 수 있도록 하는 감정 트레이닝 프레 임워크를 제 안했다.
본 논문은 Emotion API를 기 반으로, 보다 자연스러운 감정들을추출해내는 방법으로 위에서 언급했던 한계점들을 극복하면서, 조현병 환자들의 얼굴 표정을 통한 감정 변화를 분석하고, 이 값을 이 미지의 색상 변환 프레 임워크와 통합시 켜 스스로 감정 변화를 쉽게 인지할 수 있도록 하고자 한다.
이런 접근법들의 한계점은 영상내 조명 이나사람의 피부색에 예민한 결과를 나타낸 匸+. 본 논문은 Emotion API를 활용함으로 Ftv로부터 보다 정확한 감정 데 이 터를 얻는다 (Figure 3 참조). F切 는 각각의 감정이 내재된 들을 연속적으로 보여주고 그에 해당하는 얼굴 표정의 사진들을 얻어 이로부터 최종적 인 감정 데이터를 측정해낸다.
중 하나가 미 술 치료 이다. 제 안하는 방법은 이미 지 의 변환 과정을 통합시키는 방법으로, 조현병과 같은 감정 변화가 적은 사람뿐만 아니 라 거동이 불편한 아동이 나노인들에 게도스스로의 감정을 쉽게 인지하고 스스로 트레이닝 할 수 있도록 하기 위한 목적 이다.
주 치료방법 인 약물요법 외 에 다양한 치료방법 개발에 대한 필요성과 중요성 이 제기되고 있는 만큼 약물치료 후에도 인지기능, 사회 기능 등의 장애가 지속될 수 있기 때문에 일상생활에서 조현병 환자의 정신증상과 대 인관계 문제를 완화시 키는 것을 중요한 치료의 목적으로 보고 있다. 그렇기 에 본 연구는 감정 분석을 기반으로 조현병 환자의 정서적 안정 및 치료자와의 긍정적인 관계를 형성하고, 얼굴표정과표정의 변화로 감정을 분석하여 스스로의 감정을 쉽게 인지하고 트레 이닝 할 수 있는 프레 임워크를 제 안함으로 음악 및 미술 치료 등으로 활용하여, 위에서 얘기한긍정적인 치료효과를 극대화시키고자 한다.

제안 방법

그러나 이 제안 방법은 감정이 내제된 템플릿 영상을 보여주고 영상을 보고 있는 사용자의 표정 사진을 이용하여 좀 더 정확한 감정을 분석하므로 입력 데이터의 신뢰성을 높인다. Emotion API를 이용함으로 각각의 사진마다 높은 정확도의 감정 값을 얻고, 이 값을 분석하여 시간에 따라 변화하는 얼굴 표정을 인식한다.
이 연구들에서는 영상처리기법을 이용하여 눈과 입술의 변화를분석한다. 대부분의 얼굴들이 대 칭 형 이 기 때문에 이 기준을 기반으로 얼굴에서 몇 가지 특징벡터를 추출한뒤, 감정을분석한다. 이런 접근법들의 한계점은 영상내 조명 이나사람의 피부색에 예민한 결과를 나타낸 匸+.
따라서 우리는 Haralick 등이 [21] 제안한 단어에 대한 A-V 감정 정보 데이터베이스를 사용하여 각 감정에 대한 2차원 감정 정보를 획득한 후, 예측된 감정과 가장 가까운 대상의 색상을 선택 한다. 또한 예측된 감정 이 감정 단어와 유사하지 않은 경우, 해당 감정과 가장 가까운 감정 정보를 가진 이미지를 예측 모델 생성에 사용한 영상으로부터 찾아 대상 이미지로 선정한후 색상 변환을수행하며, 이 과정에서 우리 는 사전에 사용자가 미리 정의 한 Corresponding 정보를 이용하였다. 이 때, 더 정확한 결가를 얻기 위해 1,200장의 이미지 중, 감정을 잘 표현하는 색상을 가진 125장의 이미지를 대상 이미지로 사용하였다(Figure 7 참조)
T。를 보여주고 그들의 얼굴 표정 사진인 F切를 분석하여 이 미 지의 색상을 변환하는 실험을 실행하였다. 실험자들에 게 인물, 풍경, 사물을 다룬 템플릿 영상을 무작위 순서로 감상하게 하였다.
우리는 s* 값이 지정한 임계 값보다작아정상군의 감정변화와 차이가 크다는 것을 인지하면, 조현병의 초기 증상으로 의심된다 판단하였다(수식 4 참조).본논문에서는20명의 정상인데이터의 감정 변화율을 측정하여 그 값들의 평균을 임계 값의 범위로 설정하였다.
[14], 최근에는 Kulkarni 등이 [15] 표정의 변화로부터 자동으로 불쾌한 감정이 인식되는 기술을제안했다. 이 연구는 얼굴 움직임이 진정한 감정에 의해 표현된 것인지를 판단하기 위해 얼굴의 특징 벡 터들을 시공간으로 표현하고 학습하는 방법을 이용하였다.
기반으로 감정을 근사하곤 했다 [17, 18, 19] . 이 연구들에서는 영상처리기법을 이용하여 눈과 입술의 변화를분석한다. 대부분의 얼굴들이 대 칭 형 이 기 때문에 이 기준을 기반으로 얼굴에서 몇 가지 특징벡터를 추출한뒤, 감정을분석한다.
입력 이미지의 색상을 변환하기 위해 본 논문에서는 먼저, 예측한 감정 값을 기반으로 매칭되는 색상을 선택한 후, 다양한 이 미지 색상 변환 방법 중 Rei가iard 등의 [1] 방법을 사용해 색상을 변환하였다.
(Table 3 참조). 제안한 방법은 다양한 감정 이 내제된템플릿 영상을 입력하여 데이터를 얻고, 시간에 따른 감정 변화율을 기반으로 표준편차를 이용해 좀 더 정확한 감정을 분석해낸다. 감정의 변화는 주변 환경과 대인 관계, 의사소통의 방법 등 다양한 환경 적 요소에 따라 달라질 수 있지 Vh 조현병은 증상이 얼굴 표정에서 가장 두드러지게 나타나기 때문에 T。으로부터 얻은표정 기반 접근법을 이용하였다.

대상 데이터

색상을 변환하는 기법을 제안하였다. 이 기법은 유화 그림 만을 대상으로 하였고 색상 변환만을 목적으로 수행하였기 때문에 Lab 색상 채널 중 조명을 나타내는 L채널을 제외한 a와 b채 널만을 사용하였다. 이 방법은 원본 이미 지와 참조 이미지의 팔레트 색들 중 서로 거리가 가까운 색끼리 색상을 변환하는 특징을 가지고 있다.
또한 예측된 감정 이 감정 단어와 유사하지 않은 경우, 해당 감정과 가장 가까운 감정 정보를 가진 이미지를 예측 모델 생성에 사용한 영상으로부터 찾아 대상 이미지로 선정한후 색상 변환을수행하며, 이 과정에서 우리 는 사전에 사용자가 미리 정의 한 Corresponding 정보를 이용하였다. 이 때, 더 정확한 결가를 얻기 위해 1,200장의 이미지 중, 감정을 잘 표현하는 색상을 가진 125장의 이미지를 대상 이미지로 사용하였다(Figure 7 참조)

이론/모형

제안한 방법은 다양한 감정 이 내제된템플릿 영상을 입력하여 데이터를 얻고, 시간에 따른 감정 변화율을 기반으로 표준편차를 이용해 좀 더 정확한 감정을 분석해낸다. 감정의 변화는 주변 환경과 대인 관계, 의사소통의 방법 등 다양한 환경 적 요소에 따라 달라질 수 있지 Vh 조현병은 증상이 얼굴 표정에서 가장 두드러지게 나타나기 때문에 T。으로부터 얻은표정 기반 접근법을 이용하였다.

성능/효과

Emotion API를 이용함으로 각각의 사진마다 높은 정확도의 감정 값을 얻고, 이 값을 분석하여 시간에 따라 변화하는 얼굴 표정을 인식한다. 또, 감정 상태를 피크 분석과 표준편차로 분석함으로 좀 더 정확한 감정 분석이 가능했고, 이로써 정상인의 감정 변화데이터와조현병 환자의 감정 변화데이터가 눈에 띄게 차이 나는 것을확인할 수 있었다. 본 논문에서는 Reinhard 등의 [1] 기 법 을 활용하여 감정 에 따라 이미 지 의 색 상을 변환했지만최근에 발표된 이 미지 색상 변환기 법으로 교체하면 결과를 좀 더 개 선시 킬 수 있을 거 라 기 대 한다.

후속연구

향후 이 기술이 미술치료에 활용될 수 있도록 통합 프레 임워크를 연구할 것 이다. 또한, 감정 변화에 둔한 노인 이 나 아동의 얼굴 표정 변화 및 감정 인식 분석에도활용하여 우울증 방지나웰다잉Well-dying) 을 위한 애플리 케 이션을 연구할 예 정 이다.
또, 감정 상태를 피크 분석과 표준편차로 분석함으로 좀 더 정확한 감정 분석이 가능했고, 이로써 정상인의 감정 변화데이터와조현병 환자의 감정 변화데이터가 눈에 띄게 차이 나는 것을확인할 수 있었다. 본 논문에서는 Reinhard 등의 [1] 기 법 을 활용하여 감정 에 따라 이미 지 의 색 상을 변환했지만최근에 발표된 이 미지 색상 변환기 법으로 교체하면 결과를 좀 더 개 선시 킬 수 있을 거 라 기 대 한다. [22, 23, 24]
터를 조절/분석하는 방법을 제 안했다. 향후 이 기술이 미술치료에 활용될 수 있도록 통합 프레 임워크를 연구할 것 이다. 또한, 감정 변화에 둔한 노인 이 나 아동의 얼굴 표정 변화 및 감정 인식 분석에도활용하여 우울증 방지나웰다잉Well-dying) 을 위한 애플리 케 이션을 연구할 예 정 이다.

참고문헌 (24)

E. Reinhard, M. Adhikhmin, B. Gooch, and P. Shirley, "Color transfer between images," IEEE Computer graphics and applications, vol. 21, no. 5, pp. 34-41, 2001.

상세보기
G. R. Greenfield and D. H. House, "Image recoloring induced by palette color associations," 2003.
L. Neumann and A. Neumann, "Color style transfer techniques using hue, lightness and saturation histogram matching," in Computational Aesthetics. Citeseer, 2005, pp. 111-122.
Y.-W. Tai, J. Jia, and C.-K. Tang, "Local color transfer via probabilistic segmentation by expectation-maximization," in Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on, vol. 1. IEEE, 2005, pp. 747-754.
N. Bonneel, K. Sunkavalli, S. Paris, and H. Pfister, "Examplebased video color grading," ACM Transactions on Graphics, vol. 32, no. 4, pp. 39-1, 2013.
H. Hristova, O. Le Meur, R. Cozot, and K. Bouatouch, "Styleaware robust color transfer," in Proceedings of the workshop on Computational Aesthetics. Eurographics Association, 2015, pp. 67-77.
R. Plutchik, "Emotions: A general psychoevolutionary theory," Approaches to emotion, vol. 1984, pp. 197-219, 1984.
S. S. Tomkins, "The role of facial response in the experience of emotion: A reply to tourangeau and ellsworth." 1981.
P. Ekman, "Facial action coding system (facs)," A human face, 2002.
P. Ekman, "An argument for basic emotions," Cognition & emotion, vol. 6, no. 3-4, pp. 169-200, 1992.

상세보기
C. C. Bennett and S. Sabanovic, "Deriving minimal features for human-like facial expressions in robotic faces," International Journal of Social Robotics, vol. 6, no. 3, pp. 367-381, 2014.

상세보기
R. C. Gur, R. J. Erwin, R. E. Gur, A. S. Zwil, C. Heimberg, and H. C. Kraemer, "Facial emotion discrimination: Ii. behavioral findings in depression," Psychiatry research, vol. 42, no. 3, pp. 241-251, 1992.

상세보기
R. L. Morrison, A. S. Bellack, and K. T. Mueser, "Deficits in facial-affect recognition and schizophrenia." Schizophrenia Bulletin, vol. 14, no. 1, p. 67, 1988.

상세보기
J. A. Russell, "Is there universal recognition of emotion from facial expression? a review of the cross-cultural studies." Psychological bulletin, vol. 115, no. 1, p. 102, 1994.

상세보기
K. Kulkarni, C. A. Corneanu, I. Ofodile, S. Escalera, X. Baro, S. Hyniewska, J. Allik, and G. Anbarjafari, "Automatic recognition of facial displays of unfelt emotions," Journal of IEEE Transactions on Affective Computing, 2017.
M. A. Aghevli, J. J. Blanchard, and W. P. Horan, "The expression and experience of emotion in schizophrenia: a study of social interactions," Psychiatry research, vol. 119, no. 3, pp. 261-270, 2003.

상세보기
R. D. Yee, R. W. Baloh, S. Marder, D. Levy, S. Sakala, and V. Honrubia, "Eye movements in schizophrenia." Investigative ophthalmology & visual science, vol. 28, no. 2, pp. 366-374, 1987.
J. R. Carter, "Facial expression analysis in schizophrenia," Unpublished doctoral dissertation, University of Western Ontario, 2000.
L. Scutt, E. Chow, R.Weksberg,W. Honer, and A. S. Bassett, "Patterns of dysmorphic features in schizophrenia," American journal of medical genetics, vol. 105, no. 8, pp. 713-723, 2001.

상세보기
C.-K. Yang and L.-K. Peng, "Automatic mood-transferring between color images," IEEE computer graphics and applications, vol. 28, no. 2, 2008.

상세보기
R. M. Haralick, K. Shanmugam et al., "Textural features for image classification," IEEE Transactions on Systems, Man, and Cybernetics, no. 6, pp. 610-621, 1973.
B. Arbelot, R. Vergne, T. Hurtut, and J. Thollot, "Automatic texture guided color transfer and colorization," in Proceedings of the Joint Symposium on Computational Aesthetics and Sketch Based Interfaces and Modeling and Non- Photorealistic Animation and Rendering. Eurographics Association, 2016, pp. 21-32.
H. S. Faridul, T. Pouli, C. Chamaret, J. Stauder, E. Reinhard, D. Kuzovkin, and A. Tremeau, "Colour mapping: A review of recent methods, extensions and applications," in Computer Graphics Forum, vol. 35, no. 1. Wiley Online Library, 2016, pp. 59-88.

상세보기
O. Frigo, N. Sabater, V. Demoulin, and P. Hellier, "Optimal transportation for example-guided color transfer," in Asian Conference on Computer Vision. Springer, 2014, pp. 655-670.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증