[논문]시선추적 장치를 활용한 부정적 감정표현 이모티콘의 시각적 주의집중도 분석

박민희; 권만우; 황미경

doi:10.9717/kmms.2021.24.11.1580

시선추적 장치를 활용한 부정적 감정표현 이모티콘의 시각적 주의집중도 분석
Analysis of Visual Attention in Negative Emotional Expression Emoticons using Eye-Tracking Device 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.11, 2021년, pp.1580 - 1587

박민희 (Dept. of Digital Media, Kyungsung University) , 권만우 (Dept. of Digital Media, Kyungsung University) , 황미경 (Dept. of Digital Media, Kyungsung University)

Abstract ▼ AI-Helper

Currently, the development and sale of various emoticons has given users a wider range of choices, but a systematic and specific approach to the recognition and use of emoticons by actual users is lacking. Therefore, this study tried to investigate the subjective perception and visual attention concentration of actual users on negative emotional expression emoticons through a survey and eye tracking experiment. First, as a result of subjective recognition analysis, it was found that emoticons are frequently used because their appearance is important, and they can express various emotions in a fun and interesting way. In particular, it was found that emoticons that express negative emotions are often used because they can indirectly express negative emotions through various and concretely expressed visual elements. Next, as a result of the eye tracking experiment, it was found that the negative emotional expression emoticons focused on the large elements that visually emphasized or emphasized the emotional expression elements, and it was found that the focus was not only on the facial expression but also on the physical behavioral responses and language of expression of emotions. These results will be used as basic data to understand users' perceptions and utilization of the diversified emoticons. In addition, for the long-term growth and activation of the emoticon industry market in the future, continuous research should be conducted to understand the various emotions of real users and to develop differentiated emoticons that can maximize the empathy effect appropriate to the situation.

주제어

표/그림 (3)

표 Table 1. Case of Mobile Messenger Emoticons.
표 Table 2. Analysis Result of Statics.
표 Table 3. Analysis Result of Visualization (including AOI, Character(C), Graphic(G), Text(T)).

AI 본문요약
AI-Helper

문제 정의

현재 다양한 이모티콘의 개발 및 판매는 사용자들에게 선택의 폭은 넓혔으나, 실사용자들의 이모티콘에 대한 인식과 활용에 대한 체계적이며 구체적인 접근은 부족한 실정이다. 이에 본 연구는 사용자가 표현･전달하고자 하는 부정적 감정에 대한 메시지가 간결하면서 효과적으로 전달 가능한 부정적 감정표현 이모티콘에 대한 실사용자들의 주관적 인식과 시각적 주의집중도를 알아보고자 하였다.

제안 방법

비대면 커뮤니케이션에서 감정을 표현하고 전달하는데 있어 가장 중요한 점은 누구나 감정이 입이 가능하고 공감할 수 있으며 쉽게 사용할 수 있는 형태를 구현하는 것이다. 이를 위해 본 연구에서는 설문조사 및 시선추적 실험을 통해 실사용자들의 주관적 인식과 통계적 수치뿐만 아니라 시각적으로 표현 가능한 결과를 도출함으로써 인지적·수리적·시각적 차원에서 다양하고 세밀하게 접근하고자 하였다. 이러한 결과는 다양화되어가는 이모티콘에 대한 사용자들의 인식과 활용성을 이해하는 기초자료로 활용될 것으로 기대된다.

대상 데이터

본 실험은 실험참여 동의서를 작성한 피험자들을 대상으로 진행하였으며, 실험 전 24명의 피험자 중 정확한 데이터 도출을 위해 시선정확도를 측정하는 시선 보정 과정을 2회 진행한 후 정확도가 떨어지는 피험자를 제외하고 남자 10명, 여자 11명 총 21명을 최종적으로 실험에 참여시켰다.
실험은 사전 설문조사를 수행한 후, Tobii T60 XL (고정형 시선추적 장비)을 이용해 진행하였다. 실험을 위해 실험실 내 주변 환경을 어둡게 하여 피험자가 실험화면에 집중할 수 있도록 하였으며, 피험자가 바라보는 모니터와의 거리는 600-700mm를 유지하였다.

데이터처리

실험분석은 먼저 특정 관심영역(AOI)을 설정한 후, 그에 대한 ① TFF(Time of First Fixation : 첫 응시 시간), ② TFD(Total of Fixation Duration : 응시 유지 시간), ③ VC(Visit Count : 응시빈도)의 시선 데이터를 수집하여 SPSS 25.0 통계분석 프로그램을 이용하여 분석하고, Visualization 데이터를 획득하여 시각적으로 표현하였다. 특히, Visualization 결과는 Heatmap(시선응시율)과 Gazeplot(시선이동경로, 정보탐색경로)을 도출하여 피험자의 시각적 주의집중도를 좀 더 정확하고 구체적으로 해석 및 분석이 가능하다.

성능/효과

다음으로 시선추적 실험 결과, 첫 응시시간의 경우 이과티콘(Igwaticon)과 옴팡이(Ompangi)는 그래픽을, 여신1(Yeosin1)과 여신 2(Yeosin2)는 텍스트를, 핸드프린팅1(Hand-print- ing1)과 핸드프린팅2(Hand-printing2)는 캐릭터에 첫 시선이 집중되는 것으로 나타났는데, 이는 각 이모티콘의 감정표현요소에서 시각적으로 감정을 극대화시키기 위한 요소들의 크기와 관련 있는 것으로 파악되었다
먼저, 부정적 감정표현 이모티콘에 대한 주관적 인식 분석결과, 재미있고 다양한 감정표현을 위해 이모티콘을 사용한다고 응답하여 이모티콘 사용이 감정표현과 밀접한 연관성이 있음을 알 수 있었다. 특히 부정적인 감정표현 이모티콘의 경우 다양하고 구체적으로 표현된 시각적 요소를 통한 부정적 감정의 우회적 표현이 가능해 자주 사용한다는 것을 알 수 있었다.
한편 핸드프린팅1(Hand-printing1)은 캐릭터 얼굴과 텍스트에 유사하게, 핸드프린팅2(Hand-printing2)는 텍스트에 집중하는 것으로 나타났는데, 이는 구성요소 중 감정이 구체화된 언어요소에 대한 집중도와 관련이 높은 것으로 파악되었다. 시선이동경로의 경우 이과티콘 (Igwaticon)과 여신1(Yeosin1)의 경우에는 캐릭터에 시선이 먼저 갔으나 이후 이과티콘(Igwaticon)은 캐릭터의 감정이 직접적으로 드러난 행동반응요소에, 여신1(Yeosin1)은 감정이 구체화된 언어요소에 시선이 집중적으로 머문 것으로 나타났는데, 이는 부정적인 감정표현 이모티콘의 경우 행동반응이나 언어와 같은 보조요소에 대한 집중도와 관련이 높은 것으로 파악되었다.
다음으로 시선추적 실험 결과, 첫 응시시간의 경우 이과티콘(Igwaticon)과 옴팡이(Ompangi)는 그래픽을, 여신1(Yeosin1)과 여신 2(Yeosin2)는 텍스트를, 핸드프린팅1(Hand-print- ing1)과 핸드프린팅2(Hand-printing2)는 캐릭터에 첫 시선이 집중되는 것으로 나타났는데, 이는 각 이모티콘의 감정표현요소에서 시각적으로 감정을 극대화시키기 위한 요소들의 크기와 관련 있는 것으로 파악되었다. 응시유지시간 및 응시빈도의 경우 이과티콘(Igwaticon)과 옴팡이(Ompangi), 여신1(Yeo- sin1), 여신2(Yeosin2)의 경우 캐릭터의 얼굴과 신체에 유사하게 집중하였는데, 부정적 감정표현 이모티콘의 경우 감정이 직접적으로 드러난 행동반응요소 (타격감, 역동성 등)와 같은 자극적이며 구체적인 표현요소가 다양하여 시선이 얼굴뿐만 아니라 신체부분에도 집중되는 것으로 파악되었다. 한편 핸드프린팅1(Hand-printing1)은 캐릭터 얼굴과 텍스트에 유사하게, 핸드프린팅2(Hand-printing2)는 텍스트에 집중하는 것으로 나타났는데, 이는 구성요소 중 감정이 구체화된 언어요소에 대한 집중도와 관련이 높은 것으로 파악되었다.
특히 부정적인 감정표현 이모티콘의 경우 다양하고 구체적으로 표현된 시각적 요소를 통한 부정적 감정의 우회적 표현이 가능해 자주 사용한다는 것을 알 수 있었다. 좋아하는 이모티콘 선택이유로 외모와 유머러스한 표현 등으로 응답하여 이모티콘 디자인의 중요성을 확인할 수 있었다. 다음으로 시선추적 실험 결과, 첫 응시시간의 경우 이과티콘(Igwaticon)과 옴팡이(Ompangi)는 그래픽을, 여신1(Yeosin1)과 여신 2(Yeosin2)는 텍스트를, 핸드프린팅1(Hand-print- ing1)과 핸드프린팅2(Hand-printing2)는 캐릭터에 첫 시선이 집중되는 것으로 나타났는데, 이는 각 이모티콘의 감정표현요소에서 시각적으로 감정을 극대화시키기 위한 요소들의 크기와 관련 있는 것으로 파악되었다.
먼저, 부정적 감정표현 이모티콘에 대한 주관적 인식 분석결과, 재미있고 다양한 감정표현을 위해 이모티콘을 사용한다고 응답하여 이모티콘 사용이 감정표현과 밀접한 연관성이 있음을 알 수 있었다. 특히 부정적인 감정표현 이모티콘의 경우 다양하고 구체적으로 표현된 시각적 요소를 통한 부정적 감정의 우회적 표현이 가능해 자주 사용한다는 것을 알 수 있었다. 좋아하는 이모티콘 선택이유로 외모와 유머러스한 표현 등으로 응답하여 이모티콘 디자인의 중요성을 확인할 수 있었다.
응시유지시간 및 응시빈도의 경우 이과티콘(Igwaticon)과 옴팡이(Ompangi), 여신1(Yeo- sin1), 여신2(Yeosin2)의 경우 캐릭터의 얼굴과 신체에 유사하게 집중하였는데, 부정적 감정표현 이모티콘의 경우 감정이 직접적으로 드러난 행동반응요소 (타격감, 역동성 등)와 같은 자극적이며 구체적인 표현요소가 다양하여 시선이 얼굴뿐만 아니라 신체부분에도 집중되는 것으로 파악되었다. 한편 핸드프린팅1(Hand-printing1)은 캐릭터 얼굴과 텍스트에 유사하게, 핸드프린팅2(Hand-printing2)는 텍스트에 집중하는 것으로 나타났는데, 이는 구성요소 중 감정이 구체화된 언어요소에 대한 집중도와 관련이 높은 것으로 파악되었다. 시선이동경로의 경우 이과티콘 (Igwaticon)과 여신1(Yeosin1)의 경우에는 캐릭터에 시선이 먼저 갔으나 이후 이과티콘(Igwaticon)은 캐릭터의 감정이 직접적으로 드러난 행동반응요소에, 여신1(Yeosin1)은 감정이 구체화된 언어요소에 시선이 집중적으로 머문 것으로 나타났는데, 이는 부정적인 감정표현 이모티콘의 경우 행동반응이나 언어와 같은 보조요소에 대한 집중도와 관련이 높은 것으로 파악되었다.

후속연구

비대면 커뮤니케이션의 경우 단시간 내에 시선을 집중시킬 수 있는 효과적인 시각적 노출이 중요하므로, 각 이모티콘의 표현요소에서 시각적으로 감정을극대화시키기 위해서는 감정표현요소의 ‘크기’에 비중을 둔다면 더욱 효과적인 감정표현 이모티콘 개발이 가능할 것이다. 또한 이모티콘에서 감정을 표현할 때 구체적인 신체적 행동이나 그에 대한 반응, 감정표현 언어 등을 적절하게 구성한다면 좀 더 다양하고 직관적인 감정표현 이모티콘 개발이 가능할 것이다.
이러한 결과는 다양화되어가는 이모티콘에 대한 사용자들의 인식과 활용성을 이해하는 기초자료로 활용될 것으로 기대된다. 또한 향후 이모티콘 산업시장의 장기적인 성장과 활성화를 위해서는 본 연구에서 제시한 바대로 양적・질적 연구방법을 병행하여 실사용자들의 다양한 감정을 이해하고 상황에 적절한 공감효과를 극대화할 수 있는 차별화된 이모티콘 개발을 위한 지속적인 연구가 이루어져야 할 것이다.
비대면 커뮤니케이션의 경우 단시간 내에 시선을 집중시킬 수 있는 효과적인 시각적 노출이 중요하므로, 각 이모티콘의 표현요소에서 시각적으로 감정을극대화시키기 위해서는 감정표현요소의 ‘크기’에 비중을 둔다면 더욱 효과적인 감정표현 이모티콘 개발이 가능할 것이다
이를 위해 본 연구에서는 설문조사 및 시선추적 실험을 통해 실사용자들의 주관적 인식과 통계적 수치뿐만 아니라 시각적으로 표현 가능한 결과를 도출함으로써 인지적·수리적·시각적 차원에서 다양하고 세밀하게 접근하고자 하였다. 이러한 결과는 다양화되어가는 이모티콘에 대한 사용자들의 인식과 활용성을 이해하는 기초자료로 활용될 것으로 기대된다. 또한 향후 이모티콘 산업시장의 장기적인 성장과 활성화를 위해서는 본 연구에서 제시한 바대로 양적・질적 연구방법을 병행하여 실사용자들의 다양한 감정을 이해하고 상황에 적절한 공감효과를 극대화할 수 있는 차별화된 이모티콘 개발을 위한 지속적인 연구가 이루어져야 할 것이다.

참고문헌 (16)

M.H. Park, M.K. Hwang, and M.W. Kwon, "Analysis of Visual Attention in Mobile Messenger Emoticons using Eye-Tracking," Journal of Korea Multimedia Society, Vol. 23, No. 3, pp. 508-515, 2020.
J.E. Shin and J.H. Eune, "Study on Emoticon Design Elements for Emotional Communication," Korean Society of Basic Design and Art, Vol. 18, No. 6, pp. 351-362, 2017.
B.R. Song, A Study on Meaningful Association of Emotion and Sensitivity of Emoticon Design: Centering Around Emoticon Communication on Kakaotalk, Doctoral Thesis of Konkuk University of Visual Communication Design, 2019.
9th Anniversary of Kakao Emoticons. 73 Emoticons with Cumulative Sales of 1 Billion or More, https://www.yna.co.kr/view/AKR20201124081200017 (accessed June 12, 2021).
E.A. Lee, A Study on Emotional Communication of Emoticons Based on Mobile SNS (Social Network Service) Messenger, Master's Thesis of Sangmyung University, 2018.
H.K. Jung and H.K. Kim, "A Study on Users for the Development of the Emoticons in Smartphone Messengers," The Korean Journal of Animation, Vol. 15, No. 2, pp. 79-103, 2019.
U. Pavalanathan and J. Eisenstein, "Emoticons vs. Emojis on Twitter: A Causal Inference Approach," arXiv Preprint, arXiv:1510.08480v1, 2015.
H.J. Kang, Cosmetic Color Design Process Based on Emotional Analysis of Emoticons, Master's Thesis of Yonsei University, 2018.
Y.N. Ma, H.J. Lee, K.H. Lee, and Q.X. Li, "A Study on Emoticon Expression Types and Preference according to the Emotional Depth of Sender and Relationship with Receiver," A Journal of Brand Design Association of Korea, Vol. 17, No. 1, pp. 223-236, 2019.

상세보기
H.J. Choi, Emoticon Design Guidelines for the Global Market, Master's Thesis of Kookmin University, 2019.
C.W. Song, Effects on Empathic Communication according to the Implementation Types of Emotional Icons, Master's Thesis of Chosun University, 2018.
D.E. Lee and S.E. Shin, "Perception of the AAC Graphic Symbols and SNS Emoticons for Emotional Words in Normal Adults," Communication Sciences and Disorders, Vol. 25, No. 2, pp. 334-342, 2020.

상세보기
S.H. Chang, A Study of Directing Users' Eye Gaze Movement in Virtual Reality : Based on Eye Tracking Techniques, Doctoral Thesis of Hanyang University of Visual Communication Design, 2019.
M.H. Park, M.K. Hwang, C.Y. Kim, and M.W. Kwon, "Analysis of Visual Attention in Bank Brand Logo using Eye-Tracking," Journal of Korea Multimedia Society, Vol. 23, No. 9, pp. 1210-1218, 2020.

원문보기 상세보기
J.A. Russell, "A Circumplex Model of Affect," Journal of Personality and Social Psychology, Vol. 39, No. 6, pp. 1161-1178, 1980.

상세보기
I.J. Chang, "A Study on Emotion Classification and Design Elements of Mobile Emoticons - Based on Characters of LINE," Mobile Messenger, Design Convergence Study, Vol. 14, No. 3, pp. 47-59, 2015.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증