[논문]사람의 감정 데이터 수집 및 분석을 위한 프로토콜 개발 및 적용

류제우; 황우현; 김덕환; 민기연; 이영선

문제 정의

본 논문에서는 사람의 감정에 대한 데이터를 체계적으로 수집하기 위한 프로토콜을 제안하며, 이를 통해 수집된 데이터분석 방향을 제시하고 있다. 제시한 감정 데이터 수집프로토콜을 통해 수집한 영상/음성/생체정보 및 라벨링프로그램으로 분류한 감정 데이터는 기계학습을 통한 인간기계 상호작용 연구에 사용할 데이터로 활용할 수 있다.
본 논문에서는 사람의 감정에 대한 데이터를 체계적으로 수집하기 위한 프로토콜을 제안하며, 이를 통해 수집된 데이터의 초기 분석 결과를 기술한다. 구체적으로, 2 절에서는 사람으로부터 다양한 감정 신호를 이끌어내기 위한 실험프로토콜의 개발로, 실험과정에 대한 구축 및 이 과정에 대한 타당도 검증 결과를 제안한다.
그림 1 과 그림 2 의 프로그램은 Python GUI 로 구성된 감정평가 전용 프로그램으로, 관찰자들이 키보드의 자판을 이용해 쉽게 피험자의 감정을 평가, 기록할 수 있도록 구성되어 있으며, 평가 결과를 확인할 수 있다. 피험자가 직접 스스로의 감정을 평가한 자기평가 결과를 확인함으로 피험자의 감정을 보다 정확히 판단할 수 있도록 하였다. 평가 데이터의 경우 Arousal 과 Valence 각각 -100 에서 100 사이의 점수로 평가되며 데이터 수집 간격은 0.

제안 방법

본 논문에서는 사람의 감정에 대한 데이터를 체계적으로 수집하기 위한 프로토콜을 제안하며, 이를 통해 수집된 데이터의 초기 분석 결과를 기술한다. 구체적으로, 2 절에서는 사람으로부터 다양한 감정 신호를 이끌어내기 위한 실험프로토콜의 개발로, 실험과정에 대한 구축 및 이 과정에 대한 타당도 검증 결과를 제안한다. 3 절에서는 이러한 프로토콜을 통해 수집된 자료에 대한 분석 기법을 설명하고 분석 결과를 제시하며, 감정 데이터 분석을 위한 효과적 방안에 대해 논의한다.
두번째 단계는 선정된 영상 셋을 활용한 감정 데이터 취득실험 과정을 구축하고 이를 위한 타당도를 확보하기 위한 과정으로 이루어졌다. 최종 선정된 실험용 영상 32 개는 총 5 가지 버전의 실험용 영상 셋으로 준비되었다.
영상에 대한 사전설명, 스크립트 제시 유무 등) 등을 달리하여 구성되었다. 또한 본 연구는 인간 대상연구이며, 참여자 중 일부가 취약한 연구대상자에 해당하므로 사전에 자폐성장애 및 현장전문가 5 인을 대상으로 감정 신호취득을 위한 실험과정과 실험내용에 대한 내용타당도를 확인,일부 수정 의견을 반영하여 과정상의 타당성을 확보하였다. 모집절차, 동의과정, 실험실의 물리적 환경, 실험자료(제시영상의 내용), 참여자에 대한 대우, 사후 관리 등 측정항목에 대한 전문가간 CVI=.
연구참여자가 영상을 시청하는 동안 연구참여자의 영상/음성/생체정보(EMG, EOG, EEG 등)는 실시간으로 수집되었다. 또한 연구 참여자가 영상을 보고 느꼈던 감정을 기록하도록 하는 자기평가(Self-Assessment) 결과도 수집하였다. 실험이 끝난 뒤 그림 1 과 같은 관찰자 라벨링 프로그램으로 실험 관찰자 기준(관찰자에 따라 판단이 달라 질 수 있으므로 감정분류체계에 제시된 감정에 대한 조작적 정의 후 기록)에서 판단되는 연구참여자의 감정도 Arousal, Valence 로 각각 나누어 기록하여 수집하였다.
마지막으로 실험 과정에 대한 타당도를 확보하고 프로토콜을 최종화 하기 위해 현장에서의 파일럿 테스트를 실시하였다. 파일럿 테스트는 일반성인과 자폐성장애인을 대상으로 진행하였으며, 일반성인 참여자의 경우 영상에 대한 반응이 연구진의 의도와 다른 방향으로 치우치지 않도록 남녀비율, 연령을 고려하였고, 사전 면접을 통해 표정 및 감정표현이 적극적인 참여자를 우선 모집하였다.
또한 연구 참여자가 영상을 보고 느꼈던 감정을 기록하도록 하는 자기평가(Self-Assessment) 결과도 수집하였다. 실험이 끝난 뒤 그림 1 과 같은 관찰자 라벨링 프로그램으로 실험 관찰자 기준(관찰자에 따라 판단이 달라 질 수 있으므로 감정분류체계에 제시된 감정에 대한 조작적 정의 후 기록)에서 판단되는 연구참여자의 감정도 Arousal, Valence 로 각각 나누어 기록하여 수집하였다. 실험종료 후에는 연구참여자와 관찰자를 대상으로 실험과정에 대한 사용성 평가 및 수정을 위한 설문과 인터뷰를 지속적으로 실시하여 실험환경, 제시영상, 실험과정에 대한 참여자 경험을 수집하고 다음의 표 1 과 같은 결과를 확인하였다.
실험이 끝난 뒤 그림 1 과 같은 관찰자 라벨링 프로그램으로 실험 관찰자 기준(관찰자에 따라 판단이 달라 질 수 있으므로 감정분류체계에 제시된 감정에 대한 조작적 정의 후 기록)에서 판단되는 연구참여자의 감정도 Arousal, Valence 로 각각 나누어 기록하여 수집하였다. 실험종료 후에는 연구참여자와 관찰자를 대상으로 실험과정에 대한 사용성 평가 및 수정을 위한 설문과 인터뷰를 지속적으로 실시하여 실험환경, 제시영상, 실험과정에 대한 참여자 경험을 수집하고 다음의 표 1 과 같은 결과를 확인하였다.
앞서 일련의 프로토콜로 수집된 5 명의 훈련된 관찰자들의 감정평가 데이터를 평균 낸 결과를 통해 피험자의 감정을 평가한다. 그림 1 과 그림 2 의 프로그램은 Python GUI 로 구성된 감정평가 전용 프로그램으로, 관찰자들이 키보드의 자판을 이용해 쉽게 피험자의 감정을 평가, 기록할 수 있도록 구성되어 있으며, 평가 결과를 확인할 수 있다.
모든 연구 참여자들은 사전에 실험진행에 대한 트레이닝을 마친 연구보조원에게 실험참여 절차에 대한 설명을 듣고,자발적으로 연구참여동의서를 작성한 후 실험가이드라인에 따라 실험에 참여하였다. 연구참여자가 영상을 시청하는 동안 연구참여자의 영상/음성/생체정보(EMG, EOG, EEG 등)는 실시간으로 수집되었다. 또한 연구 참여자가 영상을 보고 느꼈던 감정을 기록하도록 하는 자기평가(Self-Assessment) 결과도 수집하였다.
수집된 영상은 5~7 명의 연구보조원들이 검토하여 검색 키워드로 사용된 감정을 유발할 수 있다고 판단되는 영상을 분류하는 작업을 거쳤다. 이렇게 1 차 분류된 영상 중 감정유발에 최적화된 영상을 선정하기 위해필드테스트를 통해 영상의 감정유발 적합성(감정유형, 강도,포함감정 여부 등)에 대한 내용타당도(content validity)를 확인(15 명의 성인이 3 점 척도(3: 매우 적절, 2: 보통, 1:부적절) 로 응답한 결과)한 결과, CVI(content validity index) 2.5 이하 영상은 제거[6]하고 최종 감정수집영상을 선정하였다. 최종 선정된 영상은 32 개로, 8 가지 감정 별로 4 개로 구성되었으며, 1 개의 영상은 30 초에서 90 초의 분량으로 이루어졌다.
첫번째 단계는 사람을 대상으로 감정 데이터를 수집하기 위한 실험용 영상 셋을 구축하는 것으로 이를 위해 기존의 문헌과 시스템(예. AFEW, RECOLA 등)을 리뷰하였다. 그 결과,Arousal, Valence 도메인을 기반으로한 happiness(행복, 기쁨),excited(흥분), sadness(슬픔), bored(지루함), disgust(혐오),anger(화, 분노), calm(고요), comfortable(편안)의 여덟 가지 감정으로 분류체계를 확정하였고, 동일하게 분류 되는 감정에서 나타나는 신호의 차이를 구분하기 위해 감정의 강도(강함-보통-약함)도 3 단계로 구분하였다[5].
마지막으로 실험 과정에 대한 타당도를 확보하고 프로토콜을 최종화 하기 위해 현장에서의 파일럿 테스트를 실시하였다. 파일럿 테스트는 일반성인과 자폐성장애인을 대상으로 진행하였으며, 일반성인 참여자의 경우 영상에 대한 반응이 연구진의 의도와 다른 방향으로 치우치지 않도록 남녀비율, 연령을 고려하였고, 사전 면접을 통해 표정 및 감정표현이 적극적인 참여자를 우선 모집하였다. 자폐성장애인 참여자의 경우 장애특성을 감안하여 사전 접촉을 통해 연구참여자의 연구 의도를 이해하고, 실험과정에서 요청되는 과제에 유의미한 답변을 할 수 있는 경우로 참여를 제한하였다.

대상 데이터

감정분류체계 확정 이후, 연구참여자의 감정유발을 위해 제시될 영상은 감정 어휘 키워드로 인터넷 영상을 무작위 검색하여 수집하였다. 수집된 영상은 5~7 명의 연구보조원들이 검토하여 검색 키워드로 사용된 감정을 유발할 수 있다고 판단되는 영상을 분류하는 작업을 거쳤다.
감정분류체계 확정 이후, 연구참여자의 감정유발을 위해 제시될 영상은 감정 어휘 키워드로 인터넷 영상을 무작위 검색하여 수집하였다. 수집된 영상은 5~7 명의 연구보조원들이 검토하여 검색 키워드로 사용된 감정을 유발할 수 있다고 판단되는 영상을 분류하는 작업을 거쳤다. 이렇게 1 차 분류된 영상 중 감정유발에 최적화된 영상을 선정하기 위해필드테스트를 통해 영상의 감정유발 적합성(감정유형, 강도,포함감정 여부 등)에 대한 내용타당도(content validity)를 확인(15 명의 성인이 3 점 척도(3: 매우 적절, 2: 보통, 1:부적절) 로 응답한 결과)한 결과, CVI(content validity index) 2.
두번째 단계는 선정된 영상 셋을 활용한 감정 데이터 취득실험 과정을 구축하고 이를 위한 타당도를 확보하기 위한 과정으로 이루어졌다. 최종 선정된 실험용 영상 32 개는 총 5 가지 버전의 실험용 영상 셋으로 준비되었다. 각각의 버전은 수집 영상의 구성(하나의 단계, 1-2 단계 구분)과 수(14-32 개), 제시방시(예.
5 이하 영상은 제거[6]하고 최종 감정수집영상을 선정하였다. 최종 선정된 영상은 32 개로, 8 가지 감정 별로 4 개로 구성되었으며, 1 개의 영상은 30 초에서 90 초의 분량으로 이루어졌다.

성능/효과

AFEW, RECOLA 등)을 리뷰하였다. 그 결과,Arousal, Valence 도메인을 기반으로한 happiness(행복, 기쁨),excited(흥분), sadness(슬픔), bored(지루함), disgust(혐오),anger(화, 분노), calm(고요), comfortable(편안)의 여덟 가지 감정으로 분류체계를 확정하였고, 동일하게 분류 되는 감정에서 나타나는 신호의 차이를 구분하기 위해 감정의 강도(강함-보통-약함)도 3 단계로 구분하였다[5].
이러한 일련의 실험 과정을 통해 여덟 가지 감정분류체계 중에서 참여자와 관찰자의 추가적인 감정묘사를 포함하는 감정이 다양하게 나타난 범주는 disgust(혐오), anger(화, 분노) 등 부정적 감정 범주임을 확인할 수 있었다. 또한 sadness(슬픔), disgust(혐오), anger(화, 분노) 등 부정적 감정의 경우 인접감정으로 해석되어 관찰자의 오류 경향성이 높았다. 관찰되는 신호와 실제 감정이 일치하지 않는 경우는,해당 감정에 대한 명확한 이해를 도울 수 있는 사회적 맥락자료가 추가 제시될 필요성이 있었다.
아래의 종합 결과 란은 한 영상 실험 결과 전체를 Arousal-Valence 도메인 위에 투영한 것으로 피험자의 자기평가 결과와 비교하였을 때 얼마나 정확한 감정이 평가되었는지 확인할 수 있다. 또한 우측 퍼센트 표시기를 통해 자기평가 결과와 관찰자 결과를 비교했을 때 얼마나 일치하는지에 대한 수치를 확인할 수 있어 실험 영상의 감정유발이 얼마나 잘 이루어졌는지에 대한 결과를 확인할 수 있다. 전용 프로그램으로 수집 및 검증된 실시간 감정 데이터는 영상, 음성, 생체정보를 기반으로 기계학습을 통한 감정 분류연구의 기준(Ground Truth)으로 활용이 가능하다.
또한 본 연구는 인간 대상연구이며, 참여자 중 일부가 취약한 연구대상자에 해당하므로 사전에 자폐성장애 및 현장전문가 5 인을 대상으로 감정 신호취득을 위한 실험과정과 실험내용에 대한 내용타당도를 확인,일부 수정 의견을 반영하여 과정상의 타당성을 확보하였다. 모집절차, 동의과정, 실험실의 물리적 환경, 실험자료(제시영상의 내용), 참여자에 대한 대우, 사후 관리 등 측정항목에 대한 전문가간 CVI=.92 수준으로 매우 높은 타당도를 나타냈다.
이러한 일련의 실험 과정을 통해 여덟 가지 감정분류체계 중에서 참여자와 관찰자의 추가적인 감정묘사를 포함하는 감정이 다양하게 나타난 범주는 disgust(혐오), anger(화, 분노) 등 부정적 감정 범주임을 확인할 수 있었다. 또한 sadness(슬픔), disgust(혐오), anger(화, 분노) 등 부정적 감정의 경우 인접감정으로 해석되어 관찰자의 오류 경향성이 높았다.

후속연구

또한 sadness(슬픔), disgust(혐오), anger(화, 분노) 등 부정적 감정의 경우 인접감정으로 해석되어 관찰자의 오류 경향성이 높았다. 관찰되는 신호와 실제 감정이 일치하지 않는 경우는,해당 감정에 대한 명확한 이해를 도울 수 있는 사회적 맥락자료가 추가 제시될 필요성이 있었다.
본 논문에서는 사람의 감정에 대한 데이터를 체계적으로 수집하기 위한 프로토콜을 제안하며, 이를 통해 수집된 데이터분석 방향을 제시하고 있다. 제시한 감정 데이터 수집프로토콜을 통해 수집한 영상/음성/생체정보 및 라벨링프로그램으로 분류한 감정 데이터는 기계학습을 통한 인간기계 상호작용 연구에 사용할 데이터로 활용할 수 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

사람의 감정 데이터 수집 및 분석을 위한 프로토콜 개발 및 적용
Development and application of protocol for collecting and analyzing human emotion data 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

사람의 감정 데이터 수집 및 분석을 위한 프로토콜 개발 및 적용 Development and application of protocol for collecting and analyzing human emotion data 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

사람의 감정 데이터 수집 및 분석을 위한 프로토콜 개발 및 적용
Development and application of protocol for collecting and analyzing human emotion data 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper