선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 논문에서는 감성과 밀접한 관계를 가지는 시각특징을 정의하고 이를 이용한 영상에서의 감성인식 기술을 개발하고, 이를 문맥기반의 텍스트 분석기와 결과를 통합하여 보다 정확한 사용자의 감성분석결과를 제공할 수 있도록 하는 것을 목표로 한다.
- 특히 트위터 상에 텍스트 및 해쉬 태그 등 정보 없이 이미지만 업로드 되는 경우가 빈번하므로 정확한 사용자의 감성 인식을 위해 시각 정보 분석을 기반한 이미지 감성 분석은 필수적이다. 따라서 본 논문은 이미지에 포함된 감성을 예측하기 위해 감성과 높은 연관성을 보이는 시각 특징을 추출하였고 support vector machine (SVM) 인식기를 이용하여 추출한 특징과 감성 간의 상관관계를 분석하여 감성을 예측하였다.
- 일반적으로 텍스트는 트위터 사용자들이 가장 많이 사용하는 미디어 타입이다. 따라서 본 연구에서는 먼저 사용자가 작성한 텍스트 트윗의 무드를 정확하게 인식하기 위해서 문장의 어휘와 콘텍스트를 같이 고려하여 텍스트의 의미를 분석하기 위한 학습기반의 텍스트 분석기를 개발하였다.
- 따라서, 본 논문에서는 사용자가 작성한 트윗의 무드를 보다 정확하게 인식하기 위해서 텍스트와 이모티콘, 그리고 이미지 타입 등의 다양한 트윗을 처리하여 감성흐름을 분석하는 멀티모달 시스템을 제안한다. 이를 위해 문장의 어휘와 콘텍스트를 같이 고려하여 텍스트의 의미를 분석하는 학습기반의 텍스트 분석기와 support vector machine (SVM) 모델 기반의 영상 감성인식기를 개발한다.
- 본 논문에서는 트위터에 업로드 되는 방대한 양의 데이터에서 나타나는 사용자의 감성 흐름을 분석할 수 있는 시스템을 제안하였다. 제안된 시스템은 사용자 트윗에 포함된 텍스트, 이모티콘, 영상을 분석하여, 사용자의 시간대별 감성 흐름을 모니터링하는 멀티모달 시스템이다.
- 본 논문은 트윗 사용자의 감성흐름을 분석하고 모니터링하기 위한 멀티모달 분석방법을 제안한다. 이를 위해 제안된 시스템은 크게 크롤링 (crawling), 텍스트 및 영상을 위한 single-modal 분석, 그리고 통합(aggregation)의 세 단계로 구성된다.
- 영상에서 나타나는 동일한 객체라도 촬영 관점, 카메라의 기울기, 조명 변화에 따라 다르게 보여 질 수 있다. 본 연구는 이러한 왜곡에 강건한 scale invariant feature transform(SIFT) descriptor를 이용하여 형태정보를 표현했다. 먼저 이미지에서 감성을 잘 표현할 수 있는 대표적인 SIFT descriptor들을 찾기 위해 계층적 K-means Clustering 알고리즘을 이용하여 시각 사전으로 효율적인 탐색을 위한 단어 트리(vocabulary tree)를 구축하였고, 시각 단어가 주어졌을 때 생성된 단어 트리를 이용하여 occurrence 벡터를 생성한다.
- 본 연구의 목적은 트위터 사용자의 트윗을 정확히 분석하여 이들의 감성흐름을 모니터링할 수 있는 시스템을 개발하는 것이다. 이를 위해서 본 연구에서는 텍스트, 이모티콘 그리고 영상을 이용한 멀티모달 분석 기술을 개발하였다.
- 또한, 트위터(Twitter) 데이터를 분석하면 사용자의 감성을 예측할 수 있다는 연구 결과도 발표되었다. 이들 연구에서는 SNS 사용자의 행태와 정신질환, 특히 우울증 간에 상관관계를 조사하는 데에 초점을 두고 있으며, 이러한 특징들을 스트레스 유무를 판단하는 데에 활용하고 있다.
- 또한 전체적으로 감성 평균값이 음수값을 가진다. 이러한 그래프들을 심리학자나 정신 분석학자 등의 end-user에게 제공함으로써 개인의 정신건강에 대한 진단에 도움을 주고 적절한 조치가 취할 수 있도록 편리한 시각화 기술을 제공 하도록 한다.
- 본 연구의 목적은 트위터 사용자의 트윗을 정확히 분석하여 이들의 감성흐름을 모니터링할 수 있는 시스템을 개발하는 것이다. 이를 위해서 본 연구에서는 텍스트, 이모티콘 그리고 영상을 이용한 멀티모달 분석 기술을 개발하였다. 따라서 제안된 방법을 이용한 사용자 모니터링의 정확도를 평가하기 전에 개발된 멀티모달 분석방법의 효용성 검증이 먼저 수행되어야 한다.
제안 방법
- ’ 이러한 질의어는 실제 참조연구에서 데이터 수집을 위해 사용된 질의어이다. 2) 그리고 나서, 수집된 데이터에 대해 사람에 의한 평가를 수행하였다. 이를 위해 트위터와 페이스북 등의 SNS를 사용한 경험이 있는 사람들 중, 영어권 평가자를 10명 고용하였다.
- 이들은 하나의 문장으로 구성된 트윗 또는 여러개의 문장으로 구성된 트윗에 대해 개별 트윗당 {-1 (negative), +1 (positive), 0(neutral)}의 숫자를 가지고 주석을 달았다. 3) 사용자 평가 중 과반수이상이 동일 숫자로 라벨링을 한 데이터만을 선택하여 실험을 수행하였다. 그 결과 80.
- SIFT 기반의 시각 단어를 정의하기 위해 먼저 GAPED 데이터 세트의 Arousal점수와 Valence점수를 기반으로 상위 이미지 100장의 이미지를 선정하여 SIFT descriptor를 추출하였다. 추출된 약 416,404개의 SIFT descriptor를 이용하여 계층적 K-means clustering 알고리즘을 사용하여 단어 트리를 정의하였다.
- 따라서 SVM과 같은 기계학습을 통해 상관관계를 학습하여 텍스트 분석기를 개발하였다. 본 연구에서는 linear SVM과 RBF 커널을 이용한 non-linear SVM을 모두 사용하여 더 좋은 성능을 나타낸 분류기를 선택하였다.
- 지금까지 개발된 대부분의 방법은 텍스트와 이모티콘 위주의 정보를 사용하여왔으며, 영상과 텍스트를 모두 이용한 연구 사례는 거의 없는 실정이다. 따라서 각각의 정보를 이용한 연구 중 state-of-the-art에 해당하는 다음의 두 가지 방법이 제안된 방법과 비교를 위해 채택되었다.
- 본 논문은 색상조합을 사용하여 영상에서 부분적으로 나타나는 색상 정보와 그들의 조합에 관한 정보를 이용한다. 따라서 색상조합을 표현하기 위해 고바야시의 color image scale[27]에서 정의된 1,170개의 색상조합을 적용하였으며, 그 중 이미지에서 드물게 발생하는 조합을 필터링 하여 총 592개의 색상조합을 가지는 시각 사전이 정의되었다.
- 일반적으로 텍스트에서 감성을 가장 많이 표현할 수 있는 품사는 형용사이며, 여기에 명사나 부사가 더해짐으로써 형용사의 감정을 강화하거나 약화시킬 수 있다. 따라서 심리학 연구자들이 텍스트에서의 감성 분석을 위해 오픈하여 현재 많이 활용되고 있는 어휘사전인 VSO(visual sentiment ontology)[22]와 SentiStrength[23], Wikipedia[24]를 활용하여 sentiment lexicon을 설계하였다. 본 연구에서는 실험을 통해 결과적으로 좋은 인식 결과를 보인 총 603개의 긍정 단어 (positive)와 1,992개의부정 단어 (negative)를 수집하여 이용하였다.
- 이때 텍스트 분류기는 감성과 관련된 어휘사전을 이용하여 감성단어와 이모티콘 뿐만 아니라, 문장의 구조 및 형식등의 문맥을 같이 고려하여 숨겨진 감성을 인식한다. 또한 영상 트윗에서의 정확한 감성인식을 위해, 먼저 감성과 관련된 시각특징을 정의하고 SVM을 이용한다. 마지막으로 두 가지 형태의 분석결과를 통합하고 사용자의 날짜별 감성을 계산하기 위해, 규칙기반의 알고리즘이 사용된다.
- 또한 영상으로 구성된 트윗으로부터 감성분석 결과의 정확도를 평가하기 위해 영상데이터를 수집하였다. SNS 영상의 경우 GAPED DB[25]를 사용하였다.
- 또한, 감성 인식에 영향을 끼치는 시각 특징을 분석하기 위해 색상조합과 SIFT 기반의 형태 특징을 추출하여 각 특징에 대해 각 SVM을 학습하였다. 시각 특징의 통합을 위해서 각 SVM에서 나온 결과를 Late-fusion 방식으로 통합하여 예측을 수행한다.
- 본 연구는 이러한 왜곡에 강건한 scale invariant feature transform(SIFT) descriptor를 이용하여 형태정보를 표현했다. 먼저 이미지에서 감성을 잘 표현할 수 있는 대표적인 SIFT descriptor들을 찾기 위해 계층적 K-means Clustering 알고리즘을 이용하여 시각 사전으로 효율적인 탐색을 위한 단어 트리(vocabulary tree)를 구축하였고, 시각 단어가 주어졌을 때 생성된 단어 트리를 이용하여 occurrence 벡터를 생성한다.
- 이를 위해 제안된 시스템은 크게 크롤링 (crawling), 텍스트 및 영상을 위한 single-modal 분석, 그리고 통합(aggregation)의 세 단계로 구성된다. 본 논문에서는 사용자들의 트윗을 수집하고 데이터베이스에 수집하기 위해서 open API를 사용한다. 수집된 데이터는 사용자의 username과 트윗을 포스트한 날짜 등의 정보와 함께 데이터베이스에 저장된다.
- 기존의 연구는 이미지의 감성을 인식하기 위해 다양한 컬러 특징을 사용한다. 본 논문은 색상조합을 사용하여 영상에서 부분적으로 나타나는 색상 정보와 그들의 조합에 관한 정보를 이용한다. 따라서 색상조합을 표현하기 위해 고바야시의 color image scale[27]에서 정의된 1,170개의 색상조합을 적용하였으며, 그 중 이미지에서 드물게 발생하는 조합을 필터링 하여 총 592개의 색상조합을 가지는 시각 사전이 정의되었다.
- Net[26] 영상에서 색상 조합과 객체인식을 위한 SIFT 기반의 특징을 함께 고려한다. 본 연구는 이미지의 색상과 그 조합에 관한 정보를 잘 표현할 수 있는 색상 조합과 영상의 형태적 특징을 잘 표현할 수 있는 SIFT 기반의 형태 정보를 시각 단어(visual word)로 정의하였고, 감성과 높은 연관성을 가지는 시각 단어들을 모은 시각 사전(visual dictionary)를 생성하여 이미지를 occurrence 벡터 형태로 양자화하였다.
- 따라서 SVM과 같은 기계학습을 통해 상관관계를 학습하여 텍스트 분석기를 개발하였다. 본 연구에서는 linear SVM과 RBF 커널을 이용한 non-linear SVM을 모두 사용하여 더 좋은 성능을 나타낸 분류기를 선택하였다. 이에 대한 실험결과는 7.
- 입력된 트윗을 문장단위로 구분한 후, 인식에 필요한 특징들을 추출한다. 본 연구에서는 문장에 포함된 감성언어와 문장의 구조 및 형태등의 콘텍스트를 같이 고려한다.
- 본 연구에서는 정확한 텍스트 분석을 위해 문장에 포함된 감성언어와 함께 문장의 구조 및 형태 등의 콘텍스트를 같이 고려한다. 이를 위해 ‘interrogative,’ ‘negative’ 그리고 ‘punctuation’의 특징과 ‘adjectives,’ ‘nouns,’ ‘verbs,’와 ‘adverbs’에 포함된 감성어휘기반의 특징을 이용하였다.
- 두 가지 baseline을 이용하여 제안된 텍스트 분석방법과 영상기반 감성인식 기술을 비교 평가한다. 뿐만 아니라, 제안된 방법 내에서도 텍스트만 이용한 경우, 텍스트와 영상을 모두 이용한 경우에 대해서도 정확도를 평가하도록 한다.
- 수집된 개별 트윗으로부터 보다 정확한 사용자의 감성을 인식하기 위해서 본 연구에서는 텍스트 타입의 정보와 영상 정보를 모두 이용한다. 이때 텍스트 분류기는 감성과 관련된 어휘사전을 이용하여 감성단어와 이모티콘 뿐만 아니라, 문장의 구조 및 형식등의 문맥을 같이 고려하여 숨겨진 감성을 인식한다.
- 또한, 감성 인식에 영향을 끼치는 시각 특징을 분석하기 위해 색상조합과 SIFT 기반의 형태 특징을 추출하여 각 특징에 대해 각 SVM을 학습하였다. 시각 특징의 통합을 위해서 각 SVM에서 나온 결과를 Late-fusion 방식으로 통합하여 예측을 수행한다.
- 또한 부정문과 긍정문이 같이 포함된 트윗의 경우 부정어가 더 우선시 된다는 연구 사례를 발표하였다. 이러한 상관관계로부터 영상우선 및 부정문 우선 원칙을 고려하여 개발하고 성능분석을 통해 결합알고리즘을 구현하였다.
- 이를 위해 ‘interrogative,’ ‘negative’ 그리고 ‘punctuation’의 특징과 ‘adjectives,’ ‘nouns,’ ‘verbs,’와 ‘adverbs’에 포함된 감성어휘기반의 특징을 이용하였다.
- 따라서, 본 논문에서는 사용자가 작성한 트윗의 무드를 보다 정확하게 인식하기 위해서 텍스트와 이모티콘, 그리고 이미지 타입 등의 다양한 트윗을 처리하여 감성흐름을 분석하는 멀티모달 시스템을 제안한다. 이를 위해 문장의 어휘와 콘텍스트를 같이 고려하여 텍스트의 의미를 분석하는 학습기반의 텍스트 분석기와 support vector machine (SVM) 모델 기반의 영상 감성인식기를 개발한다. 각각의 분석결과는 rule-based aggregation algorithm을 통해 통합되고, 수치화된다.
- 이모티콘 분석을 위해서는 먼저 이모티콘과 감성 형용사간의 상관관계를 분석한 사전이 필요하다. 이를 위해 심리학자들이 트윗에 나타난 이모티콘과 감성인식에 관해 연구한 논문인 참고 문헌[14]와 [21]을 기반으로 이모티콘 사전을 구축하였다. 이를 통해, 최종적으로 136개의 부정어와 관련된 이모티콘과 66개의 긍정 이모티콘으로 구성된 사전을 구축하였다.
- 본 논문은 트윗 사용자의 감성흐름을 분석하고 모니터링하기 위한 멀티모달 분석방법을 제안한다. 이를 위해 제안된 시스템은 크게 크롤링 (crawling), 텍스트 및 영상을 위한 single-modal 분석, 그리고 통합(aggregation)의 세 단계로 구성된다. 본 논문에서는 사용자들의 트윗을 수집하고 데이터베이스에 수집하기 위해서 open API를 사용한다.
- 이를 위해 심리학자들이 트윗에 나타난 이모티콘과 감성인식에 관해 연구한 논문인 참고 문헌[14]와 [21]을 기반으로 이모티콘 사전을 구축하였다. 이를 통해, 최종적으로 136개의 부정어와 관련된 이모티콘과 66개의 긍정 이모티콘으로 구성된 사전을 구축하였다. 표 3은 구축된 이모티콘 사전의 예를 보여준다.
- 사용자는 직접적인 행동이나 표정을 보여주기 위해서 이모티콘을 많이 사용한다. 이모티콘은 문자, 숫자, 기호 등을 이용해 행동, 얼굴 표정, 사물들을 묘사하여 감성을 효과적으로 전달하기 위한 수단이므로, 제안된 시스템은 이모티콘을 분석하여 문장의 감성단어로 전환하여 사용한다.
- 입력 영상이 주어지면 먼저 SIFT descriptor를 추출하고, 각 descriptor에 대해 단어 트리를 탐색하며 가장 유사한 leaf 노드를 찾고, 해당 leaf 노드의 occurrence를 증가시킨다. 또한, 시각 단어의 중요도를 반영하기 위해 엔트로피 기반의 가중치를 곱하여 343차원의 occurrence 벡터가 최종적으로 생성한다.
- 입력된 트윗을 문장단위로 구분한 후, 인식에 필요한 특징들을 추출한다. 본 연구에서는 문장에 포함된 감성언어와 문장의 구조 및 형태등의 콘텍스트를 같이 고려한다.
- 제안된 감성분석기술을 이용하여 사용자의 감성흐름을 모니터링 하고, 이를 통해 궁극적으로 일반 사용자들과 우울증을 가진 사용자들을 식별할 수 있는지 평가하기 위해서 먼저 사용자 데이터를 수집하였다. 이때, 기존에 우울증을 가진 것으로 알려진 유명인 중 트위터 활동을 활발히 하고 있는 사람들을 우울증 그룹으로 선택하였으며, 유사한 방식으로 타임지 선정 100인 중 일반 사용자 그룹을 선택하였다.
- 또한 제안된 방법 중 멀티모달 분석방법이 트윗의 감성을 보다 정확하게 인식하고 있음을 알 수 있다. 제안된 방법에서 텍스트 분석결과와 감성 분석결과를 통합하기 위해 규칙기반의 aggregation 알고리즘이 고안되었다. 이러한 실험결과는 제안된 방법이 효율적으로 분석결과를 통합할 수 있음을 또한 증명한다.
- 색상조합을 추출하기 위해 먼저 영상은 mean-shift 군집화 알고리즘을 통해 영역단위로 분할한다. 제안된 방법은 계산량을 줄이기 위해 영역의 사이즈와 중심과의 거리정보를 이용하여 중요도를 계산하여 seed 영역을 추출한다. 추출된 seed 영역과 인접한 두 영역들로부터 세 가지의 색상으로 구성된 색상조합이 생성되며, occurrence 벡터 형태로 추출한다.
- 제안된 시스템에서 사용한 특징 중 최적의 특징을 찾기 위해 특징 조합에 따른 정확도를 측정하였다. 정확도는 Precision과 Recall 값의 trade-off 관계를 고려한 F1-score를 사용하였다.
- 본 논문에서는 트위터에 업로드 되는 방대한 양의 데이터에서 나타나는 사용자의 감성 흐름을 분석할 수 있는 시스템을 제안하였다. 제안된 시스템은 사용자 트윗에 포함된 텍스트, 이모티콘, 영상을 분석하여, 사용자의 시간대별 감성 흐름을 모니터링하는 멀티모달 시스템이다. 이를 통해서 사용자의 시간대별, 날짜별 감성 흐름을 모니터링할 수 있다.
- 제안된 시스템을 평가하기 위해 어떻게 트위터 사용자의 트윗에 제안된 시스템을 적용하여 감성 그래프를 그려보았다. 그 결과, 제안된 시스템이 감성 트렌드 분석에 효율적으로 사용될 수 있음을 증명하였다.
- 텍스트 및 영상 분석결과의 통합을 위해서 기존 연구 사례 조사를 통해 rule-based aggregation 기술을 개발하였다. 참고문헌[22]에서는 영상과 텍스트가 혼합된 트윗의 경우, 문장의 감성은 영상에 의해 더 많은 영향을 받는다는 결과를 발표하였다.
- 제안된 멀티모달기반의 감성분석기술의 정확도를 객관적으로 평가하기 위해서는 정확한 ground truth를 가진 실험데이터가 먼저 수집되어야 한다. 하지만 현재 공개된 표준데이터가 없기 때문에, 본 연구에서는 기존의 데이터 수집 연구 사례들을 참조로 하여 새로운 데이터를 수집하였다[31-33].
대상 데이터
- 수집 과정은 세 단계로 구성된다. 1) 먼저 알려진 데이터 수집 사이트 (http://www.sentiment140.com)로부터 명확한 긍정어와 부정어에 관련된 질의어를 사용하여 트윗을 수집하였다. 이때 질의어는 단순 단어기반의 질의어(word-based query)와 구문기반 질의어 (phase-based query)가 사용되었다.
- 7.1.1에서 설명한 방법에 의해 수집된 트윗 데이터 중 텍스트만으로 구성된 트윗을 대상으로 실험이 수행되었다. 제안된 텍스트 분석방법의 정확도는 Baseline 1의 SentiStrength와 성능이 비교되었다.
- 또한 영상으로 구성된 트윗으로부터 감성분석 결과의 정확도를 평가하기 위해 영상데이터를 수집하였다. SNS 영상의 경우 GAPED DB[25]를 사용하였다. GAPED DB는 SNS 영상의 감성분석 성능을 평가하기 위해 많이 사용되는 표준데이터이다.
- 제안된 방법에서 정의된 시각 특징과 감성간의 상관 관계를 인식하기 위해 SVM을 사용한다. SVM 학습을 위해 positive/negative 감성에 대해 GAPED 데이터로부터 각 감성별로 잘 표현하는 약 100장의 이미지 선정하여 학습 데이터로 사용하였고, 학습 파라미터로 RBF(Radial basis function) 커널을 적용하였다.
- 따라서 심리학 연구자들이 텍스트에서의 감성 분석을 위해 오픈하여 현재 많이 활용되고 있는 어휘사전인 VSO(visual sentiment ontology)[22]와 SentiStrength[23], Wikipedia[24]를 활용하여 sentiment lexicon을 설계하였다. 본 연구에서는 실험을 통해 결과적으로 좋은 인식 결과를 보인 총 603개의 긍정 단어 (positive)와 1,992개의부정 단어 (negative)를 수집하여 이용하였다. 그 때 각 감성단어는 –5에서 +5사이의 감성점수 (sentiment polarity score: sp-score)를 가진다.
- GAPED 데이터는 웹으로부터 키워드 검색을 통해 다운로드 받은 이미지로 구성되며, Arousal과 Valance값에 따라 Positive, Neutral, Negative로 나뉜다. 수집된 영상 중, 감성 인식에 적합하지 않는 일부 영상을 필터링 후 총 607장의 이미지 (Positive: 121장, Negative 486장, Neutral: 0장)를 학습 및 테스트에 사용하였다.
- 제안된 감성분석기술을 이용하여 사용자의 감성흐름을 모니터링 하고, 이를 통해 궁극적으로 일반 사용자들과 우울증을 가진 사용자들을 식별할 수 있는지 평가하기 위해서 먼저 사용자 데이터를 수집하였다. 이때, 기존에 우울증을 가진 것으로 알려진 유명인 중 트위터 활동을 활발히 하고 있는 사람들을 우울증 그룹으로 선택하였으며, 유사한 방식으로 타임지 선정 100인 중 일반 사용자 그룹을 선택하였다. 예를 들어, Lady Gaga와 Robin Williams 등을 우울증 사용자 그룹으로 Barack Obama 등을 일반 사용자 그룹으로 선택하였다.
- 2) 그리고 나서, 수집된 데이터에 대해 사람에 의한 평가를 수행하였다. 이를 위해 트위터와 페이스북 등의 SNS를 사용한 경험이 있는 사람들 중, 영어권 평가자를 10명 고용하였다. 그리고 각각의 사람들에게 6,000개의 문장에 주석을 다는 작업에 150달러를 지급하였다.
- 예를 들어, Lady Gaga와 Robin Williams 등을 우울증 사용자 그룹으로 Barack Obama 등을 일반 사용자 그룹으로 선택하였다. 이후 질의어 기반의 크롤링을 이용하여 해당 인물의 1년치 트윗 데이터를 수집하였다.
데이터처리
- 두 가지 baseline을 이용하여 제안된 텍스트 분석방법과 영상기반 감성인식 기술을 비교 평가한다. 뿐만 아니라, 제안된 방법 내에서도 텍스트만 이용한 경우, 텍스트와 영상을 모두 이용한 경우에 대해서도 정확도를 평가하도록 한다.
- 1의 도입에서 얘기했듯이, 현재까지 시각 정보와 텍스트 정보를 모두 사용한 연구결과는 거의 없는 실정이다. 따라서 제안된 방법의 유용성 검증을 위해, SentiStrength와 제안된 방법 중 텍스트만을 이용한 경우, 모두 이용한 멀티모달 분석방법의 3가지 방법의 성능을 비교 분석하였다.
- 이들을 이용하여 제안된 방법의 성능평가가 수행되었다.
이론/모형
- 또한 영상 트윗에서의 정확한 감성인식을 위해, 먼저 감성과 관련된 시각특징을 정의하고 SVM을 이용한다. 마지막으로 두 가지 형태의 분석결과를 통합하고 사용자의 날짜별 감성을 계산하기 위해, 규칙기반의 알고리즘이 사용된다. 따라서, 최종적으로 제안된 시스템은 개별 사용자의 날짜별 감성흐름을 효율적으로 모니터링할 수 있는 감성흐름그래프(mood trend graph)를 제공한다.
- 이때, SentiStrength는 지금까지 개발된 연구 중 두 번째의 가장 높은 정확도를 가지는 방법으로 평가 되었다. 상위 랭크된 방법 중, SentiStrength가 오픈되어 있기 때문에 본 연구에서는 이를 평가기준 방법으로 채택하였다.
- 색상조합을 추출하기 위해 먼저 영상은 mean-shift 군집화 알고리즘을 통해 영역단위로 분할한다. 제안된 방법은 계산량을 줄이기 위해 영역의 사이즈와 중심과의 거리정보를 이용하여 중요도를 계산하여 seed 영역을 추출한다.
- 제안된 시스템에서 사용한 특징 중 최적의 특징을 찾기 위해 특징 조합에 따른 정확도를 측정하였다. 정확도는 Precision과 Recall 값의 trade-off 관계를 고려한 F1-score를 사용하였다. 표 5는 각 특징 조합에 따른 GAPED 데이터의 Positive, Negative 정확도 결과를 보여준다.
- 제안된 방법에서 정의된 시각 특징과 감성간의 상관 관계를 인식하기 위해 SVM을 사용한다. SVM 학습을 위해 positive/negative 감성에 대해 GAPED 데이터로부터 각 감성별로 잘 표현하는 약 100장의 이미지 선정하여 학습 데이터로 사용하였고, 학습 파라미터로 RBF(Radial basis function) 커널을 적용하였다.
- SIFT 기반의 시각 단어를 정의하기 위해 먼저 GAPED 데이터 세트의 Arousal점수와 Valence점수를 기반으로 상위 이미지 100장의 이미지를 선정하여 SIFT descriptor를 추출하였다. 추출된 약 416,404개의 SIFT descriptor를 이용하여 계층적 K-means clustering 알고리즘을 사용하여 단어 트리를 정의하였다. 알고리즘 2는 계층적 K-means clustering 알고리즘을 단어 트리 정의 과정을 보여준다.
성능/효과
- 제안된 시스템을 평가하기 위해 어떻게 트위터 사용자의 트윗에 제안된 시스템을 적용하여 감성 그래프를 그려보았다. 그 결과, 제안된 시스템이 감성 트렌드 분석에 효율적으로 사용될 수 있음을 증명하였다.
- 반면 제안된 방법은 감성어휘뿐만 아니라, 문장의 구조 및 형태와 같은 문맥을 이용하여 학습기반의 인식을 이용하였기 때문에 더 좋은 성능을 보이는 것으로 판단된다. 그리고 제안된 방법의 성능을 커널의 타입에 대해 비교하였을 때, 그 차이는 매우 작지만, linear-SVM이 조금 더 좋은 성능을 보임을 알 수 있다.
- 이때, 그림 2에서 나타나는 빨간색 테두리는 오 분류된 결과의 예를 보여준다. 그림에서 보이듯이 제안된 방법을 적용하였을 때 정확히 이미지에 포함된 감성 인식이 가능함을 보였다.
- GAPED 영상에서는 컬러 조합만 사용하는 경우, 흑백 영상이 다수 포함되어 있었기 때문에 오 분류한 영상이 많았다. 따라서, 두 특징을 이용하여 나온 인식 결과를 함께 통합하여 사용하였을 때 가장 좋은 성능을 보였다.
- 마지막으로 두 가지 형태의 분석결과를 통합하고 사용자의 날짜별 감성을 계산하기 위해, 규칙기반의 알고리즘이 사용된다. 따라서, 최종적으로 제안된 시스템은 개별 사용자의 날짜별 감성흐름을 효율적으로 모니터링할 수 있는 감성흐름그래프(mood trend graph)를 제공한다.
- SentiStrength와 비교하였을 때, 30%이상의 성능향상을 보여주고 있다. 또한 제안된 방법 중 멀티모달 분석방법이 트윗의 감성을 보다 정확하게 인식하고 있음을 알 수 있다. 제안된 방법에서 텍스트 분석결과와 감성 분석결과를 통합하기 위해 규칙기반의 aggregation 알고리즘이 고안되었다.
- 가장 대표적인 예로 참고 문헌[5]에서는 사용자의 SNS 글에서 나타나는 ‘자살’과 ‘힘들다’등의 단어분석을 통해 사용자의 자살률을 예측하는 시스템이 제안되었다. 또한, 트위터(Twitter) 데이터를 분석하면 사용자의 감성을 예측할 수 있다는 연구 결과도 발표되었다. 이들 연구에서는 SNS 사용자의 행태와 정신질환, 특히 우울증 간에 상관관계를 조사하는 데에 초점을 두고 있으며, 이러한 특징들을 스트레스 유무를 판단하는 데에 활용하고 있다.
- 그림 3은 제안된 멀티모달 분석방법에 의해 생성된 6명의 개별 사용자의 감성 흐름 그래프 (mood flow graph)들을 보여준다. 수집된 감성분석 결과 중 6명의 감성 흐름 모니터링 결과를 그래프로 시각화하여 주며, 사용자의 트윗에 포함된 텍스트와 이모티콘, 영상을 분석하여 산출된 감성 값을 합하여 얻은 결과로, 사용자에 따라 각기 다른 트렌드를 보여주고 있다. 이때, 그림 3(a)는 우울증을 가진 사용자의 감성흐름 그래프들을 보여주고, 그림 3(b)는 일반사용자들의 감성흐름 그래프들을 보여준다.
- 이를 통해서 사용자의 시간대별, 날짜별 감성 흐름을 모니터링할 수 있다. 실험결과는 제안된 시스템이 사용자의 감성 트렌드 분석 및 예측에 효율적으로 사용될 수 있음을 보여주었다.
- 제안된 방법에서 텍스트 분석결과와 감성 분석결과를 통합하기 위해 규칙기반의 aggregation 알고리즘이 고안되었다. 이러한 실험결과는 제안된 방법이 효율적으로 분석결과를 통합할 수 있음을 또한 증명한다.
- 1에서 설명한 방법에 의해 수집된 트윗 데이터 중 텍스트만으로 구성된 트윗을 대상으로 실험이 수행되었다. 제안된 텍스트 분석방법의 정확도는 Baseline 1의 SentiStrength와 성능이 비교되었다. 이때, 제안된 방법에서는 두 가지 커널이 채택되었다.
- 표 5는 각 특징 조합에 따른 GAPED 데이터의 Positive, Negative 정확도 결과를 보여준다. 표 5에서 보이듯이 컬러 조합과 SIFT 기반의 형태 특징을 함께 사용하였을 때 가장 정확하게 감성 예측이 가능함을 보였다. GAPED의 경우, 평균 91%의 정확도로 감성 예측이 가능함을 보였다.
- 표 4는 정확도 평가의 요약을 보여준다. 표에서 보여지 듯이, 제안된 방법이 SentiStrength 보다 매우 높은 정확도를 보여준다. SentiStrength는 이모티콘 및 감성에 관련된 어휘에 기반하여 트윗의 감성을 분석한 방법이다.
- 표 6은 세 방법 간의 성능 비교를 보여준다. 표에서 보이듯이 제안된 멀티모달 분석방법이 가장 높은 정확도를 보여준다. SentiStrength와 비교하였을 때, 30%이상의 성능향상을 보여주고 있다.
후속연구
- 하지만, 제안된 방법과 같이 장기간 사용자의 트윗에서의 감성 트렌드를 분석한 연구가 거의 전무하기 때문에, 비교가 불가능하다. 그럼에도 불구하고, 제시된 실험결과는 제안된 방법이 감성 트렌드 분석에 효율적으로 사용될 수 있으며, 향후 예측까지 확장할 경우에 우울증 및 자살등의 정신적 상태를 측정하여 위험한 사고를 예방할 수 있을 것으로 기대된다.
- 이를 위해서 본 연구에서는 텍스트, 이모티콘 그리고 영상을 이용한 멀티모달 분석 기술을 개발하였다. 따라서 제안된 방법을 이용한 사용자 모니터링의 정확도를 평가하기 전에 개발된 멀티모달 분석방법의 효용성 검증이 먼저 수행되어야 한다.
- 향후 연구에서는 제안된 방법을 이용하여 우울증이 있는 사용자의 진단에 활용하는 것이다. 이에 대해 현재 사용자 데이터 수집을 진행하고 있으며, 심리학 전문가들과의 협력 연구를 진행하고 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.