선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서 제시하는 알고리즘의 목적은 트위터 데이터 같은 빅데이터의 감성을 분석하여 여론을 파악하는 것이다. 이를 위해, 알고리즘을 통해 구축된 감성어휘를 사용하여 각 트윗별로 20종류의 감성을 분석하는 성능을 측정하도록 한다.
- 본 논문에서는 한국어로 된 트윗으로부터 20종류의 세부감성을 분석하기 위한 감성어휘를 구축하는 알고리즘을 제시하고 평가 결과를 제시하였다. 그래프를 기반으로 한 준지도학습을 이용하여, 적은 양의 기본감성어휘로부터 감성을 확장하는 알고리즘을 제시하였다.
- 본 논문에서는, 빅데이터 기반의 브랜드 모니터링 서비스를 위한 감성분석을 위해 감성어휘를 구축하는 기법을 제시한다. 그동안 학계에서 제시되어 온 감성분석 기법들은 각기 장단점을 가지고 있으며, 사용 목적에 따라 적절한 기법을 선택할 필요가 있다.
제안 방법
- 트윗을 구분하는 세 가지 방법(RTLevel, TweetLevel, TweetLevel+)과 여섯 종류의 자질(MRP, MRPN, WD, WDN, PRD, RM)을 조합하여 세부감성 분석 성능을 측정하였다. 각각의 트윗 구분 방법에 대해, 최대 두 개의 자질을 조합하였고, 감성별로 가장 높은 성능을 보이는 감성어휘를 선택하였다.
- 단어들을 꼭지점으로 나타내고 단어들 간의 관계를 변으로 나타낸 뒤, 감성을 지닌 단어들로부터 감성이 알려지지 않은 단어들로 감성을 확장시킨다. 감성을 모르는 대량의 단어들에 대해서 학습할 수 있다는 장점이 있으나, 원래 논문에서는 긍정/부정 두 종류의 극성감성만을 사용하였다. 그밖에도 일반적으로 널리 사용되는 Structural SVM[5]등을 사용해 세부감성을 분류할 수 있으나, 역시 태깅된 데이터로만 학습할 수 있다는 한계가 있다.
- 본 논문에서는 한국어로 된 트윗으로부터 20종류의 세부감성을 분석하기 위한 감성어휘를 구축하는 알고리즘을 제시하고 평가 결과를 제시하였다. 그래프를 기반으로 한 준지도학습을 이용하여, 적은 양의 기본감성어휘로부터 감성을 확장하는 알고리즘을 제시하였다.
- 다음으로, 트윗 구분 방법에 관계없이 감성별로 가장 좋은 성능을 얻은 감성어휘들을 분석하였다. PERF 값이 1 이상인 감성들에 대해 상위를 차지하는 자질들의 예가 표 5에 나와 있다.
- 따라서 감성과 관련 있는 자질을 확보하면서 샘플의 크기를 줄이기 위해서 "기분", "가슴이", "느낌"이 들어간 트윗들을 샘플링하였다.
- 세부감성을 이용해 노래 가사의 감성을 분석한 비교적 최근 논문[11]에서는 감성어휘를 수작업으로 구축하여 사용하였다. 따라서 본 논문에서는 간단한 방식을 사용하여 다음 항목들로 구성된 기본감성어휘를 구축하였다.
- 브랜드 모니터링 서비스 사용자들이 요구하는 다양한 도메인을 반영하는 어휘가 모두 포함되도록 학습데이터를 구축하기에는 너무 많은 비용과 노력이 수반된다. 따라서 본 논문에서는 준지도학습 (semi-supervised learning) 방식을 취함으로써, 태깅된 데이터와 태깅되지 않은 데이터를 모두 사용하여 학습한다.
- 먼저 기본감성어휘만을 이용한 방법과 트윗을 구분하는 세 가지방법 RTLevel, TweetLevel, TweetLevel+에 대해 성능을 측정하였고, 그 결과가 표 4에 나와 있다. 세 방법 중에서 가장 높은 성능을 보인 결과를 볼드체 및 음영으로 표시하였다.
- 본 논문에서 제안하는 알고리즘을 통해 구축된 감성어휘를 평가하기 위해서, 구축된 감성어휘를 이용해 트윗의 감성을 분석하는 성능을 평가하기로 한다. 이 장에서는 구체적인 평가 방법, 기본감성어휘를 구축하는 방법, 평가데이터를 구축하는 방법, 선택한 자질들에 대해서 설명하도록 한다.
- 예를 들어, "두려움"과 같은 감성은 "두렵다", " 두려워" 등도 포함할 수 있도록 형태를 확장하였다. 이렇게 하여, (ㄱ)과 (ㄴ)을 통해 구축된 용어는 140개, (ㄷ)을 통해 형태 확장된 용어는 60개가 되어 총 200개의 용어를 가진 기본감성어휘를 구축하였다.
- 본 논문에서 제시하는 알고리즘의 목적은 트위터 데이터 같은 빅데이터의 감성을 분석하여 여론을 파악하는 것이다. 이를 위해, 알고리즘을 통해 구축된 감성어휘를 사용하여 각 트윗별로 20종류의 감성을 분석하는 성능을 측정하도록 한다. 하나의 트윗이 다양한 감성을 표현할 수 있기 때문에, 이 실험에서는 하나의 트윗을 하나의 세부감성으로 분류하지 않고 대신 트윗이 가지고 있는 모든 감성을 찾도록 한다.
- 이후 장들에서는 위의 네 가지 조건을 전제로 하여, 한국어 트윗으로부터 세부감성 분석을 위한 어휘를 구축하는 알고리즘을 제시하고 평가 결과를 제시한다. 2장에서는 관련 연구를 살펴보고, 3장에서는 구체적인 알고리즘을 제시하며, 4장에서는 평가데이터 및 평가 척도에 대해 명시하고, 5장에서는 평가 결과를 분석하여, 6장에서 이 논문의 결론을 지으며 마무리 할 것이다.
- 따라서 본 실험에서는 기본적으로 사용자들이 납득할 만한 수준의 정확도를 실험적으로 70%로 잡고, 정확도가 70% 이상인 감성어휘는 70% 미만인 감성어휘보다 무조건 우위에 있도록 한다. 정확도가 70%이상인 감성어휘들 간에는 F1 score를 이용하여 성능을 비교하고, 정확도가 70% 미만인 감성어휘들 간에는 정확도를 기준으로 성능을 비교한다. 즉, 감성어휘 L의 성능 PERF(L)은 다음과 같이 정의된다.
- 트윗을 구분하는 세 가지 방법(RTLevel, TweetLevel, TweetLevel+)과 여섯 종류의 자질(MRP, MRPN, WD, WDN, PRD, RM)을 조합하여 세부감성 분석 성능을 측정하였다. 각각의 트윗 구분 방법에 대해, 최대 두 개의 자질을 조합하였고, 감성별로 가장 높은 성능을 보이는 감성어휘를 선택하였다.
- 평가데이터를 구축하기 위해서, 2011년에 작성된 트윗 중에서 다양한 이슈와 관련된 트윗들을 샘플링하고 여기에 20종류의 세부감성을 태깅하였다. 고려한 이슈는 인물, 스마트기기, 정책 중 하나에 속하며, 그 리스트가 표 2에 나열되어 있다.
- 이를 위해, 알고리즘을 통해 구축된 감성어휘를 사용하여 각 트윗별로 20종류의 감성을 분석하는 성능을 측정하도록 한다. 하나의 트윗이 다양한 감성을 표현할 수 있기 때문에, 이 실험에서는 하나의 트윗을 하나의 세부감성으로 분류하지 않고 대신 트윗이 가지고 있는 모든 감성을 찾도록 한다. 이를 위해, 구축된 감성어휘에 포함된 자질이 들어있는 트윗은 해당 감성을 지니고 있다고 판단하였다.
- 한편, 모든 감성에 대해 높은 감성강도를 갖는 자질을 처리하기 위해서, 감성강도의 평균값을 빼서 조정하도록 한다. 즉, 조정된 감성강도 Iik′는 다음과 같이 계산된다.
- 형태소와 관련된 자질에 관해서는, 자질을 추출하기 전에 몇 개의 정규표현을 사용해 부정어 처리를 하였다. 예를 들어, "기분/nc 이/jc 좋/pa 지/ec 않/px 다/ef"의 경우 "기분/nc 이/jc 안_좋/pa 다/ef"와 같이 변환하였다.
대상 데이터
- 그중 기본감성어휘에 포함된 용어가 들어있는 트윗은 태깅 데이터로, 나머지 트윗들은 태깅되지 않은 데이터로 사용되어 준지도학습을 하게 된다. 2백만 개의 트윗 중에서 감성이 태깅된 데이터는 419,456개이고, 태깅이 되지 않은 데이터는 1,580,544개이다. 학습데이터에서 기본감성어휘를 통해 태깅된 세부감성 분포가 그림 1에 나와 있다.
- 학습데이터는 다음과 같은 방식으로 트윗을 샘플링하여 구축하였다. 본 논문에서 전제로 하는 서비스의 특성상 특정 도메인에 특화되지 않은 범용화 된 어휘사전을 구축하는 것이 목표이므로, 트위터 상의 모든 트윗을 대상으로 샘플링하였다. 그러나 트위터 상의 트윗중 85% 이상은 감성이 없기 때문에[6], 완전히 임의로 샘플링을 할경우 감성과 잠재적으로 관련 있는 자질을 충분히 확보하기 위해서 필요한 샘플의 크기가 매우 커지게 되고 자연히 학습에 필요한 메모리와 시간도 크게 증가한다.
- 이는 한 연구[12]에서 "We feel"이라는 텍스트가 들어있는 문장을 분석하여 블로그 상의 감성을 분석한 데에서 아이디어를 얻은 것이다. 이런 방식으로, 2010년 11월부터 2011년 3월 사이에 작성된 트윗을 대상으로 2백만 개의 트윗을 샘플링하여 학습데이터로 사용하였다. 그중 기본감성어휘에 포함된 용어가 들어있는 트윗은 태깅 데이터로, 나머지 트윗들은 태깅되지 않은 데이터로 사용되어 준지도학습을 하게 된다.
이론/모형
- 본 논문에서 제시하는 모델은 [4]의 모델을 응용한다. 이는 그래프 기반의 알고리즘으로서, 원래 논문에서는 극성 감성어휘를 구축하기 위해 사용되었다.
- 본 논문에서는 세부감성을 위해, [6]에서 제안하는 감성분류체계를 기반으로 한다. 이 감성분류체계는 기존의 심리학에서 사용되는 감성체계[7]를 소셜 웹 미디어에 적합하도록 수정한 19개의 카테고리로 구성되어 있다.
성능/효과
- 결과 어휘를 분석한 결과, 이번에는 '감동'과 반대로 RTLevel에서는 '미안함'의 이유가 되는 MRPN 자질들(예: "기분/nc 상하/pa", " 기분/nc 나쁘/pa")이 상위를 차지한 반면, TweetLevel에서는 '미안함'을 직접적으로 표현하는 RM 자질들(예: 죄송하/pa, 미안하/pa)이상위를 차지했음을 알 수 있었다.
- 결과 어휘를 자세히 분석한 결과, RTLevel에서는 '감동'을 직접적으로 표현하는 RM 자질(예: 감탄 스럽/pa, 감동적/nc)이 상위를 차지하고 있었던 반면, RTLevel+는 주로 명사(예: 감동/nc)가 상위를 차지하고 있었다.
- 특정 상품이나 정책에 관한 트윗들을 대상으로 학습을 하였다면 그 도메인에 특화된 간접적인 감성 표현들(예를 들어, "너무 비싸다")이 많이 추출될 수 있겠지만, 본 실험에서는 일반적인 트윗을 사용해 학습하였기 때문에 감성을 직접적으로 나타내는 표현들의 비율이 상대적으로 높다. 그럼에도 불구하고 감성을 직접적으로 표현하는 기본감성어휘만 가지고 위와 같은 간접적인 감성 표현들을 학습해 낸 것을 통하여, 본 알고리즘에서 사용한 준지도학습의 유용성을 알 수 있다.
- 기본감성어휘가 들어있는지 여부로 감성을 판단한 결과는, 구축된 감성어휘를 사용한 결과에 비해 전반적으로 정확도가 떨어졌다. 주된 이유는 기본감성어휘에 있는 "만족", "사랑" 등의 짧은 표현들이 감성을 부정확하게 판단했기 때문이다.
- 도메인에 특화되지 않은 일반적인 트윗과, 직접적인 감성 표현들로 이루어진 소수의 기본감성어휘만 가지고 준지도학습을 통하여 감성어휘를 구축할 수 있었다. 트윗을 구분하는 방법에 따라 성능을 측정한 결과, 하나의 트윗 내에서 직접 작성한 부분과 리트윗 부분을 모두 하나의 트윗으로 간주한 경우와 모든 리트윗을 별개의 트윗으로 간주한 경우 성능 차이가 크지는 않았으나, 몇 감성에 대해서 후자의 경우 성능이 크게 증가하는 것을 확인하였다.
- 따라서 본 실험에서는 기본적으로 사용자들이 납득할 만한 수준의 정확도를 실험적으로 70%로 잡고, 정확도가 70% 이상인 감성어휘는 70% 미만인 감성어휘보다 무조건 우위에 있도록 한다. 정확도가 70%이상인 감성어휘들 간에는 F1 score를 이용하여 성능을 비교하고, 정확도가 70% 미만인 감성어휘들 간에는 정확도를 기준으로 성능을 비교한다.
- 정확도가 높은 감성어휘들을 통합하여 사용할 경우, 정확도를 크게 희생하지 않으면서 낮은 재현율을 보충할 수 있을 것이라 예상할 수 있다. 따라서 트윗 구분 방법과 자질 조합에 관계없이 감성별로 정확도가 70% 이상인 감성어휘들을 통합하여 성능을 측정하였고, 성능 향상을 보인 감성들이 표 6에 나와 있다. '감동', '미안함', '선의', '슬픔', '싫어함', '좋아함', '화남'에 대해 PERF가 향상되었다.
- 한편, 각 감성에 대해서 감성강도가 얼마인 자질들까지 감성어휘에 포함시킬지 그 역치를 정해야 한다. 본 실험에서는 0부터 1 사이를 0.02 간격으로 역치를 선정하여 총 50가지 경우에 대해 모두 평가해보고 성능이 가장 좋은 역치를 선택하였다.
- 반면 '슬픔'에 해당하는 기본감성어휘에는 "슬프다", "연민", "애처롭다" 등 약 15 종류의 표현이 들어있다. 이 표현들의 존재를 통해 감성을 정확하게 판단할 수 있었으며, 또한 표현의 다양성으로 인해 재현율도 높았다.
- 도메인에 특화되지 않은 일반적인 트윗과, 직접적인 감성 표현들로 이루어진 소수의 기본감성어휘만 가지고 준지도학습을 통하여 감성어휘를 구축할 수 있었다. 트윗을 구분하는 방법에 따라 성능을 측정한 결과, 하나의 트윗 내에서 직접 작성한 부분과 리트윗 부분을 모두 하나의 트윗으로 간주한 경우와 모든 리트윗을 별개의 트윗으로 간주한 경우 성능 차이가 크지는 않았으나, 몇 감성에 대해서 후자의 경우 성능이 크게 증가하는 것을 확인하였다. 또한 학습된 감성어휘를 분석한 결과, 대부분 직접적인 감성표현이 상위를 차지하였으나 일부 감성들에서는 간접적인 감성표현들이 상위를 차지하는 것을 확인하였다.
후속연구
- 먼저 본 논문에서 사용한 기본감성어휘는 주로 명사형이고 부정어 처리를 하지 않았기 때문에 감성을 태깅하는 데에 한계가 있다. 기본감성어휘를 좀 더 정교하게 처리함으로써 성능을 향상 시킬 수있을 것이다. 또한 본 논문에서는 구축된 감성어휘의 일반성을 위해 도메인에 특화된 어떠한 정보나 데이터도 사용하지 않았다.
- 이는 학습데이터에 기본감성어휘를 적용할 때, 부정어 처리를 하지 않았기 때문에 발생한 문제이다. 기본감성어휘와 대량의 데이터에 대해서 정교한 부정어 처리를 할 경우에 성능이 향상될 것으로 예상된다.
- 기본감성어휘를 좀 더 정교하게 처리함으로써 성능을 향상 시킬 수있을 것이다. 또한 본 논문에서는 구축된 감성어휘의 일반성을 위해 도메인에 특화된 어떠한 정보나 데이터도 사용하지 않았다. 특정 도메인에 해당되는 학습데이터와 메타정보들을 활용한다면 더 높은 성능을 얻을 수 있을 것이다.
- 본 논문은 세부감성 분석에 대한 기초 연구로서 발전 가능성이 크다. 먼저 본 논문에서 사용한 기본감성어휘는 주로 명사형이고 부정어 처리를 하지 않았기 때문에 감성을 태깅하는 데에 한계가 있다. 기본감성어휘를 좀 더 정교하게 처리함으로써 성능을 향상 시킬 수있을 것이다.
- 또한 본 논문에서는 구축된 감성어휘의 일반성을 위해 도메인에 특화된 어떠한 정보나 데이터도 사용하지 않았다. 특정 도메인에 해당되는 학습데이터와 메타정보들을 활용한다면 더 높은 성능을 얻을 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.