감성분석 결과와 사용자 만족도와의 관계 -기상청 사례를 중심으로- Relationship between Result of Sentiment Analysis and User Satisfaction -The case of Korean Meteorological Administration-원문보기
기상청에서 현재 시행되고 있는 만족도 설문조사의 한계를 보완하기 위해 SNS를 통한 감성분석이 활용될 수 있다. 감성분석은 2011~2014년 동안 '기상청'을 언급한 트위터를 수집하여 나이브 베이즈 방법으로 긍정, 부정, 중립 감성을 분류하였다. 기본적인 나이브 베이즈 방법에 긍정, 부정, 중립의 각 감성에서만 출현한 형태소들로 추가사전을 만들어 감성분석의 정확도를 향상시키는 방법을 제안하였다. 분석결과 기본적인 나이브 베이즈 방법으로 감성을 분류할 경우 약 75%의 정확도로 학습데이터를 재현한데 반해 추가 사전을 적용할 경우 약 97%의 정확성을 보였다. 추가사전을 활용하여 검증자료의 감성을 분류한 결과 약 75%의 분류 정확도를 보였다. 낮은 분류 정확도는 향후 기상 관련의 다양한 키워드를 포함시켜 학습데이터 양을 늘려 감성사전의 질을 높임과 동시에 상시적인 사전의 업데이트를 통해 개선될 수 있을 것이다. 한편, 개별 어휘의 사전적 의미에 기반한 감성분석과 달리 문장의 의미에 기반하여 감성을 분류할 경우 부정적 감성 비율의 증가와 만족도 변화 추이를 설명할 수 있을 것으로 보여 향후 설문조사를 보완할 수 있는 좋은 수단으로 SNS를 통한 감성분석이 활용될 수 있을 것으로 사료된다.
기상청에서 현재 시행되고 있는 만족도 설문조사의 한계를 보완하기 위해 SNS를 통한 감성분석이 활용될 수 있다. 감성분석은 2011~2014년 동안 '기상청'을 언급한 트위터를 수집하여 나이브 베이즈 방법으로 긍정, 부정, 중립 감성을 분류하였다. 기본적인 나이브 베이즈 방법에 긍정, 부정, 중립의 각 감성에서만 출현한 형태소들로 추가사전을 만들어 감성분석의 정확도를 향상시키는 방법을 제안하였다. 분석결과 기본적인 나이브 베이즈 방법으로 감성을 분류할 경우 약 75%의 정확도로 학습데이터를 재현한데 반해 추가 사전을 적용할 경우 약 97%의 정확성을 보였다. 추가사전을 활용하여 검증자료의 감성을 분류한 결과 약 75%의 분류 정확도를 보였다. 낮은 분류 정확도는 향후 기상 관련의 다양한 키워드를 포함시켜 학습데이터 양을 늘려 감성사전의 질을 높임과 동시에 상시적인 사전의 업데이트를 통해 개선될 수 있을 것이다. 한편, 개별 어휘의 사전적 의미에 기반한 감성분석과 달리 문장의 의미에 기반하여 감성을 분류할 경우 부정적 감성 비율의 증가와 만족도 변화 추이를 설명할 수 있을 것으로 보여 향후 설문조사를 보완할 수 있는 좋은 수단으로 SNS를 통한 감성분석이 활용될 수 있을 것으로 사료된다.
To compensate for limited the satisfaction survey currently conducted by Korea Metrological Administration (KMA), a sentiment analysis via a social networking service (SNS) can be utilized. From 2011 to 2014, with the sentiment analysis, Twitter who had commented 'KMA' had collected, then, using
To compensate for limited the satisfaction survey currently conducted by Korea Metrological Administration (KMA), a sentiment analysis via a social networking service (SNS) can be utilized. From 2011 to 2014, with the sentiment analysis, Twitter who had commented 'KMA' had collected, then, using $Na{\ddot{i}}ve$ Bayes classification, we were classified into three sentiments: positive, negative, and neutral sentiments. An additional dictionary was made with morphemes appeared only in the positive, negative, and neutral sentiments of basic $Na{\ddot{i}}ve$ Bayes classification, thus the accuracy of sentiment analysis was improved. As a result, when sentiments were classified with a basic $Na{\ddot{i}}ve$ Bayes classification, the training data were reproduced about 75% accuracy rate. Whereas, when classifying with the additional dictionary, it showed 97% accuracy rate. When using the additional dictionary, sentiments of verification data was classified with about 75% accuracy rate. Lower classification accuracy rate would be improved by not only a qualified dictionary that has increased amount of training data, including diverse keywords related to weather, but continuous update of the dictionary. Meanwhile, contrary to the sentiment analysis based on dictionary definition of individual vocabulary, if sentiments are classified into meaning of sentence, increased rate of negative sentiment and change in satisfaction could be explained. Therefore, the sentiment analysis via SNS would be considered as useful tool for complementing surveys in the future.
To compensate for limited the satisfaction survey currently conducted by Korea Metrological Administration (KMA), a sentiment analysis via a social networking service (SNS) can be utilized. From 2011 to 2014, with the sentiment analysis, Twitter who had commented 'KMA' had collected, then, using $Na{\ddot{i}}ve$ Bayes classification, we were classified into three sentiments: positive, negative, and neutral sentiments. An additional dictionary was made with morphemes appeared only in the positive, negative, and neutral sentiments of basic $Na{\ddot{i}}ve$ Bayes classification, thus the accuracy of sentiment analysis was improved. As a result, when sentiments were classified with a basic $Na{\ddot{i}}ve$ Bayes classification, the training data were reproduced about 75% accuracy rate. Whereas, when classifying with the additional dictionary, it showed 97% accuracy rate. When using the additional dictionary, sentiments of verification data was classified with about 75% accuracy rate. Lower classification accuracy rate would be improved by not only a qualified dictionary that has increased amount of training data, including diverse keywords related to weather, but continuous update of the dictionary. Meanwhile, contrary to the sentiment analysis based on dictionary definition of individual vocabulary, if sentiments are classified into meaning of sentence, increased rate of negative sentiment and change in satisfaction could be explained. Therefore, the sentiment analysis via SNS would be considered as useful tool for complementing surveys in the future.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이에 본 연구에서는 ‘기상청’을 언급한 트위터 만을 검색하여 2014년에 수행했던 어휘 기반의 감성분석이 아니라 실제로 트위터 작성자의 의도가 기상청을 향하고 있는지, 즉 문장이 내포하고 있는 실제 의미를 기반으로 감성분석을 실시하였다. 그리고 감성분석 결과가 설문조사의 만족도와 관련될 수 있는지 살펴봄으로써 향후 실시될 기상청의 대국민 인식조사에 도움이 되고자 한다.
학습 데이터인 2011∼2013년 트윗의 감성분석결과 ‘만족도’에 중요한 영향을 미치는 부정적 감성의 분류 정확도는 최고 약 96%, 연별 정확도는 약 76%로 나타났다. 그리고 낮게 나타난 학습데이터의 분류정확도를 높일 수 있는 추가사전을 제시하였다. 추가사전은 긍정, 부정, 중립 문장들에서 다른 감성에는 나타나지 않고 한 가지 감성에서만 출현한 어휘들로 구성되었다.
다음으로 추가사전을 활용한 감성분석 결과가 2012,2013년의 만족도 변화 추이를 설명할 수 있는지 살펴보았다. [그림 1]에서 어휘의 사전적 의미에 기반한 감성분석결과는 부정적 감성 변화추이와 기상서비스에 대한 만족도 변화 간의 관계를 설명하기 어려웠다.
본 연구는 문장 의미를 고려한 감성분석을 실시하여 만족도 설문조사를 보완할 수 있는지 살펴보고, 트윗에 나타난 감성의 분류 정확도를 향상시킬 수 있는 간단한 추가사전을 제시하였다. 감성분석에 사용된 자료는2011∼2014년 하반기에 기상청이 실시한 만족도 설문조사의 종료시점으로부터 과거 100일 동안의 트위터 자료이다.
가설 설정
이 과정에서 P(D)는 감성에 관계없이 동일하므로 생략될 수 있다. 그리고 나이브 베이즈는 트윗을 구성하는 모든 형태소들이 서로 독립적임을 가정한다. 즉, 어느 한 문장 내에서 A 형태소가 출현한 것은 B 형태소의 출현에 어떤 영향도 주지 않는다.
제안 방법
분류작업에는 연구원 3인이 참여하였고, 그들은 사전 회의를 통해 감성을 분류할 규칙을 공유한 후 각자가 수집된 모든 트윗에 대해 감성을 분류하였다. 1차로 감성 분류된 트윗들을 병합하여 연구자 모두가 동일한 감성으로 분류한 트윗은 그대로 사전에 저장하고, 그렇지 않은 트윗들은 회의를 통해 2명 이상이 동의하는 감성으로 결정하여 최종 분류하였다. 분류 감성은 긍정, 부정, 중립의 3종류이다.
이처럼 나이브 베이즈는 자연어 처리 분야에서 다양하게 활용되고 있는 방법인데, 그 자체만으로도 잘 전처리된 데이터를 활용할 경우 충분히 효과적인 분석결과를 보여줄 수 있다고 알려져 있다. 본 연구는 기본적인 나이브 베이즈 방법만을 사용하여 트위터 감성을 분류하였다. 나이브 베이즈의 방법은 다음과 같다.
본 연구는 빅데이터 분석 및 감성분석 성능향상을 도모한 연구들에 비해서 자료의 수가 적고, 형태소 분석기의 성능을 개선하지 않았으며, 감성사전에 포함될 형태소를 사전의 표제어 즉, 품사 기본형으로 수정하지 않았다. 그리고 감성분석과 만족도 간의 관계 분석에서도 단 2년 동안의 변화만을 비교하여 결과의 일반화에 한계가 있다.
이에 본 연구에서는 ‘기상청’을 언급한 트위터 만을 검색하여 2014년에 수행했던 어휘 기반의 감성분석이 아니라 실제로 트위터 작성자의 의도가 기상청을 향하고 있는지, 즉 문장이 내포하고 있는 실제 의미를 기반으로 감성분석을 실시하였다.
제작된 감성사전을 기본으로 2012∼2014년 트위터에 대해 나이브 베이즈 방법을 사용하여 감성분석을 실시하였다.
추가사전을 통한 방법이 여전히 많은 개선점을 요구하는 것과는 별개로, 문장의 의미에 기반한 본 연구의 감성분석 결과와 설문조사로 얻어진 만족도 변화추이를 설펴보기 위해 2012, 2013년 트윗의 부정적 감성 비율과 만족도를 비교하였다. 그 결과 문장의 의미에 기반한 감성분석 결과가 어휘 기반의 감성분석보다 만족도의 증감을 더 잘 나타낼 수 있는 것으로 나타났다.
학습 데이터를 충분히 재현한 추가사전을 활용하여 2014년 트윗에 대해 검증을 실시하였다. 그 결과 약 75%의 분류 정확도로 나타났는데, 트윗 등 데이터의 추가 수집, 감성/추가사전의 상시 업데이트를 통해 정확도를 향상시키려는 노력이 요구된다.
본 연구에서는 트위터 문장의 형태소 분석을 위해 KAIST(Korea Advanced Institute of Science and Technology)에서 제작한 자바 기반의 “한나눔 형태소분석기”를 사용하였다[24]. 한 나눔 형태소 분석기는 사용자가 단어를 추가하여 분석의 성능을 높일 수 있으나, 본 연구에서는 어떤 사용자 단어도 추가하지 않고 분석기 자체의 성능에만 의존하였다. 소프트웨어 버전은 웹페이지에서 다운로드 받을 수 있는 가장 최신 버전인 0.
수집된 트윗을 긍정, 부정, 중립의 감성으로 직접 분류해 본 결과 부정적 어휘를 포함한 긍정문, 혹은 단순하게 분류할 수 없는 미세한 의미차이를 포함한 문장 등이 다수 있었다. 해당 트윗들을 연구자가 직접 문장의 의미에 기반하여 감성별로 구분한 뒤 사전을 제작하였고, 나이브 베이즈 방법을 적용하여 감성분석을 실시하였다. 학습 데이터인 2011∼2013년 트윗의 감성분석결과 ‘만족도’에 중요한 영향을 미치는 부정적 감성의 분류 정확도는 최고 약 96%, 연별 정확도는 약 76%로 나타났다.
대상 데이터
감성분석에 사용된 자료는2011∼2014년 하반기에 기상청이 실시한 만족도 설문조사의 종료시점으로부터 과거 100일 동안의 트위터 자료이다.
감성분석을 위해 ‘기상청’을 포함하는 트위터 자료(이하 ‘트윗’)를 수집하였다(출처: search.twitter.com).
수집기간은 2011∼2014년 하반기 실시된 만족도 설문조사의 종료시점으로부터 100일 이전까지의 기간으로서 각각 2011.8.23.∼11.30., 2012.8.16.∼11.23., 2013.7.21.∼10.28., 2014.7.18.∼10.25.
자료수집기간을 연별로 동일하게 설정하지 않고, 만족도 설문조사가 이루어진 시기에 맞춘 이유는 감성분석 결과를 2012, 2013년의 만족도 변화 추이와 비교하기 위함이다. 수집된 트윗의 수는 2011년 12,571개, 2012년 11,020개, 2013년 9,009개, 2014년 3,672개이다. 트윗 자료와 비교할 만족도는 트위터의 주 사용연령이라 할 수 있는 20대 일반인들의 설문결과를 활용하였다.
수집된 트윗의 수는 2011년 12,571개, 2012년 11,020개, 2013년 9,009개, 2014년 3,672개이다. 트윗 자료와 비교할 만족도는 트위터의 주 사용연령이라 할 수 있는 20대 일반인들의 설문결과를 활용하였다. 만족도의 경우 기상분야 전문가 혹은 고령의 응답자들에게서 비교적 높게 나타나는 경향이 있는데, ‘만족도 관리’ 측면에서 비판적 성향의 응답자들을 세부적으로 분석하는데 SNS를 통한 감성분석이 효과적일 수 있을 것이다.
데이터처리
추가사전을 사용한 감성분석이 2011∼2013년도의 원데이터를 충분히 재현하는 것으로 나타나 해당 방법으로 2014년도 트윗에 대해 검증을 실시하였다.
이론/모형
본 연구에서는 트위터 문장의 형태소 분석을 위해 KAIST(Korea Advanced Institute of Science and Technology)에서 제작한 자바 기반의 “한나눔 형태소분석기”를 사용하였다[24].
성능/효과
[표 1]의 분석결과에서 샘플수가 적어 제대로 분류하지 못했던 긍정 감성의 분류 정확도가 추가사전 적용을 통해 74.61∼84.07%까지 향상되었고, 부정과 중립감성의 분류 정확도도 최대 약 98%까지 상승하여 학습데이터의 감성을 충분히 잘 재현한 것으로 나타났다.
추가사전을 사용한 감성분석이 2011∼2013년도의 원데이터를 충분히 재현하는 것으로 나타나 해당 방법으로 2014년도 트윗에 대해 검증을 실시하였다. 그 결과 극히 적은 긍정 트윗은 여전히 거의 분류하지 못했고, 연별정확도는 74.97%로 나타났다. 정확도가 낮아진 원인은 첫째, 2014년 수집된 트위터의 개수가 3,672개로 검증을 수행하기에 충분하지 않고, 둘째, 2011∼2013년 트윗으로 제작한 ‘추가사전’의 단어들이 2014년 트윗을 분류하기에는 적절하지 않았을 수 있다.
추가사전을 통한 방법이 여전히 많은 개선점을 요구하는 것과는 별개로, 문장의 의미에 기반한 본 연구의 감성분석 결과와 설문조사로 얻어진 만족도 변화추이를 설펴보기 위해 2012, 2013년 트윗의 부정적 감성 비율과 만족도를 비교하였다. 그 결과 문장의 의미에 기반한 감성분석 결과가 어휘 기반의 감성분석보다 만족도의 증감을 더 잘 나타낼 수 있는 것으로 나타났다.
그리고 감성분석과 만족도 간의 관계 분석에서도 단 2년 동안의 변화만을 비교하여 결과의 일반화에 한계가 있다. 그러나 감성분석의 분류 정확도를 개선할 수 있는 매우 간단한 수정 방법을 제시하였고, 감성분석 결과와 사용자 만족도를 함께 살펴보면서 향후 SNS데이터를 활용한 감성분석이 설문조사를 보완할 수 있는 가능성을 보인데 의의가 있다. 만족도 설문조사 결과의 효용성에 의문이 제기되는 상황에서 상시적으로 수집될 수 있는 SNS 데이터의 분석 및 활용 가능성은 기상서비스 사용자와의 커뮤니케이션 접점 확대를 위한 시도를 이끌어 내고, 궁극적으로 만족도 제고를 위한 정책 개발에 도움을 줄 수 있을 것이다.
나이브 베이즈를 활용한 감성분석 결과 부정 감성은95.98∼97.23%의 정확도로 분류되었고, 중립 감성은70.27∼73.76%의 정확도를 보였다.
세 감성에 대한 전체 정확도인 ‘연별 정확도’는 74.58∼78.01%의 정확도로 나타났다.
수집된 트윗을 긍정, 부정, 중립의 감성으로 직접 분류해 본 결과 부정적 어휘를 포함한 긍정문, 혹은 단순하게 분류할 수 없는 미세한 의미차이를 포함한 문장 등이 다수 있었다. 해당 트윗들을 연구자가 직접 문장의 의미에 기반하여 감성별로 구분한 뒤 사전을 제작하였고, 나이브 베이즈 방법을 적용하여 감성분석을 실시하였다.
추가사전은 긍정, 부정, 중립 문장들에서 다른 감성에는 나타나지 않고 한 가지 감성에서만 출현한 어휘들로 구성되었다. 추가사전을 활용한 감성분석 결과 연별 정확도가 약 97%까지 향상되었다.
학습 데이터인 2011∼2013년 트윗의 감성분석결과 ‘만족도’에 중요한 영향을 미치는 부정적 감성의 분류 정확도는 최고 약 96%, 연별 정확도는 약 76%로 나타났다.
후속연구
학습 데이터를 충분히 재현한 추가사전을 활용하여 2014년 트윗에 대해 검증을 실시하였다. 그 결과 약 75%의 분류 정확도로 나타났는데, 트윗 등 데이터의 추가 수집, 감성/추가사전의 상시 업데이트를 통해 정확도를 향상시키려는 노력이 요구된다.
점점 감소추세에 있는 트위터 사용자 수와 오직 ‘기상청’을 언급한 트윗만을 수집한 원시 데이터의 한계이기 때문에 향후 다양한 매체의 텍스트를 수집하거나 기상현상 혹은 날씨예보와 같은 키워드를 포함하는 트윗을 수집함으로써 데이터 부족으로 인한 문제를 해결해야 할 것이다. 그리고 월별 혹은 일별로 업데이트되는 어휘들을 실시간으로 감성사전과 추가사전에 반영한다면 정확도가 높아질 수 있을 것으로 사료된다.
만족도 설문조사 결과의 효용성에 의문이 제기되는 상황에서 상시적으로 수집될 수 있는 SNS 데이터의 분석 및 활용 가능성은 기상서비스 사용자와의 커뮤니케이션 접점 확대를 위한 시도를 이끌어 내고, 궁극적으로 만족도 제고를 위한 정책 개발에 도움을 줄 수 있을 것이다. 다만, 구체적인 활용을 위해 만족도 변화를 설명할 수 있는 요인분석을 위해 일별, 월별, 혹은 기상현상 및 기상청 관련이슈를 세부적으로 분석하여 감성분석 결과와 설문조사 만족도 간의 관계를 통계적으로 증명할 수 있는 추가 연구가 필요할 것이다.
그러나 감성분석의 분류 정확도를 개선할 수 있는 매우 간단한 수정 방법을 제시하였고, 감성분석 결과와 사용자 만족도를 함께 살펴보면서 향후 SNS데이터를 활용한 감성분석이 설문조사를 보완할 수 있는 가능성을 보인데 의의가 있다. 만족도 설문조사 결과의 효용성에 의문이 제기되는 상황에서 상시적으로 수집될 수 있는 SNS 데이터의 분석 및 활용 가능성은 기상서비스 사용자와의 커뮤니케이션 접점 확대를 위한 시도를 이끌어 내고, 궁극적으로 만족도 제고를 위한 정책 개발에 도움을 줄 수 있을 것이다. 다만, 구체적인 활용을 위해 만족도 변화를 설명할 수 있는 요인분석을 위해 일별, 월별, 혹은 기상현상 및 기상청 관련이슈를 세부적으로 분석하여 감성분석 결과와 설문조사 만족도 간의 관계를 통계적으로 증명할 수 있는 추가 연구가 필요할 것이다.
2013년에 부정적 감성의 비율이 급증하고, 만족도는 급락한 형태를 잘 보여주고 있어 [그림 1]과 달리 문장의 의미를 기반으로 직접 분류한 감성 결과가 만족도 변화를 더 잘 설명할 가능성이 큰 것으로 판단된다. 물론 사례가 단 2년으로 적기 때문에 일반화는 어렵지만, 앞서 언급한 바와 같이 사전에 포함되는 어휘가 늘어나고, 트위터 뿐만 아니라 뉴스, 댓글, 블로그 등 다양한 매체의 데이터를 확보하여 분석한다면 분석가의 필요에 따라 수시로 기상서비스 사용자들의 인식을 분석할 수 있기에 향후 설문조사를 충분히 보완할 수 있을 것이다.
점점 감소추세에 있는 트위터 사용자 수와 오직 ‘기상청’을 언급한 트윗만을 수집한 원시 데이터의 한계이기 때문에 향후 다양한 매체의 텍스트를 수집하거나 기상현상 혹은 날씨예보와 같은 키워드를 포함하는 트윗을 수집함으로써 데이터 부족으로 인한 문제를 해결해야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
형태소 분석기는 어떻게 실행되는가?
감성분석의 첫 번째 단계는 자연어를 문장의 기본단위인 형태소로 구분하는 것이다. 형태소 분석기는 입력된 문장을 어절 단위로 구분한 다음 어휘의 가장 기본단위인 사전의 표제어로 분석하여 품사와 함께 출력해준다. 본 연구에서는 트위터 문장의 형태소 분석을 위해 KAIST(Korea Advanced Institute of Science and Technology)에서 제작한 자바 기반의 “한나눔 형태소분석기”를 사용하였다[24].
감성분석이란 무엇인가?
감성분석은 뉴스, 블로그, SNS, 상품 리뷰 등의 텍스트로부터 긍정, 부정, 중립 등의 감성정보를 추출하는 방법론으로서. 분류 결과는 조사 대상에 대한 전반적인의견, 관점, 인식 등에 관심이 있는 분석가들에게 유용하게 활용될 수 있다[12][13]. 감성분석은 주로 분석 자동화 및 감성사전 구축을 통한 방법론의 정확도 향상에 관한 연구를 시작으로[14-16], 최근에는 범위를 확장하여 주식가격 예측 등 광범위하게 활용되고 있다[17][18].
기상서비스제공자에게 기상정보를 어떻게 사용하는지 아는것이 필수적으로 요구되는 이유는 무엇인가?
기상서비스는 위험기상 현상에 대비하여 사용자들이 적절한 행동을 취하는 의사결정에 활용되지 않는다면 효용이 없다. 그런 의미에서 기상청과 같은 기상서비스제공자들은 사람들이 재산피해를 최소화하거나 자신의 안전을 보장하는데 기상정보를 어떻게 사용하는지 아는 것이 필수적으로 요구된다.
참고문헌 (29)
A. Silver and C. Conrad, "Public perception of and response to severe weather warning in Nova Scotia, Canada," Meteorological Applications, Vol.17, pp.173-179, 2010.
D. Demeritt, S. Nobert, H. Cloke, and F. Pappenberger, "The European Flood Alert System and the communication, perception, and use of ensemble predictions for operational flood risk management," Hydrological Precesses, Vol.27, pp.147-157, 2013.
H. Stephanine, B. Rachel, K. Kim, Dr. B. Jerry, and E. Somer, "A Preliminary Look at the Social Perspective of Warn-on-Forecast: Preferred Tornado Warning Lead Time and the general Public's Perceptions of Weather Risks," weather, climate, and society, Vol.3, pp.128-140, 2011.
J. Demuth, J. Lazo, and R. Morss, "Exploring Variations in Perple's Sources, Uses, and Perceptions of Weather Forecasts," Weather, Climate, and Society, Vol.3, pp.177-192, 2011.
R. Morss, J. Demuth, and J. Lazo, "Communicating Uncertainty in Weather Forecasts: A Survey of the U.S. Public," Weather and Forecasting, Vol.23, pp.974-991, 2008.
S. Joslyn and S. Savelli, "Communicating forecast uncertainty: public perception of weather forecast uncertainty," Meteorological Applications, Vol.17, pp.180-195, 2010.
S. Savelli and S. Joslyn, "Boater Safety: Communicating Weather Forecast Information to High-Stakes End Users," Weather, Climate, and Society, Vol.4, pp.7-19, 2012.
T. Kox, L. Gerhold, and U. Ulbrich, "Perception and use of uncertainty in severe weather warnings by emergency services in Germany," Atmospheric Research, Vol.158-159, pp.292-301, 2015.
S. Kiritchenko, X. Zhu, and S. Mohammad, "Sentiment Analysis of Short Informal Texts," Journal of Artificial Intelligence Research, Vol.50, pp.723-762, 2014.
A. Go, R. Bhayani, and L. Huang, Twitter sentiment classification using distant supervision, Technical report, Stanford, 2009.
A. Pak and P. Paroubek, "Twitter as a corpus for sentiment analysis and opinion mining," Poreceedings of LREC, 2010.
B. O'Connor, R. Balasubramanyan, B. Routledge, and N. Smith, "From Tweets to Polls: Linking Text Sentiment to Public Opinion Time Series," in Proceeding of the Fourth international AAAI Conference on Weblogs and Social Media Washington, DC, May23-26, pp.122-129, 2010.
D. Kang and Y. Park, "Review-based measurement of customer satisfaction in mobile service: Sentiment analysis and VIKOR approach," Expert Systems with Applications, Vol.41, pp.1041-1050, 2014.
김장석, 진은미, 이샘, "20대 여성소비자의 화장품 용기디자인 선호도에 관한 연구-기초화장품을 중심으로," Journal of Integrated Design Research, 제14권, 제4호, pp.97-106, 2015.
http://kldp.net/projects/hannanum/
L. L. Dhande and G. K. Patnaik, "Analyzing Sentiment of Movie Review Data using Naive Bayes Neural Classifier," International Journal of Emerging Trends & Technology in Computer Science, Vol.3, pp.313-320, 2014.
H. S. Kang, J. Yoo, and D. Han, "Senti-lexicon and improved Naive-bayes algorithms for sentiment analysis of restaurant reviews," Expert Systems with Applications, Vol.39, pp.6000-6010, 2012.
A. Onan, S. Korukoglu, and H. Bulut, "Ensemble of keyword extraction methods and classifiers in text classification," Expert Systems with Applications, Vol.57, pp.232-247, 2016.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.