최근 다양한 소셜미디어를 통해 생성되는 비정형 데이터의 양은 빠른 속도로 증가하고 있으며, 이를 저장, 가공, 분석하기 위한 도구의 개발도 이에 맞추어 활발하게 이루어지고 있다. 이러한 환경에서 다양한 분석도구를 통해 텍스트 데이터를 분석함으로써, 기존의 정형 데이터 분석을 통해 해결하지 못했던 이슈들을 해결하기 위한 많은 시도가 이루어지고 있다. 특히 트위터나 페이스북을 통해 실시간에 근접하게 생산되는 글들과 수많은 인터넷 사이트에 게시되는 다양한 주제의 글들은, 방대한 양의 텍스트 분석을 통해 많은 사람들의 의견을 추출하고 이를 통해 향후 수익 창출에 기여할 수 있는 새로운 통찰을 발굴하기 위한 움직임에 동기를 부여하고 있다. 뉴스 데이터에 대한 오피니언 마이닝을 통해 주가지수 등락 예측 모델을 제안한 최근의 연구는 이러한 시도의 대표적 예라고 할 수 있다. 우리가 여러 매체를 통해 매일 접하는 뉴스 역시 대표적인 비정형 데이터 중의 하나이다. 이러한 비정형 텍스트 데이터를 분석하는 오피니언 마이닝 또는 감성 분석은 제품, 서비스, 조직, 이슈, 그리고 이들의 여러 속성에 대한 사람들의 의견, 감성, 평가, 태도, 감정 등을 분석하는 일련의 과정을 의미한다. 이러한 오피니언 마이닝을 다루는 많은 연구는, 각 어휘별로 긍정/부정의 극성을 규정해 놓은 감성사전을 사용하며, 한 문장 또는 문서에 나타난 어휘들의 극성 분포에 따라 해당 문장 또는 문서의 극성을 산출하는 방식을 채택한다. 하지만 특정 어휘의 극성은 한 가지로 고유하게 정해져 있지 않으며, 분석의 목적에 따라 그 극성이 상이하게 나타날 수도 있다. 본 연구는 특정 어휘의 극성은 한 가지로 고유하게 정해져 있지 않으며, 분석의 목적에 따라 그 극성이 상이하게 나타날 수도 있다는 인식에서 출발한다. 동일한 어휘의 극성이 해석하는 사람의 입장에 따라 또는 분석 목적에 따라 서로 상이하게 해석되는 현상은 지금까지 다루어지지 않은 어려운 이슈로 알려져 있다. 구체적으로는 주가지수의 상승이라는 한정된 주제에 대해 각 관련 어휘가 갖는 극성을 판별하여 주가지수 상승 예측을 위한 감성사전을 구축하고, 이를 기반으로 한 뉴스 분석을 통해 주가지수의 상승을 예측한 결과를 보이고자 한다.
최근 다양한 소셜미디어를 통해 생성되는 비정형 데이터의 양은 빠른 속도로 증가하고 있으며, 이를 저장, 가공, 분석하기 위한 도구의 개발도 이에 맞추어 활발하게 이루어지고 있다. 이러한 환경에서 다양한 분석도구를 통해 텍스트 데이터를 분석함으로써, 기존의 정형 데이터 분석을 통해 해결하지 못했던 이슈들을 해결하기 위한 많은 시도가 이루어지고 있다. 특히 트위터나 페이스북을 통해 실시간에 근접하게 생산되는 글들과 수많은 인터넷 사이트에 게시되는 다양한 주제의 글들은, 방대한 양의 텍스트 분석을 통해 많은 사람들의 의견을 추출하고 이를 통해 향후 수익 창출에 기여할 수 있는 새로운 통찰을 발굴하기 위한 움직임에 동기를 부여하고 있다. 뉴스 데이터에 대한 오피니언 마이닝을 통해 주가지수 등락 예측 모델을 제안한 최근의 연구는 이러한 시도의 대표적 예라고 할 수 있다. 우리가 여러 매체를 통해 매일 접하는 뉴스 역시 대표적인 비정형 데이터 중의 하나이다. 이러한 비정형 텍스트 데이터를 분석하는 오피니언 마이닝 또는 감성 분석은 제품, 서비스, 조직, 이슈, 그리고 이들의 여러 속성에 대한 사람들의 의견, 감성, 평가, 태도, 감정 등을 분석하는 일련의 과정을 의미한다. 이러한 오피니언 마이닝을 다루는 많은 연구는, 각 어휘별로 긍정/부정의 극성을 규정해 놓은 감성사전을 사용하며, 한 문장 또는 문서에 나타난 어휘들의 극성 분포에 따라 해당 문장 또는 문서의 극성을 산출하는 방식을 채택한다. 하지만 특정 어휘의 극성은 한 가지로 고유하게 정해져 있지 않으며, 분석의 목적에 따라 그 극성이 상이하게 나타날 수도 있다. 본 연구는 특정 어휘의 극성은 한 가지로 고유하게 정해져 있지 않으며, 분석의 목적에 따라 그 극성이 상이하게 나타날 수도 있다는 인식에서 출발한다. 동일한 어휘의 극성이 해석하는 사람의 입장에 따라 또는 분석 목적에 따라 서로 상이하게 해석되는 현상은 지금까지 다루어지지 않은 어려운 이슈로 알려져 있다. 구체적으로는 주가지수의 상승이라는 한정된 주제에 대해 각 관련 어휘가 갖는 극성을 판별하여 주가지수 상승 예측을 위한 감성사전을 구축하고, 이를 기반으로 한 뉴스 분석을 통해 주가지수의 상승을 예측한 결과를 보이고자 한다.
Recently, the amount of unstructured data being generated through a variety of social media has been increasing rapidly, resulting in the increasing need to collect, store, search for, analyze, and visualize this data. This kind of data cannot be handled appropriately by using the traditional method...
Recently, the amount of unstructured data being generated through a variety of social media has been increasing rapidly, resulting in the increasing need to collect, store, search for, analyze, and visualize this data. This kind of data cannot be handled appropriately by using the traditional methodologies usually used for analyzing structured data because of its vast volume and unstructured nature. In this situation, many attempts are being made to analyze unstructured data such as text files and log files through various commercial or noncommercial analytical tools. Among the various contemporary issues dealt with in the literature of unstructured text data analysis, the concepts and techniques of opinion mining have been attracting much attention from pioneer researchers and business practitioners. Opinion mining or sentiment analysis refers to a series of processes that analyze participants' opinions, sentiments, evaluations, attitudes, and emotions about selected products, services, organizations, social issues, and so on. In other words, many attempts based on various opinion mining techniques are being made to resolve complicated issues that could not have otherwise been solved by existing traditional approaches. One of the most representative attempts using the opinion mining technique may be the recent research that proposed an intelligent model for predicting the direction of the stock index. This model works mainly on the basis of opinions extracted from an overwhelming number of economic news repots. News content published on various media is obviously a traditional example of unstructured text data. Every day, a large volume of new content is created, digitalized, and subsequently distributed to us via online or offline channels. Many studies have revealed that we make better decisions on political, economic, and social issues by analyzing news and other related information. In this sense, we expect to predict the fluctuation of stock markets partly by analyzing the relationship between economic news reports and the pattern of stock prices. So far, in the literature on opinion mining, most studies including ours have utilized a sentiment dictionary to elicit sentiment polarity or sentiment value from a large number of documents. A sentiment dictionary consists of pairs of selected words and their sentiment values. Sentiment classifiers refer to the dictionary to formulate the sentiment polarity of words, sentences in a document, and the whole document. However, most traditional approaches have common limitations in that they do not consider the flexibility of sentiment polarity, that is, the sentiment polarity or sentiment value of a word is fixed and cannot be changed in a traditional sentiment dictionary. In the real world, however, the sentiment polarity of a word can vary depending on the time, situation, and purpose of the analysis. It can also be contradictory in nature. The flexibility of sentiment polarity motivated us to conduct this study. In this paper, we have stated that sentiment polarity should be assigned, not merely on the basis of the inherent meaning of a word but on the basis of its ad hoc meaning within a particular context. To implement our idea, we presented an intelligent investment decision-support model based on opinion mining that performs the scrapping and parsing of massive volumes of economic news on the web, tags sentiment words, classifies sentiment polarity of the news, and finally predicts the direction of the next day's stock index. In addition, we applied a domain-specific sentiment dictionary instead of a general purpose one to classify each piece of news as either positive or negative. For the purpose of performance evaluation, we performed intensive experiments and investigated the prediction accuracy of our model. For the experiments to predict the direction of the stock index, we gathered and analyzed 1,072 articles about stock markets published by "M" and "E" media between
Recently, the amount of unstructured data being generated through a variety of social media has been increasing rapidly, resulting in the increasing need to collect, store, search for, analyze, and visualize this data. This kind of data cannot be handled appropriately by using the traditional methodologies usually used for analyzing structured data because of its vast volume and unstructured nature. In this situation, many attempts are being made to analyze unstructured data such as text files and log files through various commercial or noncommercial analytical tools. Among the various contemporary issues dealt with in the literature of unstructured text data analysis, the concepts and techniques of opinion mining have been attracting much attention from pioneer researchers and business practitioners. Opinion mining or sentiment analysis refers to a series of processes that analyze participants' opinions, sentiments, evaluations, attitudes, and emotions about selected products, services, organizations, social issues, and so on. In other words, many attempts based on various opinion mining techniques are being made to resolve complicated issues that could not have otherwise been solved by existing traditional approaches. One of the most representative attempts using the opinion mining technique may be the recent research that proposed an intelligent model for predicting the direction of the stock index. This model works mainly on the basis of opinions extracted from an overwhelming number of economic news repots. News content published on various media is obviously a traditional example of unstructured text data. Every day, a large volume of new content is created, digitalized, and subsequently distributed to us via online or offline channels. Many studies have revealed that we make better decisions on political, economic, and social issues by analyzing news and other related information. In this sense, we expect to predict the fluctuation of stock markets partly by analyzing the relationship between economic news reports and the pattern of stock prices. So far, in the literature on opinion mining, most studies including ours have utilized a sentiment dictionary to elicit sentiment polarity or sentiment value from a large number of documents. A sentiment dictionary consists of pairs of selected words and their sentiment values. Sentiment classifiers refer to the dictionary to formulate the sentiment polarity of words, sentences in a document, and the whole document. However, most traditional approaches have common limitations in that they do not consider the flexibility of sentiment polarity, that is, the sentiment polarity or sentiment value of a word is fixed and cannot be changed in a traditional sentiment dictionary. In the real world, however, the sentiment polarity of a word can vary depending on the time, situation, and purpose of the analysis. It can also be contradictory in nature. The flexibility of sentiment polarity motivated us to conduct this study. In this paper, we have stated that sentiment polarity should be assigned, not merely on the basis of the inherent meaning of a word but on the basis of its ad hoc meaning within a particular context. To implement our idea, we presented an intelligent investment decision-support model based on opinion mining that performs the scrapping and parsing of massive volumes of economic news on the web, tags sentiment words, classifies sentiment polarity of the news, and finally predicts the direction of the next day's stock index. In addition, we applied a domain-specific sentiment dictionary instead of a general purpose one to classify each piece of news as either positive or negative. For the purpose of performance evaluation, we performed intensive experiments and investigated the prediction accuracy of our model. For the experiments to predict the direction of the stock index, we gathered and analyzed 1,072 articles about stock markets published by "M" and "E" media between
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
예를 들어 “금리 하락”의 경우 경기 침체를 나타내는 징표가 될 수도 있지만, 주식시장에서의 “금리 하락”은 일반적으로 호재로 인식된다. 따라서 본 연구에서는 뉴스로부터 주가 지수의 움직임과 관련된 오피니언을 보다 정확하게 도출하기 위해, 주식 시장에 특화된 감성 어휘 사전을 구축하는 방안을 제시하고자 한다. 또한 이러한 감성 어휘사전을 구축함에 있어서 사람의 인위적 판단을 최대한 배제하고 명확한 기준과 분석 과정을 제시함으로써, 유사 분야에서의 주제 지향적 감성사전 구축에 실마리를 제공하고자 한다.
전체적으로 범용 감성사전을 사용하여 구현한 예측 모형과, 주식시장 도메인에 특화된 감성사전을 구축하고 이를 통해 구현된 예측 모형과의 예측 정확도를 비교하는 실험을 수행하였다. 또한 문서의 극성에 따라 주가지수의 등락을 예측하는 경우 그 기준이 되는 임계값의 설정이 매우 중요하므로, 임계값의 변화에 따라 주가지수 등락의 예측 정확도가 변하는 양상을 보이고자 하였다. 유사한 실험을 세 종류의 세트로 수행하였는데, 이는 학습 데이터(Training Data)와 검증 데이터(Validation Data)의 분할 방법에 따른 것이다.
따라서 본 연구에서는 뉴스로부터 주가 지수의 움직임과 관련된 오피니언을 보다 정확하게 도출하기 위해, 주식 시장에 특화된 감성 어휘 사전을 구축하는 방안을 제시하고자 한다. 또한 이러한 감성 어휘사전을 구축함에 있어서 사람의 인위적 판단을 최대한 배제하고 명확한 기준과 분석 과정을 제시함으로써, 유사 분야에서의 주제 지향적 감성사전 구축에 실마리를 제공하고자 한다.
본 연구에서는 뉴스에 나타난 어휘들의 극성을 주가지수의 등락에 미치는 영향에만 근거하여 판별하고, 이를 기반으로 주가지수 등락 관점에서의 관련 어휘들의 감성사전을 구축하고자 한다. 또한 이렇게 구축된 감성사전을 이용한 문서 분석을 수행하여, 범용 감성사전에 근거하여 주가지수의 등락을 예측한 기존의 연구의 한계를 보완하고자 한다.
본 논문에서는 주식관련 뉴스에 대한 오피니언 마이닝을 통해 주가지수의 등락을 예측하기 위해, 주식 도메인에 특화된 주제지향 감성사전을 구축하고 이를 활용하는 방안을 제시하였다. 구체적으로는 주식관련 뉴스에 포함된 어휘를 입력으로 사용하고 익일의 주가지수 등락 여부를 목적 변수로 사용하여 각 어휘의 극성을 도출한 주식 도메인에서의 감성지수 사전을 구축하였다.
이는 분석 대상이 되는 문서 입력으로 비교적 정제된 어휘로 구성된 경제뉴스를 활용할 수 있을 뿐 아니라, 목적 값으로서 매 거래일의 주가지수 등락 여부를 명확하게 파악할 수 있기 때문이다. 본 연구에서는 뉴스에 나타난 어휘들의 극성을 주가지수의 등락에 미치는 영향에만 근거하여 판별하고, 이를 기반으로 주가지수 등락 관점에서의 관련 어휘들의 감성사전을 구축하고자 한다. 또한 이렇게 구축된 감성사전을 이용한 문서 분석을 수행하여, 범용 감성사전에 근거하여 주가지수의 등락을 예측한 기존의 연구의 한계를 보완하고자 한다.
본 연구의 가장 큰 기여는 주식 도메인에 특화된 감성사전을 구축하기 위한 하나의 기준을 제시하였다는 점에서 찾을 수 있다. 즉 각 어휘의 감정지수를 도출하기 위해서는 긍정/부정 여부를 판단하기 위한 목적 변수가 반드시 필요한데, 이러한 목적 변수로 주가지수의 등락 여부를 사용할 수 있는 가능성을 제시하였다. 한편 본 연구는 제안 모형의 평가를 위한 실험 부분에서 많은 한계를 보이고 있다.
제안 방법
본 논문에서는 주식관련 뉴스에 대한 오피니언 마이닝을 통해 주가지수의 등락을 예측하기 위해, 주식 도메인에 특화된 주제지향 감성사전을 구축하고 이를 활용하는 방안을 제시하였다. 구체적으로는 주식관련 뉴스에 포함된 어휘를 입력으로 사용하고 익일의 주가지수 등락 여부를 목적 변수로 사용하여 각 어휘의 극성을 도출한 주식 도메인에서의 감성지수 사전을 구축하였다. 또한 이렇게 구축된 사전을 통해 주가지수의 등락을 예측하는 모형을 수립하고, 그 예측 정확도를 범용 감성사전을 사용한 모형의 예측 정확도와 비교 평가하는 실험을 수행하였다.
첫 번째 실험은 학습 데이터와 검증 데이터의 구분 없이 하나의 데이터 세트에 대한 예측 정확도 평가 실험이다. 뉴스 문서로부터 텍스트 형태소 분석을 통해 명사들을 추출하고, Start List, 최소 빈도수 필터링을 통해 대상 어휘들을 선정한다. 이렇게 선정된 어휘들의 긍정지수는 해당 거래일의 주가등락 여부를 근거로 산출된다.
예측 대상이 되는 목표 변수는 3개월 동안 주식시장이 개장된 63일의 주가지수 등락여부이며, 이 변수는 감성사전 구축 과정에서 가장 중요한 기준으로 사용된다. 뉴스 텍스트의 형태소분석은 일부는 서울대학교 IDS 연구실에서 제공하는 꼬꼬마 형태소 분석기 API를 수정 보완한 것을 사용하고, 일부는 SAS Enterprise Miner를 사용하였다.
구체적으로는 주식관련 뉴스에 포함된 어휘를 입력으로 사용하고 익일의 주가지수 등락 여부를 목적 변수로 사용하여 각 어휘의 극성을 도출한 주식 도메인에서의 감성지수 사전을 구축하였다. 또한 이렇게 구축된 사전을 통해 주가지수의 등락을 예측하는 모형을 수립하고, 그 예측 정확도를 범용 감성사전을 사용한 모형의 예측 정확도와 비교 평가하는 실험을 수행하였다. 실험 결과 하나의 데이터 세트에 대한 실험에서는 제안 모형의 정확도가 우수하게 나타났으나, 학습 데이터와 검증 데이터를 구분하여 수행한 실험에서는 제안 모형이 과적합화 문제로 인해 정확도가 오히려 낮게 나타나는 현상을 발견하였다.
각 뉴스의 극성에 따라 주가지수의 상승 및 하락을 예측하기 위해서는 뉴스의 긍정/부정 구분을 위한 임계값의 설정이 필요하다. 본 연구에서는 판단 기준을 위해 특정 임계값을 제시하는 대신, 임계값의 변화에 따라 주가지수 등락의 예측 정확도가 변하는 양상을 보이고자 하며, 자세한 내용은 다음 장인 제 4장에서 소개하도록 한다.
이러한 세 가지 정보에 근거해서 주가지수 등락 예측을 위한 감성사전을 구축하는 전체 과정이 [Figure 4]에 도식화되어 있다. 우선 대상 뉴스로부터 형태소 분석을 통해 명사만을 추출하고, 이들 어휘 중 Start List, 최소 빈도수 등의 기준을 사용하여 필터링을 통과한 어휘에 대해 긍정 지수를 계산한다. 각 어휘의 긍정 지수는 해당 어휘가 출현한 전체 뉴스 수 대비 해당 어휘가 출현한 뉴스 보도 후 주가지수가 상승한 회수의 비율로 정의되며 구체적인 산출 식은 다음 식과 같다.
입력된 뉴스 텍스트 1,072건을 파싱하였다. 이 때, 파싱된 어휘 결과에서 명사를 제외한 모든 품사, 숫자, 한 음절 어휘를 제거하였고 이를 Start List로 정의하여 다시 파싱 과정을 수행하였다. SAS Enterprise Miner에서 Start List는 유지할 어휘들을 기록한 Data Set을 제공함으로써 구현된다.
이렇게 구축된 주제지향 감성사전을 통해 세 가지 실험을 수행하였다. 첫 번째 실험은 학습 데이터와 검증 데이터의 구분 없이 하나의 데이터 세트에 대한 예측 정확도 평가 실험이다.
또한 각 뉴스 문서의 긍정 지수는 포함된 어휘들의 긍정 지수의 평균값으로 계산된다. 이렇게 도출된 문서의 긍정 지수가 정해진 임계값보다 큰 경우 익일 거래일의 주가지수를 상승으로 예측하고, 그렇지 않은 경우 하락으로 예측하였다. 그리고 전체 예측 건수 중 상승/하락을 정확하게 예측한 비율을 예측 정확도로 정의하였다.
모형의 첫 단계에서는 분석 대상 뉴스를 수집한다. 이를 위해 국내 모든 경제관련 매체의 경제 뉴스가 모여 있는 포털 사이트의 증권 섹션을 스크래핑 하는 방법을 사용하였다. 두 번째 뉴스 파싱 단계에서는 뉴스의 텍스트를 형태소 분석기 모듈에 의해 분해하며, 분해된 어휘에 대해 감성사전을 참조하여 극성을 부여하는 과정은 세 번째 단계인 감성 태깅 단계에서 수행된다.
전체적으로 범용 감성사전을 사용하여 구현한 예측 모형과, 주식시장 도메인에 특화된 감성사전을 구축하고 이를 통해 구현된 예측 모형과의 예측 정확도를 비교하는 실험을 수행하였다. 또한 문서의 극성에 따라 주가지수의 등락을 예측하는 경우 그 기준이 되는 임계값의 설정이 매우 중요하므로, 임계값의 변화에 따라 주가지수 등락의 예측 정확도가 변하는 양상을 보이고자 하였다.
이렇게 구축된 주제지향 감성사전을 통해 세 가지 실험을 수행하였다. 첫 번째 실험은 학습 데이터와 검증 데이터의 구분 없이 하나의 데이터 세트에 대한 예측 정확도 평가 실험이다. 뉴스 문서로부터 텍스트 형태소 분석을 통해 명사들을 추출하고, Start List, 최소 빈도수 필터링을 통해 대상 어휘들을 선정한다.
대상 데이터
본 절에서는 제 3장에서 제안한 감성사전 구축방법론 및 주가지수 등락 예측 모형의 예측력을 평가하기 위해, 포털 사이트 네이버의 증권정보 필드의 주요뉴스에 게재된 기사 중 M사와 E사의 기사 2011년 7월부터 9월까지 3개월간 1,072건을 대상으로 실험을 수행하고자 한다. 예측 대상이 되는 목표 변수는 3개월 동안 주식시장이 개장된 63일의 주가지수 등락여부이며, 이 변수는 감성사전 구축 과정에서 가장 중요한 기준으로 사용된다.
주가지수 등락 예측은 그 도메인의 특성상 과거의 정보를 통해 모형을 수립하고, 해당 모형을 현재 주어진 정보에 적용함으로써 직후의 미래를 빠르게 예측해야 할 필요가 있다. 세 번째 실험은 이를 반영한 것으로, 전체 뉴스 중 시기적으로 앞선 70%의 뉴스를 학습 데이터 세트로, 나머지 30%의 뉴스를 검증 데이터 세트로 사용한 실험이다.
본 절에서는 제 3장에서 제안한 감성사전 구축방법론 및 주가지수 등락 예측 모형의 예측력을 평가하기 위해, 포털 사이트 네이버의 증권정보 필드의 주요뉴스에 게재된 기사 중 M사와 E사의 기사 2011년 7월부터 9월까지 3개월간 1,072건을 대상으로 실험을 수행하고자 한다. 예측 대상이 되는 목표 변수는 3개월 동안 주식시장이 개장된 63일의 주가지수 등락여부이며, 이 변수는 감성사전 구축 과정에서 가장 중요한 기준으로 사용된다. 뉴스 텍스트의 형태소분석은 일부는 서울대학교 IDS 연구실에서 제공하는 꼬꼬마 형태소 분석기 API를 수정 보완한 것을 사용하고, 일부는 SAS Enterprise Miner를 사용하였다.
입력된 뉴스 텍스트 1,072건을 파싱하였다. 이 때, 파싱된 어휘 결과에서 명사를 제외한 모든 품사, 숫자, 한 음절 어휘를 제거하였고 이를 Start List로 정의하여 다시 파싱 과정을 수행하였다.
성능/효과
실험 결과 학습 데이터 세트에 대한 예측 정확도는 [Figure 11]의 결과와 유사하게 나타났다. 검증 데이터 세트에 대한 실험의 경우 범용 감성사전을 사용한 모형과 주제지향 감성사전을 사용한 모형에서 최대 정확도를 갖는 임계값이 서로 다르게 나타났을 뿐, 최대 정확도는 서로 유사하게 나타났다. 즉 주제지향 감성사전을 사용한 경우 학습 데이터 세트에서의 예측 정확도에 비해 검증 데이터 세트에서의 예측 정확도가 현저히 저하되는 현상이 발견되었다.
0인 경우 해당 어휘의 극성이 완전 부정으로 해석된다. 두 매체 모두 긍정/부정 어휘의 분포가 비교적 균등하게 나타났지만, 매체 M사의 뉴스에서는 부정적 어휘보다 긍정적 어휘의 분포가 높게 나타났으며 매체 E사에서는 부정적 어휘가 긍정적 어휘의 분포보다 다소 높게 나타났다.
[Figure 13]의 경우 학습 데이터 세트에 대한 실험 결과조차 [Figure 11]의 전체 데이터 세트에 대한 결과와 다르게 나타났다. 또한 주제지향 감성 사전을 사용한 모형의 검증 데이터 세트에서의 정확도는 더욱 저하된 것으로 나타났다. 이러한 결과는 학습 데이터 세트와 검증 데이터 세트의 이질성이 매우 크게 존재했기 때문인 것으로 파악된다.
4를 넘는 경우를 상승으로 예측한 경우 정확도가 가장 높게 나타났다. 본 연구에서 구축한 주제지향 감성 사전을 사용한 경우는 판별 임계값의 변화에 따라 예측 정확도가 비교적 큰 폭으로 변화했으며, 임계값을 0.6으로 사용한 경우 가장 높은 예측력을 나타냈다. 하지만 이 실험은 동일한 데이터 세트에 대해 학습과 검증을 수행하므로 과적합화(overfitting)의 가능성이 존재하게 된다.
(2007)은 개별기업에 대한 긍정/부정 뉴스가 주가의 상승/하락에 영향을 미칠 것이라는 가정에 기반하여, 뉴스 텍스트로부터 추출한 긍정/부정 어휘패턴을 학습하여 주가의 방향성을 예측하는 실험을 수행하였다. 실험 결과 주가상승 시 69%, 주가하락 시 64%의 높은 예측 정확도를 보였으나, 최초의 긍정/부정 어휘패턴 추출을 사람이 수행하였다는 한계를 갖는다. Ahn and Cho(2010)는 뉴스가 발행한 이후의 가격이 이전 가격에 비해 ±2%로 변동이 생긴 경우 이 뉴스가 주가에 영향을 줄 수 있는 뉴스인 것으로 판단하였으며, 해당 뉴스 텍스트에서 추출한 특성을 주가의 변동폭과 대비하여 긍정/부정으로 분류한 뒤 이를 이용하여 개별 종목 주가의 상승/하락을 예측하는 모형을 제시하였다.
또한 이렇게 구축된 사전을 통해 주가지수의 등락을 예측하는 모형을 수립하고, 그 예측 정확도를 범용 감성사전을 사용한 모형의 예측 정확도와 비교 평가하는 실험을 수행하였다. 실험 결과 하나의 데이터 세트에 대한 실험에서는 제안 모형의 정확도가 우수하게 나타났으나, 학습 데이터와 검증 데이터를 구분하여 수행한 실험에서는 제안 모형이 과적합화 문제로 인해 정확도가 오히려 낮게 나타나는 현상을 발견하였다.
위의 세 가지 실험을 통해 나타난 결과를 요약하면 다음과 같다. 우선 동일 데이터 세트에 대한 실험에서는 범용 감성사전에 비해 주제지향 감성사전을 사용한 예측 모델의 정확도가 다소 높게 나타났는데, 이는 동일한 어휘의 감성지수가 주제에 따라 서로 다르게 나타날 수 있는 현상에 기인한 것으로 파악된다. 하지만 제안한 모델의 정확도는 학습 데이터와 검증 데이터를 구분하여 수행한 실험에서 매우 낮게 나타나는데, 이는 제안 모델에서 과적합화 현상으로 인한 부작용이 매우 크게 나타났기 때문인 것으로 판단된다.
검증 데이터 세트에 대한 실험의 경우 범용 감성사전을 사용한 모형과 주제지향 감성사전을 사용한 모형에서 최대 정확도를 갖는 임계값이 서로 다르게 나타났을 뿐, 최대 정확도는 서로 유사하게 나타났다. 즉 주제지향 감성사전을 사용한 경우 학습 데이터 세트에서의 예측 정확도에 비해 검증 데이터 세트에서의 예측 정확도가 현저히 저하되는 현상이 발견되었다. 이는 범용 감성사전을 사용한 경우는 각 어휘에 대해 이미 극성이 부여되어 있으므로 과적합화로 인한 부작용이 나타나지 않는 반면, 주제지향 감성사전의 경우 분석 대상 뉴스에 따라 어휘의 극성이 달라지므로, 상대적으로 과적합화로 인한 부작용이 크게 나타났기 때문인 것으로 판단된다.
후속연구
우선 주식관련 뉴스의 특성상 수집 시기에 따라 각 어휘의 극성이 크게 달라질 수 있으므로, 예측 정확도를 높이기 위해서는 충분히 오랜 기간에 걸쳐 수집된 많은 뉴스에 대한 실험이 필요하다. 또한 분석 대상 어휘의 선정 과정에서 명사만을 추출하여 사용했는데, 명사 이외의 다른 품사도 고려한 실험이 수행되어야 한다. 이와 관련하여 하나의 어휘가 아닌 말뭉치, 또는 동시 출현 어휘에 대한 감성지수를 평가하는 방안도 모색되어야 한다.
이와 관련하여 하나의 어휘가 아닌 말뭉치, 또는 동시 출현 어휘에 대한 감성지수를 평가하는 방안도 모색되어야 한다. 마지막으로 주식 도메인에서 비교적 일관된 감성지수를 갖는 어휘와 짧은 기간 간격으로 변화하는 감성지수를 갖는 어휘를 식별하여, 문서의 극성 도출 시 이를 차별적으로 반영하기 위한 연구가 반드시 수행되어야 한다.
하지만 제안한 모델의 정확도는 학습 데이터와 검증 데이터를 구분하여 수행한 실험에서 매우 낮게 나타나는데, 이는 제안 모델에서 과적합화 현상으로 인한 부작용이 매우 크게 나타났기 때문인 것으로 판단된다. 본 실험은 3개월이라는 다소 짧은 기간의 데이터를 사용하였기 때문에, 이러한 부작용이 더욱 크게 나타난 것으로 판단되며, 향후 충분히 긴 기간의 많은 데이터에 대한 실험을 통해 이러한 현상을 재검증할 필요가 있다. 또한 시기에 따라 학습 데이터와 검증 데이터를 구분하여 수행한 실험에서는 이러한 부작용이 더욱 크게 나타났는데, 이는 두 데이터 세트 간에 시간 간격이 존재함으로써 동일한 어휘가 두 세트에서 갖는 긍정 지수가 서로 다르게 나타났기 때문인 것으로 파악된다.
하지만 이 연구는 문서의 극성 판별에 가장 큰 영향을 미치는 감성사전의 구축에 대해서 명확하게 언급하고 있지 않다는 한계를 갖는다. 즉 이 연구는 주식 시장 영역에 특화된 감성사전이 아닌 범용 감성사전을 이용하여 오피니언 마이닝을 수행하였으며, 이로 인해 동일한 어휘가 도메인에 따라 긍정/부정으로 상이하게 인식될 수 있는 현상을 적절하게 반영하지 못했다는 한계를 갖는다. 이러한 한계를 극복하고 주가지수 방향 예측의 정확도를 향상시키기 위해서는, 주식 시장 영역에 특화된 감성사전을 구축하는 방안에 대한 연구가 반드시 수행되어야 한다.
(2012)은 개별 기업의 주가가 아닌 주가 지수의 방향성을 예측하기 위해 오피니언 마이닝을 활용하였다는 점에서 주가 예측 관련된 기존의 연구와 차별성을 갖는다. 하지만 이 연구는 문서의 극성 판별에 가장 큰 영향을 미치는 감성사전의 구축에 대해서 명확하게 언급하고 있지 않다는 한계를 갖는다. 즉 이 연구는 주식 시장 영역에 특화된 감성사전이 아닌 범용 감성사전을 이용하여 오피니언 마이닝을 수행하였으며, 이로 인해 동일한 어휘가 도메인에 따라 긍정/부정으로 상이하게 인식될 수 있는 현상을 적절하게 반영하지 못했다는 한계를 갖는다.
질의응답
핵심어
질문
논문에서 추출한 답변
해당 문장 또는 문서의 극성을 산출하는 방식의 한계는 무엇인가?
하지만 특정 어휘의 극성은 한 가지로 고유하게 정해져 있지 않으며, 분석의 목적에 따라 그 극성이 상이하게 나타날 수도 있다. 본 연구는 특정 어휘의 극성은 한 가지로 고유하게 정해져 있지 않으며, 분석의 목적에 따라 그 극성이 상이하게 나타날 수도 있다는 인식에서 출발한다. 동일한 어휘의 극성이 해석하는 사람의 입장에 따라 또는 분석 목적에 따라 서로 상이하게 해석되는 현상은 지금까지 다루어지지 않은 어려운 이슈로 알려져 있다. 구체적으로는 주가지수의 상승이라는 한정된 주제에 대해 각 관련 어휘가 갖는 극성을 판별하여 주가지수 상승 예측을 위한 감성사전을 구축하고, 이를 기반으로 한 뉴스 분석을 통해 주가지수의 상승을 예측한 결과를 보이고자 한다.
오피니언 마이닝 또는 감성 분석이란 무엇인가?
우리가 여러 매체를 통해 매일 접하는 뉴스 역시 대표적인 비정형 데이터 중의 하나이다. 이러한 비정형 텍스트 데이터를 분석하는 오피니언 마이닝 또는 감성 분석은 제품, 서비스, 조직, 이슈, 그리고 이들의 여러 속성에 대한 사람들의 의견, 감성, 평가, 태도, 감정 등을 분석하는 일련의 과정을 의미한다. 이러한 오피니언 마이닝을 다루는 많은 연구는, 각 어휘별로 긍정/부정의 극성을 규정해 놓은 감성사전을 사용하며, 한 문장 또는 문서에 나타난 어휘들의 극성 분포에 따라 해당 문장 또는 문서의 극성을 산출하는 방식을 채택한다.
오피니언 마이닝을 다루는 많은 연구는 어떤 방식을 채택하는가?
이러한 비정형 텍스트 데이터를 분석하는 오피니언 마이닝 또는 감성 분석은 제품, 서비스, 조직, 이슈, 그리고 이들의 여러 속성에 대한 사람들의 의견, 감성, 평가, 태도, 감정 등을 분석하는 일련의 과정을 의미한다. 이러한 오피니언 마이닝을 다루는 많은 연구는, 각 어휘별로 긍정/부정의 극성을 규정해 놓은 감성사전을 사용하며, 한 문장 또는 문서에 나타난 어휘들의 극성 분포에 따라 해당 문장 또는 문서의 극성을 산출하는 방식을 채택한다. 하지만 특정 어휘의 극성은 한 가지로 고유하게 정해져 있지 않으며, 분석의 목적에 따라 그 극성이 상이하게 나타날 수도 있다.
참고문헌 (24)
Ahn, H., S. P. Jeon, and J. B. Chay, "The effects of the News Related to the North-South Korean Relationship on the Korean Stock Markets", Korea Institute of Finance : Analysis of Korea Finance, Vol.16, No.2(2010), 199-231.
Ahn, S. and S. Cho, "Stock Prediction Using News Text Mining and Time Series Analysis", Korea Computer Congress, Vol.27, No.1(2010), 364-369.
Chen, H. and D. Zimbra, "AI and Opinion Mining", IEEE Intelligent Systems, Vol.25, No.3(2010), 74-80.
Chung, F. L., "Chak-man Ng : Discovering the Correlation between Stock Time Series and Financial News",Web Intelligence, Vol.1(2008), 880-883.
Fu, T. C., K. K. Lee, D. C. M. Sze, and F. L. Chung, "Chak-man Ng : Discovering the Correlation between Stock Time Series and Financial News", Web Intelligence, Vol.1(2008), 9-12.
Gartner, "Gartner identifies the top10 strategic technologies for 2011", 2010.
Gartner, "2012 Hype Cycle for Emerging Technologies", 2012.
Jung, Y., Y. Choi, and S. H. Myeang, "A study on Negation Handling and Term Weighting Schemes and Their Effects on Mood-based Text Classification", Cognitive Science, Vol. 19, No.4(2008), 477-497.
Kim, J., S. Lee, and H. Yong, "Automatic Classification Scheme of Opinions Written in Korea", Journal of Korean Institute of Information Scientists and Engineers : Database, Vol.38, No.6(2011), 423-428.
Kim, M., J. Kim, M. Cha, and S. H. Chae, "An Emotion Scanning System on Text Documents", Cognitive Science, Vol.12, No.4(2009), 433-442.
Kim, S. W. and H. Ahn, "Development of an Intellient Trading System Using Support Vector Machines and Genetic Algorithms", Journal of Intelligence and Information Systems, Vol.16, No.1(2010), 71-92.
Kim, Y., N. Kim, S. R. Jeong, "Stock-index Invest Model Using News Big Data Opinion Mining", Journal of Intelligence and Information Systems, Vol.18, No.2(2012), 143-156.
Lee, G., "Economic News and Stock Market Correlation : A Study of the UK Market", Conference on Terminology and Knowledge Engineering, 2002.
Liu, B., "Opinion Mining", Department of Computer Science University of Illinois at Chicago, 2010.
Mckinsey, and Company, "Big Data : The next Frontier for Innovation, Competition, and Productivity", 2011.
Mitchell, M. L. and J. H. Mulherin, "The Impact of Public Information on the Stock Market", The Journal of Finance, Vol.49, No.3(1994), 923-950.
Mittermayer, M. A. and G. Knolmayer, "Text Mining Systems for Market Response to News : A Survey", The Institute of Information Systems Working Papers, 2006.
Paik, W., M. H. Kyoung, K. S. Min, H. R. Oh, C. Lim, and M. S. Shin, "Multi-stage News Classification System for Predicting Stock Price Changes", Journal of the Korean Society for Information Management, Vol.24, No.2(2007), 123-141.
Park, J. and I. Han, "Predicting Korea Composite Stock Index(KOSPI) Using Artificial Neural Network", Journal of Intelligence and Information Systems, Vol.1, No.2(1995), 359-371.
Schumaker, R. P. and H. Chen, "Textual Analysis of Stock Market Prediction Using Breaking Financial News : The AZFinText System", ACM Transactions on Information Systems, Vol.27, No.2(2009).
Sehgal, V. and C. Song, "SOPS : Stock Prediction using Web Sentiment Department of Computer Science University of Maryland College Park, Maryland, USA", Seventh IEEE International Conference on Data Mining : Workshops, (2007), 21-26.
Song, C., "News and Financial Prices", International Economic Journal, Vol.8, No.3(2002), 1-34.
Song, J. and S. Lee, "Automatic Construction of Positive/Negative Feature-Predicate Dictionary for Polarity Classification of Product Reviews", Journal of Korean Institute of Information Scientists and Engineers: Software and Application, Vol.38, No.3(2011), 115-177.
Yune, H., H. Kim, and J. Y. Jang, "An Efficient Search Method of Product Review using Opinion Mining Techniques", Journal of Korean Institute of Information Scientists and Engineers : Computing Practices and Letters, Vol.16, No.2(2010), 135-259.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.