[논문]인터넷 뉴스 빅데이터를 활용한 기업 주가지수 예측

유지돈; 이익선

doi:10.11627/jkise.2018.41.3.154

문제 정의

이러한 논문들의 공통적인 접근법은 단어들의 감성사전을 만들고, 인터넷 뉴스기사들을 수집하여, 감성사전을 활용하여 뉴스기사들의 긍정 혹은 부정의 정도를 평가한다는 점이다. 긍정 또는 부정의 감성점수에 근거하여 개별 기업의 주가지수의 등락을 규명하는 연구들을 수행했다.
본 논문은 이러한 한계들 속에서도 인터넷 뉴스기사를 통해 추출되어진 어휘를 통해 주가와 상관관계를 분석하는 연구를 수행하였다. 인터넷의 포털 ‘다음’에서 뉴스기사들이 수집되었는데, 특정 날짜에 따라 검색되어진 인터넷 뉴스기사를 수집하였다.
본 논문은 인터넷의 뉴스기사들 속에서 선별 및 추출되어진 단어들을 활용하여 한국의 대표적인 H기업의 주가지수를 예측하는 연구를 수행한다. 뉴스기가들은 인터넷 포털 ‘다음’에서 수집되었는데, 특정 날짜에 따라 검색되어진 인터넷 뉴스기사를 수집한다.
본 연구는 H사 주가지수의 상승·하락 등락률을 예측하기 위해 다중회귀분석에 기반하여 2가지의 예측모델을 제시하였다.
본 연구는 우리나라의 대표적인 자동차제조기업 H사를 선정하여, H사의 주가지수를 예측하는 예측모델을 제시하였다. 본 연구는 H사 주가지수의 상승·하락 등락률을 예측하기 위해 다중회귀분석에 기반하여 2가지의 예측모델을 제시하였다.
본 연구는 인터넷의 주식관련 뉴스기사가 기업의 주가지수의 상승 및 하락에 영향력을 가질 것이라는 가정하에서 기업의 주가지수 변동성을 예측하는 연구를 수행하였다. 즉 인터넷 뉴스기사들을 수집하고 정제 및 가공하였으며, 기업의 실제 주가지수와 예측모델들의 예측값을 비교하여 정확도를 평가하는 테스트를 실시하였다.
본 논문은 수집된 데이터들을 긍정 또는 부정적인 의미에 따른 빈도로 측정하고, 주가지수에 관련이 큰 단어들만을 선별하였다. 이를 통해 추출되어진 어휘와 주가와의 상관관계를 입증하고, 예측 정확도 비교 테스트를 통해 도출되어진 예측모델들의 평균 오차를 파악하여 가장 우수한 투자 예측모델을 제시하고자 한다.
인터넷 포털사이트에서 거의 실시간으로 출현하는 수십만 건의 기사들을 비정형 빅데이터으로 간주하여 가공, 처리 및 분석해서 동향을 파악하고자 한다. 인터넷에서 넘쳐나는 다양한 유형의 비정형 빅데이터는 동시다발적으로 대량의 정보를 생성함으로써 사람들에게 정보를 제공하고 있다.

제안 방법

인터넷의 포털 ‘다음’에서 뉴스기사들이 수집되었는데, 특정 날짜에 따라 검색되어진 인터넷 뉴스기사를 수집하였다. 본 논문은 수집된 데이터들을 긍정 또는 부정적인 의미에 따른 빈도로 측정하고, 주가지수에 관련이 큰 단어들만을 선별하였다. 이를 통해 추출되어진 어휘와 주가와의 상관관계를 입증하고, 예측 정확도 비교 테스트를 통해 도출되어진 예측모델들의 평균 오차를 파악하여 가장 우수한 투자 예측모델을 제시하고자 한다.
본 연구는 H사에 관련하여 ‘다음’ 포털사이트에서 검색된 뉴스기사 ±2% 이상 상승․하락한 날의 각 15일치 데이터를 수집하였고, 전처리분석 과정을 통해 텍스트를 정제 및 분류하였다.
뉴스기가들은 인터넷 포털 ‘다음’에서 수집되었는데, 특정 날짜에 따라 검색되어진 인터넷 뉴스기사를 수집한다. 수집된 데이터는 빈도수로 파악하고, 빈도수가 높은 단어들을 추출한다. 이를 통해 추출되어진 단어와 H기업의 주가지수와의 상관관계를 입증하고, 도출되어진 예측모델들을 비교하여 성능테스트를 실시하여 가장 나은 예측모델을 제시한다.
수집된 H사의 인터넷 뉴스기사들은 먼저 뉴스기사 텍스트들의 형태소를 분석하는 과정을 거쳤다. 수집된 텍스트들이 워낙 방대하기 때문에, 이를 주요한 단어들로만 추출하도록 정제화(cleaning)하는 작업을 수행하였다. 단어들과 함께 수집된 부수적인 기호나 조사들은 분리하는 작업을 수행하였고, 주가지수에 전혀 영향을 미치지 않는 일반적인 지명이나, 장소, 날짜, 날씨 등의 단어들도 정제하였다.
수집된 데이터는 빈도수로 파악하고, 빈도수가 높은 단어들을 추출한다. 이를 통해 추출되어진 단어와 H기업의 주가지수와의 상관관계를 입증하고, 도출되어진 예측모델들을 비교하여 성능테스트를 실시하여 가장 나은 예측모델을 제시한다.
허양민[3]은 인터넷의 검색어들을 수집하고, 블로그 및 SNS의 텍스트들의 감정을 긍정 혹은 부정으로 평가하여 종합주가지수의 상승 또는 하락을 예측하는 방법을 연구하였다. 인터넷 검색어에 기반하여, SNS 및 블로그에서 출현되는 관련된 텍스트들을 수집하여, 이러한 텍스트들과 종합주가지수와의 상관성을 분석하였다.
하락한 날의 각 15일치 데이터를 수집하였고, 전처리분석 과정을 통해 텍스트를 정제 및 분류하였다. 정제되어진 단어들은 주가지수와 관련성이 높고, 빈도출현이 많은 단어들을 중심으로 8개의 긍정 변수 및 8개의 부정 변수들로 정리하였다.
정제화 과정을 거친 후에는 한국어 단어 분석에 활용되는 “Krkwic” 소프트웨어를 활용하여 빈도를 분석하였다[10, 11, 12].
즉 본 연구는 H사의 주가지수를 예측하기 위해 H사와 관련된 인터넷 뉴스들을 수집하고 기초분석하여 12개의 ‘명사’ 변수들(상승, 이익, 매수(순매수) 증가, 강세, 개선, 하락, 손실, 부진, 매도(순매도) 감소, 적자)과 내용을 서술해주는 10개의 ‘동사’ 변수들(반등했다, 유지했다, 오른, 기대된, 회복했다, 매각했다, 우려된, 내린, 급락했다, 둔화되다)로서 분류작업을 실행하여, 8개의 ‘긍정’ 변수들과 8개의 ‘부정’ 변수들로 분류하는 작업을 실행하였다.
본 연구는 인터넷의 주식관련 뉴스기사가 기업의 주가지수의 상승 및 하락에 영향력을 가질 것이라는 가정하에서 기업의 주가지수 변동성을 예측하는 연구를 수행하였다. 즉 인터넷 뉴스기사들을 수집하고 정제 및 가공하였으며, 기업의 실제 주가지수와 예측모델들의 예측값을 비교하여 정확도를 평가하는 테스트를 실시하였다.
종합주가지수 KOSPI의 동향을 예측하기 위한 색다른 연구로서 감성사전을 만들고, 이러한 감성사전에 기초로 뉴스기사들에 대해서 감성점수를 평가한 연구들도 존재한다[4, 6, 8]. 측정된 감성점수를 활용하여 긍정 혹은 부정적인 느낌의 정도를 판단하고 종합주가지수 KOSPI와의 관련성을 분석하고 연구했다.

대상 데이터

2015년 특정 날짜에 검색되어진 주가지수 ±2% 이상 상승한 15일치 뉴스와 하락한 15일치의 뉴스 데이터 약 57,000건을 수집하여 실험을 수행하였다.
뉴스기가들은 인터넷 포털 ‘다음’에서 수집되었는데, 특정 날짜에 따라 검색되어진 인터넷 뉴스기사를 수집한다.
인터넷의 포털 ‘다음’에서 뉴스기사들이 수집되었는데, 특정 날짜에 따라 검색되어진 인터넷 뉴스기사를 수집하였다.

데이터처리

정제화 과정을 거친 후에는 한국어 단어 분석에 활용되는 “Krkwic” 소프트웨어를 활용하여 빈도를 분석하였다[10, 11, 12]. 빈도를 분석한 결과를 바탕으로 빈도가 많은 단어들을 선별하고, 그러한 단어들을 회귀분석의 독립변수들로 활용하였다. 즉 본 연구는 H사의 주가지수를 예측하기 위해 H사와 관련된 인터넷 뉴스들을 수집하고 기초분석하여 12개의 ‘명사’ 변수들(상승, 이익, 매수(순매수) 증가, 강세, 개선, 하락, 손실, 부진, 매도(순매도) 감소, 적자)과 내용을 서술해주는 10개의 ‘동사’ 변수들(반등했다, 유지했다, 오른, 기대된, 회복했다, 매각했다, 우려된, 내린, 급락했다, 둔화되다)로서 분류작업을 실행하여, 8개의 ‘긍정’ 변수들과 8개의 ‘부정’ 변수들로 분류하는 작업을 실행하였다.
즉 본 연구는 H사의 주가지수를 예측하기 위해 H사와 관련된 인터넷 뉴스들을 수집하고 기초분석하여 12개의 ‘명사’ 변수들(상승, 이익, 매수(순매수) 증가, 강세, 개선, 하락, 손실, 부진, 매도(순매도) 감소, 적자)과 내용을 서술해주는 10개의 ‘동사’ 변수들(반등했다, 유지했다, 오른, 기대된, 회복했다, 매각했다, 우려된, 내린, 급락했다, 둔화되다)로서 분류작업을 실행하여, 8개의 ‘긍정’ 변수들과 8개의 ‘부정’ 변수들로 분류하는 작업을 실행하였다. 이러한 분류작업을 거친 단어들이 H사의 주가지수와 관련성이 있는지를 확인하기 위해 단순 다중회귀분석을 비롯하여, 단계적 다중회귀분석을 SPSS 22.0 소프트웨어를 이용하여 테스트를 수행하였다. [Table 2]는 본 연구의 분류작업 결과로서 도출된 긍정 및 부정 단어들이다.
정제과정과 분류과정을 거쳐서 선정된 16개의 단어 변수들을 통합하여 다중회귀분석을 실시하였다. [Table 4]는 다중회귀분석 결과를 나타낸 것으로 16개의 변수들을 모두 독립변수로 고려하여 다중회귀분석을 실시한 결과자료이다.
주가지수를 예측하기 위해 도출되어진 변수들이 상대적으로 적합한지를 확인하기 위해 단계적 다중회귀분석(stepwise regression analysis)을 실시하였다. 즉 보다 나은 예측모델을 제시하기 위해서 16개의 독립변수를 활용하는 단계적 다중회귀분석을 실시하였다.
주가지수를 예측하기 위해 도출되어진 변수들이 상대적으로 적합한지를 확인하기 위해 단계적 다중회귀분석(stepwise regression analysis)을 실시하였다. 즉 보다 나은 예측모델을 제시하기 위해서 16개의 독립변수를 활용하는 단계적 다중회귀분석을 실시하였다. [Table 5]에서 분석의 결과를 확인할 수 있다.

성능/효과

[Table 9]는 단계적 다중회귀분석을 통해 도출되어진 예측모델 ②에 의한 예측값과 2016년 주가지수의 실제값 정확도 테스트이다. 2016년 상승했던 날들의 실제값과 예측값의 정확도의 차이를 분석한 결과 최소오차와 최대오차는 각각 2.06%와 3.44%였으며, 전체 평균값은 2.76%로 예측모델 ①보다 상대적으로 좋지 않은 예측력을 보였다.
[Figure 2]는 2가지 예측모델에 따른 하락한 날의 오차 추이를 보여주고 있는 그래프이다. 2가지 예측모델 중 예측모델 ①과 예측모델 ②가 모두 비슷한 파형을 보여주고 있으며 단순 다중회귀분석과 단계적 다중회귀분석이 비슷한 정확도를 예측하고 있지만, 예측모델 ①이 예측모델 ②보다 오차의 범위가 더 작게 나타남을 보여주고 있다고 말할 수 있으며, 예측모델 ②가 안정적으로 주가지수의 하락세에 대한 예측 정확도를 보여주고 있다고 말할 수 있다.
본 연구는 H사 주가지수의 상승·하락 등락률을 예측하기 위해 다중회귀분석에 기반하여 2가지의 예측모델을 제시하였다. 2가지 예측모델 중에서 예측모델 ①의 오차값이 낮게 나타났으며 상대적으로 예측모델 ②보다 나은 성능을 보임을 확인하였다. 향후에 본 연구의 내용을 기본으로 실제 인공지능형 투자결정시스템으로 보완 및 구현하여 실물투자에 적용해본다면 보다 현실적인 예측모델을 고안할 것으로 기대해본다.
5개의 변수중 주가지수가 상승에 가장 많은 영향을 미치는 변수는 ‘강화’ 변수(.672)로 나타났고 하락하는 주가지수에 큰 영향을 끼치는 변수는 ‘부진’(-.410)로 나타났다.
04%로 최소, 최대 오차값의 범위가 예측모델 ①보다 큰 차이가 없음을 확 인할 수 있다. 개별적 데이터 오차값에서도 규칙적인 데이터 검증을 확인할 수 있었던 예측모델 ①보다는 예측 정확도가 다소 좋지 않음을 확인할 수 있다.
그러므로 단계적 다중회귀분석 모델은 유의수준 p < .000으로서 통계적으로 유의미한 것으로 나타났으며, 주가지수에 ‘강화’, ‘부진’, ‘약세’, ‘규제’, ‘점유율’의 변수들은 H사의 주가지수에 의미 있는 영향력을 제공한다고 말할 수 있다.
본 연구의 연구내용을 토대로 판단해보면 인터넷에서 실시간으로 꾸준히 출현하는 주식과 관련 뉴스기사들의 긍정적 혹은 부정적인 단어의 발생은 기업의 주가지수 변동성에 충분히 영향을 미치고 있다고 말할 수 있다. 본 연구의 예측모델이 정확한 주가지수 자체를 예측하기에는 다소나마의 한계가 존재하지만 기업의 주가지수의 등락의 경향성은 비교적 잘 예측한다는 점에서는 적지 않은 의미가 있다고 말할 수 있다.
본 연구에서 활용하는 예측방법론은 상승 또는 하락하는 날에 빈번하게 출현하는 단어들에 기반하여 예측했기 때문에, 정부의 정책발표나 대내외의 상황변화 등의 외부적인 돌발 이벤트가 발생하는 경우에는 기업의 주가지수의 변동성을 예측하는 것에는 어렵다고 말할 수 있을 것이다. 실험의 결과에서 확인하듯이 외부적인 돌발 이벤트에 기인하여 큰 변동성을 보이는 특별한 날에는 예측모델의 성능이 낮아지는 경향을 확인할 수 있었다. 이러한 현상으로부터 본 논문의 과정에서 선정된 긍정 및 부정의 단어들이 기업의 주가지수의 변동을 모두 설명한다고 말할 수 없다는 것을 방증한다.
이코노미스트(Economist)는 대략적으로 전 세계 600개 기업에게 빅데이터 활용 사례에 관해 조사를 실시하였다. 조사 대상자의 10%는 빅데이터가 지금까지의 비즈니스 모델을 전혀 새롭게 혁신할 것이며, 46%의 응답자는 기업에서 중요한 의사결정요인이 될 것이라고 예상하였다. 하지만 25%의 응답자는 기업 내부에 데이터가 많아도 이러한 데이터를 잘 써먹지 못하고 있으며, 53%의 응답자는 극히 일부의 데이터만을 사용하고 있다고 답변했다.
즉 [Table 6]의 결과에서 확인하듯이 단계적 다중회귀분석에서 주가지수와 상관관계가 있는 변인으로는 ‘강화’, ‘부진’, ‘약세’, ‘규제’, ‘점유율’ 변수가 통계적으로 p < .10에서 유의미한 것으로 나타났다.
즉, 총 5개의 ‘강화’, ‘부진’, ‘약세’, ‘규제’, ‘점유율’ 독립변수가 주가지수의 65.2% 설명하고 있는 것으로 나타났다.
92%로 최소, 최대 오차값의 범위가 상승구간에 비해 오차 범위가 큰 것을 확인 할 수 있다. 하지만 하락값에 대한 일반적인 예측 정확도는 특정 하루를 제외한 모든 일자가 하락률을 예측하고 있기에 등락의 정확도는 비교적 정확한 것으로 나타났다.

후속연구

본 연구를 추가적으로 확장해본다면, 본 연구는 명사 및 동사의 어휘군들을 활용하였는데, 이러한 일부의 어휘만을 사용하기보다는 우리나라 국어의 언어적 성질을 폭넓게 반영하는 추가적인 연구가 수행될 필요가 있을 것이다. 언어는 복잡하고 미묘한 상황에 따라 똑같은 표현일지라도 상황에 따라서 어떤 단어 의미가 긍정으로 해석되기도 하고, 정반대로 부정으로 해석되기도 한다.
언어는 복잡하고 미묘한 상황에 따라 똑같은 표현일지라도 상황에 따라서 어떤 단어 의미가 긍정으로 해석되기도 하고, 정반대로 부정으로 해석되기도 한다. 이러한 언어적인 특수한 성질을 더욱 면밀히 반영한다면 예측모형의 정확성을 향상시킬 가능성이 있으리라 사료된다.
2가지 예측모델 중에서 예측모델 ①의 오차값이 낮게 나타났으며 상대적으로 예측모델 ②보다 나은 성능을 보임을 확인하였다. 향후에 본 연구의 내용을 기본으로 실제 인공지능형 투자결정시스템으로 보완 및 구현하여 실물투자에 적용해본다면 보다 현실적인 예측모델을 고안할 것으로 기대해본다.

핵심어	질문	논문에서 추출한 답변
	단계적 다중회귀분석을 사용한 이유는 무엇인가?	주가지수를 예측하기 위해 도출되어진 변수들이 상대적으로 적합한지를 확인하기 위해 단계적 다중회귀분석(stepwise regression analysis)을 실시하였다. 즉 보다 나은 예측모델을 제시하기 위해서 16개의 독립변수를 활용하는 단계적 다중회귀분석을 실시하였다.
	오피니언 마이닝 기술이란 무엇인가?	오피니언 마이닝 기술은 빅데이터에 포함되는 사건이나 이슈, 인물 등에서 발생되는 사람들의 감정이나 생각, 의견 등을 분석하는 기술이다. 오피니언은 제품을 구매할 때 상품평이나 영화를 본 감상평과 같이 특정한 주제에 대해서 사람들의 주관적인 생각이나 감정 등을 일컫는다.
	언어적인 특수한 성질을 반영하면 예측모델의 정확성이 올라갈거라는 이유는 무엇인가?	본 연구를 추가적으로 확장해본다면, 본 연구는 명사 및 동사의 어휘군들을 활용하였는데, 이러한 일부의 어휘만을 사용하기보다는 우리나라 국어의 언어적 성질을 폭넓게 반영하는 추가적인 연구가 수행될 필요가 있을 것이다. 언어는 복잡하고 미묘한 상황에 따라 똑같은 표현일지라도 상황에 따라서 어떤 단어 의미가 긍정으로 해석되기도 하고, 정반대로 부정으로 해석되기도 한다. 이러한 언어적인 특수한 성질을 더욱 면밀히 반영한다면 예측모형의 정확성을 향상시킬 가능성이 있으리라 사료된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

인터넷 뉴스 빅데이터를 활용한 기업 주가지수 예측
A Prediction of Stock Price Through the Big-data Analysis 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

질의응답

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

인터넷 뉴스 빅데이터를 활용한 기업 주가지수 예측 A Prediction of Stock Price Through the Big-data Analysis 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

질의응답

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

이익선 (15)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

인터넷 뉴스 빅데이터를 활용한 기업 주가지수 예측
A Prediction of Stock Price Through the Big-data Analysis 원문보기

AI 본문요약
AI-Helper