[논문]Word2Vec을 활용한 뉴스 기반 주가지수 방향성 예측용 감성 사전 구축

김다예; 이영인

Word2Vec을 활용한 뉴스 기반 주가지수 방향성 예측용 감성 사전 구축
News based Stock Market Sentiment Lexicon Acquisition Using Word2Vec 원문보기

The journal of Bigdata = 한국빅데이터학회지, v.3 no.1, 2018년, pp.13 - 20

김다예 (연세대학교 정보대학원) , 이영인 (연세대학교 정보대학원)

초록
AI-Helper

주식 시장에 대한 예측은 오랜 기간 많은 이들의 꿈이었다. 하지만 수많은 노력에도 불구하고 주식 시장을 정확하게 예측하기란 쉬운 일이 아니었다. 본 연구는 주식 시장의 방향성에 주목하여 이 방향성을 예측할 수 있는 감성사전을 구축하는 새로운 방법을 제시한다. 이를 위해 2015년 1월 1일부터 2017년 12월 31일까지 3년간의 증시 뉴스 25,000여 건의 데이터를 수집하여, 문맥을 고려하기 위한 Word2Vec을 적용하였다. 이를 바탕으로 뉴스에 감성분석을 실시하여 KOSPI 종가 지수를 예측해 보았다.

Abstract ▼ AI-Helper

Stock market prediction has been long dream for researchers as well as the public. Forecasting ever-changing stock market, though, proved a Herculean task. This study proposes a novel stock market sentiment lexicon acquisition system that can predict the growth (or decline) of stock market index, based on economic news. For this purpose, we have collected 3-year's economic news from January 2015 to December 2017 and adopted Word2Vec model to consider the context of words. To evaluate the result, we performed sentiment analysis to collected news data with the automated constructed lexicon and compared with closings of the KOSPI (Korea Composite Stock Price Index), the South Korean stock market index based on economic news.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 주가 방향성 예측용 감성사전을 자동으로 구축하기 위해 진행된 것으로, 3년치 증시 주요 뉴스 데이터를 활용하여 TF-IDF로 중요 단어를 추려낸 이후 단어의 문맥을 고려할 수 있는 Word2Vec을 기반으로 하여 주가 방향성 예측용 모델을 생성하고, 이 모델을 적용해서 주가의 방향성을 예측하였다.
본 연구의 의의는 25,000여 건의 기사를 토대로 문맥을 고려하여 단어 감성사전을 자동으로 구축하는 방법을 제시하였다는 것이다. 전통적으로 주식 시장 예측에 활용된 뉴스 데이터를 활용하면서도 Word2vec을 활용해 단어의 문맥을 본격 적용해 자동으로 감성 사전을 구축한 것이다.
Word2vec은 구글의 Mikolov 등이 2013년 제안한 개념으로, 신경망 분석에 기반을 둔 비지도 학습 기법이다[15]. 이 모델은 각 단어들이 학습문헌 내에서 가지는 의미를 다차원의 벡터 값을 통해 수치적으로 표현하는 것을 목표로 하였다[5]. 여기에는 두 가지 아키텍쳐가 존재하는데, 하나는 CBOW이고 다른 하나는 Skip-gram이다.
하지만 기존 연구에서는 단어의 문맥이 충분히 고려되지 않았으며, 사용된 데이터의 크기 또한 크지 않았다. 이에 본 연구는 3년치 증시 주요 뉴스 데이터를 활용하여 주가지수의 방향성을 예측하기 위한 감성사전을 문맥을 고려하여 자동으로 구축해보고자 한다.

제안 방법

Word2vec 결과를 바탕으로, 클러스터링을 진행하였다. 클러스터링에는 K-means 알고리즘을 사용하였다.
Word2vec을 기반으로 구축된 감성사전을 평가하기 위하여 감성분석을 진행하였다. 2015년1월 1일부터 2017년 12월 31일까지의 KOSPI 종가 데이터와 비교해 보았다.
데이터수집이 완료된 후, 수집된 데이터를 기반으로 전처리를 진행하였다. 기사 하단의 불필요한 광고 등 문구를 삭제하고 이를 기반으로 형태소 분석을 실시하였다. 형태소 분석기는 Python의 KoNLPy를 이용해 꼬꼬마 형태소 분석기를 사용하였다[2].
KOSPI 종가 데이터는 한국거래소 KRX의 Marketdata에서 엑셀 파일 형태로 다운로드 가능하다[28]. 다운로드 받은 엑셀 파일에서 일자, 현재지수 외에도 대비, 등락률, 배당수익률, 추가이익비율, 주가자산 비율 등등 다양한 지수를 열람 가능하지만 해당 감성사전은 주가지수의 방향성에 초점을 맞추고 있기 때문에, 방향성 비교를 위해 대비를 활용하였다.
전체 분석 과정은 <그림 2>와 같다. 데이터수집이 완료된 후, 수집된 데이터를 기반으로 전처리를 진행하였다. 기사 하단의 불필요한 광고 등 문구를 삭제하고 이를 기반으로 형태소 분석을 실시하였다.
이에 최소 등장 횟수로 사용 단어 수를 조절하였다. 벡터 사이즈의 경우 너무 낮은 값을 넣게 되면 단어들이 한 곳으로 몰려 클러스터로 나누기에 무의미한 결과를 보여줬으므로, 최대한의 차이점을 주기 위해 컴퓨팅 파워가 허락하는 한 높여보았다. 이를 위해 Python의 gensim 라이브러리를 활용하였다.
TF-IDF는 TF와 IDF를 곱한 값으로, 한 단어의 특정 문서에서 중요도를 나타내는 값이다[19]. 본 연구에서는 Python의 오픈소스 라이브러리 gensim[30]을 이용해 TF-IDF를 산출하고, 0.1 이상의 값을 가지는 단어들만을 골라내 3,688,238개의 단어로 추려냈다.
본 연구에서는 두 가지 모델을 모두 채택해 진행하였다. Skip-gram의 경우 CBOW보다 많은 컴퓨팅 파워를 필요로 하였기에, 일부 연산은 메모리 부족 에러로 아쉽게도 진행하지 못하였다.
형태소 분석기는 Python의 KoNLPy를 이용해 꼬꼬마 형태소 분석기를 사용하였다[2]. 이후 2글자 이상인 단어만 추출하고 불용어 사전을 구축하여 불용어와 숫자, 특수문자 등을 제거하였다.

대상 데이터

Word2vec을 기반으로 구축된 감성사전을 평가하기 위하여 감성분석을 진행하였다. 2015년1월 1일부터 2017년 12월 31일까지의 KOSPI 종가 데이터와 비교해 보았다. KOSPI 종가 데이터는 한국거래소 KRX의 Marketdata에서 엑셀 파일 형태로 다운로드 가능하다[28].
하나의 주제로 묶여 올라온 기사의 경우 대표 기사만 수집하였으며, 수집도구로는 Python의 기본 라이브러리와 beautifulsoup을 사용했다. 그 결과, 24,995개의 기사가 수집되었고, 중복 및 결측치를 제외한 50개 언론사의 24,985개의 기사가 분석에 활용되었다.
네이버 금융[27]의 주요 뉴스에는 <그림 1>에서 볼 수 있듯이 하루에 올라오는 증시 뉴스 중 네이버 측에서 엄선한 약 40개의 뉴스 기사가 노출된다. 이를 기준으로, 증시관련 일간 주요 뉴스를 2015년 1월 1일부터 2017년 12월 31일까지 수집했다. 하나의 주제로 묶여 올라온 기사의 경우 대표 기사만 수집하였으며, 수집도구로는 Python의 기본 라이브러리와 beautifulsoup을 사용했다.

이론/모형

벡터 사이즈의 경우 너무 낮은 값을 넣게 되면 단어들이 한 곳으로 몰려 클러스터로 나누기에 무의미한 결과를 보여줬으므로, 최대한의 차이점을 주기 위해 컴퓨팅 파워가 허락하는 한 높여보았다. 이를 위해 Python의 gensim 라이브러리를 활용하였다. 생성된 Word2vec 모델별 정보는 다음의 <표 1>과 같다.
그 결과 3개의 클러스터가 형성되었다. 이를 위해 Python의 오픈소스 라이브러리 Scikit-learn[28]을 활용하였다.
Word2vec 결과를 바탕으로, 클러스터링을 진행하였다. 클러스터링에는 K-means 알고리즘을 사용하였다. K-means 알고리즘은 가장 잘 알려진 분할적 클러스터링 방법으로, 다양한 분야에서 독립적으로 생겨난 역사를 지니고 있다.
이를 기준으로, 증시관련 일간 주요 뉴스를 2015년 1월 1일부터 2017년 12월 31일까지 수집했다. 하나의 주제로 묶여 올라온 기사의 경우 대표 기사만 수집하였으며, 수집도구로는 Python의 기본 라이브러리와 beautifulsoup을 사용했다. 그 결과, 24,995개의 기사가 수집되었고, 중복 및 결측치를 제외한 50개 언론사의 24,985개의 기사가 분석에 활용되었다.
기사 하단의 불필요한 광고 등 문구를 삭제하고 이를 기반으로 형태소 분석을 실시하였다. 형태소 분석기는 Python의 KoNLPy를 이용해 꼬꼬마 형태소 분석기를 사용하였다[2]. 이후 2글자 이상인 단어만 추출하고 불용어 사전을 구축하여 불용어와 숫자, 특수문자 등을 제거하였다.

성능/효과

Skip-gram의 경우 CBOW보다 많은 컴퓨팅 파워를 필요로 하였기에, 일부 연산은 메모리 부족 에러로 아쉽게도 진행하지 못하였다. 3,688,238개의 단어 중 고유한 단어의 수는 41,116개였는데, 모두 사용할 경우 역시 메모리 부족 에러가 발생하였다. 이에 최소 등장 횟수로 사용 단어 수를 조절하였다.
반면에 가장 고른 클러스터 분포를 보여주었던 단어수 14,911, 벡터 사이즈 20,000에 Skip-gram 아키텍처를 사용한 모델 6은 무난한 성능을 보여주었지만, 재현율을 제외하고는 모델 1에 비해 낮은 수치를 보여주었다. 수치상으로는 재현율이 가장 큰 차이를 보였는데 모델 5의 재현율이 유일하게 50% 이하의 값을 나타냈으며, 모델 4의 재현율은 58%로 약 9% 정도의 차이를 보였다.
모델 평가 결과, 대체로 50%대의 비슷비슷한 정확도를 보였다. 이 중, 단어수 25,902, 벡터 사이즈 8,000에 CBOW 아키텍쳐를 활용한 모델 1이 가장 높은 정확도를 보여줬으며, 재현율을 제외한 정밀도와 F값에서도 가장 높은 수치를 보여주었다. 반면에 가장 고른 클러스터 분포를 보여주었던 단어수 14,911, 벡터 사이즈 20,000에 Skip-gram 아키텍처를 사용한 모델 6은 무난한 성능을 보여주었지만, 재현율을 제외하고는 모델 1에 비해 낮은 수치를 보여주었다.

후속연구

전통적으로 주식 시장 예측에 활용된 뉴스 데이터를 활용하면서도 Word2vec을 활용해 단어의 문맥을 본격 적용해 자동으로 감성 사전을 구축한 것이다. 그러므로 이를 다른 분야에도 활용을 한다면 문맥을 고려한 각 분야의 감성사전을 자동으로 구축해 해당 분야와 관련된 학계와 산업계 및 정부에서 유용하게 쓰일 수 있을 것으로 보인다.
후속 연구로는 컴퓨팅 파워를 확보하여 본 연구에서 진행하지 못했던 연산을 수행해 모델을 제작할 수 있을 것이다. 또한 해당 모형을 좀 더 보완하여 전자, 제약 등 특정 분야의 주가에 대한 감성사전을 제작해 주식 시장이라는 광범위한 도메인을 모두 아우르는 것이 아닌, 보다 전문화된 감성사전을 구축하는 연구가 진행될 수 있을 것으로 보인다.
후속 연구로는 컴퓨팅 파워를 확보하여 본 연구에서 진행하지 못했던 연산을 수행해 모델을 제작할 수 있을 것이다. 또한 해당 모형을 좀 더 보완하여 전자, 제약 등 특정 분야의 주가에 대한 감성사전을 제작해 주식 시장이라는 광범위한 도메인을 모두 아우르는 것이 아닌, 보다 전문화된 감성사전을 구축하는 연구가 진행될 수 있을 것으로 보인다.

질의응답

핵심어	질문	논문에서 추출한 답변
	EMH란 어떤 가설인가?	초기의 주식 시장 예측 연구의 대세는 Fama(1965)가 제시한 EMH(Efficient Market Hypothesis)였다[9]. 주가가 뉴스 같은 새로운 정보에 크게 영향을 받는다는 내용인데, 뉴스는 무작위성을 보이기 때문에, 결국 주식 시장 예측정확도는 50% 이상이 될 수 없다는 것이었다[18]. 하지만 연구자들의 노력은 계속되어, EMH가 옳지 않다는 것이 밝혀졌다[8, 18].
	감성사전이란?	주식 시장을 예측하는 방법 또한 다양했는데, 감성분석(Sentiment Analysis)도 그 중 하나이다[7, 20, 21, 23]. 감성사전은 감성분석을 위해 필요한 단어들의 사전으로, 각 분야마다 활용되는 단어가 다르기에 새롭게 만들어야 한다. 예를 들어 감자라는 단어가 일반 문서에서 등장한다면 식품인 감자를 나타내 중성인 단어가 되겠지만, 감자가 금융 관련 문서에 등장한다면 이는 주식회사나 유한 회사가 결손을 보전하거나 과대 자본을 시정하기 위하여 법원에 등록되어 있는 자본의 총액을 줄이는 일[29]을 나타내 전혀 다른 감성을 나타내게 된다.
	감성분석이란?	감성분석은 오피니언 마이닝이라고도 불리며, 비정형 텍스트 데이터로부터 특정 상품이나 개념에 대한 사람들의 생각, 감정, 태도와 같은 주관적인 반응을 분석해내는 과정을 의미한다[1, 17]. 이러한 감성분석을 통해 주식 시장을 예측하려는 시도 또한 많이 있었다.

참고문헌 (30)

김재봉, 김형중, "주가지수 방향성 예측을 위한 도메인 맞춤형 감성사전 구축방안", 한국디지털콘텐츠학회논문지, 제18권, 제3호, pp.585-592, 2017.
박은정, 조성준, "KoNLPy : 쉽고 간결한 한국어 정보처리 파이썬 패키지", 제26회 한글 및 한국어 정보처리 학술대회논문집, 2014.
안성원, 조성배, "뉴스 텍스트 마이닝과 시계열 분석을 이용한 주가예측", 한국정보과학회 학술발표논문집, 제37권, 제1C호, pp.364-369, 2010.
유은지, 김유신, 김남규, 정승렬, "주가지수 방향성 예측을 위한 주제지향감성사전 구축 방안", 지능정보연구, 제19권, 제1호, pp.95-110, 2013.

원문보기 상세보기
한남기, "word2vec 학습 자질을 사용한 새로운 한글 개체명 인식 모델 제안", 석사학위논문, 연세대학교, 서울, 2016.
홍태호, 김은미, 차은정, "뉴스 감성분석과 SVM을 이용한 다우존스 지수와 S&P500 지수 예측", 인터넷전자상거래연구, 제17권, 제1호, pp.23-36, 2017.
Antweiler, W. and M. Frank, "Is all that talk just noise? The information content of internet stock message boards", The Journal of Finance, Vol.59, No.3, pp.1259-1294, 2004.

상세보기
Bollen, J., H. Mao, and X. Zeng, "Twitter mood predicts the stock market", Journal of Computational Science, Vol.2, No.1, pp.1-8, 2011.

상세보기
Fama, E., "The behavior of stock-market prices", The Journal of Business, Vol.38, No.1, pp.34-105, 1965.

상세보기
Hiransha, M., E. Gopalakrishnan, K. Vijay, and K. Soman, "NSE Stock Market Prediction Using Deep-Learning Models", Procedia Computer Science, Vol.132, pp.1351-1362, 2018.

상세보기
Jain, A., "Data clustering: 50 years beyond K-means", Pattern Recognition Letters, Vol.31, No.8, pp.651-666, 2010.

상세보기
Li, Q., T. Wang, P. Li, L. Liu, Q. Gong, and Y. Chen, "The effect of news and public mood on stock movements", Information Sciences, Vol.278, pp.826-840, 2014.

상세보기
Li, X., H. Xie, L. Chen, J. Wang, and X. Deng, "News impact on stock price return via sentiment analysis", Knowledge-Based Systems, Vol.69, No.1, pp.14-23, 2014.
Matsubara, T., R. Akita, and K. Uehara, "Stock Price Prediction by Deep Neural Generative Model of News Articles", IEICE Transactions on Information and Systems, Vol.E101, No.4, pp.901-908, 2018.
Mikolov, T., K. Chen, G. Corrado, and J. Dean, "Efficient Estimation of Word Representations in Vector Space", arXiv preprint, arXiv:1301.3781 [cs.CL], 2013.
Oliveira, N., P. Cortez, and N. Areal, "Stock market sentiment lexicon acquisition using microblogging data and statistical measures", Decision Support Systems, Vol.85, pp.52-73, 2016
Pang, B. and L. Lee, "Opinion mining and sentiment analysis", Foundations and Trends in Information Retrieval, Vol.2, No.1-2, pp.1-135, 2018.
Qian, B. and K. Rasheed, "Stock market prediction with multiple classifiers", Applied Intelligence, Vol.26, No.1, pp.25-33, 2007.

상세보기
Salton, G. and M. McGill, Introduction to Modern Information Retrieva, McGraw-Hill, 1986.
Schumaker, R. and H. Chen, "Textual Analysis of stock market prediction using breaking financial news : The AZFin Text System", ACM Transactions on Information Systems, Vol.27, No.2, pp.1-19, 2009.
Schumaker, R., Y. Zhang, C. Huang, and H. Chen, "Evaluating sentiment in financial news articles", Decision Support Systems, Vol.53, No.3, pp.458-464, 2012.

상세보기
Wu, G., T. Hou, and J. Lin, "Can economic news predict Taiwan stock market returns?", Asia Pacific Management Review, 2018.
Yu, Y., W. Duan, and Q. Cao, "The impact of social and conventional media on firm equity value : a sentiment analysis approach", Decision Support Systems, Vol.55, No.4, pp.919-926, 2013.

상세보기
Zhang, X., H. Fuehres, and P. Gloor, "Predicting Stock Market Indicators Through Twitter "I hope it is not as bad as I fear", Procedia-Social and Behavioral Sciences, Vol.26, pp.55-62, 2011.

상세보기
Zhou, X., Z. Pan, H. Guyu, T. Siqi, and C. Zhao, "Stock Market Prediction on High-Frequency Data Using Generative Adversarial Nets", Mathematical Problems in Engineering, Vol.2018, 2018.

상세보기
http://marketdata.krx.co.kr/mdi#document030402.
http://finance.naver.com/news/mainnews.nhn.
http://scikit-learn.org/stable/index.html.
https://ko.dict.naver.com/detail.nhn?docid867600.
https://radimrehurek.com/gensim/.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증