선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
가설 설정
- 단어-문서 매트릭스를 구성하는 기본적인 방안인 분석의 대상이 되는 모든 문서를 수집하여 분류에 영향력을 미치는 단어를 선정하여 사용 하는 것이었다. 본 연구에서는 개별 종목에 대한 문서를 분석하여 종목별 등락에 모두 포함되는 단어를 중립 단어로 선정한다. 선정된 중립 단어 주변에 등장하는 단어들을 추출하여 단어-문서 매트릭스 생성에 활용한다.
제안 방법
- 본 연구에서는 종목 별로 중립 단어를 1차 선정하고, 선정된 단어 중에서 다른 종목에도 많이 포함되는 단어는 추가적으로 제외하는 방안을 활용하였다.
- 본 연구에서는 종목 별로 중립 단어를 1차 선정하고, 선정된 단어 중에서 다른 종목에도 많이 포함되는 단어는 추가적으로 제외하는 방안을 활용하였다. 온라인 뉴스 포털을 통해 시가 총액 상위 10개 종목에 대한 4개월간의 뉴스 기사를 수집하였다.
- 온라인 뉴스 포털을 통해 시가 총액 상위 10개 종목에 대한 4개월간의 뉴스 기사를 수집하였다. 3개월간의 뉴스 기사를 학습 데이터로 분류 모형을 수립하였으며, 남은 1개월간의 뉴스 기사를 모형에 적용하여 다음 날의 주가 움직임을 예측하였다. 본 연구에서 제안하는 중립 단어 활용 알고리즘이 희소성에 기반한 단어 선정 방안에 비해 우수한 분류 성과를 보였다.
- 뉴스 텍스트에서 Bag of Words 방식의 단어 추출을 진행하고 상승, 하락, 변화 없음 등으로 분류하는 방안을 활용하였으며, Naïve Bayesian 분류기(Ahn and Cho, 2010; Seo et al., 2002), SVM(Fung et al., 2002; Mittermayer, 2004), Genetic Algorithm(Thomas and Sycara, 2002)를 활용하였다.
- 본 연구에서 제안하는 방안은 개별 종목의 뉴스 기사를 분석하여 종목별 등락에 모두 포함되는 단어를 중립 단어로 선정하는 것이다. 그리고 선정된 중립 단어 주변에 등장하는 단어들을 추출하여 단어-문서 매트릭스 생성에 활용한다.
- 구조적 단어를 추출하는 방법은 중립 단어를 선정하고 중립 단어가 포함된 문장에서 나머지 단어들을 추출하는 방법이다. 본 연구에서는 10가지 주식 종목과 관련한 뉴스 데이터를 교차 사용하는 방법으로 용언, 체언, 외국어만 사용하여 불용어를 제거하고 중립 단어를 설정하였다.
- 단어의 출현 빈도에 근간하여 불용어를 설정 하거나 단어의 정보 기여도를 산출하여 정보 기여가 낮은 단어들은 제거하는 방식이 사용되어 왔다(Perkins, 2014). 본 연구에서는 온라인 뉴스의 특성을 고려하여 뉴스의 출처별로 불용어를 설정했다. 뉴스의 출처별로 불용어를 설정하는 이유는 [Table 1]과 같이 온라인 뉴스의 출처에 따라서 뉴스의 내용과 관계없이 등장하는 특정한 단어들이 있기 때문이다.
- 이후 단어의 희소성을 구하여 등장하는 빈도가 α 보다 희소한 단어들을 제거하고 나머지 단어들의 가격 등락에 따른 등장 확률을 구한다.
- 10개의 주식 종목에서 선정된 1차 중립 단어들을 누적하여 빈도가 β이상의 값을 갖는 공통 단어들을 제거한 후 최종 중립 단어(NeutralW(Sq, j)))를 추출한다.
- 따라서 주식 종목과 관련 없는 중립 단어를 제거하기 위한 절차를 추가하였다. 10개의 주식 종목에서 선정된 1차 중립 단어들을 누적하여 빈도가 β이상의 값을 갖는 공통 단어들을 제거한 후 최종 중립 단어(NeutralW(Sq, j)))를 추출한다.
- 데이터 수집 시기의 주가 상승, 하락의 경우가 보합인 경우 보다 무척 많았기에 보합인 날은 제외하고, 주가 상승과 하락이라는 두 개의 카테고리로 분류하였다([Table 4] 참조).
- 위와 같은 단계를 걸쳐 추출된 단어를 가지고 단어-문서 매트릭스를 구성하였으며, 분류 알고리즘 모형 생성의 입력 자료로 활용하였다.
- 4개월(2016/02/01 ~ 2016/05/31) 동안 주식 시장이 개장한 날은 총 80일이며 학습 집합으로 초기 60일, 테스트 집합으로 나머지 20일을 활용하였다. 데이터 수집 시기의 주가 상승, 하락의 경우가 보합인 경우 보다 무척 많았기에 보합인 날은 제외하고, 주가 상승과 하락이라는 두 개의 카테고리로 분류하였다([Table 4] 참조).
- 본 연구에서 제안하는 구조적 단어 추출 방법과 기존의 희소성 기반의 단어 추출 방법을 활용 하여 생성된 단어-문서 매트릭스를 가지고 분류 알고리즘에 적용하였다. SVM(Meyer et al, 2012), Boosting(Tuszynski, 2012), RandomForest(Liaw and Wiener, 2002) 알고리즘을 활용하여 Table 4의 학습 데이터를 가지고 학습 모형을 생성하였으며, 테스트 데이터에 적용하여 정확도 (accuracy)를 측정하였다.
- SVM(Meyer et al, 2012), Boosting(Tuszynski, 2012), RandomForest(Liaw and Wiener, 2002) 알고리즘을 활용하여 Table 4의 학습 데이터를 가지고 학습 모형을 생성하였으며, 테스트 데이터에 적용하여 정확도 (accuracy)를 측정하였다. 학습 모형 생성은 반복적인 수행과정을 거쳐 선정된 최적의 변수를 활용하였다.
- 본 연구는 시가총액 상위 10개의 종목의 뉴스 기사를 수집, 분석하여 주가 등락을 예측하였다. 주가 등락 예측 방법은 단어-문서 매트릭스 기반의 분류 모형을 활용하였으며, 단어-문서 매트릭스에서 단어를 제거하는 방안으로 기존의 희소성 기반의 단어 추출 방법과 구조적 단어 추출 방법의 성과를 비교했다. 구조적 단어 추출 방법은 주가 예측을 위해서 해당 종목 뉴스만을 사용 하는 것이 아니라 다른 종목 뉴스들도 활용하여 추출할 단어를 결정하는 것이 차이점이다.
대상 데이터
- 본 연구에서는 종목 별로 중립 단어를 1차 선정하고, 선정된 단어 중에서 다른 종목에도 많이 포함되는 단어는 추가적으로 제외하는 방안을 활용하였다. 온라인 뉴스 포털을 통해 시가 총액 상위 10개 종목에 대한 4개월간의 뉴스 기사를 수집하였다. 3개월간의 뉴스 기사를 학습 데이터로 분류 모형을 수립하였으며, 남은 1개월간의 뉴스 기사를 모형에 적용하여 다음 날의 주가 움직임을 예측하였다.
- 해당 기업의 뉴스를 2016년 2월 1일부터 2016년 5월 31일까지 수집하였다.
- 본 연구는 2016년 6월 시점에서 KOSPI 시가 총액 기준 상위 10개 종목을 선정하였다. 해당 기업의 뉴스를 2016년 2월 1일부터 2016년 5월 31일까지 수집하였다.
- 해당 기업의 뉴스를 2016년 2월 1일부터 2016년 5월 31일까지 수집하였다. 뉴스 수집은 네이버 뉴스를 통해 이루어 졌으며, R에서 N2H4 패키지를 활용하였다(https://github.com/forkonlp/N2H4).KOSPI 시가총액 상위 10개 종목은 삼성전자 (005930), 한국전력(015760), 현대차(005380), 현대모비스(012330), 아모레퍼시픽(090430), 삼성 물산(028260), NAVER(035420), SK하이닉스 (000660), 삼성생명(032830), POSCO(005490) 이다.
- KOSPI 시가총액 상위 10개 종목은 삼성전자 (005930), 한국전력(015760), 현대차(005380), 현대모비스(012330), 아모레퍼시픽(090430), 삼성 물산(028260), NAVER(035420), SK하이닉스 (000660), 삼성생명(032830), POSCO(005490) 이다. 삼성전자우선주(005935)의 경우 삼성전자와 매우 유사한 주식이기 때문에 이를 제외하고 다음 순위 주식 종목을 포함하여 10개의 종목을 선정하였다.
- 주가 예측을 위한 온라인 뉴스는 국내 웹 포털 사이트인 네이버를 통해 수집하였다 [Figure 1].
- 본 연구는 시가총액 상위 10개의 종목의 뉴스 기사를 수집, 분석하여 주가 등락을 예측하였다. 주가 등락 예측 방법은 단어-문서 매트릭스 기반의 분류 모형을 활용하였으며, 단어-문서 매트릭스에서 단어를 제거하는 방안으로 기존의 희소성 기반의 단어 추출 방법과 구조적 단어 추출 방법의 성과를 비교했다.
이론/모형
- 뉴스 기사들의 감성 극성 파악을 위해 범용적인 사전을 활용하여 뉴스 내용의 긍정, 부정 정도를 측정하였으며, 감성 극성과 주가 움직임 간의 연관관계를 예측에 활용하였다(Kim et al., 2012; Jeong et al. 2015). 일상에서 쓰이는 범용 사전을 기업 뉴스의 감성 극성 파악에 활용하는 것은 기업의 주가 상승에 긍정적인 내용과 부정적인 내용을 파악하는 데 어려움이 있다(Jeong et al.
- SVM(Meyer et al, 2012), Boosting(Tuszynski, 2012), RandomForest(Liaw and Wiener, 2002) 알고리즘을 활용하여 Table 4의 학습 데이터를 가지고 학습 모형을 생성하였으며, 테스트 데이터에 적용하여 정확도 (accuracy)를 측정하였다.
성능/효과
- 3개월간의 뉴스 기사를 학습 데이터로 분류 모형을 수립하였으며, 남은 1개월간의 뉴스 기사를 모형에 적용하여 다음 날의 주가 움직임을 예측하였다. 본 연구에서 제안하는 중립 단어 활용 알고리즘이 희소성에 기반한 단어 선정 방안에 비해 우수한 분류 성과를 보였다.
- Schumaker (2009)는 뉴스 기사에서 추출한 단어와 주식 가격 데이터를 SVM을 통해 수립한 모형을 통해 뉴스 출시 20분 후의 주가 움직임을 예측하였다. 뉴스 기사에 포함된 단어, 명사, Named Entities을 활용하여 다양한 실험을 수행하였으며, 트레이딩 시뮬레이션 및 주가 움직임 방향성 정확도는 명사만 활용한 경우의 성과가 제일 좋았다.
- (2015)는 뉴스 기사에 포함된 단어를 전부 사용하는 것보다 이벤트 속성에 해당하는 단어들만 사용하는 것이 더욱 예측 정확도가 높은 것을 보였으며, 예측에는 SVM, 신경망과 딥 러닝 기법을 활용하였다. SVM이나 신경망을 사용한 경우보다 딥 러닝 기법을 적용한 모형의 성과가 더 좋았다.
- [Table 5] 는 단어 추출 방안과 적용 알고리즘에 따른 예측 정확도이다. 구조적 단어 추출을 통한 방안의 평균 정확도가 희소성 기반 단어 추출 방안의 평균 정확도보다 높았으며, Boosting 분류 알고리즘을 적용한 경우의 정확도 평균이 제일 높았다.
- 즉 상승, 하락에 모두 등장하는 단어를 제거하는 것뿐만 아니라 여러 종목의 뉴스에 공통적으로 등장하는 단어들도 제거하였다. 예측 정확도를 비교 하였을 때 구조적 단어 추출 방법을 활용한 것이 더 높은 정확도를 보였다.
후속연구
- 하지만 주식을 분석하는 것은 사람이기 때문에 주관성을 배제하는 것은 상당히 어렵다. 본 연구는 단어를 추출하는 방법에서부터 주가를 예측하는 모형 모두 이런 분석가의 주관적 분석을 배제하며 분석이 가능하다.
- 본 연구의 한계점은 상승, 하락을 분류하는 문제로 주가 예측을 설정하여 보합인 날의 데이터는 사용하지 않은 점과 시가 총액 상위 10개 종목에 대해서만 실험이 행해졌다는 것이다. 실험에 활용한 10개 주식이 주식시장 전체를 대표 하지는 않는다.
- 또한 주가의 등락과 수익률은 다를 수 있기 때문에 투자 성과를 나타내기 어렵다. 따라서 더 많은 표본을 활용한 연구와 트레이딩 시뮬레이션을 통한 수익률 예측 연구가 필요하다.
- 또한 종목별 정확도 차이와 분류 알고리즘별 정확도차이를 가져오는 요인에 대한 추가적인 분석이 필요하다. 이를 통해 데이터의 특성에 적합한 분류 알고리즘 선정이 가능해 질 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.