[논문]시장 예측값을 사용하여 포트폴리오를 위한 재귀 강화학습 알고리즘의 성능 향상을 위한 연구

강문주; 이주홍; 안준규

문제 정의

본 논문은 재귀 강화학습을 사용한 포트폴리오의 성능을 향상시키기 위해 자산 예측값을 사용한 모델을 제안하였다. LSTM을 사용하여 재귀 강화학습을 구현하고 예측률에 따른 실험을 통하여 자산 예측이 포트폴리오의 성능향상을 확인하였다.

가설 설정

따라서 본 논문은 안정적이면서도 수익을 최대화시키는 포트폴리오의 최적의 자산 배분 비중을 생성하기 위해, 예측값의 활용이 효과적일 것이라는 가설을 세웠다. 본 논문에서는 기존에 Moody가 제시한 재귀 강화학습을 사용하였고, 기존 논문들과 같이 자산들의 과거 데이터와 함께 예측값을 입력으로 함께 사용하였다.

제안 방법

본 논문은 재귀 강화학습을 사용한 포트폴리오의 성능을 향상시키기 위해 자산 예측값을 사용한 모델을 제안하였다. LSTM을 사용하여 재귀 강화학습을 구현하고 예측률에 따른 실험을 통하여 자산 예측이 포트폴리오의 성능향상을 확인하였다. 향후, 자산을 예측하는 여러 딥러닝 또는 기계학습을 방법을 사용하여 본 모델에 추가할 계획이다.
실험은 예측값을 적용하지 않은 포트폴리오 운용모델과 예측율을 40%~65%까지 5%단위마다 적용한 포트폴리오 운용모델의 포트폴리오 가치와 샤프지수를 비교분석하였다. 또한, 대표적인 포트폴리오 운용 모델인 마코위츠 방법과 1/N 포트폴리오 방법을 함께 비교분석 하였다. 표1과 그림2, 그림3은 실험결과이다.
실험은 예측값을 적용하지 않은 포트폴리오 운용모델과 예측율을 40%~65%까지 5%단위마다 적용한 포트폴리오 운용모델의 포트폴리오 가치와 샤프지수를 비교분석하였다. 또한, 대표적인 포트폴리오 운용 모델인 마코위츠 방법과 1/N 포트폴리오 방법을 함께 비교분석 하였다.
본 논문에서는 기존에 Moody가 제시한 재귀 강화학습을 사용하였고, 기존 논문들과 같이 자산들의 과거 데이터와 함께 예측값을 입력으로 함께 사용하였다. 자산들의 과거 데이터만을 사용한 재귀 강화학습과 자산 예측을 추가한 재귀 강화학습의 비교 실험을 통해 자산 예측이 재귀 강화학습을 이용한 포트폴리오 운용에 효과적인지를 실험하였다.
그런 다음 강화학습 부분은 딥러닝 부분으로부터 얻은 deep representations과 상호작용하고 알려지지 않은 환경에서 최종 보상을 축적하기위해 거래 의사 결정을 내렸다. 학습 시스템은 심층 구조와 반복 구조를 모두 나타내는 복합적인 신경망으로 구현했다.

대상 데이터

본 논문에서 사용된 개별자산 데이터는 NASDAQ, S&P500, APA, MS, BMY, CPB의 1일 단위 데이터를 사용하였다. 데이터의 기간은 2007년 2월 15일부터 2016년 7월 1일까지의 데이터를 사용하여 실험을 실행하였다. 훈련데이터의 기간은 2007년 2월 15일부터 2012년 9월 27일까지로 설정하였고 테스트 데이터의 기간은 2012년 9월 28일부터 2014년 7월 28일까지로 설정하였다.
본 논문에서 사용된 개별자산 데이터는 NASDAQ, S&P500, APA, MS, BMY, CPB의 1일 단위 데이터를 사용하였다.
데이터의 기간은 2007년 2월 15일부터 2016년 7월 1일까지의 데이터를 사용하여 실험을 실행하였다. 훈련데이터의 기간은 2007년 2월 15일부터 2012년 9월 27일까지로 설정하였고 테스트 데이터의 기간은 2012년 9월 28일부터 2014년 7월 28일까지로 설정하였다. 실험환경은 Intel Xeon 3.

데이터처리

50Ghz CPU, 128G DRAM과 NVIDIA GTX1080을 사용하여 진행하였다. 실험 프로그램은 Python과 Tensorflow를 사용하여 구현하였다.

이론/모형

LSTM은 RRL과 같이 이전의 포트폴리오 운용에 대한 정보를 LSTM의 Hidden State와 Cell State를 통해서 이전의 정보를 전달받아 입력으로 받은 현재 시점에서의 상태와 상호작용하여 행동을 결정한다. RRL의 재귀구조를 통한 학습원리는 LSTM의 Backpropagation Through Time(BPTT) 학습방법을 사용하였다[10].
본 논문에서는 기존 포트폴리오를 구현하는 많은 모델 중에서 재귀 강화학습(Recurrent Reinforcement Learning, RRL)을 사용하였다.
따라서 본 논문은 안정적이면서도 수익을 최대화시키는 포트폴리오의 최적의 자산 배분 비중을 생성하기 위해, 예측값의 활용이 효과적일 것이라는 가설을 세웠다. 본 논문에서는 기존에 Moody가 제시한 재귀 강화학습을 사용하였고, 기존 논문들과 같이 자산들의 과거 데이터와 함께 예측값을 입력으로 함께 사용하였다. 자산들의 과거 데이터만을 사용한 재귀 강화학습과 자산 예측을 추가한 재귀 강화학습의 비교 실험을 통해 자산 예측이 재귀 강화학습을 이용한 포트폴리오 운용에 효과적인지를 실험하였다.
본 논문에서는 기존에 제시된 RRL의 프레임워크를 Long short term Memory (LSTM)을 사용하여 구현하였다. LSTM은 RRL과 같이 이전의 포트폴리오 운용에 대한 정보를 LSTM의 Hidden State와 Cell State를 통해서 이전의 정보를 전달받아 입력으로 받은 현재 시점에서의 상태와 상호작용하여 행동을 결정한다.

성능/효과

Saud Almahdi[5]는 매매 시그널과 자산 배분 비중을 얻기 위해 Calmar Ratio와 RRL 방법을 사용한 모델을 제안했다. 실험은 자주 거래되는 상장 된 펀드로 구성된 포트폴리오를 사용하여, E(MDD) 기반의 목적 함수가 이전에 제안된 RRL 목적 함수와 비교하여 우수한 수익률을 산출한 결과를 발표하였다.
Yue Deng[4]은 딥러닝과 강화 학습의 두 가지 학습 개념에서 영감을 얻은 모델을 제시하였다. 제시한 모델에서 딥러닝 부분은 유익한 기능 학습을 위한 역동적인 시장 상태를 자동으로 감지한다. 그런 다음 강화학습 부분은 딥러닝 부분으로부터 얻은 deep representations과 상호작용하고 알려지지 않은 환경에서 최종 보상을 축적하기위해 거래 의사 결정을 내렸다.

후속연구

LSTM을 사용하여 재귀 강화학습을 구현하고 예측률에 따른 실험을 통하여 자산 예측이 포트폴리오의 성능향상을 확인하였다. 향후, 자산을 예측하는 여러 딥러닝 또는 기계학습을 방법을 사용하여 본 모델에 추가할 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

시장 예측값을 사용하여 포트폴리오를 위한 재귀 강화학습 알고리즘의 성능 향상을 위한 연구
A Study on Performance Improvement of Recurrent Reinforcement Learning Algorithm for Portfolio Using Market Forecast 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

시장 예측값을 사용하여 포트폴리오를 위한 재귀 강화학습 알고리즘의 성능 향상을 위한 연구 A Study on Performance Improvement of Recurrent Reinforcement Learning Algorithm for Portfolio Using Market Forecast 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

시장 예측값을 사용하여 포트폴리오를 위한 재귀 강화학습 알고리즘의 성능 향상을 위한 연구
A Study on Performance Improvement of Recurrent Reinforcement Learning Algorithm for Portfolio Using Market Forecast 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper