[논문]주가 경향 예측 모델의 공정한 성능 평가 방법

임정수

doi:10.5392/jkca.2020.20.10.702

주가 경향 예측 모델의 공정한 성능 평가 방법
Fair Performance Evaluation Method for Stock Trend Prediction Models 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.20 no.10, 2020년, pp.702 - 714

임정수 (한국교통대학교 전자공학과)

초록
AI-Helper

주식 투자는 재테크의 하나로 금리 인하와 비과세 제도의 축소에 따라 주목을 받기 시작했다. 그러나 투자에 전문적인 지식이 필요할 뿐 아니라 위험 부담이 크다는 단점이 있다. 따라서 주가 경향의 정확한 예측은 개인투자자에게나 주식 투자 관련 서비스를 제공하는 회사에 중요한 능력이며, 더욱 정확한 예측을 위한 연구가 활발히 진행 중이다. 그러나 예측 연구들의 공정한 비교와 최고의 예측 모델을 얻기 위한 하이퍼-파라미터의 최적화에는 예측 모델의 성능을 정확하게 평가하는 방법이 필요한데, 지금까지 예측 모델의 성능 평가에 대한 연구는 미진한 상태이며, 기존 방법들을 그대로 답습하고 있는 실정이다. 이에 본 논문에서는 주가 예측 모델 성능 평가를 측정기준과 데이터 구성의 관점에서 분석하고, 예측 불균형 비율을 이용한 주가 경향 예측 모델의 공정한 성능 평가 방법을 제안한다.

Abstract ▼ AI-Helper

Stock investment is a personal investment technique that has gathered tremendous interest since the reduction in interest rates and tax exemption. However, it is risky especially for those who do not have expert knowledge on stock volatility. Therefore, it is well understood that accurate stock trend prediction can greatly help stock investment, giving birth to a volume of research work in the field. In order to compare different research works and to optimize hyper-parameters for prediction models, it is required to have an evaluation standard that can accurately assess performances of prediction models. However, little research has been done in the area, and conventionally used methods have been employed repeatedly without being rigorously validated. For this reason, we first analyze performance evaluation of stock trend prediction with respect to performance metrics and data composition, and propose a fair evaluation method based on prediction disparity ratio.

주제어

표/그림 (7)

표 표 1. 주가 경향 예측 연구 비교 분석
그림 그림 1. 주식 경향 예측 결과 예시
표 표 2. 분석 환경
그림 그림 2. 하이퍼 파라미너 선택 예시
그림 그림 3. '상승'과 '하강'으로 레이블된 비율, 예측된 비율에 따른 측정값의 변화
표 표 3. 평균을 새로운 측정기준으로 사용한 예시
표 표 4. 다양한 모델의 측정값 및 PDR 비교

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러므로 본 절에서는 테스트와 검증 데이터 내의 ‘상승’으로 레이블된 벡터와 ‘하강’으로 레이블된 벡터의 비율이 하이퍼-파라미터 조정과 연구 결과의 비교에 어떻게 영향을 미치는지 분석하고자 한다.
그럼 실제로 학습된 모델이 보여주는 PDR과 다섯 가지 측정값의 관계를 살펴보도록 하자. [표 4]는 각 주식에 대해 하이퍼-파라미터를 조절하여 가장 높은 정확도를 얻은 경우 (Highest acc.
따라서 본 논문에서는 데이터 구성 시에 ‘상승’과 ‘하강’으로 레이블된 데이터의 비율을 고려하지 않는 경우 어떤 영향이 있는지 분석하려고 한다.
따라서 본 논문에서는 첫 번째로 기존에 사용해오던 주가 경향 예측 모델의 성능 평가 방법에 문제가 없는지 성능 측정기준과 데이터 구성의 관점에서 분석한다. 그리고 두 번째로 이 분석 결과를 바탕으로 새로운 성능 평가 방법을 제안한다.
그러나 [표 1]을 보면 측정기준으로 정확도만을 사용하는 연구도 많이 있으며 각 연구마다 사용하는 측정기준이 다르다. 따라서 본 절에서는 정확도, 재현율, 특이도, 정밀도, 음성예측도 중에서 예측의 성능을 온전히 나타내기 위해서 어떤 기준들의 사용되어야 하는지 분석하고자 한다.
그러나 두 개 또는 세 개의 측정기준을 사용하는 경우가 대부분이며, 재현율, 특이도, 정밀도, 음성예측도를 모두 제시하는 연구는 보이지 않는다. 이렇게 각 연구에서 사용하는 측정기준이 다르기 때문에 본 논문에서는 주가 경향 예측 모델의 성능을 온전히 나타내기 위해서 어떤 측정기준들이 필요한지 분석해 보고자 한다.
하지만 이 모두를 고려하여 예측의 성능을 평가하기는 쉽지 않다. 이에 본 논문에서는 주가 경향 예측의 성능을 평가하기 위해 예측 불균형 비율 (PDR)에 기반을 둔 방법을 제시하였다. 이 성능 평가 방법은 재현율, 특이도, 정밀도, 음성예측도를 모두 표현하는 PDR과 정확도만으로 성능을 나타낼 수 있다.

가설 설정

[그림 1]은 주식 경향 예측에서 얻을 수 있는 세 가지 결과를 보여준다. 이 결과들은 서로 다른 예측 기법을 적용했을 때의 결과로 각 기법의 성능을 비교한다고 가정해보자. 정확도만 고려한다면 Result3가 가장 높은 성능을 보인다고 할 수 있다.

제안 방법

그럼 실제로 학습된 모델이 보여주는 PDR과 다섯 가지 측정값의 관계를 살펴보도록 하자. [표 4]는 각 주식에 대해 하이퍼-파라미터를 조절하여 가장 높은 정확도를 얻은 경우 (Highest acc.), 가장 높은 정확도와의 차이가 5% 이내인 정확도 중 가장 낮은 PDR을 얻은 경우 (Lowest PDR within top 5% acc.), 가장 높은 정확도와의 차이가 5% 이내인 정확도 중 가장 높은 PDR을 얻은 경우 (Highest PDR within top 5% acc.), PDR이 0.1 이하인 경우 중에 가장 높은 정확도를 얻은 경우 (Highest acc. with PDR of 0.1)에 대하여 정확도 (accuracy), 재현율 (recall), 특이도 (specificity), 정밀도 (precision), 음성예측도 (NPV)를 정리하였다. 표에서 보여주는 주식별 네 가지 경우는 하이퍼-파라미터를 바꿔가며 만든 다수의 예측 모델 중 특별히 상기 조건에 맞게 선택된 네 개 예측 모델로부터 얻어지는 결과이다.
전체 데이터의 70%는 학습 데이터로, 그리고 나머지 30%는 검증 데이터로 사용하였으며 검증 데이터 내의 ‘상승’으로 레이블된 벡터와 ‘하강’으로 레이블된 벡터의 비율은 동일하게 설정하였다. 그리고 27개의 기술지표 (technical indicator) 중 주성분 분석 (principal component analysis)을 통하여 선별된 지표를 특징 벡터로 사용하였다. 특징별로 정규화를 수행했으며 예측을 위한 분류기로는 서포트벡터머신 (support vector machine)을 사용하였다.
따라서 본 논문에서는 첫 번째로 기존에 사용해오던 주가 경향 예측 모델의 성능 평가 방법에 문제가 없는지 성능 측정기준과 데이터 구성의 관점에서 분석한다. 그리고 두 번째로 이 분석 결과를 바탕으로 새로운 성능 평가 방법을 제안한다.
그리고 27개의 기술지표 (technical indicator) 중 주성분 분석 (principal component analysis)을 통하여 선별된 지표를 특징 벡터로 사용하였다. 특징별로 정규화를 수행했으며 예측을 위한 분류기로는 서포트벡터머신 (support vector machine)을 사용하였다.

대상 데이터

본 논문은 주가의 경향을 ‘상승’과 ‘하강’로 예측하는 이진 분류를 대상으로 하고 있다.
분석을 위해 대표적 주식 200개 종목으로 산출되는 주가지수인 KOSPI200을 비롯하여 삼성전자, 한국전력, 모비스, 기업은행의 10년치 주가를 이용하였다. 전체 데이터의 70%는 학습 데이터로, 그리고 나머지 30%는 검증 데이터로 사용하였으며 검증 데이터 내의 ‘상승’으로 레이블된 벡터와 ‘하강’으로 레이블된 벡터의 비율은 동일하게 설정하였다.
전체 데이터의 70%는 학습 데이터로, 그리고 나머지 30%는 검증 데이터로 사용하였으며 검증 데이터 내의 ‘상승’으로 레이블된 벡터와 ‘하강’으로 레이블된 벡터의 비율은 동일하게 설정하였다.

성능/효과

Result1의 정확도는 세 개의 결과 중 제일 낮으므로 정확도만 고려한다면 가장 안 좋은 평가를 받을 수밖에 없지만, 모든 측정값을 고려한다면 상대적으로 가장 균형적인 예측을 하고 있음을 알 수 있다. 따라서 [그림 1]을 통하여 기존의 연구와 같이 정확도만 가지고 또는 일부의 측정값만 가지고 예측의 성능을 평가하는 것은 예측의 성능을 온전히 나타낼 수 없으며 정확도, 재현율, 특이도, 정밀도, 음성예측도를 모두 고려해야 함을 알 수 있다.
6이 넘어 예측 모델로 선택되기에는 부적절하다. 가장 낮은 PDR을 가지는 경우와 비교하면, 정확도는 비슷하지만, 예측의 균형 측면에서는 많이 다를 수 있다는 것을 보여준다.
가장 높은 정확도를 얻은 경우, 모든 주식에 대하여 PDR이 0.14보다 컸으며 이는 가장 높은 정확도와 가장 낮은 PDR은 동시에 얻기 힘들다는 것을 뜻한다. 특히 KEPCO의 경우는 PDR이 0.
가장 높은 정확도의 5% 이내의 정확도 중 가장 낮은 PDR을 얻은 경우를 보면 재현율과 특이도의 차이가 Mobis를 제외하고 0.03보다 작으며 Mobis의 경우에 도 0.1이 되지 않아 균형 잡힌 예측을 하고 있지만, 정확도는 최고 정확도보다 평균 3.1% 낮다.
가장 높은 정확도의 5% 이내의 정확도 중 가장 높은 PDR을 얻은 경우를 살펴보면 최고 정확도보다 평균 2.1% 낮은 정확도이지만 PDR은 모두 0.6이 넘어 예측 모델로 선택되기에는 부적절하다. 가장 낮은 PDR을 가지는 경우와 비교하면, 정확도는 비슷하지만, 예측의 균형 측면에서는 많이 다를 수 있다는 것을 보여준다.
22인 것과 비교하면 보다 적절한 예측 모델이라고 할 수 있다. 따라서 예측 모델의 성능을 평가할 때 어느 정도의 PDR ([표 4]의 예에서는 0.1) 내에서 얻을 수 있는 최고의 정확도를 보이는 모델을 선택하는 것이 가장 타당하다고 할 수 있으며 이 예측 모델의 평가 기준의 사용을 제안한다.
본 절의 분석 결과를 정리하면, 주가 경향 예측 알고리즘을 비교하기 위한 측정기준으로 정확도뿐 아니라 재현율, 특이도, 정밀도, 음성예측도를 모두 제시해야 해당 알고리즘의 성능을 온전히 나타낼 수 있다. 또한, 하이퍼-파라미터 선정 시에도 상기 모든 측정기준을 고려해야 각 하이퍼-파라미터가 적용되어 만들어진 예측 모델의 성능을 정확하게 파악하여 최적의 하이퍼-파라미터를 선택할 수 있다.
마지막으로 PDR이 0.1보다 작은 경우 얻을 수 있는 최고의 정확도 (highest acc. with PDR of 0.1)를 보면 평균 0.067의 PDR을 가져 측정값 간의 차이가 크지 않으며, 이 때의 평균 정확도는 얻을 수 있는 최고 정확도보다 1.59% 떨어지는 것으로 분석되었다. 가장 높은 정확도를 얻을 때 PDR은 0.
본 절의 분석 결과를 정리하면, 주가 경향 예측 알고리즘을 비교하기 위한 측정기준으로 정확도뿐 아니라 재현율, 특이도, 정밀도, 음성예측도를 모두 제시해야 해당 알고리즘의 성능을 온전히 나타낼 수 있다. 또한, 하이퍼-파라미터 선정 시에도 상기 모든 측정기준을 고려해야 각 하이퍼-파라미터가 적용되어 만들어진 예측 모델의 성능을 정확하게 파악하여 최적의 하이퍼-파라미터를 선택할 수 있다.
이 성능 평가 방법의 장점은 PDR을 이용하여 재현율, 특이도, 정밀도, 음성예측도를 모두 고려하는 효과를 가지면서, 간단하게 정확도만으로 성능을 나타낼 수 있다는 것이다. 따라서 하이퍼-파라미터의 최적화와 다른 연구결과와의 비교를 온전하게, 그리고 쉽게 수행할 수 있다.

후속연구

본 논문은 주가의 경향을 ‘상승’과 ‘하강’로 예측하는 이진 분류를 대상으로 하고 있다. 그러나 주가의 경향을 세 가지 이상으로 분류하는 연구도 있으므로 이런 경우의 성능 평가 방법에 관한 연구를 진행할 계획이다. 또한 본 논문에서는 성능의 평가 기준으로 정확도를 대상으로 했지만, 주가 예측 모델의 또 다른 성능 평가 기준인 수익률에 대한 연구도 진행할 예정이다.
그러나 아무도 Model3를 Model1보다 선호하지 않을 것이며, 역시 평균값을 가지고 모델의 좋고 나쁨을 따지는 것은 부적절하다는 것을 보여준다. 그러므로 하나의 값으로 모델의 성능을 제대로 표현할 수 없으며 정확도에 측정값 간의 차이의 정도를 나타내는 지표를 추가하여 사용하는 것이 적절할 것이다. 여기서 측정값 간의 차이는 재현율과 특이도의 차이, 그리고 정밀도와 음성예측도의 차이를 의미하며 이들 간의 차이가 줄어들수록 모든 다섯 개의 측정값들은 로 비슷해지게 된다.
그러나 주가의 경향을 세 가지 이상으로 분류하는 연구도 있으므로 이런 경우의 성능 평가 방법에 관한 연구를 진행할 계획이다. 또한 본 논문에서는 성능의 평가 기준으로 정확도를 대상으로 했지만, 주가 예측 모델의 또 다른 성능 평가 기준인 수익률에 대한 연구도 진행할 예정이다.
[그림 3]에서 볼 수 있듯이 데이터의 구성이 달라지면 같은 모델이라도 얻을 수 있는 정확도, 재현율 등과 같은 측정값이 달라지기 때문에, 그 연구를 보고 결과를 재현하거나, 다른 연구 결과와 비교하기 위해서는 데이터 구성에 대한 정보가 필요하다. 또한, 동일한 데이터 구성을 사용하여 연구결과를 도출한다면, 즉 연구자들 사이에 어떤 기준이 있다면, 여러 주가 경향 예측 알고리즘의 성능을 더욱 쉽게 비교할 수 있을 것이다.
이 성능 평가 방법은 재현율, 특이도, 정밀도, 음성예측도를 모두 표현하는 PDR과 정확도만으로 성능을 나타낼 수 있다. 이 방법이 주식 경향 예측 연구에 널리 적용된다면 최적의 예측 모델을 만들 수 있고, 연구 결과의 공정하고 용이한 비교가 가능할 것으로 기대된다.
이렇게 기계학습을 이용한 많은 주가 관련 예측 연구가 발표되고 있으므로 각 연구에서 제안하는 예측 모델들의 비교를 위해서는 각 모델의 예측 성능을 평가하는 공통된 방법이 필요하다. 또한, 기계학습을 이용하여 예측 모델을 만들 때 거쳐야 하는 하이퍼-파라미터 (hyper-parameter) 최적화 과정에서도 모델의 예측 성능을 평가하는 방법이 필요하다.
주가 경향 예측에 대한 새로운 알고리즘을 개발했다면 그 알고리즘을 검증하기 위하여 주가 데이터를 가지고 경향 예측의 성능을 평가하여 그 결과를 제시하게 된다. 이때, 실험 설정에 대한 정보도 함께 제공되어야 하는데, 이 정보에는 검증 데이터와 테스트 데이터의 ‘상승’과 ‘하강’ 벡터의 구성비율도 포함되어야 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	예측 대상에 따라 주가와 관련된 예측은 어떻게 나눌 수 있는가?	주가와 관련된 예측에는 예측 대상에 따라 두 가지 종류로 나눌 수가 있다. 미래의 주가 자체의 예측과 미래 주가의 경향 (trend) 예측이 그것이다. 이 예측들에 근거하여 거래 신호 (매입, 보유, 매도) 발생, 거래 시점 예측 등이 가능하다.
	기계학습 기법에서 데이터가 많을경우 어떻게 나누어 지는가?	기계학습 기법을 사용하는 주식 경향 예측에 있어서 데이터는 많은 경우 학습 데이터 (training data), 검증 데이터 (validation data), 그리고 테스트 데이터 (test data)로 나누어진다. 학습 데이터는 모델을 만드는 데 사용되는 데이터이고, 검증 데이터는 학습되고 있는 모델을 위한 최적의 하이퍼-파라미터 (hyper-parameter)를 얻는 데 사용된다.
	신경회로망에서의 하이퍼-파라미터는 무엇인가?	하이퍼-파라미터 (hyper-parameter)란 신경회로망(neural network)이나 서포트벡터머신 (support vector machine)을 학습시킬 때 필요한 파라미터로 신경회로망의 경우 은닉층 (hidden layer)의 개수, 은닉층 뉴런의 개수, 학습률, 활성함수 (activation function)의 종류 및 관련 파라미터 등을 의미하며, 서포트벡터머신의 경우 커널함수 (kernel function)의 종류 및 관련 파라미터, 그리고 코스트 파라미터 등을 포함한다. 하이퍼-파라미터의 설정에 따라 학습의 결과로 도출되는 예측 모델의 성능이 크게 달라지기 때문에 가장 좋은 성능을 보이는 예측 모델을 위한 하이퍼-파라미터를 찾는 것은 학습에서 매우 중요한 일이라 할 수 있다.

참고문헌 (33)

H. S. Sim, H. I. Kim, and J. J. Ahn, "Is deep learning for image recognition applicable to stock market prediction?," Complexity, Vol.2019, pp.1-10, 2019.

상세보기
https://www.index.go.kr/main.do
X. Zhang, Y. Hu, K. Xie, S. Wang, E. Ngai, and M. Liu, "A causal feature selection algorithm for stock prediction modeling," Neurocomputing, Vol.142, pp.48-59, 2014.

상세보기
https://en.wikipedia.org/wiki/Robo-advisor
http://www.ratestbed.kr/portal/main/main.do
E. Hoseinzade and S. Haratizadeh, "CNNpred: CNN-based stock market prediction using a diverse set of variables," Expert Systems with Applications, Vol.129, pp.273-285, 2019.

상세보기
W. Chiang, D. ENke, T. Wu, and R. Wang, "An adaptive stock index trading decision support system," Expert Systems with Applications, Vol.59, pp.195-207, 2016.

상세보기
J. Zhang, S. Cui, Y. Xu, Q. Li, and T. Li, "A novel data-driven stock price trend prediction system," Expert Systems with Applications, Vol.97, pp.60-69, 2018.

상세보기
Y. Chen and Y. Hao, "Integrating principle component analysis and weighted support vector machine for stock trading signals prediction," Neurocomputing, Vol.321, pp.381-402, 2018.

상세보기
C. Tsai and Y. Hsiao, "Combining multiple feature selection methods for stock prediction: Union, intersection, and multi-intersection approaches," Decision Support Systems, Vol.50, pp.258-269, 2010.

상세보기
Z. Hu, J. Zhu, and K. Tse, "Stocks market prediction using support vector machine," Int. Conf. on Information Management, Innovation Management and Industrial Engineering, pp.115-118, 2013.
J. Patel, S. Shah, P. Thakkar, and K. Kotecha, "Predicting stock and stock price index movement using trend deterministic data preparation and machine learning techniques," Expert Systems with Applications, Vol.42, pp.259-268, 2015.

상세보기
A. N. Kia, S. Haratizadeh, and S. B. Shouraki, "A hybrid supervised semi-supervised graph-based model to predict one-day ahead movement of global stock markets and commodity prices," Expert Systems with Applications, Vol.105, pp.159-173, 2018.

상세보기
W. Long, Z. Lu, and L. Cui, "Deep learning-based feature engineering for stock price movement prediction," Knowledge-Based Systems, Vol.164, pp.163-173, 2019.

상세보기
박강희, 신현정, "Semi-supervised learning을 이용한 주가예측," 한국경영과학회 학술대회 논문집, pp.110-116, 2010.
안성원, 조성배, "뉴스 텍스트 마이닝과 시계열 분석을 이용한 주가예측," 한국정보과학회 학술발표 논문집, pp.364-369, 2010.
신동근, 정경용, "웨이블릿 변환과 퍼지 신경망을 이용한 단기 KOSPI 예측," 한국콘텐츠학회논문지, 제11권, 제6호, pp.1-7, 2011.

원문보기 상세보기
김진화, 홍광헌, 민진영, "지식 누적을 이용한 실시간 주식시장 예측," 지능정보연구, 제17권, 제4호, pp.109-130, 2011.

원문보기 상세보기
허준영, 양진용, "SVM 기반의 재무 정보를 이용한 주가 예측," 정보과학회 컴퓨팅의 실제 논문지, 제21권, 제3호, pp.167-172, 2015.
Z. Lei and W. Lin, "Price trend prediction of stock market using outlier data mining algorithm," IEEE Int. Conf. on Big Data and Cloud Computing, pp.93-98, 2015.
G. Dong, K. Fataliyev, and L. Wang, "One-step and multi-step ahead stock prediction using backpropagation neural networks," Int. Conf. on Information, Communication, and Signal Processing, pp.1-5, 2013.
F. Wang, Z. Zhao, X. Li, and H. Zhang, "Stock volatility prediction using multi-kernel learning based extreme learning machine," Int. Joint Conf. on Neural Networks, pp.3078-3085, 2014.
Y. Xu, Z. Li, and L. Luo, "A study on feature selection for the trend prediction of stock trading price," Int. Conf. on Computational and Information Sciences, pp.579-582, 2013.
K. Kim, "Financial time series forecasting using support vector machine," Neurocomputing, Vol.55, pp.307-319, 2003.

상세보기
Y. Lin, H. Guo, and J. Hu, "An SVM-based approach for stock market trend prediction," Int. Joint Conf. on Neural Networks, 2013.
A. K. Sirohi, P. K. Mahato, and V. Attar, "Multiple kernel learning for stock price direction prediction," IEEE Int. Conf. on Advances in Engineering & Technology Research. 2014.
D. Kato and T. Nagao, "Stock prediction using multiple time series of stock prices and news articles," IEEE Symposium on Computers & Informatics, pp.11-16, 2012.
Y. Luo, J. Hu, X. Wei, D. Fang, and H. Shao, "Stock trends prediction based on hypergraph modeling clustering algorithm," IEEE Int. Conf. on Progress in Informatics and Computing, pp.27-31, 2014.
K. Kim and I. Han, "Genetic algorithms approach to feature discretization in artificial neural networks for the prediction of stock price index," Expert Systems with Applications, Vol.19, pp.125-132, 2000.

상세보기
A. Oztekin, R. Kizilaslan, S. Freund, and A. Iseri, "A data analytic approach to forecasting daily stock returns in an emerging market," European Journal of Operational Research, Vol.253, pp.697-710, 2016.

상세보기
M. Lee, "Using support vector machine with hybrid feature selection method to the stock trend prediction," Expert Systems with Applications, Vol.36, pp.10896-10904, 2009.

상세보기
L. Ni, Z. Ni, and Y. Gao, "Stock trend prediction based on fractal feature selection and support vector machine," Expert System with Applications, Vol.38, pp.5569-5576, 2011.

상세보기
D. Kumar, S. S. Meghwani, and M. Thakur, "Proximal support vector machine based hybrid prediction models for trend forecasting in financial markets," Journal of Computational Science, Vol.17, pp.1-13, 2016.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증