[논문]딥러닝을 이용한 이변량 장기종속시계열 예측

김지영; 백창룡

doi:10.5351/kjas.2019.32.1.069

딥러닝을 이용한 이변량 장기종속시계열 예측
Bivariate long range dependent time series forecasting using deep learning 원문보기

응용통계연구 = The Korean journal of applied statistics, v.32 no.1, 2019년, pp.69 - 81

초록
AI-Helper

본 논문에서는 딥러닝을 이용한 이변량 장기종속시계열(long-range dependent time series) 예측을 고려하였다. 시계열 데이터 예측에 적합한 LSTM(long short-term memory) 네트워크를 이용하여 이변량 장기종속시계열을 예측하고 이를 이변량 FARIMA(fractional ARIMA) 모형인 FIVARMA 모형과 VARFIMA 모형과의 예측 성능을 실증 자료 분석을 통해 비교하였다. 실증 자료로는 기능적 자기공명 영상(fMRI) 및 일일 실현 변동성(daily realized volatility) 자료를 이용하였으며 표본외 예측(out-of sample forecasting) 오차 비교를 통해 예측 성능을 측정하였다. 그 결과, FIVARMA 모형과 VARFIMA 모형의 예측값에는 미묘한 차이가 존재하며, LSTM 네트워크의 경우 초매개변수 선택으로 복잡해 보이지만 계산적으로 더 안정되면서 예측 성능도 모수적 장기종속시계열과 뒤지지 않은 좋은 예측 성능을 보였다.

Abstract ▼ AI-Helper

We consider bivariate long range dependent (LRD) time series forecasting using a deep learning method. A long short-term memory (LSTM) network well-suited to time series data is applied to forecast bivariate time series; in addition, we compare the forecasting performance with bivariate fractional autoregressive integrated moving average (FARIMA) models. Out-of-sample forecasting errors are compared with various performance measures for functional MRI (fMRI) data and daily realized volatility data. The results show a subtle difference in the predicted values of the FIVARMA model and VARFIMA model. LSTM is computationally demanding due to hyper-parameter selection, but is more stable and the forecasting performance is competitively good to that of parametric long range dependent time series models.

주제어

표/그림 (12)

그림 Figure 3.1. Structure of recurrent neural network.
그림 Figure 3.2. Example of underﬁtting, overﬁtting, and proper ﬁtting.
그림 Figure 4.1. Example of one step ahead out-of-sample forecasting.
그림 Figure 4.2. SACF and CCF plot of fMRI data.
그림 Figure 4.3. Forecasting plot of brain channel 1, 12.
표 Table 4.1. Result of fMRI data
그림 Figure 4.4. SACF and CCF plot of daily realized volatility data.
표 Table 4.2. MASE ratio with FIVAR and LSTM, VARFI and LSTM: fMRI data
그림 Figure 4.5. Forecasting plot of Nikkei 225, KOSPI.
표 Table 4.3. Result of daily volatility data
표 Table 4.4. MASE ratio with FIVAR and LSTM, VARFI and LSTM: Daily volatility data
표 Table 4.5. Notation of daily volatility data

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

LSTM 네트워크는 그라디언트 소실 문제를 개선하였기 때문에 장기종속시계열 예측에 적합하다. 본 논문에서는 LSTM 네트워크를 이용하여 이변량 장기종속시계열을 예측한다. 즉, 이차원 장기종속시계열을 입력 데이터로 사용하여 LSTM 네트워크로 학습시킨 후 예측된 이변량 장기종속시계열을 출력한다.
본 논문에서는 모수적 이변량 장기종속시계열 모형인 FIVAR 모형, VARFI 모형과 딥러닝에 기반을 둔 LSTM 네트워크를 이용하여 이변량 장기종속시계열의 예측 성능을 비교 분석해보았다. 기존에 연구되었던 대부분의 연구는 FIVAR 모형과 VARFI 모형을 구분하지 않고 둘 중 하나의 모형을 선택하여 사용하였다.
본 논문은 인공신경망의 고도화된 모형인 딥러닝을 이용한 다변량 시계열의 예측에 대한 성능 비교를 연구하였다. 특히 시계열 분석에서 과거의 시점과 매우 강한 상관관계를 가지는 장기종속시계열(long range dependent (LRD) time series)을 고려하여 이러한 강한 종속관계를 가지는 다변량 자료를 예측하는데 LSTM 네트워크가 얼마나 좋은 성능을 가지는지 비교 검증하는데 목적을 두었다.
본 장에서는 이변량 장기종속시계열에 대한 정의를 소개하고 이변량 장기종속시계열 모형인 FIVARMA와 VARFIMA 모형에 대해 소개한다.
본 장에서는 인공신경망 방법 중 하나인 RNN 방법과 LSTM 네트워크에 대해 소개한다
본 절에서는 세계 각국의 주요 증권지수를 실시간 자료를 이용해서 계산한 실현 변동성(realized volatility) 자료를 통해 예측 성능을 비교분석해 보았다. 자료의 출처는 Oxford-Man Institute of Quantitative Finance의 2013년 7월부터 2017년 11월까지의 5분 간격으로 합산한 일일 실현 변동성 자료이며 자료는 (https://realized.
이변량 장기종속시계열은 이를 확장하여 두 개의 정상시계열이 벡터(vector) 형태로 나타나는 시계열이다. 이변량 또는 다변량 종속시계열에 대한 연구는 여러 연구자에 의해 고려되었으며 Kechagias와 Pipiras (2015)가 정리한 이론적 토대를 바탕으로 소개하고자 한다.
본 논문은 인공신경망의 고도화된 모형인 딥러닝을 이용한 다변량 시계열의 예측에 대한 성능 비교를 연구하였다. 특히 시계열 분석에서 과거의 시점과 매우 강한 상관관계를 가지는 장기종속시계열(long range dependent (LRD) time series)을 고려하여 이러한 강한 종속관계를 가지는 다변량 자료를 예측하는데 LSTM 네트워크가 얼마나 좋은 성능을 가지는지 비교 검증하는데 목적을 두었다. 이를 위해 본 연구는 이변량 장기종속시계열을 딥러닝을 이용한 예측값과 모수적 이변량 장기종속시계열 모형의 예측값을 비교하여, 어떤 방법이 더 좋은 예측값을 주는지 여러 자료를 통한 실증 자료 분석을 토대로 예측 성능을 비교 분석하였다.

제안 방법

(6) 선택된 히든유닛 개수와 반복횟수를 이용하여 모형을 학습하고 이를 토대로 예측한다.
LSTM (Hochreiter와 Schmidhuber, 1997) 네트워크는 RNN의 그라디언트가 소실하거나 폭발하는 현상을 개선한 알고리즘이다. RNN은 단일 활성함수계층을 가지지만, LSTM 네트워크에서는 과거의 정보가 현재에도 영향을 잘 미칠 수 있도록 메모리 셀(memory cell)이라는 새로운 노드를 추가하였다.
이에 따라 Lobato (1997)와 Sela 등 (2008)은 연산 순서에 따라 fractionally integrated vector autoregressive moving average (FIVARMA) 모형과 vector autoregressive fractionally integrated moving average (VARFIMA) 모형으로 구분하였고 본 논문에서는 두 모형 모두 고려하여 분석을 진행하였다. 또한, LSTM 네트워크를 적용할 때 성능을 결정하는 중요한 요인인 초매개변수(hyper-parameter)의 선택에 있어서 학습-검증-테스트 데이터로의 분할을 통한 교차검증을 토대로 최적의 튜닝모수를 선택하는 방법의 타당성에 대해서도 검증해 보았다.
기존에 연구되었던 대부분의 연구는 FIVAR 모형과 VARFI 모형을 구분하지 않고 둘 중 하나의 모형을 선택하여 사용하였다. 본 논문에서는 두 모형을 구분하여 예측하였으며, 예측결과 역시 미묘한 차이가 있음을 실증 자료 분석을 통해 확인하였다. 즉, fMRI 분석에서는 VARFI 모형이 실현 변동성에 있어서는 FIVAR 모형이 조금 더 우세한 경우가 많았다.
본 논문에서는 반복횟수와 히든유닛의 개수는 임의로 정하지 않고 몇 가지 조합을 통해 가장 낮은 MSE를 갖는 반복횟수와 히든유닛 개수를 사용하였으며 방법은 다음과 같다.
본 논문에서는 히든유닛의 개수는 5, 10, 15, 20, 25, 30, 35, 40으로 하였고 반복횟수는 50, 100, 150, 200으로 하여 총 32가지의 조합 중 가장 낮은 MSE를 갖는 히든유닛 개수와 반복횟수로 지정하였다.
본 장에서는 이변량 장기종속시계열 모형 및 딥러닝에 기반을 둔 방법의 예측력에 대해서 실증 자료 분석을 통해 비교 분석 연구를 진행하였다. 실증 자료로는 기능적 자기 공명 영상(functional magnetic resonance imaging) 자료 및 각 주요 나라의 일일 실현 변동성(daily realized volatility)을 고려하였다.
본 장에서는 이변량 장기종속시계열 모형 및 딥러닝에 기반을 둔 방법의 예측력에 대해서 실증 자료 분석을 통해 비교 분석 연구를 진행하였다. 실증 자료로는 기능적 자기 공명 영상(functional magnetic resonance imaging) 자료 및 각 주요 나라의 일일 실현 변동성(daily realized volatility)을 고려하였다.
예측력 비교를 위해 먼저 국가별로 주식시장이 열리는 날이 상이하기 때문에 생긴 데이터의 결측치는 선형보간(linear interpolation)을 적용하였고, 최종적으로 보정한 데이터에 루트변환을 적용한 후 분석하였다. 총 15개의 일일 변동성 데이터 조합에 대해 분석하였으며 2013년 7월부터 2017년 9월까지의 총 1045개의 데이터를 학습용으로 사용하였고, 학습용 데이터 중 100개 시점을 검증용 데이터로 사용하여 모형을 검증하였다.
(3) 검증용 데이터를 이용하여 학습된 모형을 검증한다. 이 때 반복횟수에 따른 학습용 오류(loss)와 검증용 오류의 변화를 그래프를 통해 확인하며 과적합(overfitting) 또는 소적합(underfitting)이 발생하는지 확인한다.
특히 시계열 분석에서 과거의 시점과 매우 강한 상관관계를 가지는 장기종속시계열(long range dependent (LRD) time series)을 고려하여 이러한 강한 종속관계를 가지는 다변량 자료를 예측하는데 LSTM 네트워크가 얼마나 좋은 성능을 가지는지 비교 검증하는데 목적을 두었다. 이를 위해 본 연구는 이변량 장기종속시계열을 딥러닝을 이용한 예측값과 모수적 이변량 장기종속시계열 모형의 예측값을 비교하여, 어떤 방법이 더 좋은 예측값을 주는지 여러 자료를 통한 실증 자료 분석을 토대로 예측 성능을 비교 분석하였다.
제 3장은 딥러닝의 한 종류인 LSTM 네트워크에 대해 설명하고 초매개변수 선택에 대해서 소개하였다. 제 4장에서는 실증자료를 통한 본격적인 예측 비교로, 검증에 사용한 데이터를 소개하고 예측 성능을 비교하였다. 마지막으로 제 5장에서는 본 논문의 결론에 대해 요약하고 향후 연구에 대해서 논의하였다.

대상 데이터

2는 채널 9, 51을 이용한 표본자기상관계수 및 표본교차상관계수 그림으로 시차가 증가함에 따라 천천히 감소하는 모습을 통해 장기종속시계열임을 알 수 있다. 본 분석에서는 랜덤으로 2개의 채널(channel)을 임의로 10개 조합을 선택하여 1,000개의 데이터를 학습용 데이터로 사용하고 다음 100개를 검증용 데이터로 사용하여 모형을 검증하였고, 학습된 모형을 통해 40개 데이터를 예측하였다. FAVAR 및 VARFI 모형의 차수는 AIC 및 부분자기상관 그림을 통해 차수 1로 정했다.
첫 번째 고려한 자료는 functional magnetic resonance imaging (fMRI) 데이터로는 뇌 활동을 측정하는 방법으로 뇌의 특정 부분이 활성화되면 혈류량이 증가하는 사실에 기반을 두어 뇌혈액의 산소 준위 의존성(blood oxygenation level dependent; BOLD) 대비를 측정한 데이터이다. 본 연구에서 사용한 자료는 Termenon 등 (2016)이 사용한 자료로 총 89개의 뇌 부위 (채널)에서 측정한 자료이다.Figure 4.
본 절에서는 세계 각국의 주요 증권지수를 실시간 자료를 이용해서 계산한 실현 변동성(realized volatility) 자료를 통해 예측 성능을 비교분석해 보았다. 자료의 출처는 Oxford-Man Institute of Quantitative Finance의 2013년 7월부터 2017년 11월까지의 5분 간격으로 합산한 일일 실현 변동성 자료이며 자료는 (https://realized.oxford-man.ox.ac.uk/data/download)에서 얻었다. 프랑스 주가 지수인 CAC 40과 유로존 주가 지수인 Euro STOXX 50 주가 사이의 표본자기상관 및 교차상관 그래프를 그린 Figure 4.
예측력 비교를 위해 먼저 국가별로 주식시장이 열리는 날이 상이하기 때문에 생긴 데이터의 결측치는 선형보간(linear interpolation)을 적용하였고, 최종적으로 보정한 데이터에 루트변환을 적용한 후 분석하였다. 총 15개의 일일 변동성 데이터 조합에 대해 분석하였으며 2013년 7월부터 2017년 9월까지의 총 1045개의 데이터를 학습용으로 사용하였고, 학습용 데이터 중 100개 시점을 검증용 데이터로 사용하여 모형을 검증하였다. 테스트용 데이터로는 2017년 10월부터 2017년 11월까지의 총 44개의 데이터를 사용하였다.
총 15개의 일일 변동성 데이터 조합에 대해 분석하였으며 2013년 7월부터 2017년 9월까지의 총 1045개의 데이터를 학습용으로 사용하였고, 학습용 데이터 중 100개 시점을 검증용 데이터로 사용하여 모형을 검증하였다. 테스트용 데이터로는 2017년 10월부터 2017년 11월까지의 총 44개의 데이터를 사용하였다.

이론/모형

두 모형 모두 AR 성분이 커질수록 추정해야 하는 모수의 개수가 많아지는 것에 비해 모형의 성능에는 큰 차이가 없으므로 (Sela, 2008), 본 논문에서는 이동평균 부분이 없는 FIVARMA(p, D, 0) 및 VARFIMA(p, D, 0)을 고려하였고 모형의 추정은 휘틀 근사 (Whittle, 1963) 방법을 사용하였다. 휘틀 근사 추정방법은 최대우도추정 방법보다 편의(bias)와 root mean squared error (RMSE)가 작은 추정방법이다 (Sela, 2008).
두 방법론의 성능을 비교하기 위한 측도로는 RMSE, mean absolute percentage error (MAPE) 및 mean absolute scaled error (MASE)를 사용하였다.
먼저 예측방법으로는 표본외 예측(out-of sample forecasting)방법을 사용하였다. 표본외 예측방법은 실시간으로 수집된 데이터를 예측에 반영해 주며 Figure 4.
본 논문에서 고려한 모수적 이변량 장기종속시계열 모형은 단변량 FARIMA 모형을 확장한 모형이다.하지만 일반적으로 두 행렬의 곱셈은 교환법칙이 성립하지 않기 때문에 차분과 자기회귀행렬을 연산하는 과정은 그 순서에 따라 다른 값을 준다.
이 과정을 반복하여 10개의 데이터를 예측하는 방법을 표본외 예측방법이라 한다. 본 논문에서는 시차가 1인 표본외 예측방법을 이용하였다.
하지만 일반적으로 두 행렬의 곱셈은 교환법칙이 성립하지 않기 때문에 차분과 자기회귀행렬을 연산하는 과정은 그 순서에 따라 다른 값을 준다. 이에 따라 Lobato (1997)와 Sela 등 (2008)은 연산 순서에 따라 fractionally integrated vector autoregressive moving average (FIVARMA) 모형과 vector autoregressive fractionally integrated moving average (VARFIMA) 모형으로 구분하였고 본 논문에서는 두 모형 모두 고려하여 분석을 진행하였다. 또한, LSTM 네트워크를 적용할 때 성능을 결정하는 중요한 요인인 초매개변수(hyper-parameter)의 선택에 있어서 학습-검증-테스트 데이터로의 분할을 통한 교차검증을 토대로 최적의 튜닝모수를 선택하는 방법의 타당성에 대해서도 검증해 보았다.
01로 지정하였다. 최적화 방법은 아담(ADAM) (Kingma와 Ba, 2014) 방법을 이용하였다. 이 방법은 현재까지 나온 많은 최적화 방법론들 중 일반적으로 좋은 추정값을 찾아준다고 알려져 있다.

성능/효과

4는 두 방법론 간의 MASE 비율을 비교한 결과이다. CAC 40과 KOSPI, CAC 40과 Euro STOXX 50, DAX와 FTSE MIB에서를 제외하고 LSTM 네트워크가 FIVAR 모형보다 오차율이 더 낮으며 예측 성능이 더 좋은 것을 알 수 있다. 반면, VARFI 모형과 LSTM 네트워크를 비교해보면 감소율이 모두 1보다 크므로 LSTM 네트워크의 성능이 더 좋은 것을 알 수 있다.
반면 VARFI 모형보다는 4%정도 성능이 낮다고 할 수 있다. VARFI/LSTM의 비율이 더 1에 가까우므로 LSTM 네트워크가 VARFI 모형과 비슷한 예측 성능을 보임을 확인할 수 있다.
따라서 이변량 장기종속시계열 모형을 선택할 때 벡터AR행렬이 곱해지는 순서가 예측 성능을 결정하는데 영향을 미침을 알 수 있다. 딥러닝을 이용한 LSTM 네트워크의 결과는 VARFI 모형의 예측오차 값에 더 가까이 있어 LSTM 네트워크의 경우 VARFI 모형에 더 가까운 성능을 보였다. Figure 4.
또한, 계산의 측면에 있어서 LSTM 네트워크는 초매개변수의 개수가 많고 데이터의 교차검증을 통해 최적의 매개변수를 찾는 방식 때문에 계산량이 많이 요구되는 단점에도 불구하고 예상과 다르게 모형을 추정하고 예측값을 구하는 시간적인 측면에서도 LSTM 네트워크가 나머지 모수적 모형보다 더 빨랐다.이는 많은 수의 모수를 비선형적으로 최적화시켜야하는 FIVAR 및 VARFI 모형의 특징 때문이라고 판단된다.
5를 참고하기 바란다. 변동성 데이터에 대해서는 VARFI 모형보다 FIVAR 모형의 예측 성능이 약간 더 좋았으며, 전반적으로는 LSTM 네트워크의 예측 성능이 FIVAR 모형 또는 VARFI 모형보다 더 좋은 것을 확인할 수 있다. Figure 4.
3은 1번과 12번 채널에 대해서 테스트용 데이터를 예측한 값과 비교하여 그림을 그린 것이다. 세 모형 모두 전반적인 형태는 잘 따라가고 있음을 보여주고 있으나 VARFI 모형이 조금 더 참값에 가깝고 LSTM 네트워크도 VARFI 모형과 매우 유사한 예측값을 보여주고 있음을 확인할 수 있다.
MASE 비율이 1보다 크면 LSTM 네트워크의 MASE가 더 낮음을 의미하며, 1보다 작으면 LSTM 네트워크의 MASE가 더 높음을 의미한다. 즉, 채널 1과 채널 12의 결과의 비율을 비교해보면 LSTM 네트워크가 FIVAR 모형보다 MASE 측면에서 26.1%정도 성능이 높다고 할 수 있다. 반면 VARFI 모형보다는 4%정도 성능이 낮다고 할 수 있다.
즉, fMRI 분석에서는 VARFI 모형이 실현 변동성에 있어서는 FIVAR 모형이 조금 더 우세한 경우가 많았다. 하지만 딥러닝을 이용한 LSTM 네트워크의 경우에 있어서는 모형의 구분이 필요 없음과 동시에 fMRI를 비롯하여 실현 변동성에서도 모수적 이변량 장기종속시계열과 비교해서 결코 뒤지지 않은 좋은 예측 성능을 보였다.

후속연구

즉, FIVAR 및 VARFI 모형의 구조적인 모형 방정식을 LSTM 네트워크에 반영하는 하이브리드 모형이나 초매개변수의 선택에 있어서 FIVAR 및 VARFI 모형을 이용하는 문제를 생각해 볼 수 있을 것이다. 또 한 딥러닝을 이용한 (초)고차원의 장기종속시계열 예측도 매우 흥미로운 후속 연구가 될 것으로 보인다.
한편으로는 실현 변동성의 경우 FIVAR 및 VARFI 모형이 높은 변동성을 가지는 정점들을 더 잘 추정하는 것으로 보아 장기종속시계열 예측에 있어서 LSTM 네트워크의 개선도 필요한 것으로 보인다. 즉, FIVAR 및 VARFI 모형의 구조적인 모형 방정식을 LSTM 네트워크에 반영하는 하이브리드 모형이나 초매개변수의 선택에 있어서 FIVAR 및 VARFI 모형을 이용하는 문제를 생각해 볼 수 있을 것이다. 또 한 딥러닝을 이용한 (초)고차원의 장기종속시계열 예측도 매우 흥미로운 후속 연구가 될 것으로 보인다.
한편으로는 실현 변동성의 경우 FIVAR 및 VARFI 모형이 높은 변동성을 가지는 정점들을 더 잘 추정하는 것으로 보아 장기종속시계열 예측에 있어서 LSTM 네트워크의 개선도 필요한 것으로 보인다. 즉, FIVAR 및 VARFI 모형의 구조적인 모형 방정식을 LSTM 네트워크에 반영하는 하이브리드 모형이나 초매개변수의 선택에 있어서 FIVAR 및 VARFI 모형을 이용하는 문제를 생각해 볼 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	이변량 장기종속시계열이란 무엇인가?	이변량 장기종속시계열은 이를 확장하여 두 개의 정상시계열이 벡터(vector) 형태로 나타나는 시계열이다. 이변량 또는 다변량 종속시계열에 대한 연구는 여러 연구자에 의해 고려되었으며 Kechagias와 Pipiras (2015)가 정리한 이론적 토대를 바탕으로 소개하고자 한다.
	반복횟수와 히든유닛의 개수를 임의로 정하지 않고 몇 가지 조합을 통해 가장 낮은 MSE를 갖는 반복횟수와 히든유닛 개수를 사용하기 위한 방법은 어떻게 이루어지는가?	(1) 데이터를 학습용(train), 검증용(validation), 테스트용(test) 데이터로 나눈다. (2) 시드(seed)를 고정하고 히든유닛 개수와 반복횟수의 모든 조합에 대해 학습용 데이터로 모형을 학습시킨다. (3) 검증용 데이터를 이용하여 학습된 모형을 검증한다. 이 때 반복횟수에 따른 학습용 오류(loss)와 검증용 오류의 변화를 그래프를 통해 확인하며 과적합(overfitting) 또는 소적합(underfitting)이 발생하는지 확인한다. (4) 검증용 데이터에 학습된 모형을 적합 시켜 보았을 때, 가장 낮은 MSE를 갖는 히든유닛 개수와 반복횟수를 선택한다. (5) (1)번 단계에서의 학습용 데이터와 검증용 데이터를 합쳐 새로운 학습용 데이터를 만든다. (6) 선택된 히든유닛 개수와 반복횟수를 이용하여 모형을 학습하고 이를 토대로 예측한다.
	LSTM 네트워크의 주요 특징은 무엇인가?	그 중 Hochreiter 등 (1997)이 제안한 long and short-term memory (LSTM) 네트워크는 순환신경망(recurrent neural network; RNN)의 한 종류로 텍스트(text)나 음성(speech)의 분석을 위해서 개발되었다. LSTM 네트워크의 주요 특징은 입력(input), 망각(forget) 및 출력(output) 게이트를 통해서 과거 시점의 자료를 LSTM 네트워크 안에 적절히 보존하여 향후 값을 예측하는데 도움이 되는 형태로 이용하는 점이다. 이러한 구조적인 이점으로 인해 시계열의 예측에 있어서도 매우 널리 쓰이는 딥러닝 방법이다.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증