[논문]땅밀림 위험지 평가를 위한 기계학습 분류모델 비교

이제만; 서정일; 이진호; 임상준

doi:10.14578/jkfs.2021.110.4.610

땅밀림 위험지 평가를 위한 기계학습 분류모델 비교
A Performance Comparison of Machine Learning Classification Methods for Soil Creep Susceptibility Assessment 원문보기

한국산림과학회지 = Journal of korean society of forest science, v.110 no.4, 2021년, pp.610 - 621

이제만 (서울대학교 농림생물자원학부) , 서정일 (공주대학교 산림과학과) , 이진호 (한국치산기술협회 연구조사처) , 임상준 (서울대학교 농림생물자원학부)

초록
AI-Helper

지진 발생과 집중호우에 의해 땅밀림형 산사태 유형으로 분류되는 땅밀림 현상이 전국적으로 광범위하게 나타나고 있다. 산림청은 땅밀림으로 인한 인명 및 재산 피해를 예방하기 위해 땅밀림 우려지 현장조사 판정표를 통해 땅밀림 발생 위험지를 사전에 파악하고 있다. 한편 최근에는 컴퓨터 기술의 발달로 인공지능의 한 분야인 기계학습 분류기법을 이용하여 산지재해 취약성을 평가하거나 자연재해를 예측하고 있다. 따라서 이 연구에서는 기계학습 분류기법인 k-Nearest Neighbor(k-NN), Naive Bayes(NB), Random Forest(RF), 그리고 Support Vector Machine(SVM) 분류모델을 이용하여 땅밀림 발생 위험등급을 분류하였다. 한국치산기술협회의 2018~2020년 조사 자료 4,618개 중에서 땅밀림 현상의 발생 여부를 고려하여 발생지 총 146개소, 그리고 미발생지 146개소를 임의추출하여 292개 자료를 선정하였으며, 이 중 70%에 해당하는 204개소 자료를 훈련자료로 하여 모델을 구축하였다. 전체 자료의 30%에 해당하는 88개 검증자료에 대해 모델을 평가한 결과, k-NN은 0.727, NB는 0.750, RF는 0.807, 그리고 SVM은 0.750의 분류정확도를 보였다. 또한, Kappa 상관계수는 각각 0.534, 0.580, 0.673 및 0.585, 그리고 AUC는 각각 0.872, 0.912, 0.943 및 0.834로 계산되었다. 따라서 땅밀림 위험지역 판정을 위한 기계학습 분류모델은 RF, NB, SVM, 그리고 k-NN 순으로 높은 성능을 보였다. 기계학습 분류모델은 향후 산지토사재해의 예방 및 대응을 위한 기초자료로 활용 가능하며, 땅밀림 재해 관리 및 피해 경감에 위한 정책 개발에 필요한 정보를 제공할 것이다.

Abstract ▼ AI-Helper

The soil creep, primarily caused by earthquakes and torrential rainfall events, has widely occurred across the country. The Korea Forest Service attempted to quantify the soil creep susceptible areas using a discriminant value table to prevent or mitigate casualties and/or property damages in advance. With the advent of advanced computer technologies, machine learning-based classification models have been employed for managing mountainous disasters, such as landslides and debris flows. This study aims to quantify the soil creep susceptibility using several classifiers, namely the k-Nearest Neighbor (k-NN), Naive Bayes (NB), Random Forest (RF), and Support Vector Machine (SVM) models. To develop the classification models, we downscaled 292 data from 4,618 field survey data. About 70% of the selected data were used for training, with the remaining 30% used for model testing. The developed models have the classification accuracy of 0.727 for k-NN, 0.750 for NB, 0.807 for RF, and 0.750 for SVM against test datasets representing 30% of the total data. Furthermore, we estimated Cohen's Kappa index as 0.534, 0.580, 0.673, and 0.585, with AUC values of 0.872, 0.912, 0.943, and 0.834, respectively. The machine learning-based classifications for soil creep susceptibility were RF, NB, SVM, and k-NN in that order. Our findings indicate that the machine learning classifiers can provide valuable information in establishing and implementing natural disaster management plans in mountainous areas.

주제어

표/그림 (9)

그림 Figure 1. Research framework of the study.
표 Table 1. Field survey items for assessing the soil creep susceptible area.
표 Table 2. Normalized FR values for soil creep assessment (Lee, 2021).
그림 Figure 2. Building process of k-NN (Huang et al., 2020).
그림 Figure 3. Classification accuracy of k-NN model with k value.
표 Table 3. Results of multicollinearity analysis.
표 Table 4. Classification accuracy of RF model.
그림 Figure 4. Comparison of model performance among k-NN, NB, RF, and SVM models.
표 Table 5. Classification accuracy of SVM model with polynomial kernel.

AI 본문요약
AI-Helper

문제 정의

따라서, 이 연구에서는 땅밀림 발생지를 판정하기 위해 땅밀림지에서 현장조사된 자료를 이용하여 기계학습 기반의 k-NN, Naive Bayes(NB), RF, SVM 분류모델을 개발하고, 개발된 땅밀림 분류모델의 분류정확도 및 성능을 비교하여 기계학습 기반 땅밀림 위험지 평가방법을 제시하고자 하였다.

제안 방법

이 연구에서는 기계학습에 기반한 분류모델을 이용하여 땅밀림 위험지를 분류하였다. 구축된 70% 현장조사 자료로부터 각 분류모델의 최적 매개변수를 설정하였으며, 독립적인 30%의 검증자료를 이용하여 구축된 분류모델의 분류성능을 평가하였다.
땅밀림 위험지 분류모델을 개발하기 위해서는 먼저 훈련 자료를 이용하여 분류모델의 최적 매개변수를 선정하여야 한다. 이를 위하여 매개변수를 조금씩 조정하여 모델을 구축한 후 모델에 의한 분류정확도가 가장 높은 매개변수를 최적 매개변수로 결정하였다. 다만, NB 모델은 매개변수 선정이 필요하지 않기 때문에 이러한 과정을 생략하였다.

대상 데이터

이상 땅밀림 분류모델 구축은 모두 오픈 소스 데이터 마이닝 시스템인 WEKA ver. 3.8.4(The University of Waikato, 2019)를 이용하였다.
분석자료는 14개의 항목(변수)으로 구성되어 있으며, 이는 땅밀림 발생 징후에 관한 2개 항목(직접징후, 간접징후), 지형에 관한 4개 항목(지형구분, 평면형(수평), 종단면형(수직), 경사), 지질에 관한 4개 항목(구성암석, 암석 풍화, 불연속면과 사면의 방향성, 불연속면 간격), 토양 및 토질 4개 항목(토성, 토심, 토양수분, 너덜(talus))으로 구성되어 있다(Table 1).
Split validation은 전체 자료를 분류 모델을 개발하는 훈련자료(training data set)와 개발된 분류모델을 검증하기 위한 검증자료(test data set)로 나누어 평가하는 방법이다. 연구에 사용된 자료는 현장조사된 146개의 땅밀림 발생지 자료를 이용하고, 같은 개수의 미발생지 데이터를 임의추출(random sampling) 방식으로 선정하여 총 292개의 분석자료를 구성하였다. 훈련자료는 292개 분석자료의 70%에 해당하는 204개 자료를 임의추출하여 사용하였으며, 나머지 30%에 해당하는 88개 자료로 모델의 성능평가를 실시하였다.
땅밀림 위험지 분류모델은 기존의 땅밀림 발생지 및 미발생지에 대한 현장조사 자료를 이용하여 땅밀림 여부를 평가하는 기법으로 정의할 수 있다. 이 연구에서는 산림청의 지원을 받아 한국치산기술협회가 2018년부터 2020년까지 전국 산지를 대상으로 실시한 4,618개소의 산지사면 현장조사 자료를 이용하였다. 총 4,618개 산지사면은 현장 조사 및 전문가 그룹의 심층 자문을 통해 땅밀림 발생지 여부를 판정하였으며, 이 중 3.
이 연구에서는 산림청의 지원을 받아 한국치산기술협회가 2018년부터 2020년까지 전국 산지를 대상으로 실시한 4,618개소의 산지사면 현장조사 자료를 이용하였다. 총 4,618개 산지사면은 현장 조사 및 전문가 그룹의 심층 자문을 통해 땅밀림 발생지 여부를 판정하였으며, 이 중 3.2%에 해당하는 146개소가 땅밀림지로 최종 분류되었다.
연구에 사용된 자료는 현장조사된 146개의 땅밀림 발생지 자료를 이용하고, 같은 개수의 미발생지 데이터를 임의추출(random sampling) 방식으로 선정하여 총 292개의 분석자료를 구성하였다. 훈련자료는 292개 분석자료의 70%에 해당하는 204개 자료를 임의추출하여 사용하였으며, 나머지 30%에 해당하는 88개 자료로 모델의 성능평가를 실시하였다. Figure 1은 이 연구에서 적용된 연구방법을 개략적으로 나타낸 것이다.

데이터처리

이 연구에서는 기계학습에 기반한 분류모델을 이용하여 땅밀림 위험지를 분류하였다. 구축된 70% 현장조사 자료로부터 각 분류모델의 최적 매개변수를 설정하였으며, 독립적인 30%의 검증자료를 이용하여 구축된 분류모델의 분류성능을 평가하였다.

이론/모형

이 연구에서는 기계학습 분류모델을 평가하기 위해 split validation을 이용하였다. Split validation은 전체 자료를 분류 모델을 개발하는 훈련자료(training data set)와 개발된 분류모델을 검증하기 위한 검증자료(test data set)로 나누어 평가하는 방법이다.
훈련된 땅밀림 위험지 분류모델의 성능을 평가하기 위해 분류정확도(accuracy)와 Kappa 상관계수, 그리고 AUC를 이용하였다. 분류정확도는 모델이 예측한 결과가 실제 결과와 비교하여 얼마나 정확하게 분류했는지를 비율로 나타낸 것으로, 전체 자료 중에서 양성(positive)으로 예측한 개수와 음성(negative)으로 예측한 개수가 차지하는 비율을 의미한다.

성능/효과

3가지 평가지표를 통해 종합적으로 검토한 결과, 땅밀림 위험지 분류를 위한 기계학습 기반 분류모델은 RF 모델이 가장 적합한 것으로 보이며, 다음으로는 AUC 평가에 의해 다른 모델과 비교하여 상대적으로 우수한 NB 모델이 적용가능하며, 분류정확도를 고려하여 SVM과 k-NN 모델이 다음으로 적합한 것으로 나타났다. 이 결과는 기계 학습 모델을 이용한 산사태 위험지도 작성에 RF 모델이 가장 활용가치가 높았다고 평가한 Chen et al.
Kappa 상관계수를 이용한 분류 성능 평가에서는 RF 모델은 ‘상당한’ 분류 일치도를 가지는 것으로 평가되었으며, 다른 모델들은 ‘적당한’ 분류 일치도로 보여 RF 모델보다는 상대적으로 낮게 평가되었다.
912로 평가되었다. RF 모델은 분류정확도, Kappa 상관계수 및 AUC가 각각 0.807, 0.673, 0.943로 나타났다. 마지막으로 SVM 분류 모델은 분류정확도, Kappa 상관계수 및 AUC가 각각 0.
따라서, 땅밀림 위험지 평가를 위한 최적의 자료 수와 자료의 공간적 특성에 따른 모델의 성능 변화에 대한 추가 연구가 필요하다. 그리고 땅밀림 위험지를 예측하기 위한 변수 중 직접징후와 간접징후에 대한 영향이 매우 높게 나타났다. 직접적·간접적 징후가 없다면 대다수의 대상지가 미발생지로 분류된다는 것인데 추후 기계학습을 이용한 땅밀림 위험지역을 판정을 할 때 이러한 자연재해의 발생학적 특성을 고려할 필요가 있을 것이다.
872로 나타났다. 다음으로 NB 모델은 분류정확도 0.750, Kappa 상관계수 0.580, AUC 0.912로 평가되었다. RF 모델은 분류정확도, Kappa 상관계수 및 AUC가 각각 0.
943로 나타났다. 마지막으로 SVM 분류 모델은 분류정확도, Kappa 상관계수 및 AUC가 각각 0.750, 0.585, 0.834로 나타났다. 이와 같은 결과를 통해 땅밀림 위험지 분류모델의 성능 평가를 실시하였다.
3가지 평가지표를 통해 종합적으로 검토한 결과, 땅밀림 위험지 분류를 위한 기계학습 기반 분류모델은 RF 모델이 가장 적합한 것으로 보이며, 다음으로는 AUC 평가에 의해 다른 모델과 비교하여 상대적으로 우수한 NB 모델이 적용가능하며, 분류정확도를 고려하여 SVM과 k-NN 모델이 다음으로 적합한 것으로 나타났다. 이 결과는 기계 학습 모델을 이용한 산사태 위험지도 작성에 RF 모델이 가장 활용가치가 높았다고 평가한 Chen et al.(2018)의 연구결과와도 일치한다는 점에서 산사태 뿐만 아니라 땅밀림 위험도를 평가하기에도 RF가 가장 활용가치가 높다고 할 수 있다.
훈련자료를 통해 매개변수별 분류정확도를 계산한 결과, mtry=5, ntree=400의 조건에서 분류정확도가 0.995로 가장 높게 나타났다(Table 4). 변수 mtry 및 ntree를 변화시켜도 분류정확도가 크게 향상되지 않아 이 계산 조건을 RF 모델의 최적 매개변수로 결정하였다.

후속연구

직접적·간접적 징후가 없다면 대다수의 대상지가 미발생지로 분류된다는 것인데 추후 기계학습을 이용한 땅밀림 위험지역을 판정을 할 때 이러한 자연재해의 발생학적 특성을 고려할 필요가 있을 것이다. 그럼에도 불구하고 이 연구를 통해 구축한 분류방법은 향후 산지 재해관리를 위한 사전적 예방조치나 재해관리 대책을 수립하는 데 필요한 기초 자료를 제공할 것이다.
특히, 현장자료 간의 자기상관성은 모델의 성능에 많은 영향을 미친다. 따라서, 땅밀림 위험지 평가를 위한 최적의 자료 수와 자료의 공간적 특성에 따른 모델의 성능 변화에 대한 추가 연구가 필요하다. 그리고 땅밀림 위험지를 예측하기 위한 변수 중 직접징후와 간접징후에 대한 영향이 매우 높게 나타났다.
다만, 기계학습 및 훈련에 이용할 수 있는 땅밀림지 자료가 상대적으로 충분하지 않아 분류에 있어 정확도가 떨어지고 과적합이 발생할 우려가 있었다. 앞으로 땅밀림 위험지 분류의 정확도를 높이기 위해서는 땅밀림지에 대한 추가적인 자료 구축을 통해 모델을 보완할 필요가 있을 것이다. 특히, 현장자료 간의 자기상관성은 모델의 성능에 많은 영향을 미친다.
그리고 땅밀림 위험지를 예측하기 위한 변수 중 직접징후와 간접징후에 대한 영향이 매우 높게 나타났다. 직접적·간접적 징후가 없다면 대다수의 대상지가 미발생지로 분류된다는 것인데 추후 기계학습을 이용한 땅밀림 위험지역을 판정을 할 때 이러한 자연재해의 발생학적 특성을 고려할 필요가 있을 것이다. 그럼에도 불구하고 이 연구를 통해 구축한 분류방법은 향후 산지 재해관리를 위한 사전적 예방조치나 재해관리 대책을 수립하는 데 필요한 기초 자료를 제공할 것이다.

참고문헌 (47)

Althnian, A., AlSaeed, D., Al-Baity, H., Samha, A., Dris, A.B., Alzakari, N., Elwafa, A.A. and Kurdi, H. 2021. Impact of dataset size on classification performance: An empirical evaluation in the medical domain. Applied Sciences 11(2): 796.

상세보기
Beyene, C. and Kamat, P. 2018. Survey on prediction and analysis the occurrence of heart disease using data mining techniques. International Journal of Pure and Applied Mathematics 118(8): 165-174.
Breiman, L. 1996. Bagging predictors. Machine Learning 24(2): 123-140.

상세보기
Breiman, L. 2001. Random forests. Machine Learning 45(1): 5-32.
Cohen, J. 1968. Weighted kappa: Nominal scale agreement provision for scaled disagreement or partial credit. Psychological Bulletin 70(4): 213.

상세보기
Cortes, C. and Vapnik, V. 1995. Support-vector networks. Machine Learning 20(3): 273-297.

상세보기
Cover, T. and Hart, P. 1967. Nearest neighbor pattern classification. IEEE Transactions on Information Theory 13(1): 21-27.

상세보기
Fairbridge, R.W. 1968. Soil creep. In: Geomorphology. Encyclopedia of Earth Science. Springer, Berlin, Heidelberg.
Heckmann, T., Grgg, K., Gegg, A. and Becht, M. 2013. Sample size matters: Investigating the effect of sample size on a logistic regression debris flow susceptibility model. Natural Hazards and Earth System Sciences 1: 2731-2779.
Hu, L.Y., Huang, M.W., Ke, S.W. and Tsai, C.F. 2016. The distance function effect on k-nearest neighbor classification for medical datasets. SpringerPlus 5(1): 1-9.

상세보기
Huang, S., Huang, M. and Lyu, Y. 2020. An improved KNNbased slope stability prediction model. Advances in Civil Engineering 2020: 8894109.
Imandoust, S.B. and Bolandraftar, M. 2013. Application of k-nearest neighbor (kNN) approach for predicting economic events: Theoretical background. International Journal of Engineering Research and Applications 3(5): 605-610.
Kadavi, P.R., Lee, C.W. and Lee, S. 2019. Landslidesusceptibility mapping in Gangwon-do, South Korea, using logistic regression and decision tree models. Environmental Earth Sciences 78(4): 116.

상세보기
Kang, K.H. 2019. Analysis of landslide susceptibility for Sangju and Jinbu areas using random forest model. (Dissertation). Seoul. Sejong University.
Kim, J.H. 2019. Multicollinearity and misleading statistical results. Korean Journal of Anesthesiology 72(6): 558.

상세보기
Korea Forest Service. 2018. Development of extraction for land ereep susceptiile zones and field survey techniques. pp. 633.
Landis, J.R. and Koch, G.G. 1977. The measurement of observer agreement for categorical data. Biometrics. 159-174.
Lantz, B. 2013. Machine learning with R. Packt Publishing Ltd.
Lee, J.E. 2020. A study on improvement of map generalization using machine learning: Focusing on selective omission of building and road data. (Dissertation). Seoul. Seoul National University.
Lee, J.M. 2021. Assessment of soil creep susceptibility using machine learning classification algorithms. (Dissertation). Seoul. Seoul National University.
Lee, M.S., Park, J.H. and Park, Y.S. 2019. Analysis o f characteristics using geotechnical investigation on the slow-moving landslides in the Pohang-si area. Journal of Korean Society of Forest Science 108(2): 233-240.

원문보기 상세보기
Liaw, A. and Wiener, M. 2002. Classification and regression by random forest. R News 2(3): 18-22.
Liu, S. and Zhang, Z. 2017. A multi-stage prediction KNN algorithm based on center vector. Computer Engineering and Science 39(9): 1758-1764.
Marjanovic, M., Bajat, B. and Kovacevic, M. 2009. Landslide susceptibility assessment with machine learning algorithms. In 2009 International Conference on Intelligent Networking and Collaborative Systems, IEEE. 273-278.
Maroco, J., Silva, D., Rodrigues, A., Guerreiro, M., Santana, I. and de Mendonca, A. 2011. Data mining methods in the prediction of dementia: A real-data comparison of the accuracy, sensitivity and specificity of linear discriminant analysis, logistic regression, neural networks, support vector machines, classification trees and random forests. BMC Research Notes 4(1): 1-14.

상세보기
Merghadi, A., Yunus, A.P., Dou, J., Whiteley, J., Thaipham, B., Bui, D.T., Avtar, R. and Abderrahmane, B. 2020. Machine learning methods for landslide susceptibility studies: A comparative overview of algorithm performance. Earth-Science Reviews 207: 103-225.
Mitchell, T.M. 1997. Does machine learning really work? AI Magazine 18(3): 11-11.

상세보기
Muller, A.C. and Guido, S. 2016. Introduction to machine learning with Python: A guide for data scientists. O'Reilly Media, Inc.
Oh, H.J., Lee, S. and Hong, S.M. 2017. Landslide susceptibility assessment using frequency ratio technique with iterative random sampling. Journal of Sensors. 2017.
Park, J.H. 2018. What's land creep. Korean Society of Forest Environment Research 21: 96-107.
Park, J.H. and Park, S.G. 2020. Analysis of tree-rings for inference of periods in which slow-moving landslides occur. Journal of Korean Society of Forest Science 109(1): 62-71.
Park, J.H., Lee, C.W., Kang, M.J. and Kim, K.D. 2015. Analysis of characteristics of forest environmental factors on land creeping occurrence. Journal of Agriculture and Life Sciences 49(5): 133-144.
Park, J.H., Seo, J.I. and Lee, C.W. 2019b. Analysis of GIS for characteristics on the slow-moving landslide: With a special reference on slope and grade of landslide. Journal of Korean Society of Forest Science 108(3): 311-321.
Park, J.H., Seo, J.I., Ma, H.S., Kim, D.Y., Kang, M.J. and Kim, K.D. 2019a. Topography and soil characteristics related to land creep in 37 areas in South Korea. Journal of Korean Society of Forest Science 108(4): 540-551.
Pourghasemi, H.R., Jirandeh, A.G., Pradhan, B., Xu, C. and Gokceoglu, C. 2013. Landslide susceptibility mapping using support vector machine and GIS at the Golestan Province, Iran. Journal of Earth System Science 122(2): 349-369.

상세보기
Rahmati, O., Haghizadeh, A., Pourghasemi, H.R. and Noormohamadi, F. 2016. Gully erosion susceptibility mapping: The role of GIS-based bivariate statistical models and their comparison. Natural Hazards 82(2) 1231-1258.

상세보기
Raudys, S.J. and Jain, A.K. 1991. Small sample size effects in statistical pattern recognition: Recommendations for practitioners. IEEE Transactions on Pattern Analysis and Machine Intelligence 13(3): 252-264.

상세보기
Rodriguez-Galiano, V.F., Ghimire, B., Rogan, J., Chica-Olmo, M. and Rigol-Sanchez, J.P. 2012. An assessment of the effectiveness of a random forest classifier for landcover classification. ISPRS Journal of Photogrammetry and Remote Sensing 67: 93-104.

상세보기
Sammut, C. and Webb, G.I. 2011. Encyclopedia of machine learning. Springer Science & Business Media.
Statnikov, A., Wang, L. and Aliferis, C.F. 2008. A comprehensive comparison of random forests and support vector machines for microarray-based cancer classification. BMC Bioinformatics 9(1): 1-10.

상세보기
Tehrany, M.S., Pradhan, B., Mansor, S. and Ahmad, N. 2015. Flood susceptibility assessment using GIS-based support vector machine model with different kernel types. Catena 125: 91-101.

상세보기
Tsangaratos, P. and Ilia, I. 2016. Comparison of a logistic regression and naive bayes classifier in landslide susceptibility assessments: The influence of models complexity and training dataset size. Catena 145: 164-179.

상세보기
Vabalas, A., Gowen, E., Poliakoff, E. and Casson, A.J. 2019. Machine learning algorithm validation with a limited sample size. PloS One 14(11): e0224365.

상세보기
Vasu, N.N. and Lee, S.R. 2016. A hybrid feature selection algorithm integrating an extreme learning machine for landslide susceptibility modeling of Mt. Woomyeon, South Korea. Geomorphology 263: 50-70.

상세보기
Woo, B.M., Park, J.H. Choi, H.T. Jeon, G.S. and Kim, K.H. 1996. Articles: A study on the characteristics of the landslide in Hyuseok-dong (I): Geological and hydrological characteristics. Journal of Korean Society of Forest Science 85(4): 571-576.
Xiong, J., Sun, M., Zhang, H., Cheng, W., Yang, Y., Sun, M., Cao, Y. and Wang, J. 2019. Application of the Levenburg-Marquardt back propagation neural network approach for landslide risk assessments. Natural Hazards and Earth System Sciences 19(3): 629-653.

상세보기
Xu, C., Dai, F., Xu, X. and Lee, Y.H. 2012. GIS-based support vector machine modeling of earthquake-triggered landslide susceptibility in the Jianjiang River watershed, China. Geomorphology 145: 70-80.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증