[논문]네트워크 데이터 정형화 기법을 통한 데이터 특성 기반 기계학습 모델 성능평가

이우호; 노봉남; 정기문

doi:10.13089/jkiisc.2019.29.4.785

네트워크 데이터 정형화 기법을 통한 데이터 특성 기반 기계학습 모델 성능평가
Performance Evaluation of a Machine Learning Model Based on Data Feature Using Network Data Normalization Technique 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.29 no.4, 2019년, pp.785 - 794

이우호 (전남대학교 정보보안협동과정) , 노봉남 (전남대학교 정보보안협동과정) , 정기문 (한국과학기술정보연구원)

초록
AI-Helper

최근 4차 산업 혁명 기술 중 하나인 딥러닝(Deep Learning) 기술은 보안 분야에서는 탐지하기 어려운 네트워크 데이터의 숨겨진 의미를 식별하고 공격을 예측하는 데 사용되고 있다. 침입탐지에 사용될 딥러닝 알고리즘을 선택하기 전에 데이터의 속성과 품질 분석이 필요하다. 학습에 사용되는 데이터의 오염여부에 따라 탐지 방법에 영향을 주기 때문이다. 따라서 데이터의 특징을 파악하고 특성을 선정해야 한다. 본 논문에서는 네트워크 데이터 셋을 이용하여 악성코드의 단계적 특징을 분석하고 특성을 추출하여 딥러닝 모델을 적용하였을 때 각 특성이 성능에 미치는 영향을 분석하였다. 네트워크 특징에 따른 특성들의 비교에 대한 트래픽 분류 실험을 진행하였으며 선정한 특성을 기반으로 96.52% 정확도를 분류하였다.

Abstract ▼ AI-Helper

Recently Deep Learning technology, one of the fourth industrial revolution technologies, is used to identify the hidden meaning of network data that is difficult to detect in the security arena and to predict attacks. Property and quality analysis of data sources are required before selecting the deep learning algorithm to be used for intrusion detection. This is because it affects the detection method depending on the contamination of the data used for learning. Therefore, the characteristics of the data should be identified and the characteristics selected. In this paper, the characteristics of malware were analyzed using network data set and the effect of each feature on performance was analyzed when the deep learning model was applied. The traffic classification experiment was conducted on the comparison of characteristics according to network characteristics and 96.52% accuracy was classified based on the selected characteristics.

주제어

표/그림 (16)

그림 Fig. 1. Traffic Collection and Data Analysis Process
그림 Fig. 2. Traffic Collection and Preprocessing
그림 Fig. 3. CSV files created using data preprocessing
그림 Fig. 4. Convert Thumbnail of Collected Data
그림 Fig. 5. CNN Architecture Structure
표 Table 1. 14 Features of Packet Data Characteristics
그림 Fig. 6. Scenario A Dataset Size
그림 Fig. 7. Scenario A (Benign) Experimental Results
그림 Fig. 8. Scenario A (Benign) Results Confusion Matrix
그림 Fig. 9. Scenario A(Malware) Experimental Results
그림 Fig. 10. Scenario A (Malware) Experiment Result Confusion Matrix
그림 Fig. 11. Scenario B Dataset size
그림 Fig. 12. Scenario B Experimental Results
그림 Fig. 13. Scenario B Results Confusion Matrix
표 Table 2. Traffic Class List
표 Table 3. Classification Performance metrics vs Feature empolyed

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

KIM JI는[15] KDD Dataset1999에서 GRU 를 이용한 침입탐지 방법 연구는 hidden layer 별 분석을 통해 높은 영역에 대한 알고리즘(RNN, LSTM, GRU)를 대상으로 하여 비교 실험 하였다. KDD dataset을 이용하여 DoS, R2L, Normal 등에 대하여 특성을 추출하고 군집화 하였으며 hyperparameter를 이용하여 각 수치들에 대한 관계를 분석한 논문이다.
Tao는[11]에서 대용량 네트워크 트래픽 분류에 DAE알고리즘을 적용하여 데이터 차원 축소방법을 제안하였다. 또한 BPNN, SVM과 같은 분류 알고리즘의 정확도 향상을 비교 실험하여 효율성을 향상 시키는 것을 연구하였다.
또한 악의적인 공격에 의한 트래픽을 탐지하기 위한 다양한 연구가 진행되고 있지만 모든 트래픽을 탐지하기에는 역부족 하다. 또한 관제에 소용되는 비용과 시간이 소요되며, 이런 손실을 줄이기 위해서 본 논문은 딥러닝을 이용한 비정상트래픽을 분류하기 위한 특성에 따른 성능평가를 진행하였다. 현재의 많은 연구들은 분류 성능 향상(정확도, 정밀성)을 향상시키기 위한 연구가 많이 진행되고 있다.
본 논문에서는 네트워크 특징에 따른 특성을 선정하고 선정된 특성이 트래픽 분류에 미치는 영향에 대해서 서술하였다. 논문의 구성은 2장에서는 최근에 연구되어지고 있는 딥러닝을 이용한 트래픽 분류에 대한 연구에 대해 서술하고 3장에서는 특성 추출 및 분석 4장에서는 실험에 대한 내용에 대해 서술하고 마지막으로 5장에서는 결론을 맺는다.
하지만 기존의 네트워크 침입 탐지 시스템 기술의 발전에도 불구하고, 현재의 솔루션은 다양한 환경에서 발생하는 공격을 완벽하게 탐지하기에는 기술이 부족하다[4].본 연구에서는 다양한 트래픽 특징을 분석하여 특성을 선정하고 트래픽 분류 성능을 분석한다. 세션으로 트래픽을 탐지할 경우 다음과 같은 장점이 존재하며, 이를 통해 여러 행위에 대한 흐름을 걸러낼 수 있다[21].
하지만 다양한 특성에 따라 달라지는 분류의 정확도의 추적하는 연구는 부족하다. 이를 해결하기 위해 본 연구에서는 트래픽의 특징을 분석하고 악성코드의 특성을 선정하여 특성 별 분류 성능에 미치는 영향에 대해서 분석하였다. 실험 결과 세션만을 이용하였을 때보다 DIR, Session Winsize을 이용하였을 때 오탐율 줄이고 탐지율은 향상 시킬 수 있었다.

가설 설정

1. 합법적인 호스트와 통신을 제외한 비정상 트래픽을 걸러 낼 수 있다. 현재의 연결된 상태의 네트워크 파악할 수 있다.

제안 방법

Guerroumi는[7]에서 무선 네트워크 환경에서 싱크홀 공격에 대응하기 위하여 클러스터 기반 라우팅 프로토콜을 보호하기 위한 방법을 제안하였다. IDS에서 공격을 탐지하기 위하여 중요 특성을 추출하고 N.A-Detection 알고리즘을 이용한 네트워크 트래픽 부하에 영향을 받지 않는 탐지 방법을 제안 하였다.
KIM JI는[15] KDD Dataset1999에서 GRU 를 이용한 침입탐지 방법 연구는 hidden layer 별 분석을 통해 높은 영역에 대한 알고리즘(RNN, LSTM, GRU)를 대상으로 하여 비교 실험 하였다. KDD dataset을 이용하여 DoS, R2L, Normal 등에 대하여 특성을 추출하고 군집화 하였으며 hyperparameter를 이용하여 각 수치들에 대한 관계를 분석한 논문이다.
KIM JI는[16] LSTM의 성능 향상을 위해 KDD Dataset1999를 이용하였고 RNN과 결합한 LSTM-RNN 알고리즘기반 IDS를 제안하였다.
각 트래픽은 10개의 class로 labeling 되어 있다. Train dataset에 대한 학습은 벡터의 성분을 tf.random API를 이용하여 랜덤하게 할당하였다.
BEDIAKO는[17] LSTM을 이용한 DDoS 공격에 대한 탐지 방법을 제안했다. UNB ISCS Intrusion Detection Evaluation 2012 dataset을 이용하여 DDoS 공격을 집중적으로 연구하였으며 20개의 특성을 추출하여 DDoS 탐지 및 추출 기준을 서술하였다.
네트워크 특징의 경우 패킷 수집 도구를 이용하여 정적분석을 통해 IP, port, session 특성을 선정하였다. 트래픽 수집 도구를 이용하여 약 40000개의 패킷에 대한 scan, loaded, C&C 명령어에 따른 트래픽 변화 등과 같은 특징을 추출하였다.
다음으로 수집한 데이터를 가지고 CNN을 이용하여 분류하기 위해 PNG 이미지로 특징을 정형화했다. 패킷 바이너리의 경우 크기가 모두 다르므로 크기가 커지면 그만큼 이미지의 세로 길이가 커진다.
본 연구에서 네트워크 특징을 분석하고 특성을 선정하여 각 시나리오 별로 분류를 진행한다. Fig.
본 연구에서는 다양한 연구에서 공통적으로 사용 되는 패킷 데이터의 여러 특성 중 14가지 (Duration, HeaderLength, IPversion header/payload, TTL, Proto, SrcIP, DstIP, SrcPort, DstPort, DIR, AckNum, WinSize, Timestamp)을 선정하고 추출하여 CSV 파일을 제작하는 프로그램을 구현하였다.
기존의 연구에서는 지도학습을 기반의 비정상 트래픽 분류의 한계점인 학습되지 않은 공격 또는 변형된 공격탐지를 해결하기 위한 연구가 진행되고 있다. 본 연구에서는 트래픽의 특징을 분석하고 특성을 추출하여 공격을 탐지하기 위한 방법으로 다양한 특성중 6가지 공통적인 특성은 SRC_Port, DST_Port, DIR, Session Winsize, Timestamp을 선정하였으며 3가지 시나리오에 따른 분류를 Confusion Matrix와 F1-score를 이용하여 평가하였다.
수집된 데이터는 범주형 데이터로 구성되어있어 TF-IDF를 이용하여 Vector로 변환시킨 후 배열로 변환한다. 변환된 데이터는 데이터 정형화과정을 통해 raw 데이터로 입력된다.
시나리오 A(10 클래스 분류)는 트래픽 분류의 실제 적용에서 가장 기본적인 SRC_Port, DST_Port, DIR, Session Winsize, Timestamp을 이용한 악성코드에 의해 발생되는 트래픽을 식별하기 위한 특성에 따른 성능 실험을 진행하였다. 이 시나리오에서는 먼저 악성코드 또는 benign을 식별하기 위해 2진 분류가 수행된 다음각 트래픽 클래스를 식별하기 위해 2개의 10 클래스 분류를 각각 수행했다.
이미지를 매번 디코딩하게 되면 머신러닝 모델의 학습단계에서 많은 입출력이 증가되게 된다. 시스템 처리 속도 향상을 위해 생성된 이미지를 128x128로 Resizing 작업을 진행하고 IDX파일을 생성하였다.
시나리오 A(10 클래스 분류)는 트래픽 분류의 실제 적용에서 가장 기본적인 SRC_Port, DST_Port, DIR, Session Winsize, Timestamp을 이용한 악성코드에 의해 발생되는 트래픽을 식별하기 위한 특성에 따른 성능 실험을 진행하였다. 이 시나리오에서는 먼저 악성코드 또는 benign을 식별하기 위해 2진 분류가 수행된 다음각 트래픽 클래스를 식별하기 위해 2개의 10 클래스 분류를 각각 수행했다. Fig.
하지만 DIR, Session, Winsize의 경우에는 분류 성능이 유지되었다. 이를 통해 기계학습을 이용한 트래픽 분류에서 특성에 의한 성능을 비교할 수 있었다. 논문에서 분석한 특성 중 port와 Timestamp의 경우 분류의 미치는 영향이 적으며 DIR, Session, Winsize의경우 영향이 컸다.
악성코드의경우 한 번에 공격이 진행되는 것이 아닌 APT 또는 정상적인 접근을 이용하여 공격이 이뤄지고 window size의 경우도 다른 트래픽과의 차이가 없기 때문에 탐지가 불가능한 상황이 발생한다. 이를 해결하기 위해 본 연구에서는 트래픽의 특징을 분석하고 네트워크 특성을 선정하고 각 특성이 트래픽의 분류하는데 미치는 영향에 대한 성능 분석을 진행하였다. Table 1은 네트워크 트래픽을 분석하는데 사용되는 특성중 많이 사용되는 특성을 정리한 표이다.
Convolutional layer은 4 차원 텐서를 출력한다. 이제 Fully-Connected 네트워크에서 이를 입력으로 사용하고자 한다. 이 네트워크에서는 tensor가 2차원 tensor로 재구성되거나 평면화되어야 한다.
트래픽 수집 도구를 이용하여 약 40000개의 패킷에 대한 scan, loaded, C&C 명령어에 따른 트래픽 변화 등과 같은 특징을 추출하였다.
Table 1의 다양한 데이터 셋의 특성을 대상으로한 정확성을 분류하였다. 특성 중 악성코드를 분석 결과를 바탕으로 공통 특성 6가지를 선정하였으며 트래픽 분류 과정에서 각각 어떤 특성이 더 중요한지에 대한 실험을 진행하였다. Table 3은 각각의 특성에 따라 분류성능에 미치는 영향에 대해 분석하였다.
11은 시나리오 B(IoT 기기 트래픽 10종 분류)는 위의 실험결과를 바탕으로 SDN에서 수집한 IoT 기기 네트워크 트래픽을 실제 환경에서 발생한 트래픽을 분류한다. 특성은 시나리오 A와 같은 Src_Port, Dst_Port, DIR, Session Winsize, Timestamp을 이용하며, 특성을 감소시키며 실험을 진행하였다. 데이터 셋의 총 크기는 1,500개로 Train 셋이 1,260개, Test 셋이 240개이다.
패킷 수집프로그램으로부터 수집된 CSV파일 데이터에 대한 분석을 진행하였다. 특징을 분석한 결과 기존의 특성을 이용하여 공격을 탐지할 경우 스캐닝 공격과 파일 전송을 탐지하기 어려웠으며 헤더 정보만을 가지고 분석하기에 한계가 있었다.
Liu는 CNN 기반의 침입 탐지 알고리즘을 개발하여 IDS 모델을 평가했다. 학습 단계에서는 KDD Cup 1999 데이터 세트에서 추출된 특징을 이용해서 데이터 세트를 생성하고 보다 편리한 CNN 학습을 위해 테스트 데이터에 대해 2차원 처리를 수행했다.CNN을 이용한 분류 방법 중 가장 높은 97.
Yuxuan Luo[8]는 실제 시나리오에서는 HTTP 트래픽 데이터 집합이 불명확하여 탐지가 어렵다. 학습된 학습 모델과 HTTP 페이로드 데이터를 기반으로 하는 PU 학습 (Positive 및 Unlabeled 학습) 을 결합한 새로운 웹 이상 탐지 방법을 제안하였다.

대상 데이터

특성은 시나리오 A와 같은 Src_Port, Dst_Port, DIR, Session Winsize, Timestamp을 이용하며, 특성을 감소시키며 실험을 진행하였다. 데이터 셋의 총 크기는 1,500개로 Train 셋이 1,260개, Test 셋이 240개이다.
GeForce GTX 10606GB GPU가 가속기로 사용된다. 데이터는 총 40,000개의 데이터 중 Train은 31,920개, Test는 6080개이다. 저장된 디렉토리에 맞춰 class는 자동으로 나눠지게 된다.
패킷 수집도구에서는 패킷을 수집하고 pcap파일 형태로 데이터를 수집한다. 수집된 데이터는 필터를 이용 하여 세션을 검사하고 Src IP, Dst IP, 포트번호, 프로토콜, 세션 데이터 등의 특성을 기반으로 Table 형태로 수집하게된다.
성능저하의 원인은 학습데이터 셋의 크기로 보았다. 실험에서 사용된 데이터 셋은 약 1,500개 불과하다. Fig.
4처럼 생성된 트래픽 특성을 이용한 이미지를 가지고 CNN 모델에 적용시켜 실험했다. 총 1100개(정상:1000, 비정상:100)의 바이너리를 가지고 정상: 비정상의 비율을 10:1로 실험했다. 훈련과 테스트에 사용한 데이터의 비율은 4대 1이다.

데이터처리

특성추출을 위하여 상관관계를 이용한 특성을 생성하였고 평가를 위해 다른 알고리즘(CRNN, RNN, RBNN, KNN, SVM, Basian)과 비교 실험 하였다.

이론/모형

Li는[10]에서 기존 악성코드 탐지에 특징 추출을 적절하게 적용하지 못하여 탐지율과 정확도가 낮았던 문제를 해결하기 위하여 AE와 DBN을 결합한 하이 브리드 악성 코드 검출모델을 제안하였다. AE를 차원 감소에 사용하고 RBM을 통한 자동 측정 방법에 사용하였다. KDD-Cup-99 데이터셋을 사용하여 실험한 결과 AE를 사용하여 데이터의 크기를 축소하는 것이 효과적이었으며 탐지 정확도가 향상 될 수 있음을 보였다.
Tang는[12]에서 NSL-KDD 데이터셋을 사용하여 SDN 환경에서 IDS를 적용하기 위해 DNN 방법을 적용하였다. 41개의 특성 중 duration, protocol_type, src_bytes, dst_bytes, count 및 src_count 등 6가지 기능을 선정하여 실험한 결과 손실량은 7.
learning_rate = 0.001, training_epochs =15, batch_size = 2, 실험 모델의 Cost를 정의하기 위해 Softmax를 이용했으며, 최적화 도구로 “AdamOptimizer”로 사용했다.

성능/효과

2. 긴 TCP 세션에서 짧은 TCP 세션(패킷 4개 이 하)로 분리하거나 PSH 플래그처럼 세션이 합법적이라는 신호를 찾을 수 있다.
3. 명령어 파일 전송 등으로 트래픽을 세분화를 하면 class의 특징을 파악할 수 있으며 특성을 추출하는데 효율적이다. 또한 분류 정확성을 높이기 위해 알고리즘을 미세 조정하여 선별할 수 있는 장점이 있으며, 필터링 작업을 확대해서 트래픽분류에 효율성을 높일 수 있다.
4. 단순히 양에 대한 임계치를 사용하여 처리해야할 트래픽 양과 잡음을 줄일 수 있다.
Tang는[12]에서 NSL-KDD 데이터셋을 사용하여 SDN 환경에서 IDS를 적용하기 위해 DNN 방법을 적용하였다. 41개의 특성 중 duration, protocol_type, src_bytes, dst_bytes, count 및 src_count 등 6가지 기능을 선정하여 실험한 결과 손실량은 7.4%이고 정확도는 91.7%로 41개 전체 특성을 이용하여 분류하는 것보다 더 나은 성능을 보였다.
AE를 차원 감소에 사용하고 RBM을 통한 자동 측정 방법에 사용하였다. KDD-Cup-99 데이터셋을 사용하여 실험한 결과 AE를 사용하여 데이터의 크기를 축소하는 것이 효과적이었으며 탐지 정확도가 향상 될 수 있음을 보였다.
이를 통해 기계학습을 이용한 트래픽 분류에서 특성에 의한 성능을 비교할 수 있었다. 논문에서 분석한 특성 중 port와 Timestamp의 경우 분류의 미치는 영향이 적으며 DIR, Session, Winsize의경우 영향이 컸다.
실험 결과 세션만을 이용하였을 때보다 DIR, Session Winsize을 이용하였을 때 오탐율 줄이고 탐지율은 향상 시킬 수 있었다. 또한 IP와 Port의 경우 영향을 분류 성능에 영향을 많이 미치지 않는 것으로 분석되었다. 향후의 예측률을 향상시키기 위해 네트워크 트래픽의 데이터 불균형문제를 해결하기 위한 기계학습 기반 트래픽 생성에 대한 연구를 진행할 예정이다.
명령어 파일 전송 등으로 트래픽을 세분화를 하면 class의 특징을 파악할 수 있으며 특성을 추출하는데 효율적이다. 또한 분류 정확성을 높이기 위해 알고리즘을 미세 조정하여 선별할 수 있는 장점이 있으며, 필터링 작업을 확대해서 트래픽분류에 효율성을 높일 수 있다.
흥미롭게도 다양한 특성에 Timestamp의 특성의 경우 분류 성능에 대한 결과가 좋지 않았다. 또한 출발지 Port, 목적지 Port 특성이 분류에 미치는 영향이 적다는 것을 알 수 있었다. 하지만 DIR, Session, Winsize의 경우에는 분류 성능이 유지되었다.
Haider는[5]에서 DFR(Data Feature Retrieva)와 KNN을 이용한 기계학습 알고리즘을 이용한 HADS(Host-based anomaly detection systems)을 제안하였다. 본 시스템은 Xie의 통계적 방법을 이용한 탐지와 비교하였을 때 데이터 특성 추출을 위한 계산 비용을 최소화하여 계산에 소요되는 시간을 감소시키는 결과를 보였다.[6] 하지만 탐지율은 12%~2% 낮아지고 오탐율은 5% 높아지는 한계점을 보인다.
이를 해결하기 위해 본 연구에서는 트래픽의 특징을 분석하고 악성코드의 특성을 선정하여 특성 별 분류 성능에 미치는 영향에 대해서 분석하였다. 실험 결과 세션만을 이용하였을 때보다 DIR, Session Winsize을 이용하였을 때 오탐율 줄이고 탐지율은 향상 시킬 수 있었다. 또한 IP와 Port의 경우 영향을 분류 성능에 영향을 많이 미치지 않는 것으로 분석되었다.

후속연구

향후의 예측률을 향상시키기 위해 네트워크 트래픽의 데이터 불균형문제를 해결하기 위한 기계학습 기반 트래픽 생성에 대한 연구를 진행할 예정이다. 또한 유사 프로토콜 및 세션 처리과정을 가진 트래픽의 오탐율을 줄이기 위한 연구를 진행할 예정이다.
패킷 수집프로그램으로부터 수집된 CSV파일 데이터에 대한 분석을 진행하였다. 특징을 분석한 결과 기존의 특성을 이용하여 공격을 탐지할 경우 스캐닝 공격과 파일 전송을 탐지하기 어려웠으며 헤더 정보만을 가지고 분석하기에 한계가 있었다. 악성코드의경우 한 번에 공격이 진행되는 것이 아닌 APT 또는 정상적인 접근을 이용하여 공격이 이뤄지고 window size의 경우도 다른 트래픽과의 차이가 없기 때문에 탐지가 불가능한 상황이 발생한다.
또한 IP와 Port의 경우 영향을 분류 성능에 영향을 많이 미치지 않는 것으로 분석되었다. 향후의 예측률을 향상시키기 위해 네트워크 트래픽의 데이터 불균형문제를 해결하기 위한 기계학습 기반 트래픽 생성에 대한 연구를 진행할 예정이다. 또한 유사 프로토콜 및 세션 처리과정을 가진 트래픽의 오탐율을 줄이기 위한 연구를 진행할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	PU 학습에 사용되는 데이터는 무엇인가?	Yuxuan Luo[8]는 실제 시나리오에서는 HTTP 트래픽 데이터 집합이 불명확하여 탐지가 어렵다. 학습된 학습 모델과 HTTP 페이로드 데이터를 기반으로 하는 PU 학습 (Positive 및 Unlabeled 학습)을 결합한 새로운 웹 이상 탐지 방법을 제안하였다.
	딥러닝 기술이 보안분야에서는 어떻게 사용되고 있는가?	최근 4차 산업 혁명 기술 중 하나인 딥러닝(Deep Learning) 기술은 보안 분야에서는 탐지하기 어려운 네트워크 데이터의 숨겨진 의미를 식별하고 공격을 예측하는 데 사용되고 있다. 침입탐지에 사용될 딥러닝 알고리즘을 선택하기 전에 데이터의 속성과 품질 분석이 필요하다.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증