[논문]차분 프라이버시를 만족하는 안전한 GAN 기반 재현 데이터 생성 기술 연구

강준영; 정수용; 홍도원; 서창호

doi:10.13089/jkiisc.2020.30.5.945

차분 프라이버시를 만족하는 안전한 GAN 기반 재현 데이터 생성 기술 연구
A Study on Synthetic Data Generation Based Safe Differentially Private GAN 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.30 no.5, 2020년, pp.945 - 956

강준영 (공주대학교) , 정수용 (공주대학교) , 홍도원 (공주대학교) , 서창호 (공주대학교)

초록
AI-Helper

많은 응용프로그램들로부터 양질의 서비스를 제공받기 위해서 데이터 공개는 필수적이다. 하지만 원본 데이터를 그대로 공개할 경우 개인의 민감한 정보(정치적 성향, 질병 등)가 드러날 위험이 있기 때문에 원본 데이터가 아닌 재현 데이터를 생성하여 공개함으로써 프라이버시를 보존하는 많은 연구들이 제안되어왔다. 그러나 단순히 재현 데이터를 생성하여 공개하는 것은 여러 공격들(연결공격, 추론공격 등)에 의해 여전히 프라이버시 유출 위험이 존재한다. 본 논문에서는 이러한 민감한 정보의 유출을 방지하기 위해, 재현 데이터 생성 모델로 주목받고 있는 GAN에 최신 프라이버시 보호 기술인 차분 프라이버시를 적용하여 프라이버시가 보존되는 재현 데이터 생성 알고리즘을 제안한다. 생성 모델은 레이블이 있는 데이터의 효율적인 학습을 위해 CGAN을 사용하였고, 데이터의 유용성 측면을 고려하여 기존 차분 프라이버시보다 프라이버시가 완화된 Rényi 차분 프라이버시를 적용하였다. 그리고 생성된 데이터의 유용성에 대한 검증을 다양한 분류기를 통해 실시하고 비교분석하였다.

Abstract ▼ AI-Helper

The publication of data is essential in order to receive high quality services from many applications. However, if the original data is published as it is, there is a risk that sensitive information (political tendency, disease, ets.) may reveal. Therefore, many research have been proposed, not the original data but the synthetic data generating and publishing to privacy preserve. but, there is a risk of privacy leakage still even if simply generate and publish the synthetic data by various attacks (linkage attack, inference attack, etc.). In this paper, we propose a synthetic data generation algorithm in which privacy preserved by applying differential privacy the latest privacy protection technique to GAN, which is drawing attention as a synthetic data generative model in order to prevent the leakage of such sensitive information. The generative model used CGAN for efficient learning of labeled data, and applied Rényi differential privacy, which is relaxation of differential privacy, considering the utility aspects of the data. And validation of the utility of the generated data is conducted and compared through various classifiers.

주제어

표/그림 (8)

그림 Fig. 1. GAN architecture
그림 Fig. 2. Rényi differentially private CGAN
표 Table 1. AUROC comparison across 8 classifiers trained on the synthetic credit card dataset generated each generative models(with ε=8, δ=10^-5)
표 Table 2. AUROC comparison across 8 classifiers trained on the synthetic credit card dataset generated by dp_cgan and rdp_cgan with various ε(with δ=10^-5)
표 Table 3. AUROC comparison across 8 classifiers trained on the synthetic cervical cancer and adult dataset generated each generative models(with ε=8, δ=10^-5)
표 Table 4. AUROC comparison across 8 classifiers trained on the synthetic cervical cancer dataset generated by dp_cgan and rdp_cgan with various ε(with δ=10^-5)
표 Table 5. AUROC comparison across 8 classifiers trained on the synthetic adult dataset generated by dp_cgan and rdp_cgan with various ε(with δ=10^-5)
그림 Fig. 3. Average of AUROC across 8 classifiers with various ε(with δ=10^-5)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문에서는 데이터 생성 모델인 CGAN에 프라이버시가 완화된 개념인 Rényi 차분 프라이버시를 적용하여 프라이버시가 보존되는 재현 데이터 생성 알고리즘인 Rényi differentially private CGAN을 제안하였다.
하지만 딥러닝 모델에 차분프라이버시를 적용하는 연구는 일반적인 차분 프라이버시에 대한 연구가 대부분이었으며 데이터의 유용성 향상을 위해 프라이버시를 완화 시킨 개념에 대한 연구는 상대적으로 부족하다. 따라서 본 논문에서는 프라이버시가 완화된 개념을 GAN에 적용하여 차분 프라이버시를 만족하는 재현 데이터를 생성하는 방법을 제안한다.
본 논문에서는 공개된 데이터로부터 민감한 정보의 유출을 방지하기 위해 데이터 생성 모델인 CGAN에 Rényi 차분 프라이버시를 적용하여 프라이버시가 보존되는 재현 데이터를 생성하는 알고리즘인 Rényi differentially private CGAN을 제안한다.

제안 방법

Rényi differentially private CGAN은 판별 자의 학습 과정에 Rényi 차분 프라이버시를 적용하였으며 차분 프라이버시의 후처리 성질에 의해 출력된 생성 모델 G로 생성한 데이터는 Rényi 차분 프라이버시를 만족한다.
분류기의 학습 데이터로 사용할 재현 데이터는 CGAN과 (ε,δ)-차분 프라이버시가 적용된 dp_cgan, 그리고 본 논문에서 제안한 Rényi differentially private CGAN(rdp_cgan)으로 생성한 3개의 재현 데이터를 사용하며, CGAN으로 생성한 데이터는 차분 프라이버시가 보장되지 않는(non-private) 재현 데이터이다. 그리고 실제 데이터와 재현 데이터에 대해 각 분류기별 AUROC를 측정하여 알고리즘의 성능을 평가한다. 각 측정값들은 10번 반복 측정한 결과의 평균을 나타낸다.
따라서 이번 장에서는 프라이버시가 완화된 Rényi 차분 프라이버시를 데이터 생성 모델인 CGAN에 적용하여 재현 데이터를 생성하는 방법을 제안한다.
따라서 본 논문에서는 데이터 생성 모델인 CGAN에 프라이버시가 완화된 개념인 Rényi 차분 프라이버시를 적용하여 프라이버시가 보존되는 재현 데이터 생성 알고리즘인 Rényi differentially private CGAN을 제안하였다. 또한 알고리즘의 성능을 확인하기 위해 세 가지의 현실적인 데이터를 사용하여 재현 데이터를 생성하고, 이에 대한 유용성 분석을 위해 8가지의 분류기를 사용하였다. 실험을 통해 ε에 따른 프라이버시와 유용성의 상충 관계를 확인하였다.
모델의 학습에 앞서 판별자와 생성자의 가중치 변수 d0, θ0 그리고 학습 반복횟수 n을 초기화하고 판별자에 대한 학습을 먼저 진행한 후, 생성자에 대한 학습을 진행한다.
3장에서 제안한 알고리즘의 성능을 평가하기 위해 8개의 분류기를 통해 AUROC를 측정한다. 실험에 사용한 분류기는 로지스틱 회귀(Logistic Regression), 의사결정트리(Decision Tree), 배깅(Bagging), 랜덤 포레스트(Random Forest), 그래디언트 부스팅(Gradient Boosting), 에이다부스트(Adaboost), 베르누이 나이브 베이즈(Bernoulli Naive Bayes), XG부스트(XGBoost)이다. 이때 분류기의 학습 데이터는 재현 데이터를, 실험 데이터는 실제 데이터를 사용하며 학습 데이터와 실험 데이터의 비율은 8:2로 설정한다.
실험을 통해 ε에 따른 프라이버시와 유용성의 상충 관계를 확인하였다.
알고리즘은 전체 데이터의 수 N, 추출할 그룹의 크기 L, 그룹이 추출될 확률 q= L/N, 기울기 클리핑 변수 C, 배치 크기 m, 학습률 η, 표준편차 σ, 그리고 총 프라이버시 비용 (ε,δ)를 입력으로 하여 Rényi 차분 프라이버시를 만족하는 생성 모델 G를 출력한다.
또한 알고리즘의 학습에서 Rényi 차분 프라이버시를 만족하게 프라이버시 비용을 계산하여 발생하는 프라이버시 비용을 상대적으로 감소시킬 수 있으며, 생성된 데이터의 유용성을 향상시킬 수 있음을 보인다. 이를 검증하기 위해 두 개의 Kaggle 데이터와 한 개의 UCI데이터에 대한 재현데이터를 생성한 후에 8가지의 분류기를 통해 AUROC를 측정하여 비교분석한다.
이번 절에서는 Rényi 차분 프라이버시를 만족하는 재현 데이터 생성 알고리즘인 Rényi differentially private CGAN을 제안한다.
차분 프라이버시를 만족하는 재현 데이터를 생성하는 방법에 대한 연구는 다방면에서 수행되었다. 하지만 일반적인 차분 프라이버시에 대한 연구가 대부분이었으며 데이터의 유용성 향상을 위해 프라이버시를 완화시킨 개념에 대한 연구는 상대적으로 부족하다.

대상 데이터

분류기의 학습 데이터로 사용할 재현 데이터는 CGAN과 (ε,δ)-차분 프라이버시가 적용된 dp_cgan, 그리고 본 논문에서 제안한 Rényi differentially private CGAN(rdp_cgan)으로 생성한 3개의 재현 데이터를 사용하며, CGAN으로 생성한 데이터는 차분 프라이버시가 보장되지 않는(non-private) 재현 데이터이다.
⋅Kaggle credit card[22] : Kaggle credit card 데이터셋은 2013년 9월 유럽인들을 대상으로 수집한 신용카드 데이터로 레이블은 이상 거래 여부이다. 총 29개의 특성을 갖는 284,807개의 데이터이며 492(0.2%)개만 이상 거래 이력이 있는 데이터이다.
⋅Kaggle cervical cancer[23] : Kaggle cervical cancer 데이터셋은 베네수엘라의 카라카스 대학 병원에서 수집한 자궁경부암 데이터로 레이블은 자궁경부암 양성검사 결과이다. 총 35개의 특성을 갖는 858개의 데이터이며 55(6.4%)개만 양성판정을 받은 데이터이다.
⋅UCI Adult[24] : UCI Adult 데이터셋은 1994년 인구조사 데이터베이스에서 추출한 미국 성인의 소득 데이터로 레이블은 연 소득이 50,000 달러를 초과하는지에 대한 여부이다. 총14개의 특성을 갖는 32,561개의 데이터이며 7841(24.08%) 개만 연 소득이 50,000달러를 초과하는 데이터이다.

데이터처리

3장에서 제안한 알고리즘의 성능을 평가하기 위해 8개의 분류기를 통해 AUROC를 측정한다. 실험에 사용한 분류기는 로지스틱 회귀(Logistic Regression), 의사결정트리(Decision Tree), 배깅(Bagging), 랜덤 포레스트(Random Forest), 그래디언트 부스팅(Gradient Boosting), 에이다부스트(Adaboost), 베르누이 나이브 베이즈(Bernoulli Naive Bayes), XG부스트(XGBoost)이다.

이론/모형

line 6, 7에서 계산된 기울기를 변수 C로 클리핑한 값인 #와 #를 계산하고, line 9, 10에서 계산된 값의 평균을 구한 다음 가우시안 잡음 N(0, σ²C²I)을 더해준다. 계산된 기울기 값을 기반으로 Adam 최적화 알고리즘을 통해 판별자의 변수 d를 갱신하고 지금까지 소모된 프라이버시 비용을 RDP accountant로 계산한다. 다음으로 생성자의 학습을 진행하기 위해 실제 데이터의 레이블 배치 #와 무작위 잡음 z를 임의의 배치 크기 m만큼 추출한다.
그리고 추출된 데이터에 대한 기울기를 계산하고 Adam최적화 알고리즘을 통해 생성자 변수 Θ를 갱신한다.
특히, Rényi 차분 프라이버시(Rényi Differential privacy, RDP)[17]는 Kullback-Leibler(KL) 발산을 사용한 기존 차분 프라이버시와는 달리 Rényi 발산을 사용하였으며, 다음과 같이 정의한다.

성능/효과

1은 각각의 알고리즘으로 생성한 credit card 재현 데이터에 대해 프라이버시 비용(ε)이 8이고, δ는 10^-5일 때 분류기별 AUROC를 측정한 것이다. 각 측정값을 통해 rdp_cgan으로 생성한 데이터가 dp_cgan으로 생성한 데이터보다 AUROC값이 크므로 유용성 측면에서 더 좋은 결과를 나타내는 것을 확인할 수 있다. 또한 rdp_cgan으로 생성한 데이터에 대한 AUROC의 평균은 0.
그리고 ε이 감소할수록 프라이버시가 증가하지만 데이터의 유용성은 급격하게 감소하는 것을 확인할 수 있다.
3은 각각의 알고리즘으로 생성한 cancer 와 adult 재현 데이터에 대해 ε = 8, δ= 10^-5일 때 분류기별 AUROC를 측정한 것이다. 데이터별 AUROC값을 통해 rdp_cgan으로 생성한 데이터가 dp_cgan으로 생성한 데이터보다 유용성이 향상되는 것을 확인할 수 있다. 또한 cancer와 adult 데이터의 경우 rdp_cgan으로 생성한 데이터에 대한 AUROC의 평균은 각각 0.
하지만 RDP accountant로 Rényi 차분 프라이버시를 만족하게 프라이버시 비용을 계산한다면, 발생하는 프라이버시 비용을 더욱 감소시킬 수 있다. 따라서 본 논문에서는 RDP accountant로 계산하여 Moments accountant보다 발생하는 프라이버시 비용을 감소시킬 수 있음을 보인다.
각 측정값을 통해 rdp_cgan으로 생성한 데이터가 dp_cgan으로 생성한 데이터보다 AUROC값이 크므로 유용성 측면에서 더 좋은 결과를 나타내는 것을 확인할 수 있다. 또한 rdp_cgan으로 생성한 데이터에 대한 AUROC의 평균은 0.9136으로 프라이버시가 보장되지 않는 재현 데이터(CGAN)에 대한 AUROC의 평균인 0.9348과 근소한 차이를 나타내며, 이는 프라이버시를 보존하면서 높은 수준의 유용성을 갖는 데이터를 생성할 수 있음을 의미한다. Table.
또한 알고리즘의 학습에서 Rényi 차분 프라이버시를 만족하게 프라이버시 비용을 계산하여 발생하는 프라이버시 비용을 상대적으로 감소시킬 수 있으며, 생성된 데이터의 유용성을 향상시킬 수 있음을 보인다.
또한, 대부분의 경우 동일한 ε에 대해 (α,ε)-Rényi 차분 프라이버시를 적용하는 것이 (ε,δ)-차분 프라이버시를 적용하는 것보다각 분류기별 AUROC값이 크므로, 생성된 재현 데이터의 유용성이 향상되는 것을 확인하였다.
3은 세 개의 데이터에 대해 8개의 분류기로 측정한 AUROC값의 평균을 그래프로 나타낸 것으로 왼쪽부터 순서대로 credit card, cancer, adult 데이터에 대한 그래프이다. 분석을 통해 rdp_cgan으로 생성한 데이터에 대한 AUROC가 dp_cgan으로 생성한 데이터에 대한 AUROC보다 크므로 더욱 유용성이 향상되는 것을 알 수 있다. 그리고 ε이 감소할수록 프라이버시가 증가하지만 데이터의 유용성은 급격하게 감소하는 것을 확인할 수 있다.
4와 5는 dp_cgan과 rdp_cgan으로 생성한 cancer와 adult 재현 데이터에 대해 ε에 따른 분류기별 AUROC를 측정한 것이다. 표를 통해 cancer 데이터와 adult 데이터에 대해서도 rdp_cgan을 사용하여 재현 데이터를 생성하는 것이 dp_cgan을 사용하는 것보다 유용성이 향상되는 것을 확인할 수 있다. 또한 대부분의 경우 ε이 증가할수록 ARUOC가 증가하는데, 이는 ε이 작다면 생성된 데이터의 프라이버시는 증가하지만 유용성은 감소하고, ε이 크다면 그만큼 프라이버시는 감소하지만 유용성이 향상되는 것을 의미한다.
2는 dp_cgan과 rdp_cgan으로 생성한 credit card 재현 데이터에 대해 ε에 따른 분류기별 AUROC를 측정한 것이다. 표를 통해 rdp_cgan으로 생성한 데이터가 dp_cgan올 생성한 데이터보다 유용성이 향상됨을 확인할 수 있다. 또한 대부분의 경우 ε이 증가함에 따라 측정값이 증가하는데, 이는 ε이 증가할수록 생성된 데이터의 유용성은 증가하지만 프라이버시는 감소하는 것을 나타낸다.

질의응답

핵심어	질문	논문에서 추출한 답변
	재현 데이터 생성에 있어서 주목받고 있는 GAN은 어떤 모델인가?	최근 재현 데이터 생성에 있어서 주목받고 있는 GAN은 실제 데이터와 유사한 가짜 데이터를 생성하는 생성자, 실제 데이터와 가짜 데이터의 진위 여부를 판별하는 판별자로 구성되어 있으며, 생성자와 판별자를 번갈아 학습시키면서 실제 데이터와 더욱 유사한 가짜 데이터를 생성할 수 있는 모델이다. 만약 레이블이 있는 데이터에 대한 학습을 진행할 경우 CGAN을 사용하는 것이 효율적이다.
	차분 프라이버시의 개념은 무엇인가?	최근 ‘2020년 MIT 10대 혁신 기술’[14]에 선정된 차분 프라이버시는 주목받고 있는 강력한 프라이버시 보호 기술이다. 차분 프라이버시는 데이터베이스에 한 개인의 존재 여부와 상관없이 데이터 분석 결과의 차이가 적다는 개념으로 데이터 수집 및 분석 그리고 기계학습 등 다양한 분야에서 사용되고 있다. 특히, 딥러닝 모델에 차분 프라이버시를 적용하기 위해 확률적 경사 하강법(Stochastic Gradient Decent, SGD)에서 계산되는 기울기에 정규분포를 따르는 잡음을 더해주는 DPSGD(Differential Privacy SGD)[15]가 제안되었다.
	확률적 경사 하강법에서 계산되는 기울기에 정규분포를 따르는 잡음을 더해주는 DPSGD는 어떤 문제점이 있는가?	특히, 딥러닝 모델에 차분 프라이버시를 적용하기 위해 확률적 경사 하강법(Stochastic Gradient Decent, SGD)에서 계산되는 기울기에 정규분포를 따르는 잡음을 더해주는 DPSGD(Differential Privacy SGD)[15]가 제안되었다. 하지만 학습이 진행될수록 반복적으로 더해주는 잡음으로 인해 발생 하는 프라이버시 비용은 급격하게 증가한다. 이를 해결하기 위해 Abadi 등[16]은 기존의 DPSGD에 기울기의 클리핑(Clipping) 기법을 적용하여 평균 기울기의 민감도의 한계를 제한하고 반복적인 학습을 통해 발생하는 프라이버시 비용을 추적하여 효율적으로 계산하는 방법인 Moments accountant를 제안하였다.

참고문헌 (24)

Buczak, Anna L., Steven B., and Linda M. "Data-driven approach for creating synthetic electronic medical records." BMC medical informatics and decision making 10(1), 59. Oct. 2010

상세보기
McLachlan, S., Kudakwashe D., and Thomas G. "Using the caremap with health incidents statistics for generating the realistic synthetic electronic healthcare record." IEEE International Conference on Healthcare Informatics (ICHI). 2016 IEEE, 2016. pp. 439-448. Oct. 2016
Choi, E., Biswal, S., Malin, B., Duke, J., Stewart, W. F. and Sun, J. "Generating multi-label discrete patient records using generative adversarial networks." arXiv preprint arXiv:1703.06490. Mar. 2017
Narayanan, A, and Vitaly S. "Robust de-anonymization of larg sparse datasets." 2008 IEEE Symposium on Security and Privacy, 2008 IEEE, pp. 111-125, May. 2008
Sweeney, L. "Matching known patients to health records in Washington State data." Available at SSRN 2289850, Jul. 2013
Dwork, C., McSherry, F., Nissim, K. and Smith, A. "Calibrating noise to sensitivity in private data analysis." Journal of Privacy and Confidentiality, 7(3), pp. 17-51, May. 2016
Dwork, C. "Differential privacy: A survey of results." International conference on theory and applications of models of computation. Springer, pp. 1-19, Apr. 2008
Bowen, C. M., and Liu, F. "Comparative study of differentially private data synthesis methods." arXiv preprint arXiv: 1602.01063. Feb. 2016
Liu, F. "Model-based differentially private data synthesis." arXiv preprint arXiv:1606.08052, Jun. 2016
Li, H., Xiong, L. and Jiang, X. "Differentially private synthesization of multi-dimensional data using copula functions." InAdvances in database technology: proceedings. International conference on extending database technology, vol. 2014. NIH Public Access, pp. 475, Nov. 2014
Zhang, J., Cormode, G., Procopiuc, C. M., Srivastava, D. and Xiao, X. "Privbayes: Private data release via bayesian networks." ACM Transactions on Database Systems (TODS), 42(4), pp. 1-41, Oct. 2017
Abay, N. C., Zhow, Y., Kantarcioglu, M., Thuraisingham, B. and Sweeney, L. "Privacy preserving synthetic data release using deep learning." In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, Springer, Cham, pp. 510-526, Jan. 2018
Jordon, J., Yoon, J. and van der Scharr, M. "PATE-GAN: Generating synthetic data with differential privacy guarantees." In International Conference on Learning Representations. Sep. 2018
http://www.technologyreview.com/10-breakthrough-technologies/2020/
Song, S., Chaudhuri, K. and Sarwate, A. D. "Stochastic gradient descent with differentially private updates." In 2013 IEEE Global Conference on Signal and Information Processing, IEEE, pp. 245-248, Dec. 2013
Abadi, M., Chu, A., Goodfellow, I., Mamahan, H. B., Mironov, I., Talwar, K. and Zhang, L. "Deep learning with differential privacy." In Proceedings of the 2016 ACM SIGSAC Confernece on Computer and Communications Security, pp. 308-318, Oct. 2016
Mironov, I. "Renyi differential privacy." In 2017 IEEE 30th Computer Security Foundations Symposium (CSF), IEEE, pp. 263-275, Aug. 2017
Goodfellow, I., Pouget_Abadie, J., Mirza, N., Xu, B. WardeFarley, D., Ozair, S., Courville, A. and Bengio Y. "Generative adversarial nets." In Advances in neural information processing systems, pp. 2672-2680, Jun. 2014
Mirza, M and Ssindero, S. "Conditional generative adversarial nets." arXiv preprint arXiv:1411.1784, Nov. 2014
Dwork, C. and Roth, A. "The algorihmic foundations of differential privacy." Foundations and Trends in Theoretical Computer Science, 9(3-4), pp. 211-407, Aug. 2014

상세보기
Mironov, I., Talwar, K. and Zhang, L. "Renyi Differential Privacy of the Sampled Gauusian Mechnism." arXiv preprint arXiv:1908.10530, Aug. 2019
Dal Pozzolo, A., Caelen, O., Johnson, R. A. and Bontempi, G. "Calibrating probability with undersampling for unbalanced calssification." In 2015 IEEE Symposium Series on Computational Intelligence, IEEE, pp. 159-166, Jan. 2015
Fernandes, K., Cardoso, J. S. and Fernandes, J. "Transfer learning with partial observability applied to cervical cancer screening." In Iberian conference on pattern recognition and image analysis, Springer, Cham, pp. 243-250, May. 2017
Asuncion, A. and Newman, D. "UCI machine learning repository." http://archive.ics.uci.edu/ml, 2007

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증