[논문]생성적 적대 네트워크로 자동 생성한 감성 텍스트의 성능 평가

박천용; 최용석; 이공주

doi:10.3745/ktsde.2019.8.6.257

생성적 적대 네트워크로 자동 생성한 감성 텍스트의 성능 평가
Evaluation of Sentimental Texts Automatically Generated by a Generative Adversarial Network 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.8 no.6, 2019년, pp.257 - 264

박천용 (충남대학교 전자전파정보통신공학과) , 최용석 (충남대학교 전자전파정보통신공학과) , 이공주 (충남대학교 전파정보통신공학과)

초록
AI-Helper

최근 자연언어처리 분야에서 딥러닝 모델이 좋은 성과를 보이고 있다. 이러한 딥러닝 모델의 성능을 향상시키기 위해서는 많은 양의 데이터가 필요하다. 하지만 많은 양의 데이터를 모으기 위해서는 많은 인력과 시간이 소요되기 때문에 데이터 확장을 통해 이와 같은 문제를 해소할 수 있다. 그러나 문장 데이터의 경우 이미지 데이터에 비해 데이터 변형이 어렵기 때문에 다양한 문장을 생성할 수 있는 생성 모델을 통해 문장 데이터 자동 확장을 해보고자 한다. 본 연구에서는 최근 이미지 생성 모델에서 좋은 성능을 보이고 있는 생성적 적대 신경망 중 하나인 CS-GAN을 사용하여 학습 데이터로부터 새로운 문장들을 생성해 보고 유용성을 다양한 지표로 평가하였다. 평가 결과 CS-GAN이 기존의 언어 모델을 사용할 때보다 다양한 문장을 생성할 수 있었고 생성된 문장을 감성 분류기에 학습시켰을 때 감성 분류기의 성능이 향상됨을 보였다.

Abstract ▼ AI-Helper

Recently, deep neural network based approaches have shown a good performance for various fields of natural language processing. A huge amount of training data is essential for building a deep neural network model. However, collecting a large size of training data is a costly and time-consuming job. A data augmentation is one of the solutions to this problem. The data augmentation of text data is more difficult than that of image data because texts consist of tokens with discrete values. Generative adversarial networks (GANs) are widely used for image generation. In this work, we generate sentimental texts by using one of the GANs, CS-GAN model that has a discriminator as well as a classifier. We evaluate the usefulness of generated sentimental texts according to various measurements. CS-GAN model not only can generate texts with more diversity but also can improve the performance of its classifier.

주제어

표/그림 (14)

그림 Fig. 2. The Architecture of CS-GAN
그림 Fig. 1. The Generator of CS-GAN (w_t is the Word-embedding and φ(c) is the Category Embedding.)
그림 Fig. 3. The Discriminator/Classifier of CS-GAN
그림 Fig. 4. The Training Algorithm of CS-GAN
그림 Fig. 5. The Various Models used in the Evaluation
표 Table 1. Information of Training Data Set
표 Table 2. Examples of Training Data
표 Table 3. Examples of the Sentences Generated by LSTM and CS-GAN Models
표 Table 4. Accuracy of the Classifier Models
표 Table 5. The Ratio of Unique Sentences Generated by the Models
표 Table 6. The Number of Unique n-grams in Sentences Generated by the Models
표 Table 7. The Evaluation Results of Sentences Generated by the Models
표 Table 8. Performance of Model G+D+C+RL(CS-GAN)
표 Table 9. Qualitative Evaluation Results of CS-GAN and LSTM Models

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 언어 모델은 학습한 문장을 똑같이 만들어 내는 것이 목적이기 때문에 다양한 데이터를 기대할 수 없다. 그렇기 때문에 본 연구는 생성 모델(Generative model)을 사용하여 다양한 문장 데이터를 만들어 보고 생성된 문장을 평가해 본다.
모드 붕괴는 생성기가 다양한 출력을 만들어내지 못하고 비슷한 결과만 계속해서 생성하는 경우를 뜻한다. 그렇기 때문에 생성기가 얼마나 다양한 문장을 만들어 낼 수 있는지에 대해 평가해 보고자 한다.
또한 실제 문장과 모델에 의해 자동 생성된 문장을 사람이 얼마나 구분해 낼 수 있는지를 측정해 봄으로써 자동 생성된 문장의 완성도를 평가해 본다. 긍/부정의 분류 정보에 따라 적절한 문장을 생성했는지에 대해서도 평가해 본다.
생성된 문장 집합의 복잡도(Perplexity), 참신성(Novelty), 다양성(Diversity)을 평가해 본다. 또한 실제 문장과 모델에 의해 자동 생성된 문장을 사람이 얼마나 구분해 낼 수 있는지를 측정해 봄으로써 자동 생성된 문장의 완성도를 평가해 본다. 긍/부정의 분류 정보에 따라 적절한 문장을 생성했는지에 대해서도 평가해 본다.
본 연구에서는 CS-GAN을 사용하여 감성 데이터를 자동으로 생성하고 생성된 감성 문장들의 유용성을 평가해 본다. 우선 자동 생성된 감성 데이터를 이용하여 긍/부정 분류기(classifier)를 학습시켜 보고 데이터 확장을 통해 기계학습기의 성능 향상이 가능한지를 확인한다.
본 연구에서는 GAN 모델 중 하나인 CS-GAN을 통해 새로운 문장 데이터를 자동으로 생성하고 평가해 보았다.
본 연구에서는 감성인식기 구축에 필요한 학습 데이터를 생성적 적대 신경망을 이용하여 자동 확장해 본다. 감성인식기를 구축하기 위해서는 긍/부정 감성별 학습 데이터가 필요하다.
Equation (6)～(8)을 이용하여 최종 출력의 확률값을 계산한다. 본 연구에서는 다양한 N-gram을 반영하기 위해서 여러 개의 필터 크기를 사용해 문장을 표현한다.
이는 언어 모델이 얼마나 다음 단어를 잘 예측하는지를 평가하는 방법으로 그 값이 낮을수록 잘 학습된 언어 모델이라고 할 수 있다. 본 연구에서는 복잡도로 생성된 문장의 유창성을 측정해 본다[9]. 문장의 복잡도는 언어 모델 SRILM²⁾을 사용해 계산하였다.
본 장에서는 생성 모델이 생성한 문장을 사람이 직접 평가해보는 정성 평가를 수행해 보았다. 5.

제안 방법

CS-GAN 모델이 uni-gram, bi-gram, tri-gram 모두에서 고유한 표현이 제일 많이 나타났다. 또한 강화학습을 사용하는 G+D+RL과 G+D+C+RL(CS-GAN) 모델이 다른 모델들보다 훨씬 다양한 bi-gram과 tri-gram을 사용하였다. 문장 생성시 강화학습을 사용할 경우 출현 빈도가 낮은 표현들이 더 많이 선택될 수 있었다.
생성기는 데이터 토큰을 생성할 때마다 몬테카를로 트리 검색을 통해 남은 열을 샘플링(sampling)하여 완성한다. 몬테카를로 트리 검색으로 완성된 열을 판별기에 입력하여 현재 만들어진 토큰에 대한 보상값을 계산한다.
본 연구에서는 SeqGAN 모델에 분류기를 추가하여 CSGAN을 구현하였다. 본 연구에서 사용한 CS-GAN은 Fig.
생성기의 사전학습 후 몬테 카를로 트리 검색을 실시하는 정책 모델을 생성기의 파라미터와 같은 값으로 초기화 한다. 사전 학습한 생성기가 만든 문장 데이터와 실제 문장 데이터를 이용해 판별기, 분류기를 사전 학습한다. 사전 학습이 끝나면 생성기가 문장을 생성한다.
생성 모델이 자동 생성한 문장들을 좀더 세밀히 평가해 보기 위해 문장의 참신성(novelty)과 다양성(diversity), 그리고 복잡도(perplexity)를 평가해 보았다[10]. 참신성과 다양성, 복잡도는 학습 데이터로 사용한 6,000개의 문장과 각 모델이 생성한 6,000개의 문장을 비교하여 평가한다.
생성기의 학습이 끝나면 생성기는 문장 데이터를 만든다. 생성기가 만든 문장 데이터와 실제 문장 데이터를 사용하여 판별기와 분류기를 학습한다. 판별기는 Equation (12)와 같이 실제 문장과 생성기가 만든 문장을 구분하도록 학습한다.
실제 문장 데이터(W)로 생성기를 사전 학습(pre-training)한다. 생성기의 사전학습 후 몬테 카를로 트리 검색을 실시하는 정책 모델을 생성기의 파라미터와 같은 값으로 초기화 한다. 사전 학습한 생성기가 만든 문장 데이터와 실제 문장 데이터를 이용해 판별기, 분류기를 사전 학습한다.
우선 자동 생성된 감성 데이터를 이용하여 긍/부정 분류기(classifier)를 학습시켜 보고 데이터 확장을 통해 기계학습기의 성능 향상이 가능한지를 확인한다. 생성된 문장 집합의 복잡도(Perplexity), 참신성(Novelty), 다양성(Diversity)을 평가해 본다. 또한 실제 문장과 모델에 의해 자동 생성된 문장을 사람이 얼마나 구분해 낼 수 있는지를 측정해 봄으로써 자동 생성된 문장의 완성도를 평가해 본다.
선별한 댓글 데이터는 Konlpy의 Open Korean Text1)를 사용해 형태소 단위로 분해하고 띄어쓰기 부분은 “”토큰으로 대체하였다.
우선 모델이 자동 생성한 문장 중, 실제 학습 데이터에 존재하지 않으면서 서로 다른 문장의 비율을 확인해 보기 위하여 각 모델 당 100,000 문장을 생성해 보았다. 100,000 문장 중 학습 데이터에 존재하지 않으면서 고유한 문장의 비율과 이 문장들의 평균 형태소/어절 수를 Table 5에 제시하였다.
본 연구에서는 CS-GAN을 사용하여 감성 데이터를 자동으로 생성하고 생성된 감성 문장들의 유용성을 평가해 본다. 우선 자동 생성된 감성 데이터를 이용하여 긍/부정 분류기(classifier)를 학습시켜 보고 데이터 확장을 통해 기계학습기의 성능 향상이 가능한지를 확인한다. 생성된 문장 집합의 복잡도(Perplexity), 참신성(Novelty), 다양성(Diversity)을 평가해 본다.
평가자는 주어진 문장이 긍정이면 ‘P’를 부정이라고 판단되면 ‘N’을 부여한다. 이를 기계가 문장을 생성할 때 사용했던 태그 정보와 비교해서 긍/부정 일치도를 측정하였다.
생성기가t(0<t<T)길이 만큼 단어를 생성하면 t+1 길이부터 T 길이까지 정책 모델이 단어를 샘플링한다. 정책 모델이 완성한 문장을 판별기와 분류기에 입력으로 주어 보상값을 계산한다. 계산한 보상값으로 Equation (11)과 같이 생성기의 파라미터를 갱신한다.
SeqGAN은 강화 학습의 일종인 몬테카를로 트리 검색(Monte-Calro Tree Search)을 이용한 정책 그래디언트(Policy Gradient)를 채용한다. 주어진 토큰으로부터 몬테카를로 트리 검색을 통해 가능한 문장들을 완성하고 완성된 문장에 대한 보상값을 계산한다. 그리고 SeqGAN의 생성기는 이산 값을 생성할 수 있도록 LSTM(Long Short Term Memory) 모델을 사용한다.
생성 모델이 자동 생성한 문장들을 좀더 세밀히 평가해 보기 위해 문장의 참신성(novelty)과 다양성(diversity), 그리고 복잡도(perplexity)를 평가해 보았다[10]. 참신성과 다양성, 복잡도는 학습 데이터로 사용한 6,000개의 문장과 각 모델이 생성한 6,000개의 문장을 비교하여 평가한다. Table 5에서 사용한 고유한 문장 중에서 동일 단어가 3회 이상 반복되는 문장들은 제거하고 6,000개를 무작위로 추출하였다.
정성 평가는 두 가지로 수행하였다. 첫째는 평가자가 생성된 가짜 문장과 진짜 문장을 구분할 수 있는지를 측정해 보았다. 사람이 작성한 진짜 문장이라고 판단될 경우 +1점을, 기계가 생성한 가짜 문장이라고 판단될 경우 –1점을, 기계가 생성한 것인지 사람이 작성한 것인지 구별하기 어렵다면 0점을 부여하도록 하였다.

대상 데이터

본 장에서는 생성 모델이 생성한 문장을 사람이 직접 평가해보는 정성 평가를 수행해 보았다. 5.2절에서 추출한 6,000 문장을 복잡도 순으로 정렬한 후 상위 10%의 문장과 하위 10%의 문장을 배제하고 나머지 80%의 문장에서 평가 문장을 추출하였다. 복잡도 상위 10%의 문장을 배제한 이유는 상위 문장의 경우 문장의 길이가 너무 짧거나 비슷한 문장이 많이 포착되었기 때문이다.
참신성과 다양성, 복잡도는 학습 데이터로 사용한 6,000개의 문장과 각 모델이 생성한 6,000개의 문장을 비교하여 평가한다. Table 5에서 사용한 고유한 문장 중에서 동일 단어가 3회 이상 반복되는 문장들은 제거하고 6,000개를 무작위로 추출하였다.
남은 80%의 문장을 5개 부분으로 나누어 각 부분에서 20개의 문장씩 총 100문장을 무작위로 선정하였다. 긍정 문장과 부정 문장에서 각각 100문장씩 추출하여 모델 당 200문장씩 수동 평가를 실시하였다.
복잡도 하위 10% 문장을 배제한 이유는 문장의 형태가 온전하지 않은 경우가 많았기 때문이다. 남은 80%의 문장을 5개 부분으로 나누어 각 부분에서 20개의 문장씩 총 100문장을 무작위로 선정하였다. 긍정 문장과 부정 문장에서 각각 100문장씩 추출하여 모델 당 200문장씩 수동 평가를 실시하였다.
본 연구에서는 SeqGAN 모델에 분류기를 추가하여 CSGAN을 구현하였다. 본 연구에서 사용한 CS-GAN은 Fig. 1과 같이 생성기(Generator)와 판별기(Discriminator), 분류기(Classifier)로 구성된다. 생성기는 매 단계마다 긍/부정 감성 정보(C)를 입력받아 긍/부정 의미가 담긴 문장을 무작위로 생성한다.
수집한 댓글은 긍정 댓글과 부정 댓글로 나누어 각각 4,000개의 데이터를 수집하였다.
실험에 사용한 데이터는 네이버 스포츠 뉴스 중 2018 아시안 게임 축구 분야의 댓글이다. 수집한 댓글은 긍정 댓글과 부정 댓글로 나누어 각각 4,000개의 데이터를 수집하였다.
선별한 댓글 데이터는 Konlpy의 Open Korean Text¹⁾를 사용해 형태소 단위로 분해하고 띄어쓰기 부분은 “<SP>”토큰으로 대체하였다. 얻은 데이터의 긍/부정 댓글 각각 3,000개씩은 학습데이터로 사용하고, 나머지는 1,000개씩은 평가데이터로 사용하였다. 학습데이터의 정보는 Table 1과 같다.
모델 C만 실제 학습 데이터로 학습한 분류기이고 나머지 모델들은 모두 학습기가 자동 생성한 문장들까지 학습시킨 분류기이다. 평가는 학습에 포함되지 않은 평가 데이터 2,000 문장에 대해 실시하였다. 모델 C+G의 경우 모델 C에 비해 2.

데이터처리

생성기에 분류기와 판별기의 보상값(QGθg<Dθd,Dθc>)을 하나의 보상값으로 계산하기 위해 조화 평균을 사용하였다[9].

이론/모형

CS-GAN의 생성기는 Fig. 2와 같이 LSTM 모델을 사용한다. LSTM의 입력(x_t)은 Equation (2)와 같이 문장의 단어 임베딩 (w_t)과 긍/부정 정보를 담고 있는 임베딩(φ(C))의 결합이다.
주어진 토큰으로부터 몬테카를로 트리 검색을 통해 가능한 문장들을 완성하고 완성된 문장에 대한 보상값을 계산한다. 그리고 SeqGAN의 생성기는 이산 값을 생성할 수 있도록 LSTM(Long Short Term Memory) 모델을 사용한다. 그 결과 SeqGAN은 학습 데이터와 유사한 문장 데이터를 생성할 수 있다.
본 연구에서는 복잡도로 생성된 문장의 유창성을 측정해 본다[9]. 문장의 복잡도는 언어 모델 SRILM²⁾을 사용해 계산하였다. 복잡도가 낮을수록 생성된 문장의 유창성이 좋다고 할 수 있다.
본 연구에서는 주어진 문장으로부터 새로운 문장 집합을 생성하기 위해서 생성적 적대 네트워크(Generative adversarial networks)[5]를 사용한다. 생성적 적대 네트워크는 생성기와 판별기로 이루어진 모델이다.
분류기와 판별기는 생성기가 만든 문장 데이터와 실제 데이터를 모두 사용하여 학습한다. 본 연구에서는 판별기와 분류기의 성능을 향상시키기 위해서 하이웨이 네트워크(Highway networks)[11]를 사용한다. 하이웨이 네트워크를 사용함으로써 많은 신경망 층으로 이루어진 딥러닝 모델의 학습 속도 저하를 막을 수 있다.

성능/효과

CS-GAN 모델을 사용하여 긍/부정 감성 레이블을 갖는 문장을 자동으로 확장하고 이를 분류기의 학습데이터로 추가 사용했을 때, 분류기의 성능이 최대 3.5%까지 향상되었다.
CS-GAN 모델이 uni-gram, bi-gram, tri-gram 모두에서 고유한 표현이 제일 많이 나타났다.
판별기는 입력문장이 실제 문장인지 생성기가 만든 가짜 문장인지 구분할 수 있도록 학습시킨다. 긍/부정 의미가 담긴 상품평 문장 데이터에 대해 실험을 한 결과, 문장의 유창성(Fluency), 참신성(Novelty), 다양성(Diversity)이 향상됨을 보였다.
CS-GAN 모델로 생성한 문장이 LSTM으로 생성한 문장에 비해 사람이 만든 문장과 유사했다. 또한 긍/부정 분류별 생성에 있어서도 높은 일치도를 보였다.
평가는 학습에 포함되지 않은 평가 데이터 2,000 문장에 대해 실시하였다. 모델 C+G의 경우 모델 C에 비해 2.7%의 성능 향상을 보였으며, 모델 G+D+C+RL(CS-GAN)의 경우에는 모델 C에 비해 약 3.5%의 정확도 향상을 보였다. 생성 모델을 이용하여 학습 데이터를 자동확장하는 것이 분류기 성능을 큰 폭으로 향상시킬 수 있었다.
모델 G는 학습데이터와 동일한 문장을 만들도록 학습된 LSTM 모델이다 보니 모델의 복잡도가 가장 낮은 결과를 보였다. Table 5에서 모델 G는 고유한 문장의 비율이 다른 모델에 비해 높았다.
또한, 강화 학습을 사용하지 않는 모델 G+D+C의 경우 고유 문장 생성 비율이 상당히 낮아짐을 볼 수 있다. 문장 생성 시 각 토큰만을 고려하지 않고 완성된 문장을 고려하여 보상값을 부여하는 강화 학습이 새로운 문장을 생성하는데 기여함을 확인할 수 있었다.
5%의 정확도 향상을 보였다. 생성 모델을 이용하여 학습 데이터를 자동확장하는 것이 분류기 성능을 큰 폭으로 향상시킬 수 있었다.
실험 결과 생성기와 판별기, 분류기의 학습 비를 1:5로 하였을 때 분류기의 정확도가 가장 높았다. 따라서 생성기와 판별기, 분류기의 학습 비를 잘 조절하는 것이 모델의 성능을 향상 시키는데 영향을 주는 것을 알 수 있다.
참신성과 다양성 면에서는 G+D+RL 모델이, 복잡도 면에서 는 모델 G을 제외하고는 G+D+C+RL (CS-GAN) 모델이 가장 좋은 성능을 보였다. 문장 생성에서는 강화학습을 도입하는 것이 다양하고 새로운 문장을 생성할 수 있음을 확인하였다.

후속연구

강화학습은 보상값이 최대가 되도록 학습하기 때문에 문장에 대한 보상값을 어떻게 측정할지가 매우 중요하다. 향후 과제는 문장의 보상값과 이를 강화학습에 어떻게 반영할지에 대한 연구를 통해 생성기 모델의 성능을 향상시키는 것이 될 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	생성적 적대 네트워크에서 문장의 경우 각 단어가 이산 값을 갖기 때문에 연속적인 값을 갖는 잠재 벡터로부터 값을 미세하기 번형하여 데이터를 생성할 수 없는데 그 이유는 무엇인가?	그러나 문장의 경우 각 단어가 이산 값을 갖기 때문에 연속적인 값을 갖는 잠재 벡터로부터 값을 미세하게 변형하여 데이터를 생성할 수 없다. 그 이유는 단어의 경우 이미지의 픽셀 값과 달리 미세하게 변형된 값을 정의 할 수 없기 때문이다[6].
	기계학습에서 부족한 학습 데이터에 대한 해결책은 무엇이 있나?	기계학습에서 부족한 학습 데이터에 대한 해결책 중 하나는 데이터 확장(Data Augmentation)이다[1,2]. 데이터 확장은 보유한 데이터에 적절한 변형을 가해 새로운 데이터를 얻는 방법이다.
	데이터 확장은 무엇인가?	기계학습에서 부족한 학습 데이터에 대한 해결책 중 하나는 데이터 확장(Data Augmentation)이다[1,2]. 데이터 확장은 보유한 데이터에 적절한 변형을 가해 새로운 데이터를 얻는 방법이다. 예를 들어 이미지 데이터 확장은 학습 데이터의 크기, 방향, 밝기 등을 변형시켜 학습 데이터의 양을 늘린다.

참고문헌 (12)

GOMEZ-RIOS, Anabel, "Towards Highly Accurate Coral Texture Images Classification using Deep Convolutional Neural Networks and Data Augmentatio," Expert Systems with Applications, Vol.118, pp.315-328, 2019.

상세보기
Zhang, Xiang, Zhao, Junbo, and Lecun, Yann, "Character-Level Convolutional Networks for Text Classification," Advances in Neural Information Processing Systems, pp.649-65, 2015.
KOBAYASHI, Sosuke, "Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations," arXiv Preprint arXiv:1805.06201, 2018.
Deschacht, Koen and Marie-Francine Moens, "Semi-Supervised Semantic Role Labeling using the Latent Words Language Model," Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 1-Volume 1, 2009.
Goodfellow, Ian, et al., "Generative Adversarial Nets", Advances in Neural Information Processing Systems, pp.2672-2680, 2014.
Goodfellow, Ian, "Generative Adversarial Networks for Text," http://goo.gl/Wg9DR7, 2016.
YU, Lantao, et al., "Seqgan: Sequence Generative Adversarial Nets with Policy Gradient," Thirty-First AAAI Conference on Artificial Intelligence, 2017.
C. Y. Park and K. J. Lee, "Automatic Generation of Training Corpus for a Sentiment Analysis Using a Generative Adversarial Network," Proceedings of the 30th Annual Conference on Human and Cognitive Language Technology, pp.389-393, 2018.
L. I. Yang, et al., "A Generative Model for Category Text Generation," Information Sciences, Vol.450, pp.301-315. 2018.

상세보기
Wang, Ke and Wan, Xiaojun. "SentiGAN: Generating Sentimental Texts via Mixture Adversarial Networks," IJCAI, pp. 4446-4452, 2018.
SRIVASTAVA, Rupesh Kumar, GREFF, Klaus, SCHMIDHUBER, Jurgen, "Highway Networks," arXiv Preprint arXiv:1505.00387, 2015.
MIKOLOV, Tomas, et al., "Recurrent Neural Network Based Language Model," Eleventh Annual Conference of the International Speech Communication Association. 2010.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증