[논문]Text Augmentation Using Hierarchy-based Word Replacement

Kim, Museong; Kim, Namgyu

doi:10.9708/jksci.2021.26.01.057

Text Augmentation Using Hierarchy-based Word Replacement 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.26 no.1, 2021년, pp.57 - 67

Kim, Museong (Graduate School of Business IT, Kookmin University) , Kim, Namgyu (Graduate School of Business IT, Kookmin University)

초록
AI-Helper

최근 딥 러닝(Deep Learning) 분석에 이질적인 데이터를 함께 사용하는 멀티모달(Multi-modal) 딥러닝 기술이 많이 활용되고 있으며, 특히 텍스트로부터 자동으로 이미지를 생성해내는 Text to Image 합성에 관한 연구가 활발하게 수행되고 있다. 이미지 합성을 위한 딥러닝 학습은 방대한 양의 이미지와 이미지를 설명하는 텍스트의 쌍으로 구성된 데이터를 필요로 하므로, 소량의 데이터로부터 다량의 데이터를 생성하기 위한 데이터 증강 기법이 고안되어 왔다. 텍스트 데이터 증강의 경우 유의어 대체에 기반을 둔 기법들이 다수 사용되고 있지만, 이들 기법은 명사 단어의 유의어 대체 시 이미지의 내용과 상이한 텍스트를 생성할 가능성이 있다는 한계를 갖는다. 따라서 본 연구에서는 단어가 갖는 품사별 특징을 활용하는 텍스트 데이터 증강 방안, 즉 일부 품사에 대해 단어 계층 정보를 활용하여 단어를 대체하는 방안을 제시하였다. 또한 제안 방법론의 성능을 평가하기 위해 MSCOCO 데이터를 사용하여 실험을 수행하여 결과를 제시하였다.

Abstract ▼ AI-Helper

Recently, multi-modal deep learning techniques that combine heterogeneous data for deep learning analysis have been utilized a lot. In particular, studies on the synthesis of Text to Image that automatically generate images from text are being actively conducted. Deep learning for image synthesis requires a vast amount of data consisting of pairs of images and text describing the image. Therefore, various data augmentation techniques have been devised to generate a large amount of data from small data. A number of text augmentation techniques based on synonym replacement have been proposed so far. However, these techniques have a common limitation in that there is a possibility of generating a incorrect text from the content of an image when replacing the synonym for a noun word. In this study, we propose a text augmentation method to replace words using word hierarchy information for noun words. Additionally, we performed experiments using MSCOCO data in order to evaluate the performance of the proposed methodology.

주제어

표/그림 (18)

그림 Fig. 1. Examples of Text to Image Synthesis[2]
그림 Fig. 2. Examples of Text Augmentation
그림 Fig. 3. Overall Research Process
그림 Fig. 4. Research Process Algorithm
그림 Fig. 5. Example of Data
그림 Fig. 6. Example of Word Tokenization and Token Selection
그림 Fig. 7. Example of Word Replacement
표 Table 1. Example of Parts Classification
그림 Fig. 8. Image Generation from Original Data
그림 Fig. 9. Image Generation from Augmented Data
그림 Fig. 10. A Sample Image with Five Captions
그림 Fig. 11. Results of Word Tokenization
그림 Fig. 12. Selected Tokens
표 Table 2. Replacement Candidates for Each Word
그림 Fig. 13. Overall Process of Performance Evaluation
그림 Fig. 14. Comparison of Inception Score
표 Table 3. Augmented Text Captions
그림 Fig. 15. Best Inception Score of Each Method

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 단어가 갖는 품사별 특징을 활용하는 텍스트 데이터 증강 방안, 즉 선택적 품사에 대해 단어의 의미 계층 정보를 활용하는 방안을 새롭게 제시하였다. 또한, 제안 기법은 제한된 수의 이미지에 대해 더 많은 텍스트 정보를 생성함으로써, 이미지와 텍스트를 함께 다루는 멀티모달 딥 러닝 분석의 정확도 향상에 기여할 수 있을 것으로 기대한다.
본 절에서는 품사에 따라 계층적으로 단어를 대체한 제안 방법론과 모든 품사를 동일 계층의 유의어로 대체하는 기존 텍스트 증강 방법의 성능을 분석한 결과를 소개한다. 전체 실험 프로세스는 <Fig.
이에 본 연구에서는 기존 텍스트 증강 기법들의 한계를 극복하여 생성 이미지의 품질을 향상시키기 위해 단어의 의미 계층 기반 텍스트 증강 기법을 제안한다. 구체적으로 제안 방법론은 (i) 문장에서 n 개의 단어들을 임의로 선택하고, (ii) 선택된 단어들의 품사를 파악한 후, (ⅲ) 워드넷을 활용하여 품사에 따라 단어를 상이한 방법으로 대체하는 방식으로 텍스트 증강을 수행한다.
이미지 합성을 위한 딥 러닝 학습에 필요한 충분한 데이터를 확보하기 위해 다양한 연구들이 수행되고 있으며, 일반적으로 데이터 증강 기법이 많이 사용되고 있다. 이에 본 연구에서는 이미지와 텍스트가 쌍으로 존재하는 데이터에서 텍스트데이터를 증강할 때, 이미지의 의미를 보존하면서 증강하기 위해 단어의 의미 계층 기반 텍스트 증강 기법을 제안하였다. 또한, 제안 기법을 통해 생성한 이미지가 기존의 유의어 대체 증강 기법을 통해 생성한 이미지에 비해 우수한 품질을 보임을 실험을 통해 확인하였다.

제안 방법

(ii) 선택된 단어들의 품사를 파악한 후, (ⅲ) 워드넷을 활용하여 품사에 따라 단어를 상이한 방법으로 대체하는 방식으로 텍스트 증강을 수행한다. 또한 제안 기법이 생성 이미지들과 기존의 텍스트 데이터 증강 방법으로 생성된 이미지들에 대한 인셉션 스코어(Inception Score)[6] 비교를 통해 제안 방법의 우수성을 평가한다.
다양한 연구가 수행되고 있다. GANe 생성기 네트워크와 판별기 네트워크가 적대적으로 경쟁하면서 학습을 진행하는 신경망으로, 생성기는 판별기를 속이기 위해 실제와 유사한 가짜 데이터를 생성하고, 판별기는 실제 데이터와 생성된 데이터를 판단하기 위한 학습을 수행한다. Scott Reed는 2016년 GAN을 활용한 간단한 모델 구조를 통해 텍스트로부터 이미지를 생성해내는 방법론을 제안하였다[9].
제안 방법론은 입력받은 텍스트 데이터를 토큰화 (Tokenize)한 뒤 n 개의 토큰(Token)을 선택하여 품사를 정의하고 분류하는 Phase 1, 그리고 워드넷을 활용하여 품사에 따라 계층적으로 단어를 대체하는 Phase 2의 두 단계로 구성된다. 구체적으로 Phase 1은 입력받은 원본 텍스트 데이터를 (1) NLTK[23]의 토크나이저 (Tokenizer)를 사용하여 토큰으로 분리하고, (2) 분리된 토큰들의 집합에서 NLTK의 불용어에 해당되지 않는 n 개의 토큰들을 선택한 뒤, (3) 선택된 단어들에 대해 품사를 정의하는 품사 태깅을 통해 명사와 다른 품사를 구분하는 작업을 수행한다. 이후 Phase 2에서는 (4) 선택된 토큰들의 품사가 명사이면 상위어를, 명사 외의 품사 이면유의어를 워드넷에서 추출하고, (5) 추출된 상위어 혹은 유의어를 (2)에서 선택된 토큰들과 대체하는 과정을 통해 최종적으로 새로운 텍스트 데이터를 생성하게 된다.
<Table 3>는 선택된 토큰들을 추출된 단어들로 대체하여 각각의 텍스트들을 새로운 텍스트로 증강한 결과이며, ‘Origin’으로 표기된 텍스트는 원본 텍스트, ‘Augmentation’으로 표기된 텍스트는 제안 방법론을 통해 증강한 텍스트이며, 이와 같은 방식을 통해 이미지의 의미에 대한 왜곡 없이 증강한 텍스트를 이후 프로세스인 훈련에 활용한다.
구체적으로 제안 방법론은 (i) 문장에서 n 개의 단어들을 임의로 선택하고, (ii) 선택된 단어들의 품사를 파악한 후, (ⅲ) 워드넷을 활용하여 품사에 따라 단어를 상이한 방법으로 대체하는 방식으로 텍스트 증강을 수행한다. 또한 제안 기법이 생성 이미지들과 기존의 텍스트 데이터 증강 방법으로 생성된 이미지들에 대한 인셉션 스코어(Inception Score)[6] 비교를 통해 제안 방법의 우수성을 평가한다.
품사 태그의 정확도는 데이터의 크기나 단어의 수 등 상황에 따라 상이하게 나타나지만 일반적인 영어 코퍼스에서는 NLTK의 품사 태그 정확도가 약 97%로 나타난다 [24]. 본 연구에서는 높은 수준의 정확도를 보이고 있는 NLTK의 품사 태그를 사용하여 품사 식별을 진행한다. 그 결과 <Table 1>과 같이 ‘man’은 ‘NN’, 즉 명사로, ‘surfboard’는 ‘NN’, 즉 명사로, 그리고 ‘holding’은 ‘VBG’, 즉 동사로 품사가 식별된다.
본 절에서는 MSCOCO의 2014년 데이터에서 훈련용 이미지 약 8만 건에 부여된 텍스트를 NLTK 토크나이저를 사용하여 토큰 단위로 분할한 뒤, 대체하고자 하는 n 개의 토큰들이 선택된 집합의 결과를 제시한다. <Fig.
본 절에서는 데이터의 양과 표현의 차이에 따른 성능을 가늠하기 위해 도형을 생성해내는 간단한 파일럿 실험을 진행하였다. <Fig.
본 연구에서는 2014년에 공개된 데이터에서 이미지당 5개씩 부여된 텍스트를 사용하였으며, 텍스트 데이터 증강은 훈련용(Training) 이미지 데이터 약 8만 건에 부여된 텍스트에만 적용하였고 검증용(Validation) 이미지 데이터 약 4만 건에 부여된 텍스트에는 적용하지 않았다. 실험환경은 Python 3.6과 NLTK 패키지를 바탕으로 구축하였으며, Text to Image 합성 모델은 Pytorch 기반으로 구현된 AttnGAN을 사용하였고, AttnGAN 모델에 다양한 텍스트 증강 방법을 적용하면서 실험을 진행하였다.
이루어져야 한다. 우선 본 연구는 단어의 품사를 명사와 그 외의 품사로만 구분하여 방법론을 적용하였다. 추후 연구에서는 단어의 다양한 품사가 갖는 특징을 보다 적극적으로 활용할 필요가 있다.
명사와 명사 외의 품사로 구분된 토큰들은 워드넷의 단어 연관 정보를 바탕으로 단어 대체가 이루어지는데, 명사로 분류된 토큰은 상위어로, 명사 외의 품사로 분류된 토큰은 유의어로 대체한다. 이때, 유의어는 여러 개가 나올 수 있으며 본 연구에서는 임의추출로 토큰당 하나의 유의어를 선정하였다. <Fig.
4>은 제안 방법론을 알고리즘으로 표현한 것이다. 제안 방법론은 입력받은 텍스트 데이터를 토큰화 (Tokenize)한 뒤 n 개의 토큰(Token)을 선택하여 품사를 정의하고 분류하는 Phase 1, 그리고 워드넷을 활용하여 품사에 따라 계층적으로 단어를 대체하는 Phase 2의 두 단계로 구성된다. 구체적으로 Phase 1은 입력받은 원본 텍스트 데이터를 (1) NLTK[23]의 토크나이저 (Tokenizer)를 사용하여 토큰으로 분리하고, (2) 분리된 토큰들의 집합에서 NLTK의 불용어에 해당되지 않는 n 개의 토큰들을 선택한 뒤, (3) 선택된 단어들에 대해 품사를 정의하는 품사 태깅을 통해 명사와 다른 품사를 구분하는 작업을 수행한다.
토큰의 단위는 목적에 따라 다르지만, 본 연구에서는 단어와 동일한 의미로 사용된다. 텍스트를 의미 있는 단위로 나누기 위해 NLTK에서 제공하는 토크나이저를 사용하여 문장을 토큰으로 분리한다. 이렇게 분리된 토큰들 중에서 최종적으로 대체하고자 하는 단어의 개수만큼 선택하게 되며, 이때 NLTK의영어 불용어 사전을 사용하여 불용어를 제외한 n 개의 토큰들을 Fig.

대상 데이터

MSCOCO는 객체 인식, 분할 그리고 이미지 캡셔닝 연구에 주로 사용되며 약 33만 건의 데이터가 공개되어 있다. 본 연구에서는 2014년에 공개된 데이터에서 이미지당 5개씩 부여된 텍스트를 사용하였으며, 텍스트 데이터 증강은 훈련용(Training) 이미지 데이터 약 8만 건에 부여된 텍스트에만 적용하였고 검증용(Validation) 이미지 데이터 약 4만 건에 부여된 텍스트에는 적용하지 않았다. 실험환경은 Python 3.
실험에는 MSCOCO[25] 데이터 세트를 사용하였다. MSCOCO는 객체 인식, 분할 그리고 이미지 캡셔닝 연구에 주로 사용되며 약 33만 건의 데이터가 공개되어 있다.

이론/모형

최종적으로 Text to Image 합성에 사용되는 이미지당 텍스트의 개수는 각각 (A) 10개, (B) 10개, (C) 5개이며, 학습은 AttnGAN[11] 모델을 사용하여 진행하였다. 또한 텍스트로부터 생성된 이미지의 품질 평가에는 인셉션 스코어(Inception Score)[6]를 사용하였다. 인셉션 스코어는 생성 이미지의 품질을 평가하는데 주로 사용되는 평가 척도로 생성된 이미지의 품질과 다양성을 기준으로 측정되며, 인셉션 스코어가 높을수록 좋은 성능을 나타내는 것으로 해석할 수 있다.
마지막으로 (C)는 증강을 하지 않은 원본 텍스트 데이터를 사용하여 Text to Image 합성을 진행하는 과정이다. 최종적으로 Text to Image 합성에 사용되는 이미지당 텍스트의 개수는 각각 (A) 10개, (B) 10개, (C) 5개이며, 학습은 AttnGAN[11] 모델을 사용하여 진행하였다. 또한 텍스트로부터 생성된 이미지의 품질 평가에는 인셉션 스코어(Inception Score)[6]를 사용하였다.

성능/효과

8(b)>이다. 결과를 보면 학습에 필요한 데이터가 충분하지 않아서 도형의 형태조차 제대로 생성하지 못한 것을 확인할 수 있다. 한편 <Fig.
대체 단어는 워드넷에서 탐색하여 추출하며, 유의어 및 상위어가 복수일 경우 임의로 하나만 추출한다. 그 결과 ‘slim’은 ‘slender’로 유의어가 추출되었고, ‘screen’, ‘monitor’, ‘keyboard’ 그리고 ‘desk’는 각각 ‘display’, ‘display’, ‘device’, 그리고 ‘table’로 상위어가 추출된 것을 확인할 수 있다.
또한 텍스트 증강의 경우 본 연구에서 제안한 단어의 의미 계층 기반 텍스트 증강 방법이 기존의 유의어 대체 기반의 텍스트 증강 방법에 비해 우수한 성능을 나타냄을 확인하였다.
이에 본 연구에서는 이미지와 텍스트가 쌍으로 존재하는 데이터에서 텍스트데이터를 증강할 때, 이미지의 의미를 보존하면서 증강하기 위해 단어의 의미 계층 기반 텍스트 증강 기법을 제안하였다. 또한, 제안 기법을 통해 생성한 이미지가 기존의 유의어 대체 증강 기법을 통해 생성한 이미지에 비해 우수한 품질을 보임을 실험을 통해 확인하였다.
실험 결과 소량의 원본 데이터를 사용한 모델에 비해 텍스트 증강을 적용한 모델의 성능이 높게 나타났음을 확인하였다. 또한 텍스트 증강의 경우 본 연구에서 제안한 단어의 의미 계층 기반 텍스트 증강 방법이 기존의 유의어 대체 기반의 텍스트 증강 방법에 비해 우수한 성능을 나타냄을 확인하였다.
14>은 실험에서 비교한 세 가지 모델을 통해 생성한 이미지에 대한 인셉션 스코어를 10 에폭(Epoch) 단위로 나타낸 비교 그래프이다. 중반 에폭까지는 기존 텍스트 증강 방법을 사용한 모델 (B)와 증강을 하지 않은 모델 (C)의 인셉션 스코어가 제안된 방법론의 인셉션 스코어보다 다소 높게 나타나지만, 학습이 충분히 진행된 130 에폭에서는 제안 모델의 인셉션 스코어가 가장 높게 나타남을 확인할 수 있다. 가장 높은 인셉션 스코어를 나타내는 에폭은 각 모델마다 서로 다르며, 인셉션 스코어의 최댓값을 비교한 결과도 <Fig.

후속연구

추후 연구에서는 단어의 다양한 품사가 갖는 특징을 보다 적극적으로 활용할 필요가 있다. 또한 제안 방법론의 성능 평가를 위해 인셉션 스코어를 사용했는데, 추후 연구에서는 보다 다양한 관점에서의 성능 평가를 수행하여 제안 방법론의 성능을 확인할 필요가 있다.
본 연구에서는 단어가 갖는 품사별 특징을 활용하는 텍스트 데이터 증강 방안, 즉 선택적 품사에 대해 단어의 의미 계층 정보를 활용하는 방안을 새롭게 제시하였다. 또한, 제안 기법은 제한된 수의 이미지에 대해 더 많은 텍스트 정보를 생성함으로써, 이미지와 텍스트를 함께 다루는 멀티모달 딥 러닝 분석의 정확도 향상에 기여할 수 있을 것으로 기대한다.
우선 본 연구는 단어의 품사를 명사와 그 외의 품사로만 구분하여 방법론을 적용하였다. 추후 연구에서는 단어의 다양한 품사가 갖는 특징을 보다 적극적으로 활용할 필요가 있다. 또한 제안 방법론의 성능 평가를 위해 인셉션 스코어를 사용했는데, 추후 연구에서는 보다 다양한 관점에서의 성능 평가를 수행하여 제안 방법론의 성능을 확인할 필요가 있다.

참고문헌 (25)

I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative Adversarial Nets," Advances in Neural Information Processing Systems 27, 2014.
S. Surya, A. Setlur, A. Biswas, and S. Negi, "ReStGAN: A Step towards Visually Guided Shopper Experience via Text to Image Synthesis," 2020 IEEE Winter Conference on Applications of Computer Vision (WACV), Mar, 2020.
C. Shorten and T. M. Khoshgoftaar, "A Survey on Image Data Augmentation for Deep Learning," Journal of Big Data, No. 60, Feb, 2019.
X. Zhang, J. Zhao, and Y. LeCun, "Character-level Convolutional Networks for Text Classification," Advances in Neural Information Processing Systems 28, 2015.
W. Y. Wang and D. Yang, "That's So Annoying!!!: A Lexical and Frame Semantic Embedding-based Data Augmentation Approach to Automatic Categorization of Annoying Behaviors Using #petpeeve Tweets," Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2557-2563, Sep, 2015.
T. Salimans, I. Goodfellow, W. Zaremba, V. Cheung, A. Radford, and X. Chen, "Improved Techniques for Training GANs," Advances in Neural Information Processing Systems 29, 2016.
Y. Lecun, L. Bottou, Y. Bengio, and P. Haffner, "Gradient-based Learning Applied to Document Recognition," Proceedings of the IEEE, Vol. 86, No. 11, pp. 2278-2324, 1998.

상세보기
T. Mikolov, S. Kombrink, L. Burget, J. Cernocky, and S. Khudanpur, "Extensions of Recurrent Neural Network Language Model," Proceedings of 2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5528-5531, 2011.
S. Reed, Z. Akata, X. Yan, L. Logeswaran, B. Schiele, and H. Lee, "Generative Adversarial Text to Image Synthesis," arXiv:1605.05396, May, 2016.
H. Zhang, T. Xu, H. Li, S. Zhang, X. Wang, X. Huang, and D. N. Metaxas, "StackGAN: Text to Photo Realistic Image Synthesis with Stacked Generative Adversarial Networks," Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp. 5907-5915, 2017.
T. Xu, P. Zhang, Q. Huang, H. Zhang, Z. Gan, X. Huang, and X. He, "AttnGAN: Fine Grained Text to Image Generation with Attentional Generative Adversarial Networks," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1316-1324, 2018.
T. DeVries and G. W. Taylor, "Dataset Augmentation in Feature Space," arXiv:1702.05538, Feb, 2017.
Y. Li, N. Wang, J. Liu, and X. Hou, "Demystifying Neural Style Transfer," arXiv:1701.01036, Jul, 2017.
C. Bowles, L. Chen, R. Guerrero, P. Bentley, R. Gunn, A. Hammers, D. A. Dickie, M. V. Hernandez, J. Wardlaw, and D. Rueckert, "GAN Augmentation: Augmenting Training Data Using Generative Adversarial Networks," arXiv:1810.10863, Oct, 2018.
T. Mikolov, C. Kai, G. Corrado, and J. Dean, "Efficient Estimation of Word Representations in Vector Space," arXiv:1301.3781, Jan, 2013.
P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov, "Enriching Word Vectors with Subword Information," arXiv:1607.04606, Jul, 2016.
J. Pennington, R. Socher, and C. D. Manning, "Glove: Global Vectors for Word Representation," Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543, 2014.
J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," arXiv:1810.04805, May, 2019.
A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, and I. Sutskever, "Language Models are Unsupervised Multitask Learners," https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf, Feb, 2019.
Q. Xie, Z. Dai, E. Hovy, M. T. Luong, and Q. V. Le, "Unsupervised Data Augmentation for Consistency Training," arXiv:1904.12848, Jun, 2020.
A. Anaby-Tavor, B. Carmeli, E. Goldbraich, A. Kantor, G. Kour, S. Shlomov, N. Tepper, and N. Zwerdling, "Not Enough Data? Deep Learning to the Rescue!," arXiv:1911.03118, Nov, 2019.
V. Kumar, A. Choudhary, and E. Cho, "Data Augmentation Using Pre-trained Transformer Models," arXiv:2003.02245, Mar, 2020.
E. Loper and S. Bird, "NLTK: The Natural Language Toolkit," arXiv:cs/0205028, May, 2002.
Y. Tian and D. Lo, "A comparative study on the effectiveness of part-of-speech tagging techniques on bug reports," 2015 IEEE 22nd International Conference on Software Analysis, Evolution, and Reengineering (SANER), Mar, 2015.
T. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar and C. L. Zitnick, "Microsoft COCO: Common Objects in Context," European Conference on Computer Vision, pp. 740-755, 2014.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증