[논문]관계 추론 심층 신경망 모델의 성능개선 연구

이현옥; 임희석

doi:10.3745/ktsde.2018.7.12.485

관계 추론 심층 신경망 모델의 성능개선 연구
A Study on Improving Performance of the Deep Neural Network Model for Relational Reasoning 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.7 no.12, 2018년, pp.485 - 496

이현옥 (고려대학교 빅데이터 융합학과) , 임희석 (고려대학교 컴퓨터학과)

초록
AI-Helper

지금까지 인공지능의 한 분야인 딥러닝 방법은 구조화되지 않은 데이터로부터 문제를 해결하는 놀라울만한 성과를 이루어왔지만, 인간처럼 여러 상황들을 종합적으로 판단, 그것들의 연관성을 추론하고, 그 다음 상황을 예측하는 수준의 지능을 갖는데 도달하지 못하였다. 최근 발표된 복잡한 관계 추론을 수행하는 심층 신경망은 인공지능이 인간의 핵심 지적 능력인 관계 추론을 보유할 수 있다는 것을 증명하였다. 본 논문에서는 관계 추론 심층 신경망 중에서 Relation Networks (RN)의 성능을 분석 및 관찰해 보고자 Sort-of-CLEVR 데이터 셋을 사용한 시각적 질의응답과 bAbI task를 사용한 텍스트 기반 질의응답 두 유형의 RN 기반 심층 신경망 모델을 구축하여 baseline 모델과의 비교를 통한 성능검증을 하였다. 또한 모델의 성능을 극대화하기 위하여 하이퍼 파라미터 튜닝 등 다양각도의 성능개선 실험으로 관계 추론을 위한 RN 기반 심층 신경망 모델의 성능개선 방법을 제안하였다. 제안한 성능개선 방법은 시각적 질의응답 모델과 텍스트 기반 질의응답 모델에 적용하여 그 효과를 검증하였고, 기존의 RN 모델에서 사용해보지 않았던 Dialog-based LL 데이터 셋을 사용하여 새로운 도메인에서의 제안한 성능개선 방법의 효과를 다시 한 번 검증하였다. 실험 결과 두 유형의 RN 모델 모두에서 초기 학습률이 모델의 성능을 결정하는 핵심 요인임을 알 수 있었고, 제안한 random search 방법에 의해 찾은 최적의 초기 학습률 설정이 모델의 성능을 최고 99.8%까지 향상 시킬 수 있다는 것을 확인하였다.

Abstract ▼ AI-Helper

So far, the deep learning, a field of artificial intelligence, has achieved remarkable results in solving problems from unstructured data. However, it is difficult to comprehensively judge situations like humans, and did not reach the level of intelligence that deduced their relations and predicted the next situation. Recently, deep neural networks show that artificial intelligence can possess powerful relational reasoning that is core intellectual ability of human being. In this paper, to analyze and observe the performance of Relation Networks (RN) among the neural networks for relational reasoning, two types of RN-based deep neural network models were constructed and compared with the baseline model. One is a visual question answering RN model using Sort-of-CLEVR and the other is a text-based question answering RN model using bAbI task. In order to maximize the performance of the RN-based model, various performance improvement experiments such as hyper parameters tuning have been proposed and performed. The effectiveness of the proposed performance improvement methods has been verified by applying to the visual QA RN model and the text-based QA RN model, and the new domain model using the dialogue-based LL dataset. As a result of the various experiments, it is found that the initial learning rate is a key factor in determining the performance of the model in both types of RN models. We have observed that the optimal initial learning rate setting found by the proposed random search method can improve the performance of the model up to 99.8%.

주제어

표/그림 (16)

그림 Fig. 1. Visual QA - Standard(A) vs Relational Reasoning(B)
그림 Fig. 2. Visual QA Requiring Relational Reasoning
그림 Fig. 3. Visual QA Architecture with RN (Adam Santoro et al., 2017, Figure 2)
그림 Fig. 4. Text-based QA Architecture with RN
그림 Fig. 5. Our RN-based Visual QA Model Architecture
그림 Fig. 6. Neural Network with Batch Normalization
그림 Fig. 7. Relational Question (A) and Non-relational Question (B) Generated on Our Model
그림 Fig. 8. Our RN-based Model on Visual QA Task
표 Table 1. Performance Comparison Between RN and Baseline on our Visual QA Task
그림 Fig. 9. Accuracy of Each Model with Different Hyper Parameters
그림 Fig. 10. Loss of Each Model with Different Hyper Parameters
그림 Fig. 11. Accuracy of Each Model with Different Learning Rate Set by Random Search Method
그림 Fig. 12. Loss of Each Model with Different Learning Rate Set by Random Search Method
표 Table 2. Improved Performance by Hyper Parameters Tuning
표 Table 3. Comparison of Results on bAbI QA Task Using Different Learning Rate Set by Random Search Method
표 Table 4. Comparison of Results on Dialog-based LL QA Task Using Different Learning Rate Set by Random Search Method

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 Fig. 5와 같이 RN 기반 심층 신경망 모델을 구축하여 다양한 도메인에서 RN의 성능을 검증하고, 더 나아가 RN 모델의 성능개선 방법을 제안한다.
본 논문에서는 Heuristic search, Random search 방법에 의거, 경험 및 직관 그리고 선험적 지식을 활용하여 초기 학습률 선정을 위한 실험 및 그에 따른 모델의 성능을 검증하였다. 추후 연구에서는 학습률의 초기값 선정이 중요하다는 것에 중점을 두고 좀 더 수학적 방법으로 수행하는 Bayesian optimization으로 RN 모델의 초기 학습률의 섬세한 조정을 해 볼 것이다.
본 논문에서는 Heuristic search, Random search 방법에 의거, 경험 및 직관 그리고 선험적 지식을 활용하여 초기 학습률 선정을 위한 실험 및 모델의 성능 검증을 하여 보았다. 적절한 초기 학습률을 찾기 위해 본 논문의 앞서 시각기반 질의응답 태스크 성능비교 실험에서 구현한 RN 모델을 baseline으로 정하였다.
본 논문에서는 RN 기반 심층 신경망 모델을 구축하여 다양한 도메인에서 RN의 성능을 검증해 보았고, 더 나아가 RN 모델의 성능개선 방법을 시도하여 보았다.
본 논문에서는 RN 기반 심층 신경망 모델의 성능개선 방법으로 모델 구축 시 사용한 성능개선 핵심 방법 외의 배치 사이즈, 초기 학습률 등의 하이퍼 파라미터 튜닝방법을 제안한다.
본 논문에서는 사람처럼 관계 추론을 수행하는 심층 신경망 중에서 Relation Networks(RN)의 성능을 분석 및 관찰해보고자 시각적 질의응답(Visual Question Answering)[4]과 텍스트 기반 질의응답(Text-based Question Answering) 두 유형의 RN 기반 심층 신경망 모델을 구축하여 baseline 모델과의 비교를 통한 성능검증을 하여 보았다. 또한 모델의 성능을 극대화하기 위하여 하이퍼 파라미터(hyper parameters) 튜닝 등 다양각도의 성능개선 실험으로 관계 추론을 위한 RN 기반 심층 신경망 모델의 성능개선 방법을 제안하였다.
본 논문에서는 시각적 질의응답 RN 모델과 텍스트 기반 RN 모델 두 유형의 모델을 구축하여 다양한 도메인에서 RN 성능을 비교 평가해 본다. 또한 성능개선 핵심 방법을 적용하여 RN 기반 심층 신경망 모델의 성능개선 효과를 검증한다.
따라서 적절한 학습률 조정이 중요하다. 본 논문에서는 학습률의 초기 값 선정이 중요하다는 것에 중점을 두고 초기 학습률 선정이 RN 기반 심층 신경망 모델의 성능에 미치는 영향을 살펴본다. 학습률과 같은 하이퍼 파라미터의 최적화 방법은 과학적 방법보다 다소 수행자의 지혜와 직관에 의존하기 때문에 많은 시행착오를 겪는다.
그럼에도 모델의 성능이 훈련과정에서의 검증한 수치와 최종 범용 성능 평가에서의 검증한 수치에서 많은 차이를 보였고, RN 모델의 성능이 높지 않게 나왔다. 이에 본 논문에서는 학습률의 초기값 선정이 중요하다는 것에 중점을 두고 초기 학습률 선정이 모델성능에 미치는 영향을 살펴보았다.

제안 방법

적절한 초기 학습률을 찾기 위해 본 논문의 앞서 시각기반 질의응답 태스크 성능비교 실험에서 구현한 RN 모델을 baseline으로 정하였다. Baseline 모델 대비 학습률의 범위를 1e^-4～1e^-2로 하여 모델의 성능을 비교 분석해 보았다. 200,000 epoch의 훈련과정이 끝난 후 성능비교 결과는 다음과 같다.
Dialog-based LL 데이터 셋(The Dialog-based Language Learning dataset)을 사용한 모델로 RN 기반 심층 신경망 모델에서 제안한 성능개선 방법을 다시 한 번 검증하는 실험을 해 보았다. 실험에 사용한 데이터 셋은 dialog-based LL 태스크 중 “Imitating an Expert Student”로써 제공된 98KB의 훈련 데이터와 모델의 성능평가를 위한 98KB의 시험 데이터를 사용하였다.
RN 기반 심층 신경망 모델은 성능을 극대화하기 위하여 배치 정규화를 사용하여 각 층의 활성함수 ReLU의 활성화 값 분포가 적당히 퍼지면서 학습이 원활하게 이루어지도록 하였고, 매개변수 갱신 전에 드롭아웃을 50%를 사용하여 좀 더 의미 있는 특징들을 추출하여 자유도를 높이고 오버피팅을 억제할 수 있도록 하였다. 또한 최적화 방법으로 Adam기법을 사용하여 하이퍼 파라미터의 편향을 보정, 학습의 갱신강도를 적응적으로 조정하였다.
RN 기반 심층 신경망 모델의 성능개선 방법으로 모델 구축 시 사용한 성능개선 핵심 방법 외의 배치 사이즈, 초기 학습률 등의 하이퍼 파라미터 튜닝방법을 제안하였다.
RN 기반 심층 신경망 모델의 성능개선 방법으로 제안한 하이퍼 파라미터 튜닝을 통해 시각기반 질의응답 RN 모델의 성능개선을 시도해 보았다. 튜닝에 사용한 하이퍼 파라미터로는 배치 사이즈와 초기 학습률을 정하였다.
5로 설정하여 학습을 진행하면서 학습률을 점차 줄여나갔다. RN 모델 및 baseline으로 사용한 CNN+MLP 모델 모두 성능 비교에 사용한 질문은 관계형 질문과 비관계형 질문 두 가지 유형을 사용하였다.
시각적 질의응답 태스크에 대한 RN 모델의 성능비교를 위한 baseline으로 MLP 기반 모델(CNN + MLP)을 구축하였다. RN 모델과 동일하게 CNN+MLP 모델 또한 각각 24개의 커널을 가지는 4개의 합성곱 층으로 구성, 각 층마다 활성화 함수로는 ReLU를 사용하였고, 각 층에서 활성화 값을 적당히 분포되도록 조정하기 위하여 배치정규화를 적용하였다. 다만, RN 모델에서는 합성곱의 결과를 RN function(g_θ→f_ϕ)에 연결한 것과 달리 CNN+MLP 모델은 합성곱의 결과를 256 유닛으로 구성된 3개 층의 MLP로 연결시켰다.
다만, RN 모델에서는 합성곱의 결과를 RN function(g_θ→f_ϕ)에 연결한 것과 달리 CNN+MLP 모델은 합성곱의 결과를 256 유닛으로 구성된 3개 층의 MLP로 연결시켰다. RN 모델과 동일하게 MLP의 2번째 층에서 50%의 드롭아웃을 사용하고 마지막 출력 층에서는 softmax를 사용, 최종적으로 나온 결과를 softmax에 통과시켜 질문에 대한 답을 예측하였다.
RN 모델은 각각 24개의 커널(kernel)을 가지는 4개의 합성곱 층(convolutional layers)으로 구성, 각 층마다 활성화 함수로 ReLU를 사용하였고, 각 층에서 활성화 값의 적당한 분포를 조정하기 위하여 배치정규화를 적용하였다. 관계를 도출하는 g_θ함수는 256 유닛(unit)으로 구성된 4개 층의 MLP로 구성하였고 각 층마다 활성화 함수로 ReLU를 사용하였다.
Baseline 모델은 초기 학습률이 1e^-4이고 배치 사이즈가 64이다. baseline 모델 대비 배치 사이즈를 배수로 늘려 배치 사이즈 변경에 따른 성능을 비교 분석해 보았다. 시각기반 질의응답 RN 모델은 성능의 극대화를 위하여 최적화방법 중에서 Adam 기법을 사용, 하이퍼 파라미터의 편향을 보정, 학습의 갱신강도를 적응적으로 조정하였다.
관계를 도출하는 gθ 함수는 256 유닛(unit)으로 구성된 4개 층의 MLP로 구성하였고 각 층마다 활성화 함수로 ReLU를 사용하였다.
관계를 도출하는 gθ 함수는 64 유닛으로 구성된 4개 층의 MLP로 구성하였고 각 층마다 활성화 함수로 ReLU를 사용하였다.
다양한 도메인에서의 RN의 성능을 검증하고자, 시각적 질의응답 RN 모델과 텍스트 기반 질의응답 RN 모델 두 유형의 모델을 구축한다. 시각적 질의응답의 RN 모델에서는 데이터 셋은 Sort-of-CLEVR[1]을, 성능비교를 위한 baseline은 CNN + MLP 모델을 사용한다.
모든 g_θ의 합계를 취하여 모델의 최종 출력을 계산하는 f_ϕ는 첫 번째 및 두 번째 층은 256 유닛으로 구성, 세 번째 층은 10 유닛으로 구성된 3개의 MLP로 구성하였다. 또한 각 층마다 활성화 함수로 ReLU를 사용하였고, 특별히 두 번째 층에서는 드롭아웃을 50% 사용하여 좀 더 의미 있는 특징들을 추출하여 자유도를 높이고 오버피팅을 억제할 수 있도록 하였다. 마지막 출력 층에서는 softmax를 사용하였고, f_ϕ를 통과한 최종적으로 나온 결과를 softmax에 통과시켜 질문에 대한 답을 예측하였다.
제안한 성능개선 방법은 성능검증을 위해 구축한 시각적 질의응답 RN 모델과 bAbI 데이터 셋을 사용한 텍스트 기반질의응답 RN 모델에 적용하여 그 효과를 검증하였다. 또한 기존의 RN 모델에서 사용해 보지 않았던 Dialog-based LL 데이터 셋을 추가 사용하여 새로운 도메인에서의 제안한 성능개선 방법의 효과를 다시 한 번 검증하였다.
제안한 성능개선 방법은 성능검증을 위해 구축한 시각적 질의응답 RN 모델과 텍스트 기반 질의응답 RN 모델에 적용하여 그 효과를 검증한다. 또한 기존의 RN 모델에서 사용해보지 않았던 Dialog-based LL 데이터 셋(The Dialog-based Language Learning dataset)[11]을 추가 사용하여 새로운 도메인에서의 제안한 성능개선 방법의 효과를 다시 한 번 검증한다.
본 논문에서는 사람처럼 관계 추론을 수행하는 심층 신경망 중에서 Relation Networks(RN)의 성능을 분석 및 관찰해보고자 시각적 질의응답(Visual Question Answering)[4]과 텍스트 기반 질의응답(Text-based Question Answering) 두 유형의 RN 기반 심층 신경망 모델을 구축하여 baseline 모델과의 비교를 통한 성능검증을 하여 보았다. 또한 모델의 성능을 극대화하기 위하여 하이퍼 파라미터(hyper parameters) 튜닝 등 다양각도의 성능개선 실험으로 관계 추론을 위한 RN 기반 심층 신경망 모델의 성능개선 방법을 제안하였다.
또한 본 논문에서는 RN 기반 심층 신경망 모델의 성능개선 방법으로 모델 구축 시 사용한 성능개선 핵심 방법 외의 배치 사이즈(batch size), 초기 학습률(learning rate) 등의 하이퍼 파라미터(hypter parmeters)[10] 튜닝방법을 제안한다.
본 논문에서는 시각적 질의응답 RN 모델과 텍스트 기반 RN 모델 두 유형의 모델을 구축하여 다양한 도메인에서 RN 성능을 비교 평가해 본다. 또한 성능개선 핵심 방법을 적용하여 RN 기반 심층 신경망 모델의 성능개선 효과를 검증한다. 실험환경으로는 OS는 Ubuntu 16.
RN 기반 심층 신경망 모델은 성능을 극대화하기 위하여 배치 정규화를 사용하여 각 층의 활성함수 ReLU의 활성화 값 분포가 적당히 퍼지면서 학습이 원활하게 이루어지도록 하였고, 매개변수 갱신 전에 드롭아웃을 50%를 사용하여 좀 더 의미 있는 특징들을 추출하여 자유도를 높이고 오버피팅을 억제할 수 있도록 하였다. 또한 최적화 방법으로 Adam기법을 사용하여 하이퍼 파라미터의 편향을 보정, 학습의 갱신강도를 적응적으로 조정하였다. 학습이 진행되는 동안 10,000 번째 epoch 마다 학습률 감소를 수행하여 학습을 진행하면서 학습률을 점차 줄여가는 방법을 사용하였다.
또한 각 층마다 활성화 함수로 ReLU를 사용하였고, 특별히 두 번째 층에서는 드롭아웃을 50% 사용하여 좀 더 의미 있는 특징들을 추출하여 자유도를 높이고 오버피팅을 억제할 수 있도록 하였다. 마지막 출력 층에서는 softmax를 사용하였고, f_ϕ를 통과한 최종적으로 나온 결과를 softmax에 통과시켜 질문에 대한 답을 예측하였다.
드롭아웃이란 신경망 일부를 생략하는 것으로 생략한 신경망은 학습에 영향을 끼치지 않는다. 물론 배치 정규화방법으로 드롭아웃의 효과를 가져 올 수 있지만, 본 논문의 RN 기반 심층 신경망 모델에서는 매개변수 갱신 전에 드롭아웃을 50% 사용하여 좀 더 의미 있는 특징(salient feature)들을 추출하여 자유도(표현력)를 높이고 오버피팅을 억제하도록 한다.
추리소설이나 범죄 드라마에서 주인공들은 모든 단서의 조각조각의 퍼즐을 맞추어 범인을 찾아내는데, 그들의 범인을 찾아내는 과정을 보면 그 능력에 감탄을 감추지 못할 때가 많다. 범인을 찾아내는 과정에서 모든 단서들 간의 연관성(relations)을 추론하고, 이들 간 하나의 연결고리를 만들어 범인을 유추해 간다. 이러한 어떤 규칙에 따라 생각하는 사고능력을 우리는 추론이라 일컫는다.
하이퍼 파라미터의 최적화 방법으로는 Heuristic search, Grid search, Random search, Bayesian optimization[15, 16] 방법이 있다. 본 논문에서는 Heuristic search, Random search 방법에 의거, 경험 및 직관 그리고 선험적 지식을 활용하여 초기 학습률 선정을 제안한다.
본 논문에서의 RN 기반 심층 신경망 모델은 Adam 기법을 사용하여 하이퍼 파라미터의 편향을 보정, 학습의 갱신강도를 적응적으로 조정한다. 학습이 진행되는 동안 10,000 번째 epoch 마다 학습률 감소(learning rate decay)를 수행하여 학습을 진행하면서 학습률을 점차 줄여가는 방법을 사용한다.
따라서 적절한 배치 사이즈가 중요하다고 할 수 있다. 본 논문의 RN 기반 심층 신경망 모델은 성능을 극대화 할 수 있는 모델의 적절한 배치 사이즈를 찾기 위해 baseline 기준 배치 사이즈를 단계적으로 변경하여 적용한다.
앞서 수행했던 시각적 질의응답 태스크의 실험과 bAbI 데이터 셋을 사용한 텍스트 기반 질의응답 태스크에서 초기 학습률에 의해 모델의 성능이 결정되는 것을 확인하였다. 성능개선 방법으로 제안한 초기 학습률 설정이 Dialog-based LL 태스크에서도 적용되는지 확인하기 위하여 모델의 학습률의 범위를 1e^-6～1e^-2로 하여 모델의 성능을 비교 분석해 보았다. 20,000 epoch의 훈련과정이 끝난 후 성능비교 결과는 다음과 같다.
앞서 수행했던 시각적 질의응답 태스크의 실험에서 초기학습률에 의해 RN 모델의 성능이 결정되는 것을 확인하였다. 성능개선 방법으로 제안한 초기 학습률 설정이 텍스트 기반 질의응답 bAbI 태스크 RN 모델의 성능개선에도 영향을 주는지 확인하기 위하여 학습률의 범위를 1e^-6～1e^-2로 하여 모델의 성능비교 실험을 수행해 보았다. 최적의 초기 학습률을 찾기 위해 Random search 방법으로 학습이 잘되는 값의 범위를 관찰하고 범위를 좁혀나갔다.
baseline 모델 대비 배치 사이즈를 배수로 늘려 배치 사이즈 변경에 따른 성능을 비교 분석해 보았다. 시각기반 질의응답 RN 모델은 성능의 극대화를 위하여 최적화방법 중에서 Adam 기법을 사용, 하이퍼 파라미터의 편향을 보정, 학습의 갱신강도를 적응적으로 조정하였다. 학습이 진행되는 동안 10,000 번째 epoch 마다 학습률 감소를 수행하여 학습을 진행하면서 학습률을 점차 줄여가는 방법을 사용하였다.
시각적 질의응답 태스크에 대한 RN 모델의 성능비교를 위한 baseline으로 MLP 기반 모델(CNN + MLP)을 구축하였다. RN 모델과 동일하게 CNN+MLP 모델 또한 각각 24개의 커널을 가지는 4개의 합성곱 층으로 구성, 각 층마다 활성화 함수로는 ReLU를 사용하였고, 각 층에서 활성화 값을 적당히 분포되도록 조정하기 위하여 배치정규화를 적용하였다.
시각적 질의응답 태스크의 RN 모델은 입력으로 들어온 이미지는 CNN에서, 질문은 LSTM에서 처리를 한다. 관계 추론을 위해 입력된 이미지는 CNN으로 처리되어 RN에 대한 객체집합(a set of objects)을 생성되는데, 객체들은 특징 맵 벡터(feature-map vector) 형태로 구성되며 배경, 형태, 질감, 색상 등의 정보를 담고 있다.
시각적 질의응답의 RN 모델은 Sort-of-CLEVR 데이터 셋을 사용, baseline으로 설정한 CNN + MLP 모델과의 성능 비교를 해 보았다. 텍스트 기반 질의응답의 RN 모델은 데이터 셋으로 bAbI 태스크를 사용, 성능비교를 위한 baseline으로 End-To-End Memory Networks 모델을 사용하였다.
마지막 출력 층에서는 softmax를 사용하였고, f_ϕ를 통과한 최종적으로 나온 결과를 softmax에 통과시켜 질문에 대한 답을 예측하였다. 앞에서 언급한 텍스트 기반 질의응답 RN 아키텍처에서 볼 수 있듯이 별도의 32unit의 LSTM을 구성하여 질문을 처리하도록 하였다. 또한 드롭아웃을 50% 사용하여 오버피팅을 억제할 수 있도록 하였고 최적화방법으로 Adam optimizer를 사용하였다.
입력으로 들어온 문장은 32unit의 LSTM으로 처리되어 객체를 생성하도록 하였다. 관계를 도출하는 g_θ 함수는 64 유닛으로 구성된 4개 층의 MLP로 구성하였고 각 층마다 활성화 함수로 ReLU를 사용하였다.
적절한 배치 사이즈를 찾기 위해 본 논문의 앞서 수행한 시각 기반 질의응답 태스크 성능비교 실험에서 구축한 RN 모델을 baseline으로 정하였다. Baseline 모델은 초기 학습률이 1e^-4이고 배치 사이즈가 64이다.
본 논문에서는 Heuristic search, Random search 방법에 의거, 경험 및 직관 그리고 선험적 지식을 활용하여 초기 학습률 선정을 위한 실험 및 모델의 성능 검증을 하여 보았다. 적절한 초기 학습률을 찾기 위해 본 논문의 앞서 시각기반 질의응답 태스크 성능비교 실험에서 구현한 RN 모델을 baseline으로 정하였다. Baseline 모델 대비 학습률의 범위를 1e^-4～1e^-2로 하여 모델의 성능을 비교 분석해 보았다.
제안한 성능개선 방법은 성능검증을 위해 구축한 시각적 질의응답 RN 모델과 bAbI 데이터 셋을 사용한 텍스트 기반질의응답 RN 모델에 적용하여 그 효과를 검증하였다. 또한 기존의 RN 모델에서 사용해 보지 않았던 Dialog-based LL 데이터 셋을 추가 사용하여 새로운 도메인에서의 제안한 성능개선 방법의 효과를 다시 한 번 검증하였다.
제안한 성능개선 방법은 성능검증을 위해 구축한 시각적 질의응답 RN 모델과 텍스트 기반 질의응답 RN 모델에 적용하여 그 효과를 검증한다. 또한 기존의 RN 모델에서 사용해보지 않았던 Dialog-based LL 데이터 셋(The Dialog-based Language Learning dataset)[11]을 추가 사용하여 새로운 도메인에서의 제안한 성능개선 방법의 효과를 다시 한 번 검증한다.
배치 정규화의 기본 아이디어는 각 층에서 활성화 값이 적당히 분포되도록 조정하기 때문에 배치 정규화 계층을 각 신경망에 삽입한다. 즉 배치 정규화를 신경망에 적용 시, hidden layer에 들어가기 전에 배치 정규화 계층(batch normalization layer)을 더해주어 입력 값을 수정해 준 뒤 이렇게 수정된 값을 활성함수(activation function) 앞 또는 뒤에 넣어주는 방식을 사용한다. Equation (3)-(5)의 정규화 작업이 끝나면 배치 정규화 계층마다 이 정규화 된 데이터에 Equation (6)의 확대(α)와 이동(β) 변환을 수행한다.
관계 추론을 위해 입력된 이미지는 CNN으로 처리되어 RN에 대한 객체집합(a set of objects)을 생성되는데, 객체들은 특징 맵 벡터(feature-map vector) 형태로 구성되며 배경, 형태, 질감, 색상 등의 정보를 담고 있다. 질문은 LSTM으로 처리되어 질문 임베딩(question embedding)을 생성한다. 이렇게 생성된 CNN으로 처리한 이미지의 최종 feature map의 객체 쌍과 LSTM으로 처리한 질문의 결과가 다층 퍼셉트론인 g_θ의 입력으로 사용되고, g_θ는 각 객체간의 관계를 추론한다.
또한 각 객체는 서로를 식별하기 위하여 6가지의 색상(빨강, 파랑, 초록, 주황, 노랑, 회색) 중 하나의 색상을 지니고 있다. 질문은 각 이미지 당 20개의 질문-10개의 관계형 질문(relational question)과 비관계형 질문(nonrelational question)이 생성되었고 각각의 질문의 길이는 11인이진 문자열(binary string)로 인코딩 되었다. One-hot 벡터로 인코딩 된 질문에는 참조된 객체의 색상(6 bit), 질문의 유형과 하위유형정보(5 bit)를 담고 있다.
텍스트 기반 질의응답 태스크에 대한 RN 모델의 성능을 비교하기 위한 baseline으로 End-to-End Memory Networks를 구축하였다. Baseline 모델은 문장처리는 LSTM 으로, 드롭아웃은 30%, 최적화방법으로 RMSProp optimizer를 사용하였다.
실험에 사용한 데이터 셋은 dialog-based LL 태스크 중 “Imitating an Expert Student”로써 제공된 98KB의 훈련 데이터와 모델의 성능평가를 위한 98KB의 시험 데이터를 사용하였다. 텍스트 기반 질의응답의 Dialog-based LL 태스크에 대한 RN 모델은 bAbI 태스크와 동일한 아키텍처로 구축하였다.
RN 기반 심층 신경망 모델의 성능개선 방법으로 제안한 하이퍼 파라미터 튜닝을 통해 시각기반 질의응답 RN 모델의 성능개선을 시도해 보았다. 튜닝에 사용한 하이퍼 파라미터로는 배치 사이즈와 초기 학습률을 정하였다.
학습률의 범위를 1e^-6～1e^-2로 정하고 Random search 방법을 사용하여 20,000 epoch의 훈련과정 동안 학습이 잘되는 값의 범위를 관찰해 보았다. 관찰 결과, Fig.
시각기반 질의응답 RN 모델은 성능의 극대화를 위하여 최적화방법 중에서 Adam 기법을 사용, 하이퍼 파라미터의 편향을 보정, 학습의 갱신강도를 적응적으로 조정하였다. 학습이 진행되는 동안 10,000 번째 epoch 마다 학습률 감소를 수행하여 학습을 진행하면서 학습률을 점차 줄여가는 방법을 사용하였다. 그럼에도 모델의 성능이 훈련과정에서의 검증한 수치와 최종 범용 성능 평가에서의 검증한 수치에서 많은 차이를 보였고, RN 모델의 성능이 높지 않게 나왔다.

대상 데이터

관계를 도출하는 g_θ 함수는 64 유닛으로 구성된 4개 층의 MLP로 구성하였고 각 층마다 활성화 함수로 ReLU를 사용하였다. f_ϕ는 64, 128 유닛으로 구성된 2개의 MLP로 구성하였고 각 층마다 활성화 함수로ReLU를 사용하였다. 마지막 출력 층에서는 softmax를 사용하였고, f_ϕ를 통과한 최종적으로 나온 결과를 softmax에 통과시켜 질문에 대한 답을 예측하였다.
모든 gθ의 합계를 취하여 모델의 최종 출력을 계산하는 fϕ는 첫 번째 및 두 번째 층은 256 유닛으로 구성, 세 번째 층은 10 유닛으로 구성된 3개의 MLP로 구성하였다.
본 논문의 실험에서는 시각적 질의응답 태스크에 사용할 데이터 셋으로 이미지의 사이즈가 128×128×3인 10,000개의 이미지를 포함하고 있는 데이터 셋을 생성하였다.
실험에 사용한 데이터 셋은 bAbI 태스크 중 “Single Supporting Fact”으로써 제공된 924KB의 훈련(training) 데이터와 모델의 성능평가를 위한 96KB의 시험(test) 데이터를 사용하였다.
실험에 사용한 데이터 셋은 dialog-based LL 태스크 중 “Imitating an Expert Student”로써 제공된 98KB의 훈련 데이터와 모델의 성능평가를 위한 98KB의 시험 데이터를 사용하였다.
Sort-of-CLEVR 데이터 셋은 구글의 딥마인드가 RN 아키텍처가 일반적 신경망 아키텍처보다 관계형 추론에 더 적합하다는 가설을 증명하기 위하여 구축한 데이터 셋이다. 이 데이터 셋은 CLEVR[17]의 간소화 버전으로 기존 시각적 질의응답 데이터 셋의 이미지 처리의 복잡성을 줄이고 언어학적 모호성과 편향성을 보완한 데이터 셋이다. 본 논문의 실험에서는 시각적 질의응답 태스크에 사용할 데이터 셋으로 이미지의 사이즈가 128×128×3인 10,000개의 이미지를 포함하고 있는 데이터 셋을 생성하였다.
학습과정의 배치 사이즈는 64, 초기 학습률은 1e^-4, epoch은 200,000으로 설정하였다. 학습도중 100 epoch 별로 훈련 데이터와 시험 데이터를 대상으로 정확도를 기록하였다.

이론/모형

텍스트 기반 질의응답 태스크에 대한 RN 모델의 성능을 비교하기 위한 baseline으로 End-to-End Memory Networks를 구축하였다. Baseline 모델은 문장처리는 LSTM 으로, 드롭아웃은 30%, 최적화방법으로 RMSProp optimizer를 사용하였다. 모델 성능 평가 결과, RN 모델은 정확도가 85.
RN 기반 심층 신경망 모델은 신경망의 성능개선 핵심 방법 중에서 배치 정규화, 드롭아웃 그리고 매개변수 갱신법 중 하나인 Adam 기법을 적용한다.
두 유형의 RN 모델은 모델의 성능을 극대화하기 위하여 성능개선 핵심 방법 중에서 오버피팅(overfitting)의 대응책인 배치 정규화(batch normalization)[7], 드롭아웃(dropout)[8] 그리고 최적의 매개변수 값을 찾는 매개변수 갱신법(optimization) 중 하나인 Adaptive Moment Estimation(Adam)[9] 기법을 적용하도록 한다.
앞에서 언급한 텍스트 기반 질의응답 RN 아키텍처에서 볼 수 있듯이 별도의 32unit의 LSTM을 구성하여 질문을 처리하도록 하였다. 또한 드롭아웃을 50% 사용하여 오버피팅을 억제할 수 있도록 하였고 최적화방법으로 Adam optimizer를 사용하였다. 학습과정의 배치 사이즈는 64, 초기 학습률은 1e^-4, epoch은 200,000으로 설정하였다.
가장 간단한 방법으로는 손실함수의 그래프에서 가장 낮은 지점을 찾아가도록 손실함수의 기울기를 구해 기울어진 방향으로 매개변수의 값을 갱신해나가는 확률적 경사 하강법(SGD)[12]과 이 방법의 단점을 개선한 Momentum[13], AdaGrad[14], Adam 방법이 있다. 본 논문에서의 RN 기반 심층 신경망 모델은 최적화 방법 중에서 가장 큰 장점을 가지고 있는 Adam 기법을 사용하였다.
다양한 도메인에서의 RN의 성능을 검증하고자, 시각적 질의응답 RN 모델과 텍스트 기반 질의응답 RN 모델 두 유형의 모델을 구축한다. 시각적 질의응답의 RN 모델에서는 데이터 셋은 Sort-of-CLEVR[1]을, 성능비교를 위한 baseline은 CNN + MLP 모델을 사용한다. 텍스트 기반 질의응답의 RN 모델에서는 데이터 셋은 bAbI 태스크(bAbI task)[5]을, 성능 비교를 위한 baseline은 End-To-End Memory Networks[6] 모델을 사용한다.
시각적 질의응답의 RN 모델에서는 데이터 셋은 Sort-of-CLEVR[1]을, 성능비교를 위한 baseline은 CNN + MLP 모델을 사용한다. 텍스트 기반 질의응답의 RN 모델에서는 데이터 셋은 bAbI 태스크(bAbI task)[5]을, 성능 비교를 위한 baseline은 End-To-End Memory Networks[6] 모델을 사용한다.
시각적 질의응답의 RN 모델은 Sort-of-CLEVR 데이터 셋을 사용, baseline으로 설정한 CNN + MLP 모델과의 성능 비교를 해 보았다. 텍스트 기반 질의응답의 RN 모델은 데이터 셋으로 bAbI 태스크를 사용, 성능비교를 위한 baseline으로 End-To-End Memory Networks 모델을 사용하였다.

성능/효과

관찰 결과, Table 3에서 보듯이 학습이 가장 잘 진행될 때의 초기 학습률의 범위는 6e^-4∼5e^-4와 2e^-3∼1e^-3이라는 것을 알 수 있다. 20,000 epoch의 훈련과정의 모델 범용 성능 평가 결과, 텍스트 기반 질의응답 RN 모델에서도 초기 학습률이 모델의 성능을 결정하는 중요 요인임을 알 수 있다.
이에 딥마인드(DeepMind)에서는 이러한 관계 추론을 할 수 있는 RN을 개발하였다. RN을 Convolutional Neural Networks(CNN)과 Long Short-Term Memory(LSTM)과 결합하여 시각적 질의응답 문제에 대해서 실험을 한 결과, 기존 모델은 76.6% 이하의 성능을, 사람은 92.6%를 그리고 RN을 적용한 모델은 95.5% 성능이 나왔다. 이렇게 사람을 뛰어넘은(super-human) 높은 성능을 보여주는 RN은 간단하며, 다른 모델에 쉽게 붙일 수 있고, 유연한 관계 추론에만 중점을 둘 수 있는 강력함을 가지고 있다[1].
결과적으로 baseline 모델보다 RN 모델의 성능이 현저히 떨어져 성능개선이 요구됨을 알 수 있다.
결론적으로 아무리 훌륭히 설계된 모델이라도 초기 학습률에 의해 모델의 성능이 달라진다는 것과 초기 학습률의 선정이 모델의 성능을 결정하는 중요한 요인임을 알 수 있다.
모델의 성능을 극대화하기 위한 방법으로 배치 정규화, 드롭아웃 그리고 Adam optimizer 를 사용하여 구축한 RN 모델은 Table 1에서 볼 수 있듯이 관계형 질문 및 비관계형 질문 모두에 대해서 baseline으로 사용한 CNN+MLP 모델보다 높은 성능을 보였다. 그러나 RN 모델 구축 시 앞에서 나열한 성능개선을 위한 핵심방법을 적용했음에도 RN 모델의 성능이 훈련과정에서의 검증한 수치와 최종 범용 성능 평가에서의 검증한 수치에서 많은 차이를 보였다.
학습이 진행되는 동안 10,000 번째 epoch 마다 학습률 감소를 수행하여 학습을 진행하면서 학습률을 점차 줄여가는 방법을 사용하였다. 그럼에도 모델의 성능이 훈련과정에서의 검증한 수치와 최종 범용 성능 평가에서의 검증한 수치에서 많은 차이를 보였고, RN 모델의 성능이 높지 않게 나왔다. 이에 본 논문에서는 학습률의 초기값 선정이 중요하다는 것에 중점을 두고 초기 학습률 선정이 모델성능에 미치는 영향을 살펴보았다.
Baseline 모델은 문장처리는 LSTM 으로, 드롭아웃은 30%, 최적화방법으로 RMSProp optimizer를 사용하였다. 모델 성능 평가 결과, RN 모델은 정확도가 85.0%, 손실함수는 0.4650의 결과를 보여주었다. 반면 baseline인 End-to-End Memory Networks 모델은 정확도가 99.
모델의 성능을 극대화하기 위한 방법으로 배치 정규화, 드롭아웃 그리고 Adam optimizer 를 사용하여 구축한 RN 모델은 Table 1에서 볼 수 있듯이 관계형 질문 및 비관계형 질문 모두에 대해서 baseline으로 사용한 CNN+MLP 모델보다 높은 성능을 보였다. 그러나 RN 모델 구축 시 앞에서 나열한 성능개선을 위한 핵심방법을 적용했음에도 RN 모델의 성능이 훈련과정에서의 검증한 수치와 최종 범용 성능 평가에서의 검증한 수치에서 많은 차이를 보였다.
이렇게 구축한 RN 모델은 시각적 질의응답 태스크에서 관계형 질문 및 비관계형 질문 모두에 대해서 baseline으로 사용한 CNN+MLP 모델보다 약간 높은 성능을 보여주었다. 반면 텍스트 질의응답 태스크에서는 RN 모델이 baseline으로 사용한 End-to-End Memory Networks 모델보다 현저히 떨어지는 성능을 보여주었다. 또한 RN 모델은 성능개선 핵심방법을 적용했음에도 성능이 훈련과정에서의 검증한 수치와 최종 범용 성능 평가에서의 검증한 수치에서 많은 차이를 보여 적용한 성능개선 핵심 방법 외의 RN 모델의 성능개선 방법이 요구되었다.
실험 결과 두 유형의 RN 모델 모두에서 초기 학습률이 모델의 성능을 결정하는 핵심 요인임을 알 수 있었고, RN처럼 아무리 훌륭히 설계된 모델도 초기 학습률에 따라 모델의 성능이 결정된다는 것을 확인하였다.
실험결과 학습이 가장 잘 진행될 때의 초기 학습률은 Table 4에서 보듯이 9e-3∼1e-3일 때라는 것을 알 수 있었고, 새로운 데이터 셋인 Dialog-based LL 태스크 RN 모델에서도 초기 학습률이 모델의 성능을 결정하는 중요 요인임을 알 수 있다.
앞서 수행했던 시각적 질의응답 태스크의 실험과 bAbI 데이터 셋을 사용한 텍스트 기반 질의응답 태스크에서 초기 학습률에 의해 모델의 성능이 결정되는 것을 확인하였다. 성능개선 방법으로 제안한 초기 학습률 설정이 Dialog-based LL 태스크에서도 적용되는지 확인하기 위하여 모델의 학습률의 범위를 1e^-6～1e^-2로 하여 모델의 성능을 비교 분석해 보았다.
앞서 수행했던 시각적 질의응답 태스크의 실험에서 초기학습률에 의해 RN 모델의 성능이 결정되는 것을 확인하였다. 성능개선 방법으로 제안한 초기 학습률 설정이 텍스트 기반 질의응답 bAbI 태스크 RN 모델의 성능개선에도 영향을 주는지 확인하기 위하여 학습률의 범위를 1e^-6～1e^-2로 하여 모델의 성능비교 실험을 수행해 보았다.
이렇게 구축한 RN 모델은 시각적 질의응답 태스크에서 관계형 질문 및 비관계형 질문 모두에 대해서 baseline으로 사용한 CNN+MLP 모델보다 약간 높은 성능을 보여주었다. 반면 텍스트 질의응답 태스크에서는 RN 모델이 baseline으로 사용한 End-to-End Memory Networks 모델보다 현저히 떨어지는 성능을 보여주었다.
제안한 Random search 방법에 의해 찾은 최적의 초기 학습률 설정 결과 시각적 질의응답 모델은 최고 99.7%를, 텍스트 기반 질의응답 모델에서는 99.8%까지의 성능 향상을 보여주었다.
최적화된 모델을 찾기 위한 하이퍼 파라미터 조정에 따른 모델의 성능개선 연구 결과 Fig. 9와 Fig. 10에서 볼 수 있듯이 Heuristic search, Random search 방법에 의해 찾은 초기 학습률이 1e^-3인 모델이 훈련과정에서 성능이 가장 높게 나왔다. 또한 Table 2에서 볼 수 있듯이 초기 학습률이 1e^-3인 모델이 범용실험 성능평가에서도 다른 모델보다 두 배 이상의 성능이 나오는 결과를 보여 주었다.
하이퍼 파라미터 튜닝을 통한 성능개선 실험 결과, 다양한 하이퍼 파라미터 중 초기 학습률의 선정이 모델의 성능을 결정하는 중요한 요인임을 알 수 있었다.

후속연구

이에 추후 연구에서는 이러한 접근법을 확장, 응용하여 수준 높은 추론모델을 구축하고자 한다. 궁극적으로 이와 같은 연구가 인간의 강력하고 유연한 지능에 대한 핵심적 요소를 이해하는데 많은 도움을 줄 수 있을 것이라고 생각한다.
RN과 VIN은 관계 추론 접근(relational reasoning approach)에 있어 밝은 전망을 보여주고 있다. 이에 추후 연구에서는 이러한 접근법을 확장, 응용하여 수준 높은 추론모델을 구축하고자 한다. 궁극적으로 이와 같은 연구가 인간의 강력하고 유연한 지능에 대한 핵심적 요소를 이해하는데 많은 도움을 줄 수 있을 것이라고 생각한다.
본 논문에서는 Heuristic search, Random search 방법에 의거, 경험 및 직관 그리고 선험적 지식을 활용하여 초기 학습률 선정을 위한 실험 및 그에 따른 모델의 성능을 검증하였다. 추후 연구에서는 학습률의 초기값 선정이 중요하다는 것에 중점을 두고 좀 더 수학적 방법으로 수행하는 Bayesian optimization으로 RN 모델의 초기 학습률의 섬세한 조정을 해 볼 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	RN 기반 심층 신경망 모델의 성능 개선을 위해 제안된 방법은?	RN 기반 심층 신경망 모델의 성능개선 방법으로 모델 구축 시 사용한 성능개선 핵심 방법 외의 배치 사이즈, 초기 학습률 등의 하이퍼 파라미터 튜닝방법을 제안하였다.
	신경망 학습 최적화 기법으로는 무엇이 있는가?	이러한 최적화에는 여러 가지 방법이 있다. 가장 간단한 방법으로는 손실함수의 그래프에서 가장 낮은 지점을 찾아가도록 손실함수의 기울기를 구해 기울어진 방향으로 매개변수의 값을 갱신해나가는 확률적 경사 하강법(SGD)[12]과 이 방법의 단점을 개선한 Momentum[13], AdaGrad[14], Adam 방법이 있다. 본 논문에서의 RN 기반 심층 신경망 모델은 최적화 방법 중에서 가장 큰 장점을 가지고 있는 Adam 기법을 사용하였다.
	Sort-of-CLEVR 데이터 셋이란?	Sort-of-CLEVR 데이터 셋은 구글의 딥마인드가 RN 아키텍처가 일반적 신경망 아키텍처보다 관계형 추론에 더 적합하다는 가설을 증명하기 위하여 구축한 데이터 셋이다. 이 데이터 셋은 CLEVR[17]의 간소화 버전으로 기존 시각적 질의응답 데이터 셋의 이미지 처리의 복잡성을 줄이고 언어학적 모호성과 편향성을 보완한 데이터 셋이다.

참고문헌 (17)

Adam Santoro, David Raposo, David G.T. Barrett, Mateusz Malinowski, Razvan Pascanu, Peter Battaglia, and Timothy Lillicrap, "A simple neural network module for relational reasoning," arXiv: 1706.01427v1, 2017.
David Raposo, Adam Santoro, David Barrett, Razvan Pascanu, Timothy Lillicrap, and Peter Battaglia, "Discovering objects and their relations from entangled scene representations," arXiv:1702.05068, 2017.
Nicholas Watters, Andrea Tacchetti, Theophane Weber, Razvan Pascanu, Peter Battaglia, and Daniel Zoran, "Visual Interaction Networks," arXiv:1706.01433v1, 2017.
Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C Lawrence Zitnick, and Devi Parikh, "Vqa: Visual question answering," arXiv:1505.00468v7, 2015.
Antoine Bordes, Jason Weston, Sumit Chopra, and Tomas Mikolov, "Towards ai-complete question answering: A set of prerequisite toy tasks," arXiv:1502.05698, 2015.
Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston, and Rob Fergus, "End-To-End Memory Networks," arXiv:1503.08895v5, 2015.
Sergey Ioffe and Christan Szegedy, "Batch Normalization : Accelerating Deep Network Training by Reducing Internal Covariate Shift," arXiv:1502.03167, 2015.
N. Srivastava, G. Hinton. A. Krizhevsky. I. Sutskever, and R. Salakhutdinov, "Dropout : A simple way to prevent neural networks from overfitting," The Journal of Machine Learning Research, 15, pp.1929-1958, 2014.
Diederik Kingma and Jimmy Ba, "Adam : A Method for Stochastic Optimization," arXiv: 1412.6980, 2014.
James Bergstra and Yoshua Bengio, "Random Search for Hyper Parameter Optimization," Journal of Machine Learning Research, Vol.13, pp.281-305, 2012.
Jason Weston, "Dialog-based Language Learning," arXiv: 1604.06045, 2016.
Sebastian Ruder, "An overview of gradient descent optimization algorithms," arXiv:1609.04747v2, 2016.
Ilya Sutskever, James Martens, George Dahl, and Geoffrey Hinton, "On the importance of initialization and momentum in deep learning," Proceedings of the 30th International Conference on Machine Learning, pp.1139-1147, 2013.
John Duchi, Elad Hazan, and Yoram Singer, "Adaptive Subgradient Methods for Online Learning and Stochastic Optimization," Journal of Machine Learning Research, Vol.12, pp.2121-2159, 2011.
Jasper Snoek, Hugo Larochelle, and Ryan P. Adams. "Practical Bayesian optimization of machine learning algorithms," arXiv:1206.2944v2, 2012.
Matthias Feurer, Benjamin Letham, and Eytan Bakshy, "Scalable Meta-Learning for Bayesian Optimization," arXiv: 1802.02219, 2018.
Justin Johnson, Bharath Hariharan, Laurens van der Maaten, Li Fei-Fei, C Lawrence Zitnick, and Ross Girshick., "Clevr: A diagnostic dataset for compositional language and elementary visual reasoning," arXiv:1612.06890v1, 2017.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증