[논문]DNA Chip 데이터의 군집화 성능 향상을 위한 Particle Swarm Optimization 알고리즘의 적용기법

이민수

doi:10.3745/kipstd.2010.17d.3.175

DNA Chip 데이터의 군집화 성능 향상을 위한 Particle Swarm Optimization 알고리즘의 적용기법
Applying Particle Swarm Optimization for Enhanced Clustering of DNA Chip Data 원문보기

정보처리학회논문지. The KIPS transactions. Part D. Part D, v.17D no.3, 2010년, pp.175 - 184

초록
AI-Helper

최근 DNA 칩의 등장으로 유전자 관련 실험과 연구가 매우 용이해졌으며 이를 활용한 다양한 실험 결과로 대량의 데이터가 제공되고 있다. DNA칩에 의해 제공된 데이터는 2차원 행렬로 표현되며 하나의 축은 유전자를 나타내고 다른 하나의 축은 샘플정보를 나타낸다. 이러한 데이터에 대하여 빠른 시간 안에 좋은 품질의 군집화를 수행함으로써 이후의 분석 단계인 분류화 작업의 정확도와 효율성을 높일 수 있다. 본 논문에서는 생태계 모방 알고리즘의 하나인 Particle Swarm Optimization 알고리즘을 사용하여 방대한 양의 DNA칩 데이터에 대한 효율적인 군집화 기법을 제안하였으며 실험을 통해서 PSO 기반의 군집화 알고리즘이 기존의 군집화 알고리즘들보다 수행속도 및 품질 면에서 우수한 성능을 가짐을 보였다.

Abstract ▼ AI-Helper

Experiments and research on genes have become very convenient by using DNA chips, which provide large amounts of data from various experiments. The data provided by the DNA chips could be represented as a two dimensional matrix, in which one axis represents genes and the other represents samples. By performing an efficient and good quality clustering on such data, the classification work which follows could be more efficient and accurate. In this paper, we use a bio-inspired algorithm called the Particle Swarm Optimization algorithm to propose an efficient clustering mechanism for large amounts of DNA chip data, and show through experimental results that the clustering technique using the PSO algorithm provides a faster yet good quality result compared with other existing clustering solutions.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

유전자 데이터를 사용해 질병의 발전 방향을 예측하는 등[1, 2] 특히 의생명 분야에서 그 분석이 중요시되는데, 데이터의 분석을 위해 사용하는 방법으로 군집화나 분류화 등의 방법이 있지만 본 논문에서는 데이터 마이닝 기법의 하나인 군집화를 이용하여 의미 있는 정보를 찾아내고 분석한다. 그리고 본 논문에서는 생태계 모방 알고리즘의 하나인 PSO(Particle Swarm Optimization) 알고리즘을 사용하여 군집화를 수행하는 PSO기반의 군집화 알고리즘을 제안한다. PSO 알고리즘은 개체들 간의 상호 작용을 통해 최적의 해를 찾아가는 방법을 모방하는 알고리즘으로서 단순하고 계산시간이 짧으며 대량의 메모리가 필요 없다는 장점이 있다.
PSO 군집화 알고리즘은 빠른 시간 안에 좋은 품질의 군집화를 수행함으로써 이후의 분석 단계인 분류화 작업의 정확도와 효율성을 높일 수 있다. 그리하여 PSO 군집화 알고리즘이 향후 효율적인 질병의 판단에 적용할 수 있는 방향을 제시하였다.
생태계 모방 알고리즘은 생태계에서 일어나는 생물체들의 행동이나 습성을 관찰하여 알고리즘에 적용시킨 것으로 다양한 진화적 알고리즘 중 한 부분을 차지한다. 기본적으로 어느 주어진 생태계 안에서 각각 하나씩의 가능한 해(solution)를 갖는 개체들이 모인 개체군이 각 알고리즘 나름의 진화연산을 수행하면서 최적의 해 집단을 형성해 가는 것을 주요 목적으로 한다[11]. 이러한 생태계 모방 알고리즘이 갖는 주요 특성으로는 연산과정에 있어서 확률론적인 접근방법을 사용한다는 것과 각 개체들 간, 즉 해 간의 상호 작용을 통해 최적의 해를 찾아가는 방법을 사용한다는 것이다.
따라서 PSO 알고리즘을 이용하여 군집화를 수행하고 수천 개부터 많게는 수십만 개의 기록을 가진 대량의 바이오칩 데이터를 처리할 때, 높은 성능을 얻을 수 있다. 본 논문에서는 PSO 알고리즘을 이용하여 바이오 칩으로부터 간암환자와 정상인의 데이터를 받아 성질이 비슷한 유전자끼리 군집화를 함으로써 특징추출을 통한 차원 축소 및 중복성 제거로 이후의 분류화 과정에서 효율적이고 정확하게 간암 환자인지 아닌지를 판별할 수 있도록 군집화를 한다. 이때, 군집화 과정은 빠른 수행시간을 가져야 하며 간단하게 판별이 되어야 한다.
바이오 칩을 사용하면 수 시간 내 분석이 가능하기 때문에 비용과 시간을 절약할 수 있고 바이오 칩 기술을 이용하여 생물의 생명현상에 대한 근본적 원리와 구조를 분석, 새로운 신약을 개발하거나 인간의 뇌의 정보처리 메카니즘을 분석할 수 있을 뿐만 아니라 질병을 진단하고 예측할 수 있다. 본 연구에서는 새, 물고기, 벌 등 군집 생활을 하는 동물들의 행동 습성을 모방하여 최적의 해를 찾는 Particle Swarm Optimization (PSO) 알고리즘에 기반한 군집화 알고리즘을 제안하고 구현하였다. PSO 군집화 알고리즘을 바이오 칩 데이터에 적용함으로써 KNN 군집화 알고리즘, CURE 알고리즘, K-means 알고리즘과 비교하여 데이터가 많아질수록 수행성능이 우수함을 실험을 통해 증명하였다.

제안 방법

PSO 군집화 알고리즘의 성능을 측정하기 위해 PSO 군집화 알고리즘의 수행시간과 군집화 품질을 측정하였다. 먼저 반복 횟수와 군집의 수에 따라 수행시간을 측정하여 PSO 군집화 알고리즘의 수행속도를 측정하였다.
본 실험에서 적용된 적합도 함수를 보면 유전자들을 입자로 선정하여 각 군집안의 유전자들의 발현 값을 다 더해주고 각 군집의 중심을 구한다. 각 군집의 중심과 그 군집에 속해 있는 유전자들의 거리를 구해 더하여 오차제곱의 합을 구한다. 이렇게 구해진 각 클러스터들의 오차제곱의 합 값이 적합도 값이 되고 값이 작으면 작을수록 적합도 값은 높게 평가된다.
그리고 입자의 오차제곱의 합을 구하기 위해서는 유클리디안 거리(Euclidean distance) 공식을 사용한다. 각 유전자와 군집의 중심 사이의 거리의 차를 제곱하여 더한 뒤 군집의 오차제곱의 합을 구하고 군집의 오차제곱의 합을 더하여 군집화의 오차제곱의 합을 구해준다. 오차제곱의 합 값이 작을수록 군집화의 정확도는 높아진다.
(그림 12)에서 x축은 반복횟수, y축은 수행속도를 나타낸다. 군집의 수와 반복횟수를 늘려가며 수행속도를 측정하였다. 반복횟수가 적을 경우, 군집의 개수는 수행속도에 큰 영향을 미치지 않는 것으로 나타났지만 반복횟수가 많아질수록 군집의 개수가 수행속도에 영향을 미치는 것으로 나타났다.
그리고 샘플 수를 다르게 하여 PSO 군집화 알고리즘과 K-means 알고리즘의 수행속도를 비교해 보면 같은 수의 데이터라도 샘플 수가 적을수록 군집화의 수행속도가 빠르다는 것을 알 수 있다. 더 자세한 수행성능의 측정을 위해 KNN 군집화 알고리즘과 CURE 군집화 알고리즘의 샘플 수에 따른 수행속도와 함께 비교하였다. <표 6> 및 (그림 14)와 (그림 15)는 샘플 수가 12개와 24개일 때 유전자의 수를 다르게 하여 수행시간을 비교한 표와 이를 그래프로 나타낸 것이다.
PSO 군집화 알고리즘의 성능을 측정하기 위해 PSO 군집화 알고리즘의 수행시간과 군집화 품질을 측정하였다. 먼저 반복 횟수와 군집의 수에 따라 수행시간을 측정하여 PSO 군집화 알고리즘의 수행속도를 측정하였다. 이에 따른 수행속도를 비교한 표와 분석 그래프를 각각 <표 4>와 (그림 12)에서 보여준다.
본 실험에서 적용된 적합도 함수를 보면 유전자들을 입자로 선정하여 각 군집안의 유전자들의 발현 값을 다 더해주고 각 군집의 중심을 구한다. 각 군집의 중심과 그 군집에 속해 있는 유전자들의 거리를 구해 더하여 오차제곱의 합을 구한다.
유전자 데이터가 PSO 군집화 알고리즘을 이용하여 군집화가 얼마나 잘됐는지를 확인하기 위해 적합도 함수를 사용하고 적합도 값이 클수록 군집화가 잘된 것으로 평가한다. 각 입자의 적합도 값은 오차제곱의 합을 이용하여 계산하고 적합도 값을 구하는 과정은 크게 두 단계로 나뉜다.
바이오칩을 사용하여 유전자 실험을 한 후에는 바이오칩으로부터 데이터를 추출하고 유전자 사이에 유사성 유형을 발견하기 위해 데이터를 조사하는 분석 과정이 필요하다. 유전자 데이터를 사용해 질병의 발전 방향을 예측하는 등[1, 2] 특히 의생명 분야에서 그 분석이 중요시되는데, 데이터의 분석을 위해 사용하는 방법으로 군집화나 분류화 등의 방법이 있지만 본 논문에서는 데이터 마이닝 기법의 하나인 군집화를 이용하여 의미 있는 정보를 찾아내고 분석한다. 그리고 본 논문에서는 생태계 모방 알고리즘의 하나인 PSO(Particle Swarm Optimization) 알고리즘을 사용하여 군집화를 수행하는 PSO기반의 군집화 알고리즘을 제안한다.
임의로 생성된 군집의 중심을 결정하기 위해 군집에 속한 모든 유전자의 발현 값을 더하고 발현 값의 합을 유전자의 수로 나눈다. 이렇게 군집의 중심이 결정되면 오차제곱의 합(Sum of Squared Error, SSE)를 사용하여 모든 입자의 적합도를 계산하고, 적합도를 계산한 뒤에는 pbest와 계산된 적합도를 비교하여 pbest를 업데이트한 뒤 pbest중에서 가장 좋은 값을 gbest로 선정한다. 그리고 속도를 계산한 뒤 다음 이동할 입자의 위치를 결정하게 된다.
군집화의 정확도는 군집들의 분별력을 이용하여 판단할 수 있다. 이를 위하여 Cluster_Diff라는 수치를 토대로 다른 기법들과 정확도를 비교하였다. 본 실험에서 샘플을 구성하고 있는 실험은 암에 대한 판단에 효용성이 있느냐에 따라서 Class가 1(암에 대한 판단에 영향을 미침)과 -1(암에 대한 판단에 영향을 미치지 않음)로 구분된다.

대상 데이터

PSO 군집화 알고리즘의 수행을 위해 사용한 입력 데이터 파일은 3개의 속성을 가진 유전자 파일로써 유전자명(Gene Name), 샘플명(Sample Name), 발현 값(Expression Value)로 이루어졌고 <표 2>에서 이들의 관계를 보여준다. (주)마크로젠에서 제공한 유전자 파일의 샘플 수는 24개이고 각 샘플마다 2000개의 유전자 데이터에 대해 실험을 하였다.

데이터처리

다음은 유전자의 개수에 따른 PSO 군집화 알고리즘의 수행속도를 측정하고, 기존 데이터 분석 소프트웨어로 Simple K-means 알고리즘의 수행속도를 측정하여 비교 분석하였다. 이 때 K=5로 설정하였다.

이론/모형

그리고 입자의 오차제곱의 합을 구하기 위해서는 유클리디안 거리(Euclidean distance) 공식을 사용한다. 각 유전자와 군집의 중심 사이의 거리의 차를 제곱하여 더한 뒤 군집의 오차제곱의 합을 구하고 군집의 오차제곱의 합을 더하여 군집화의 오차제곱의 합을 구해준다.

성능/효과

PSO 군집화 알고리즘은 데이터의 크기가 다항 증가하더라도 수행속도는 반복횟수에 근거하여 선형에 근사한 증가를 보여준다는 것을 실험을 통해 확인할 수 있었다. PSO 군집화 알고리즘을 이용하여 수천 개부터 많게는 수십만 개의 기록을 가진 대량의 바이오 칩 데이터를 보다 빠르고 효율적으로 처리하고 분석해서 높은 성능을 얻을 수 있다.
본 연구에서는 새, 물고기, 벌 등 군집 생활을 하는 동물들의 행동 습성을 모방하여 최적의 해를 찾는 Particle Swarm Optimization (PSO) 알고리즘에 기반한 군집화 알고리즘을 제안하고 구현하였다. PSO 군집화 알고리즘을 바이오 칩 데이터에 적용함으로써 KNN 군집화 알고리즘, CURE 알고리즘, K-means 알고리즘과 비교하여 데이터가 많아질수록 수행성능이 우수함을 실험을 통해 증명하였다. PSO 군집화 알고리즘은 빠른 시간 안에 좋은 품질의 군집화를 수행함으로써 이후의 분석 단계인 분류화 작업의 정확도와 효율성을 높일 수 있다.
PSO 군집화 알고리즘은 데이터의 크기가 다항 증가하더라도 수행속도는 반복횟수에 근거하여 선형에 근사한 증가를 보여준다는 것을 실험을 통해 확인할 수 있었다. PSO 군집화 알고리즘을 이용하여 수천 개부터 많게는 수십만 개의 기록을 가진 대량의 바이오 칩 데이터를 보다 빠르고 효율적으로 처리하고 분석해서 높은 성능을 얻을 수 있다. 또한 Cluster_Diff의 분산 비교를 통해서 PSO 군집화 알고리즘이 K-NN, K-means, Cure 알고리즘과 비교하였을 때, 최소 약 25% 높은 군집화 품질을 가지고 있음을 보였다.
이때, 군집화 과정은 빠른 수행시간을 가져야 하며 간단하게 판별이 되어야 한다. PSO 군집화 알고리즘의 성능이 기존의 K-means 알고리즘과 비교하였을 때 수행속도 면에서 약 10% 정도 향상되며 KNN 군집화 알고리즘과 비교하였을 때, 데이터의 수가 많을수록 수행속도 면에서 월등히 향상 되었다는 것을 실험을 통하여 보였다.
(그림 13)에서 x축은 유전자의 개수, y축은 수행속도(msec)를 나타낸다. 같은 데이터 셋과 실행 환경을 가지고 PSO 군집화 알고리즘의 수행시간과 기존의 Simple K-means 알고리즘 소프트웨어와 수행시간을 비교했을 때 높은 성능 향상을 나타내었다. 특히 유전자의 개수가 늘어남에 따라 PSO 군집화 알고리즘의 수행속도의 변화가 크지 않으므로 많은 데이터를 사용하여 분석을 할 때 PSO 군집화 알고리즘이 효율적이라는 것을 알 수 있다.
그리고 샘플 수를 다르게 하여 PSO 군집화 알고리즘과 K-means 알고리즘의 수행속도를 비교해 보면 같은 수의 데이터라도 샘플 수가 적을수록 군집화의 수행속도가 빠르다는 것을 알 수 있다.
다른 알고리즘에 비해 PSO 군집화 알고리즘의 분산이 비교적 높은 값을 보이며 각 군집의 분별력이 높다는 것을 알 수 있다.
둘째, 연속형의 변수와 이산형의 변수가 혼합되어 있는 경우에도 전체적인 집단화가 가능하다.
PSO 군집화 알고리즘을 이용하여 수천 개부터 많게는 수십만 개의 기록을 가진 대량의 바이오 칩 데이터를 보다 빠르고 효율적으로 처리하고 분석해서 높은 성능을 얻을 수 있다. 또한 Cluster_Diff의 분산 비교를 통해서 PSO 군집화 알고리즘이 K-NN, K-means, Cure 알고리즘과 비교하였을 때, 최소 약 25% 높은 군집화 품질을 가지고 있음을 보였다.
군집의 수와 반복횟수를 늘려가며 수행속도를 측정하였다. 반복횟수가 적을 경우, 군집의 개수는 수행속도에 큰 영향을 미치지 않는 것으로 나타났지만 반복횟수가 많아질수록 군집의 개수가 수행속도에 영향을 미치는 것으로 나타났다.
둘째, 연속형의 변수와 이산형의 변수가 혼합되어 있는 경우에도 전체적인 집단화가 가능하다. 셋째, PSO의 개념은 원래 2차원 공간에서 고안되었으나 n차원 공간으로 확장할 수 있다.
같은 데이터 셋과 실행 환경을 가지고 PSO 군집화 알고리즘의 수행시간과 기존의 Simple K-means 알고리즘 소프트웨어와 수행시간을 비교했을 때 높은 성능 향상을 나타내었다. 특히 유전자의 개수가 늘어남에 따라 PSO 군집화 알고리즘의 수행속도의 변화가 크지 않으므로 많은 데이터를 사용하여 분석을 할 때 PSO 군집화 알고리즘이 효율적이라는 것을 알 수 있다. 예를 들어 유전자의 수가 200개인 경우에는 PSO 분류화 알고리즘의 수행시간은 62msec이고 K-means 알고리즘의 수행시간은 72msec으로써 10msec의 시간이 단축되었고 평균적으로 10% 이상의 성능 향상을 보인다.

질의응답

핵심어	질문	논문에서 추출한 답변
	바이오 칩 중의 하나인 마이크로어레이란 무엇인가?	바이오 칩(Biochip)이란 DNA나 단백질과 같은 생체물질을 유리, 실리콘, 나일론 등의 재질로 된 고체기질 위에 고밀도로 집적화한 것으로 유전자 발현 양상, 유전자 결함, 단백질 분포 등의 생물학적 정보를 얻는데 쓰이며 생화학적 공정 및 반응속도 또는 정보처리 속도를 높이는 도구나 장치를 말한다[3, 4, 5]. 바이오 칩 중의 하나인 마이크로어레이(microarray)는 수천 혹은 수만 개의 DNA, 단백질, 탄수화물, 펩타이드(peptide) 등을 일정간격으로 배열하여 붙이고, 분석대상 물질을 처리하여 결합 양상을 분석할 수 있는 칩(DNA칩, 단백질 칩)이다[6].
	군집화에서 군집간의 유사도를 평가하기 위해 사용되는 거리 측정 함수로는 어떤 것들이 있는가?	군집화(clustering)는 훈련(training)과정 없이 유사도에 근거하여 군집들을 구분하는 데이터마이닝 기법으로서 (그림 2)와 같이 군집 내의 유사성을 극대화 하고 군집간의 유사성을 최소화 하여 데이터의 객체를 분석한다. 이 때, 군집간의 유사도를 평가하기 위해 사용되는 거리 측정 함수로는 Euclidean distance, Mahalanobis distance 등이 있다[11, 12].
	PSO 알고리즘이란 무엇이며, 어떤 장점이 있는가?	그리고 본 논문에서는 생태계 모방 알고리즘의 하나인 PSO(Particle Swarm Optimization) 알고리즘을 사용하여 군집화를 수행하는 PSO기반의 군집화 알고리즘을 제안한다. PSO 알고리즘은 개체들 간의 상호 작용을 통해 최적의 해를 찾아가는 방법을 모방하는 알고리즘으로서 단순하고 계산시간이 짧으며 대량의 메모리가 필요 없다는 장점이 있다. 따라서 PSO 알고리즘을 이용하여 군집화를 수행하고 수천 개부터 많게는 수십만 개의 기록을 가진 대량의 바이오칩 데이터를 처리할 때, 높은 성능을 얻을 수 있다.

참고문헌 (19)

Dinesh Singh, Phillip G. Febbo, et al, Gene expression correlates of clinical prostate cancer behavior, the Center Cell vol.1, issue2, March 200, pp.200-209

상세보기
Barrett MT, Scheffer A, et al, Comparative genomic hybridization using oligonucleotide microarrays and total genomic DNA, Proc. National Academy of Sciences USA, 2004 Dec. 21
D.J. Lockhart, H.L. Dong, M.C. Byrne, M.T. Follettie, M.V. Gallo, M.S. Chee, M. Mittmann, C.W. Wang, M. Kobayashi, H. Horton, E.L. Brown, Expression monitoring by hybridization to high-density oligonucleotide arrays, Nature Biotechnology, Vol.14 No.13, pp.1675-1680, 1996.

상세보기
J.L. DeRisi, V.R. Iver, P.O. Brown, Exploring the metabolic and genetic control of gene expression on a genomic scale, Science, Vol.278 No.5338, pp.680-686, 1997.

상세보기
C. Debouck, P.N. Goodfellow, DNA microarrays in drug discovery and development, Nature Genetics, Vol.21 No.1 suppl, pp.48-50, 1999.

상세보기
D. Bowtell, J. Sambrook, DNA Microarrays, CSHL Press, 2002.
E.K. Tang, P.N. Suganthan and X.Yao, Feature Selection for Microarray Data Using Least Squares SVM and Particle Swarm Optimization, Computational Intelligence in Bioinformatics and Computational Biology(CIBCB), pp.1-8, 2005
Qi Shen, Wei-Min Shi, Wei Kong, Bao-Xian Ye, A combination of modified particle swarm optimization algorithm and support vector machine for gene selection and tumor classification, Talanta, Vol.71, No.4, pp.1679-1683, 2007

상세보기
Hualong Yu, Guochan Gu, Haibo Liu, Jing Shen, Changming Zhu, A Novel Discrete Particle Swarm Optimization Algorithm for Microarray Data-based Tumor Marker Gene Selection, International Conference on Computer Science and Software Engineering, pp.1057-1060, 2008
M.B. Eisen, P.T. Spellman, P.O. Browndagger, D. Botstein, Cluster analysis and display of genome-wide expression patterns, Proceedings of the National Academy of Sciences of the United States of America (PNAS), Vol.95, No.25, pp.14863-14868, 1998.

상세보기
X. Xiao, E.R. Dow, R. Eberhart, Z.B. Miled, R.J. Oppelt, Gene Clustering Using Self-Organizing Maps and Particle Swarm Optimization, IEEE International Workshop On High Performance Computational Biology, 2003.
I.D. Falco, A.D. Cioppa, E. Tarantino, Facing classification problems with Particle Swarm Optimization, Soft Computing, Vol.7, No.3, pp.652-658, June 2007.

상세보기
DNA chip. http://mbel.kaist.ac.kr/research/DNAchip_en.html
J. Han, M. Kamber, Data Mining Concepts and Techniques, Morgan Kaufmann, 2001.
I.H. Witten, E. Frank, Data Mining : Practical Machine Learning Tools and Techniques, 2nd edition, Morgan Kaufmann, 2005.
J.H. Holland, Adaptation in Natural and Artificial Systems, MIT Press, Cambridge, MA, 1992.
Sudipto Guha, Rajeev Rastogi, Kyuscok Shim, CURE: And Efficient clustering Algorithm for Large Databases, Proc. ACM SIGMOD Int Conf. on Management of Data, pp.73-84, New York, 1998
K.E. Parsopoulos, M.N. Vrahatis, Recent approaches to global optimization problems through Particle Swarm Optimization, Natural Computing Vol.1, No.2-3, pp.235-306, June 2002.

상세보기
Y. Shi, R.C. Eberhart, Parameter selection in particle swarm optimization, Proceedings of Evolutionary Programming VII, pp.591-600, 1998

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증