[논문]주목 메커니즘 기반의 멀티 스케일 조건부 적대적 생성 신경망을 활용한 고해상도 흉부 X선 영상 생성 기법

안경진; 장영걸; 하성민; 전병환; 홍영택; 심학준; 장혁재

doi:10.5909/jbe.2020.25.1.1

주목 메커니즘 기반의 멀티 스케일 조건부 적대적 생성 신경망을 활용한 고해상도 흉부 X선 영상 생성 기법
Generation of High-Resolution Chest X-rays using Multi-scale Conditional Generative Adversarial Network with Attention 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.1, 2020년, pp.1 - 12

안경진 (연세대학교 심장.혈관 ICT기술연구센터) , 장영걸 (연세대학교 심장.혈관 ICT기술연구센터) , 하성민 (연세대학교 심장.혈관 ICT기술연구센터) , 전병환 (연세대학교 심장.혈관 ICT기술연구센터) , 홍영택 (연세대학교 심장.혈관 ICT기술연구센터) , 심학준 (연세대학교 심장.혈관 ICT기술연구센터) , 장혁재 (연세대학교 의과대학 세브란스병원 심장내과)

초록
AI-Helper

의료분야에서 질환별 유병률 차이로 인한 데이터 수적 불균형은 흔하게 발생되는 문제로 인공지능 학습 성능을 저하시켜 개발의 어려움을 초래한다. 최근 이러한 데이터 수적 불균형문제를 해결하기 위한 한 방법으로 적대적 생성 신경망(GAN) 기술이 도입되었고 다양한 분야에 성공적으로 적용되어왔다. 그러나 수적 불균형에 의해 저하된 성능 문제를 해결하는데 있어서 기존 연구들의 영상 해상도가 아직 충분하지 않고 영상 내 구조가 전역적으로 일관성 있게 모델링 되지 않아 좋은 결과를 얻기 어렵다. 본 논문에서는, 흉부 X선 영상 데이터의 수적 불균형문제를 해결하기 위하여 고해상도 영상을 생성할 수 있는 주목 메커니즘 기반 멀티 스케일 조건부 적대적 생성 네트워크를 제안한다. 해당 네트워크는 질환제어 조건변수에 의해 하나의 네트워크만으로 다양한 질환 영상을 생성할 수 있어 각 클래스별로 학습을 하는 비효율성을 줄였고, 자기 주목 메커니즘을 통해 영상 내 장거리 종속성 문제를 해결하였다.

Abstract ▼ AI-Helper

In the medical field, numerical imbalance of data due to differences in disease prevalence is a common problem. It reduces the performance of a artificial intelligence network, leading to difficulties in learning a network with good performance. Recently, generative adversarial network (GAN) technology has been introduced as a way to address this problem, and its ability has been demonstrated by successful applications in various fields. However, it is still difficult to achieve good results in solving problems with performance degraded by numerical imbalances because the image resolution of the previous studies is not yet good enough and the structure in the image is modeled locally. In this paper, we propose a multi-scale conditional generative adversarial network based on attention mechanism, which can produce high resolution images to solve the numerical imbalance problem of chest X-ray image data. The network was able to produce images for various diseases by controlling condition variables with only one network. It's efficient and effective in that the network don't need to be learned independently for all disease classes and solves the problem of long distance dependency in image generation with self-attention mechanism.

주제어

표/그림 (4)

그림 그림 1. 제안하는 주목 메커니즘 기반의 멀티 스케일 조건부 적대적 생성 신경망의 네트워크 구조 Fig. 1. Network Structure of Multi-scale Conditional Generative Adversarial Network Based on Attention Mechanisms
그림 그림 2. 생성자 손실 그래프(좌측)와 판별자 손실 그래프(우측) Fig. 2. Generator Loss Graph(Left) and Discriminator Loss Graph(Right)
표 표 1. 조건부 심층 합성곱 적대적 생성 신경망(cDCGAN)과 본 논문에서 제안한 방법을 통해 생성된 질환별 FDD 결과 Table 1. Comparison of FDD results with conditional Deep Convolution Generative Adversarial Network and Proposed method
표 표 2. 조건부 심층 합성곱 적대적 생성 신경망(cDCGAN)과 본 논문에서 제안한 방법과의 결과 비교 Table 2. Comparison of results with conditional Deep Convolution Generative Adversarial Network (cDCGAN) and the proposed method

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 흉부 X선 데이터 증강 실험을 위하여 NIH Clinical Center에서 제공한 14개 심폐질환에 대한 12,120건의 흉부 X선 영상 데이터를 사용하였다. 그 중 8개의 대표 질환(무기폐, 심장 비대, 흉수, 침윤, 종괴, 결절, 폐렴, 기흉)만을 사용하여 해당 질환들에 대한 데이터 수적 불균형 문제를 해결하고자 하였다.
따라서 본 논문에서는 StackGAN++이 가지고 있는 기울시 소실문제를 해결하기 위해 LSGAN 손실함수 적용하여 새로운 손실함수를 제안하였다.
따라서 본 논문에서는 안전성을 보장하면서 다양한 종류의 고해상도 영상 생성이 가능하도록 StackGAN++^[12]기법을 확장하여 상기의 문제점을 모두 개선한 새로운 네트워크를 제안하고자 한다.
본 논문에서는 14개의 질환에 대한 흉부 X선 영상 데이터 셋의 수적 불균형문제를 해결을 목적으로 단 하나의 네트워크만으로도 질환 별 특징이 잘 반영된 고해상도 영상을 생성할 수 있는 기법을 제안한다. 이전 연구와 달리, 제안된 네트워크는 입력으로 조건 변수를 추가하여 생성되는 영상의 목표 질환을 제어할 수 있어 학습의 비효율성을 제거하였을 뿐만 아니라 극단적으로 불균형한 경우 학습이 불가능한 문제를 해결하였다.
)와 함께 조건변수 c를 입력으로 받는데 조건변수는 잠재변수의 일부를 대신해 생성할 영상을 질환별로 제어할 수 있도록 한다. 본 논문에서는 8개의 대표 흉부 질환에 해당하는 영상 생성을 목표로 하였기 때문에 조건변수에는 8개의 클래스에 대한 onehot encoding 값이 할당된다. 즉, 표준 정규 분포로 표현된 초기 분포 P_noise는 조건변수와 함께 생성자의 여러 은닉 층(hiden layer)을 거치면서 각 분기별마다 해당 스케일의 표준 데이터 분포 P_data내 데이터로 근사화된다.
본 논문에서는 성능비교를 위해 8개의 흉부 대표 질환에 대해 2가지 실험을 진행하였다.
본 논문에서는 흉부 X선 영상 내 늑골, 횡격막, 폐, 심장 등의 세부적인 특징들을 잘 반영하여 고해상도 영상을 생성할 수 있는 네트워크를 제안한다. 해당 네트워크는 질환 조건 제어인자를 추가해 단 하나의 네트워크만으로 다수질환에 대한 영상을 생성할 수 있도록 하였으며, 주목 메커니즘을 적용하여 생성 영상 내 장기 종속성 문제를 해결함으로써 흉부 X선 영상 생성 성능을 향상시켰다.
본 논문은 흉부 X선 영상의 질환별 데이터 수적 불균형문제를 해결하고자 질환별 특징을 잘 반영한 고해상도 영상 생성이 가능한 네트워크를 제안하였다. 네트워크는 해상도가 낮은 영상부터 단계적으로 생성하여 해상도를 보완하는 방식으로 이루어져 있으며, 조건변수(c)를 추가하여 하나의 네트워크만으로 다양한 종류의 영상을 생성할 수 있어 학습 효율을 높일 수 있다.
또한, 네트워크를 통해 생성된 영상의 품질을 평가하기 위하여 정량적 평가 지표인 FDD를 새롭게 제안하였다. 이는 영상품질을 평가할 때 흔히 사용하는 지표인 FID가 자연이미지 기반으로 학습되어 의료영상에 대한 정량적 평가가 어렵다는 한계를 극복하고자 실제 흉부 X선 영상데이터 기반의 분류 모델을 활용해 고안한 방법이다. 해당 지표를 사용하여 품질 측정을 해본 결과 제안한 모델의 성능이 타 연구보다 우수하다는 것을 수치로 입증할 수 있었다.
흉부 X선 영상 내 기관들의 세부적인 특징들을 잘 반영하기 위해서는 고해상도 영상이 필수적으로 요구되기에 본 논문에서는 StackGAN++과 LSGAN^[17]을 확장하여 저해상도 영상에서 고해상도 영상까지 멀티 스케일 영상 분포를 학습하는 네트워크를 제안한다 (그림 1).

가설 설정

둘째, 생성 영상의 해상도가 낮다.

제안 방법

StackGAN++의 생성자(2)와 판별자(1)의 손실함수는 아래와 같은데, 기본 GAN의 생성자와 판별자에 i를 사용하여 분기를 표현하였고 영상 생성 제어를 위해 조건변수를 추가하였다. (1)과 (2) 손실함수가 수렴한다는 것은 HanZhang et al.
우선, 첫 번째 실험을 진행하기 위해 학습데이터 78,468개, 검증데이터 1,219개로 DenseNet-121을 학습하였다. 그리고 학습된 모델을 기반으로 실제 영상과 cDCGAN 그리고 실제 영상과 제안한 모델에 대한 FDD값을 구하여 모델의 성능을 정량적으로 평가하였다. 여기서 실제 영상은 DenseNet-121 학습에 사용되지 않은 나머지 부분을 의미한다.
두 번째 실험은 DCGAN과 제안한 모델을 통해 나온 실험결과를 실제 영상과 정성적 비교한 것으로, 제안한 모델 결과에 대해서는 질환별로 질환위치를 찾아 표시하였다(표 2).
따라서 의료영상을 학습데이터로 하여 DenseNet을 학습시킨 후 이 모델을 기반으로 두 의료 영상의 정규분포를 구해 거리를 측정하는 프레쳇 덴스넷 거리(Fréchet DenseNetDistance, FDD)를 새로운 지표로 제안하여 실험을 수행하였다.
또한, 네트워크를 통해 생성된 영상의 품질을 평가하기 위하여 정량적 평가 지표인 FDD를 새롭게 제안하였다. 이는 영상품질을 평가할 때 흔히 사용하는 지표인 FID가 자연이미지 기반으로 학습되어 의료영상에 대한 정량적 평가가 어렵다는 한계를 극복하고자 실제 흉부 X선 영상데이터 기반의 분류 모델을 활용해 고안한 방법이다.
이전 연구와 달리, 제안된 네트워크는 입력으로 조건 변수를 추가하여 생성되는 영상의 목표 질환을 제어할 수 있어 학습의 비효율성을 제거하였을 뿐만 아니라 극단적으로 불균형한 경우 학습이 불가능한 문제를 해결하였다. 또한, 주목 메커니즘(atention mechanism)의 적용을 통해 국소적인 부분만이 아니라 영상 전체적으로 형태의 일관성이 보존되어 더 사실과 가까운 영상을 생성할 수 있도록 하였다.
본 논문에서 제안하는 네트워크는 생성자에 자기 주목 메커니즘을 추가함으로써 영상 내 장거리 종속성 문제를 해결해 흉부 X선 영상 생성 성능을 향상시켰다.
첫 번째 실험은 1)조건부 심층 합성곱 적대적 생성 신경망[10]과 2)본 논문에서 제안하는 네트워크인 주목 메커니즘 기반의 멀티 스케일 조건부 적대적 생성 신경망으로 고해상도 영상(256x256)을 질환별로 생성(그림 2)한 후 생성자료의 품질을 평가하기 위해 새롭게 제안한 지표인 프레쳇덴스넷 거리(Fréchet DenseNet distance, FDD)로 네트워크성능을 비교한 것이다 (표 1).
본 논문에서는 흉부 X선 영상 내 늑골, 횡격막, 폐, 심장 등의 세부적인 특징들을 잘 반영하여 고해상도 영상을 생성할 수 있는 네트워크를 제안한다. 해당 네트워크는 질환 조건 제어인자를 추가해 단 하나의 네트워크만으로 다수질환에 대한 영상을 생성할 수 있도록 하였으며, 주목 메커니즘을 적용하여 생성 영상 내 장기 종속성 문제를 해결함으로써 흉부 X선 영상 생성 성능을 향상시켰다.

대상 데이터

하지만 의료영상 특성상 데이터 불균형이 심해 각 클래스마다 영상 데이터의 개수가 고르지 못하다. 따라서 클래스별 실제영상과 생성된 영상의 개수는 Atelectasis 1,00개, Cardiomegaly 575개, Efusion 1,00개, Infiltration 1,00개, Mas 729개, Nodule 74개, Pneumonia 242개, Pneumothorax 539개로 총 5,859개의 영상을 동일하게 맞추어 테스트를 수행하였다.
본 논문에서는 흉부 X선 데이터 증강 실험을 위하여 NIH Clinical Center에서 제공한 14개 심폐질환에 대한 12,120건의 흉부 X선 영상 데이터를 사용하였다. 그 중 8개의 대표 질환(무기폐, 심장 비대, 흉수, 침윤, 종괴, 결절, 폐렴, 기흉)만을 사용하여 해당 질환들에 대한 데이터 수적 불균형 문제를 해결하고자 하였다.
실험에서 사용한 영상의 개수는 대략 10만장으로 batch size를 16으로 하였을 때 한 에폭당 7,00번의 iteration이 이루어진다. (그림 2)의 그래프를 보면 판별자는 5 에폭 이후 점차 안정화 되었고 생성자는 20 에폭(iteration 140,00) 부근에서 함수 변동(fluctuation)이 안정화 되었다.
우선, 첫 번째 실험을 진행하기 위해 학습데이터 78,468개, 검증데이터 1,219개로 DenseNet-121을 학습하였다. 그리고 학습된 모델을 기반으로 실제 영상과 cDCGAN 그리고 실제 영상과 제안한 모델에 대한 FDD값을 구하여 모델의 성능을 정량적으로 평가하였다.

이론/모형

LSGAN은 위 두 문제를 해결하기 위해 시그모이드 교차엔트로피 손실 함수대신 최소 제곱 손실함수(least squarelos function) (3)(4)를 적용하였다. 이렇게 변형된 손실함수를 사용하면 샘플이 결정 경계(decision boundary)로부터 멀리 떨어져 있는 경우 거리에 따라 패널티를 받기 때문에 생성자가 좀 더 결정 경계에 가까운 샘플을 만들 수 있다.
1씩(최대 1) 증가하게 해주었다. 생성자와 판별자의 업데이트 비율은 1:5이고, 안정적인 학습을 위해 스펙트럼 정규화(Spectral Normalization, SN)를 사용하였다.
특히, 영상 도메인으로 확장시 장거리 종속성 문제(longrange dependency)를 고려해 주어야하는 이슈가 있었다. 이를 해결하기 위해 적대적 생성 신경망에서는 합성곱의 수용영역(receptive field)의 범위가 지역적으로 제한되어 영상 내 멀리 떨어진 위치들 간의 형태를 일관성 있게 모델링하기 어려웠던 문제를 자기 주목 메커니즘(self-atentionmechanism)^[16]을 적용해 해결하였다. 흉부 X선 영상의 경우 환자마다 골격이나 기관의 모습이 다르고(patient-specific) 혈관과 같은 주변기관과 잡음으로 인해 명암도 레벨의 분포가 불명확하여 지역적 특성만 고려해서는 질환이 무엇인지 판단하기 어렵다.
학습을 위해 배치 사이즈는 16, 학습 에폭(epoch)은 20으로 수행하였다. 최적화방법으로는 Adam을 사용하였고 학습율은 2x10-5, 모멘텀은 0.5로 하였다. 또한, 주목 층에서는 사용하는 ɤ는 0에서 시작하여 학습 에폭 5마다 0.
(그림1)의 가장 상위 분기는 저해상도 영상(64x64)을 위한 서브- 생성자로 4개의 up-block 층과 주목(atention) 층 그리고 3x3 합성곱을 거쳐 영상을 생성한다. 특히, up-block 층에는 체커보드 인공물(checkerboard-artifact) 발생을 완화시키기 위해 up-sampling으로 최근접 이웃(nearest-neighbor) 방법을 사용하였다.

성능/효과

위 질환 설명을 기반으로 1) 조건부 심층 합성곱 적대적 생성 신경망의 결과들은 실제 데이터와 비교해 영상의 해상도가 확연히 떨어짐을 볼 수 있다. 즉, 늑골의 모양이나 폐 기관지 모습이 선명하게 보이지 않아 주요 특징들이 제대로 학습되었다고 보기 어렵다.
즉, 늑골의 모양이나 폐 기관지 모습이 선명하게 보이지 않아 주요 특징들이 제대로 학습되었다고 보기 어렵다. 반면, 2) 제안한 모델의 결과는 실제 영상과 구별되지 않을 정도의 영상특징과 해상도를 보였으며, 각 질환별 특징도 실제 영상과 큰 차이가 없을 정도로 잘 학습하였다. 한 예로 심장 비대의 경우 다른 질환과 비교하였을 때 심장의 모습이 확연히 커진 것을 볼 수 있는데, 이는 ‘심장 크기 증가’라는 해당 질환의 특징을 잘 학습한 결과이다.
그 결과 (표 1)에서 보이듯이 실제 영상과 제안한 모델에서 생성한 영상의 거리를 계산한 FDD값이 실제 영상과 cDCGAN에서 생성한 영상의 거리를 계산한 FDD값보다 대체로 낮으므로 제안한 모델의 성능이 더 우수하다는 것을 확인할 수 있다.
둘째, 시그모이드 교차 엔트로피 손실 함수를 사용하면 x값에 따라 saturation 될 수 있다.
기반의 데이터 증강 기법이 소개되었다. 이 신경망은 다양한 사례에 적용되어 실제와 거의 유사한 거짓 데이터를 만들어 데이터의 수적 불균형문제를 해결함으로써 분류 성능이 향상됨을 입증하였다. 그러나 목표 클래스가 다수 개일 경우 각 클래스별로 적대적 생성 신경망을 학습해야 하기 때문에 비효율적이며 영상 수가 극단적으로 제한적일 경우 학습이 거의 불가능하다는 문제가 있다.
첫째, 기존 GAN에서는 생성자가 만든 샘플이 실제 데이터 분포와 거리가 멀어도 시그모이드 교차 엔트로피 손실함수(sigmoid cros entropy los function)는 판별자를 속이는 역할만 하기 때문에 적절한 피드백을 주지 못한다. 이는 생성자가 더 이상 학습을 진행하지 못하게 만든다.
첫째, 학습이 불안정하다.
이는 영상품질을 평가할 때 흔히 사용하는 지표인 FID가 자연이미지 기반으로 학습되어 의료영상에 대한 정량적 평가가 어렵다는 한계를 극복하고자 실제 흉부 X선 영상데이터 기반의 분류 모델을 활용해 고안한 방법이다. 해당 지표를 사용하여 품질 측정을 해본 결과 제안한 모델의 성능이 타 연구보다 우수하다는 것을 수치로 입증할 수 있었다.

후속연구

그리고 정성적인 평가를 위해서는 결과물에 대한 임상의의 검증을 진행하여 생성된 영상의 시각적 분석과 함께 임상적용 유효성을 평가할 것이다.
하지만 제안한 모델을 통해 생성된 영상의 신뢰도를 높이기 위해서는 다양한 평가방법을 통한 추가적인 실험이 필요하다. 크게 정량적인 평가와 정성적인 평가방법을 들 수 있는데, 추후 정량적인 평가를 위해서 실제 영상데이터와 생성된 영상데이터가 추가된 데이터 셋을 구성하고 분류(classifcation), 검출(Detection), 분할(Segmentation)과 같은 문제에 적용해 성능 향상 정도를 비교함으로써 본 논문에서 제안한 네트워크의 효용성을 추가로 입증할 계획이다.
하지만 제안한 모델을 통해 생성된 영상의 신뢰도를 높이기 위해서는 다양한 평가방법을 통한 추가적인 실험이 필요하다. 크게 정량적인 평가와 정성적인 평가방법을 들 수 있는데, 추후 정량적인 평가를 위해서 실제 영상데이터와 생성된 영상데이터가 추가된 데이터 셋을 구성하고 분류(classifcation), 검출(Detection), 분할(Segmentation)과 같은 문제에 적용해 성능 향상 정도를 비교함으로써 본 논문에서 제안한 네트워크의 효용성을 추가로 입증할 계획이다.

참고문헌 (19)

Gyeongwan Kug, Application of Artificial Intelligence Technology and Industry, IITP, pp.22-26, March, 2019.
F Provost, "Machine learning from imbalanced data sets 101," Proceedings of the AAAI'2000 workshop on imbalanced data sets, Vol. 68, No. 2000, AAAI Press, 2000.
Goodfellow, Ian, et al., "Generative adversarial nets," Advances in neural information processing systems, pp. 2672-2680, 2014.
A. Radford, L. Metz, and S. Chintala, "Unsupervised representation learning with deep convolutional generative adversarial networks," in International Conference on Learning Representations (ICLR), 2015.
Mirza, Mehdi, and Simon Osindero, "Conditional generative adversarial nets," arXiv preprint, arXiv:1411.1784, 2014.
Isola, Phillip, et al., "Image-to-image translation with conditional adversarial networks," Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1125-1134, 2017.
Zhu, Jun-Yan, et al., "Unpaired image-to-image translation using cycle- consistent adversarial networks," Proceedings of the IEEE International Conference on Computer Vision, pp. 2223-2232, 2017.
Kim, Taeksoo, et al., "Learning to discover cross-domain relations with generative adversarial networks," Proceedings of the 34th International Conference on Machine Learning, Volume 70, JMLR. org, 2017.
Choi, Yunjey, et al., "Stargan: Unified generative adversarial networks for multi-domain image-to-image translation," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018.
Salehinejad, Hojjat, et al., "Generalization of deep neural networks for chest pathology classification in x-rays using generative adversarial networks," 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 990-994, April, 2018.
Salehinejad, Hojjat, et al., "Synthesizing Chest X-Ray Pathology for Training Deep Convolutional Neural Networks," IEEE transactions on medical imaging, 38.5: 1197-1206, 2018.
Zhang, Han, et al., "Stackgan++: Realistic image synthesis with stacked generative adversarial networks," arXiv preprint, arXiv: 1710.10916, 2017.
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio, "Neural machine translation by jointly learning to align and translate," arXiv preprint, arXiv:1409.0473, 2014.
Hochreiter, Sepp, and Jurgen Schmidhuber, "Long short-term memory," Neural computation, 9.8: 1735-1780, 1997.

상세보기
Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le, "Sequence to sequence learning with neural networks," Advances in neural information processing systems, 2014.
Zhang, Han, et al., "Self-Attention Generative Adversarial Networks," arXiv preprint, arXiv:1805.08318, 2018.
Mao, Xudong, et al., "Least squares generative adversarial networks," Proceedings of the IEEE International Conference on Computer Vision, 2017.
Heusel, Martin, et al., "Gans trained by a two time-scale update rule converge to a local nash equilibrium," Advances in Neural Information Processing Systems, 2017.
Salimans, Tim, et al., "Improved techniques for training gans," Advances in neural information processing systems, 2016.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증