[논문]OpenStack Swift 객체 스토리지를 위한 하이브리드 메모리 어댑터 설계

윤수경; 나정은

[국내논문] OpenStack Swift 객체 스토리지를 위한 하이브리드 메모리 어댑터 설계
Hybrid Memory Adaptor for OpenStack Swift Object Storage 원문보기

반도체디스플레이기술학회지 = Journal of the semiconductor & display technology, v.19 no.3, 2020년, pp.61 - 67

윤수경 (전북대학교 컴퓨터공학부) , 나정은 (연세대학교 학부대학)

Abstract ▼ AI-Helper

This paper is to propose a hybrid memory adaptor using next-generation nonvolatile memory devices such as phase-change memory to improve the performance limitations of OpenStack-based object storage systems. The proposed system aims to improve the performance of the account and container servers for object metadata management. For this, the proposed system consists of locality-based dynamic page buffer, write buffer, and nonvolatile memory modules. Experimental results show that the proposed system improves the hit rate by 5.5% compared to the conventional system.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 연구에서는 OpenStack 기반의 객체 스토리지시스템이 갖고 있는 이러한 문제를 해결 하기 위해 차세대 비 휘발성 메모리 소자를 도입하여 계정 서버 (swiftaccount-server)와 컨테이너 서버 (swift-container-server)의 성능을 개선 하고자 한다. 본 연구에서는 Resistive RAM(ReRAM), Phase change memory (PCM), Ferroelectric RAM (FRAM) 및 magnetic RAM (MRAM) [10-12,18,19] 등과 같은 차세대 비휘발성 메모리 소자 중에서도 비휘발성, 높은 직접도, 저전력, 높은 확장성 등의 특성을 보이는 PCM (Phase Change Memory) 소자를 활용하여 OpenStack Swift의 계정 및 컨테이너 서버를 위한 차세대 비휘발성 하이브리드 메모리 어댑터를 설계 한다.
본 연구는 OpenStack Swift 객체 스토리지 시스템 중 계정 서버 (swift-account-server)와 컨테이너 서버 (swift-containerserver)의 성능 향상을 위한 차세대 비휘발성 메모리를 이용한 하이브리드 메모리 어댑터을 설계 한다.
SQLite는 트랜잭션 시 데이터의 일관성 유지를 위해 저널모드에서 롤백 저널 모드 (Rollback journal mode) 와 WAL(Write-ahead logging) [15]모드를 지원하는데, 이 때 데이터 베이스의 잠금, 혹은 스토리지의 중복 쓰기 등의 I/O 스택 오버헤드가 발생한다. OpenStack Swift 객체 스토리지시스템에서 발생하는 이러한 I/O 병목 현상을 완화 하기 위해 본 연구는 저전력, 바이트 접근 (byte-addressable) 가능 및 비 휘발성의 특성을 갖는 차세대 비휘발성 하이브리드 메모리 어댑터를 설계하고 이를 계정 및 컨테이너 서버에 탑재하여 객체 스토리지 시스템의 성능을 높인다. 이를 위해 제안하는 차세대 비 휘발성 하이브리드 메모리 어댑터는 Fig.
동적 페이지 버퍼와 쓰기 버퍼는 빈번한 읽기/쓰기 데이터에 대한 시간 지역성 및 공간 지역성을 고려하여 데이터의 처리를 빠르게 하기 위해 설계되었다. 동적 페이지 버퍼와 쓰기 버퍼에서 다루는 데이터는 주로 스택(stack)과 힙(heap)에서 다루는 동적 데이터로서 자주 접근되기 때문에, 빠른 접근 시간을 갖는 소량의DRAM소자로 구성된다.
하지만 PCM은 DRAM에 비해 느린 쓰기 성능을 가지고 있고, 또한 비대칭적인 읽기/쓰기 성능 및 제한된 내구성 등의 단점도 가지고 있다. 따라서 본 논문에서는 이러한 PCM의 성능적 한계를 보완 하기 위해 PCM 소자와 DRAM 소자를 함께 구성하여 차세대 비휘발성 하이브리드 메모리 어댑터를 설계 하였으며, 트랜잭션시 필요한 temporal 데이터, 영구저장이 필요한 데이터 및 비교적 자주 접근 되지 않는 정적 데이터 (static data)를 저장 한다. 따라서 기존 시스템에서의DRAM 페이지 캐시와 스토리지 사이에서 발생하는 오버헤드를 제거할 수 있다.
본 논문은 OpenStack 기반의 객체 스토리지 시스템이 갖는 성능적 한계를 개선 하기 위해 차세대 비휘발성 메모리 소자를 이용하여 하이브리드 메모리 어댑터를 설계하였다. 제안하는 시스템은 객체의 메타 데이터 관리를 위한 계정 서버 (swift-account-server)와 컨테이너 서버 (swiftcontainer-server)의 성능 개선을 목표로 하여 지역성 (Locality) 기반 동적 페이지 버퍼, 쓰기 버퍼, 비 휘발성 메모리 모듈로 구성된다.
따라서 본 연구에서는 OpenStack 기반의 객체 스토리지시스템이 갖고 있는 이러한 문제를 해결 하기 위해 차세대 비 휘발성 메모리 소자를 도입하여 계정 서버 (swiftaccount-server)와 컨테이너 서버 (swift-container-server)의 성능을 개선 하고자 한다. 본 연구에서는 Resistive RAM(ReRAM), Phase change memory (PCM), Ferroelectric RAM (FRAM) 및 magnetic RAM (MRAM) [10-12,18,19] 등과 같은 차세대 비휘발성 메모리 소자 중에서도 비휘발성, 높은 직접도, 저전력, 높은 확장성 등의 특성을 보이는 PCM (Phase Change Memory) 소자를 활용하여 OpenStack Swift의 계정 및 컨테이너 서버를 위한 차세대 비휘발성 하이브리드 메모리 어댑터를 설계 한다.

제안 방법

제안하는 시스템의 성능 평가를 위해 trace-driven simulator를 기반으로 Intel COSBench [13,14]를 이용하여 다양한 읽기/쓰기의 비율을 갖는 메모리 풋 프린트 및 스토리지 I/O 이벤트를 추출하여 이를 입력 트레이로 사용하였다. 실험 결과에 따르면 제안하는 시스템은 컨벤셔널 시스템 대비 5.
OpenStack Swift 객체 스토리지시스템에서 발생하는 이러한 I/O 병목 현상을 완화 하기 위해 본 연구는 저전력, 바이트 접근 (byte-addressable) 가능 및 비 휘발성의 특성을 갖는 차세대 비휘발성 하이브리드 메모리 어댑터를 설계하고 이를 계정 및 컨테이너 서버에 탑재하여 객체 스토리지 시스템의 성능을 높인다. 이를 위해 제안하는 차세대 비 휘발성 하이브리드 메모리 어댑터는 Fig. 2에서 보는 것과 같이 지역성 (Locality) 기반 동적 페이지 버퍼, 쓰기 버퍼, 비 휘발성 메모리 모듈로 구성 된다.
기본적으로 동적 페이지 버퍼는 4 KB의 page 단위로 관리 되며, 미스 발생 시 비휘발성 메모리 모듈로부터 여러 페이지의 데이터를 프리페치한다. 이를 위해 동적 페이지 버퍼는 최근 요청된 주소에 대해 100개의 항목이 포함된 히스토리 테이블이 있으며, 히스토리 테이블을 기반으로 요청된 주소 사이의 거리를 계산하여 프리페치된 페이지수를 결정한다. Algorithm 1에서 보는 것과 같이 미스 발생 시점에 미스 된 페이지를 비 휘발성 메모리 모듈로부터가져 오기 위해 접근 할 때, 현재 요청된 페이지가 최근 요청된 페이지들과 연관성을 고려하여 앞으로 요청 될 페이지를 예측 하여 이를 한꺼번에 로드 함으로써, 비휘발성 메모리 로의 접근을 줄인다.
Algorithm 1에서 보는 것과 같이 미스 발생 시점에 미스 된 페이지를 비 휘발성 메모리 모듈로부터가져 오기 위해 접근 할 때, 현재 요청된 페이지가 최근 요청된 페이지들과 연관성을 고려하여 앞으로 요청 될 페이지를 예측 하여 이를 한꺼번에 로드 함으로써, 비휘발성 메모리 로의 접근을 줄인다. 즉, 미스가 발생하면 제안된 프리페치 알고리즘은 최근에 요청된 주소 간의 상관 관계를 분석하는 것으로 미스 핸들링 처리를 시작한다. 현재 접근 패턴이 상관관계가 없는 것으로 판단되는 경우 이것은 임의 접근 패턴으로 간주되며, 제안된 알고리즘은 프리페치를 수행하지 않는다.
요청된 주소 사이의 평균 거리가 4페이지를 초과하는 경우, 이것은 최근 요청된 데이터와의 연관성이 없는 것으로 판단하여 요구된 페이지만 가져온다. 제안된 프리페치 방법은 캐시에 재사용 가능하고 정확도가 높은 블록만 유지하기 위해 필요에 따라 선택적으로 프리페치한다. 이를 통해 계정 및 컨테이너 서버에서 캐시 계층 역할을 하는 동적 페이지 버퍼의 읽기 적중률 (hit count)을 증가시킴으로써 객체 스토리지 시스템의 전반적인 성능을 향상시킬 수 있다.
쓰기 버퍼는 라스트 레벨 캐시에서 제거되는 더티 데이터 (dirty data)를 위한 것으로서, 비휘발성 메모리 모듈을 구성 하고 있는 PCM 소자는 DRAM보다 쓰기 액세스 지연 시간이 느릴 뿐만 아니라 쓰기 회수에 제한이 있어 이를 완화 하기 위해 설계 되었다. 따라서 쓰기 버퍼 설계를 통해 느린 PCM/플래시 메모리의 수명을 보장하고 느린 액세스 레이턴시를 숨길 수 있다.
제안하는 시스템의 성능 평가를 위해 trace-driven simulator를 구현하였고, Intel COSBench (Cloud Object Storage Benchmark) suite [13,14]을 이용하여 full system simulator인 QEMU(Quick Emulator) [16]에서 입력 트레이스를 추출하였다. QEMU에서 Load/Store 명령어 및 스토리지 I/O 이벤트를 모니터링하기 위해 QEMU를 수정하였고, 그 위에 OpenStack Swift와 COSBench를 설치하여, COSBench에 의해 생성 되는 워크로드가 수행되는 동안 QEMU를 통해 메모리 풋 프린트 (memory foot print)와 스토리지 I/O 이벤트를 추출하였다. Intel COSBench는 대표적인 오픈소스 벤치마크 중 하나로 클라우드 객체 스토리지 시스템을 위한 전문벤치마크 툴이다.
Table 1에서 보여준 것처럼 본 연구에서는 다양한 실험환경을 구현하기 위해 읽기/쓰기 비율, 파일 크기, 컨테이너/객체 수 등을 고려한 4개의 워크로드를 구성하였다. Table 2는 OpenStack Swift를 설치한 하드웨어 리소스 및 노드 구성을 보여주고, Table 3는 제안하는 시스템의 구성을 보여준다.
제안하는 동적 페이지 버퍼는 시간/공간적 지역성을 강화하기 위해 요청된 데이터의 주소 간 거리를 기준으로 프리페치 할 페이지 수를 결정하고, 해당 페이지 수만큼 프리페치를 수행한다. 이에 대한 효과를 평가하기 위해, 우선 비용 효율성을 고려하여 동적 페이지 버퍼의 최적화된 크기와 프리페치 페이지 크기를 결정한다.
제안하는 동적 페이지 버퍼는 시간/공간적 지역성을 강화하기 위해 요청된 데이터의 주소 간 거리를 기준으로 프리페치 할 페이지 수를 결정하고, 해당 페이지 수만큼 프리페치를 수행한다. 이에 대한 효과를 평가하기 위해, 우선 비용 효율성을 고려하여 동적 페이지 버퍼의 최적화된 크기와 프리페치 페이지 크기를 결정한다. 이를 위해 민감도 테스트를 통해 다양한 크기의 유연한 프리페치 버퍼 구성과 프리페치 페이지 크기의 효과를 평가한다.
이에 대한 효과를 평가하기 위해, 우선 비용 효율성을 고려하여 동적 페이지 버퍼의 최적화된 크기와 프리페치 페이지 크기를 결정한다. 이를 위해 민감도 테스트를 통해 다양한 크기의 유연한 프리페치 버퍼 구성과 프리페치 페이지 크기의 효과를 평가한다.
5MB의 유연한 프리페치 버퍼 크기를 선택했다. 또한 최적의 프리페치 크기를 결정하기 위해 1.5MB의 유연한 프리페치 버퍼에서 다양한 프리페치 크기에 따른 적중률도 측정했다.
워크로드 1을 제외하고 프리페치 크기가 증가함에 따라 적중률이 약간 증가하는 경향을 보였다. 추가 분석을 위해 다양한 프리페치 크기에 따른 데이터 로드 트래픽도 측정했다.
4과 같이 프리페치 크기가 점점 커지고 적중률도 높아지지만 증가폭은 크지 않다. 그러므로, 본 연구에서는 프리페치에 대한 트래픽 오버헤드를 최소화하기 위해 4KB의 프리페치 크기를 선택했다.
쓰기 버퍼의 경우, 쓰기 버퍼의 최적화된 크기를 결정하기 위해 다양한 쓰기 버퍼 크기에 따른 적중률의 변화를 측정했다. Fig.
이것은, 워크로드 3, 4는 읽기와 쓰기의 비율이 6:4로 구성된 워크로드이지만워크로드 1, 2의 경 우는 읽기/쓰기 비율이 9:1 이기 때문에 보이는 특성으로써, 쓰기 요청이 많은 워크로드 일수록 쓰기 버퍼의 효율이 크게 높은 것을 확인할 수 있다. 그러나 쓰기 대비 읽기의 횟수가 현저히 많은 클라우드워크로드의 특성을 고려하여, 비용과 성능 간의 절충을 고려하여 128KB 쓰기 버퍼 크기를 선택했다.
본 논문은 OpenStack 기반의 객체 스토리지 시스템이 갖는 성능적 한계를 개선 하기 위해 차세대 비휘발성 메모리 소자를 이용하여 하이브리드 메모리 어댑터를 설계하였다. 제안하는 시스템은 객체의 메타 데이터 관리를 위한 계정 서버 (swift-account-server)와 컨테이너 서버 (swiftcontainer-server)의 성능 개선을 목표로 하여 지역성 (Locality) 기반 동적 페이지 버퍼, 쓰기 버퍼, 비 휘발성 메모리 모듈로 구성된다. 성능 평가를 위해 OpenStack 기반의 객체 스토리지 시스템을 구축하고 QEMU 상에서 Intel COSBench를 이용하여 다양한 읽기/쓰기의 비율을 갖는 메모리 풋 프린트 및 스토리지 I/O 이벤트를 추출하였다.
제안하는 시스템은 객체의 메타 데이터 관리를 위한 계정 서버 (swift-account-server)와 컨테이너 서버 (swiftcontainer-server)의 성능 개선을 목표로 하여 지역성 (Locality) 기반 동적 페이지 버퍼, 쓰기 버퍼, 비 휘발성 메모리 모듈로 구성된다. 성능 평가를 위해 OpenStack 기반의 객체 스토리지 시스템을 구축하고 QEMU 상에서 Intel COSBench를 이용하여 다양한 읽기/쓰기의 비율을 갖는 메모리 풋 프린트 및 스토리지 I/O 이벤트를 추출하였다. 그리고 이것을 trace-driven simulator의 입력 트레이스로 사용하였다.
마지막으로 제안하는 시스템의 전체적인 성능을 평가하기 위해 1) 비휘발성 하이브리드 메모리 어댑터와 동일한 크기의 컨벤셔널 모델을 구현하였고, 이것을 2) 1MB 동적 페이지 버퍼, 128KB의 쓰기 버퍼로 구성된 하이브리드 메모리 어댑터와 적중률을 비교 하였다. Fig.

대상 데이터

5MB 이상의 크기에서는 증가율이 점점 작아지고 있는 것으로 관찰된다. 따라서 비용 효율성을 고려하여 1.5MB의 유연한 프리페치 버퍼 크기를 선택했다. 또한 최적의 프리페치 크기를 결정하기 위해 1.

데이터처리

제안하는 시스템의 성능 평가를 위해 trace-driven simulator를 구현하였고, Intel COSBench (Cloud Object Storage Benchmark) suite [13,14]을 이용하여 full system simulator인 QEMU(Quick Emulator) [16]에서 입력 트레이스를 추출하였다. QEMU에서 Load/Store 명령어 및 스토리지 I/O 이벤트를 모니터링하기 위해 QEMU를 수정하였고, 그 위에 OpenStack Swift와 COSBench를 설치하여, COSBench에 의해 생성 되는 워크로드가 수행되는 동안 QEMU를 통해 메모리 풋 프린트 (memory foot print)와 스토리지 I/O 이벤트를 추출하였다.

이론/모형

비휘발성 메모리 모듈은 다양한 비휘발성 메모리 소자들로 구성 할 수 있다. 본 연구에서는 기본 모델로서 PCM 단일 소자를 이용한다. PCM소자는 저장 장치로 널리 사용되는 NAND 플래시 메모리 보다 빠른 접근이 가능하며, 쓰기동작에 따른 수명이 길고, 바이트 단위의 접근이 가능 하다.

성능/효과

제안하는 시스템의 성능 평가를 위해 trace-driven simulator를 기반으로 Intel COSBench [13,14]를 이용하여 다양한 읽기/쓰기의 비율을 갖는 메모리 풋 프린트 및 스토리지 I/O 이벤트를 추출하여 이를 입력 트레이로 사용하였다. 실험 결과에 따르면 제안하는 시스템은 컨벤셔널 시스템 대비 5.5%의 적중률의 향상을 보여준다.
제안된 프리페치 방법은 캐시에 재사용 가능하고 정확도가 높은 블록만 유지하기 위해 필요에 따라 선택적으로 프리페치한다. 이를 통해 계정 및 컨테이너 서버에서 캐시 계층 역할을 하는 동적 페이지 버퍼의 읽기 적중률 (hit count)을 증가시킴으로써 객체 스토리지 시스템의 전반적인 성능을 향상시킬 수 있다.
4에서 보는 것과 같이 적중률은 4KB, 8KB, 16KB의 프리페치 크기로 측정하였다. 워크로드 1을 제외하고 프리페치 크기가 증가함에 따라 적중률이 약간 증가하는 경향을 보였다. 추가 분석을 위해 다양한 프리페치 크기에 따른 데이터 로드 트래픽도 측정했다.

질의응답

핵심어	질문	논문에서 추출한 답변
	구조화된 데이터 유형은 무엇인가?	최근의 데이터 중심 환경이 도래함에 따라, 스마트폰, 태블릿 PC, 모든 종류의 사물인터넷 (IoT) 기기 등을 통해 엄청난 양의 데이터를 생성하고 있으며, 이를 빠르게 처리하고 전송하기 위한 요구가 증가되고 있다. 이때 생성되는 데이터는 형태적인 측면에서 기존의 고정된 필드에 저장된 정형화된 데이터와 같은 구조화된 데이터 유형(structured data)이 아니라 미리 정의된 모델을 따르지 않고 만들어지는 구조화되지 않은 비정형 데이터 (unstructured data)이며, 따라서 기존 정형 데이터와는 다른 특성을 보인다.
	비정형 데이터의 어려운 부분은 무엇인가?	비정형 데이터는 미리 정의된 데이터 모델이 존재하지 않기 때문에 데이터의 성격이나 서비스의 분야에 따라 데이터의 운영 및 관리에 많은 어려움이 존재한다. 이러한 문제를 해결하기 위한 객체 기반 스토리지 시스템(object storage system)은 구조화되지 않은 데이터를 객체(object) 및 메타데이터 (metadata)로 처리한다 [1].
	구조화되지 않은 데이터를 객체 및 메타데이터로 처리하는 객체 기반 스토리지 시스템의 장점은?	이러한 문제를 해결하기 위한 객체 기반 스토리지 시스템(object storage system)은 구조화되지 않은 데이터를 객체(object) 및 메타데이터 (metadata)로 처리한다 [1]. 이는 블록 단위별로 데이터를 처리하는 블록 기반 스토리지와 특정 파일 규정하에서 데이터를 운영하는 파일 기반 스토리지와 비교하면, 객체 기반 스토리지는 인프라 비용 절감, 높은 확장성, 높은 보안성, 구축의 단순성 측면에서 우위를 점하고 있다 [1,2]. Amazon S3 [3], Rackspace Cloud Files [4], Ceph[5], OpenStack Swift [6] 등은 잘 알려진 객체 기반 스토리지시스템들이며, 이 중 OpenStack Swift는 성숙한 오픈 소스프로젝트로써, 확장성이 높으며 저비용으로 비정형 데이터를 관리할 수 있는 멀티 테넌스를 위한 오브젝트 스토리지 시스템이다 [7].

참고문헌 (19)

IBM Cloud Education, Object Storage, Retrieved Aug 27, 2020, https://www.ibm.com/cloud/learn/obje ctstorage.
Rupprecht, Lukas, et al. "Swift analytics: Optimizing object storage for big data analytics." 2017 IEEE International Conference on Cloud Engineering (IC2E)., 2017.
Amazon S3, https://aws.amazon.com/s3/?nc1h_ls
Rackspace Cloud Files, https://www.rackspace.com/openstack/public/files.
Ceph, https://ceph.io/.
OpenStack Swift documentation, Retrieved Aug 27, 2020, https://docs.openstack.org/swift/latest/.
OpenStack Swift Container Sharding, Retrieved Aug 27, 2020, https://docs.openstack.org/swift/latest/overview_container_sharding.html.
Chen, Cheng, et al., "Fine-grained metadata journaling on NVM." 2016 32nd Symposium on Mass Storage Systems and Technologies (MSST). IEEE, 2016.
McDougall, Richard, and J. Mauro. "Filebench: Application level file system benchmark." 2014.
Raoux, Simone, et al. "Phase-change random access memory: A scalable technology." IBM Journal of Research and Development 52.4.5 pp.465-479, 2008.
Ball, Philip. "A switch in time." Nature 445, pp.362-363, 2007.
Wu, Xiaoxia, et al. "Hybrid cache architecture with disparate memory technologies." ACM SIGARCH computer architecture news 37.3 pp.34-45, 2009.
Zheng, Qing, et al. "Cosbench: A benchmark tool for cloud object storage services." 2012 IEEE Fifth International Conference on Cloud Computing. IEEE, 2012.
Zheng, Qing, et al. "COSBench: cloud object storage benchmark." Proceedings of the 4th ACM/SPEC International Conference on Performance Engineering. 2013.
SQLite Transaction, Retrieved Aug 27, 2020, https://www.sqlite.org/lang_ transaction.html.
QEMU, Retrieved Aug 27, 2020, https://www.qemu.org/.
Zhang, Ning, and Chander Kant. "Building cost effective storage clouds." 2014 IEEE International Conference on Cloud Engineering. IEEE, 2014.
Lee, Jun Ha. "A Study of Dynamic Properties of Graphene-Nanoribbon Memory", Journal of the Semiconductor & Display Technology, 13.2 pp. 53-56, 2014.
Jeong, Ju Young, "Feasibility Study of Non-volatile Memory Device Structure for Nanometer MOSFET", Journal of the Semiconductor & Display Technology, 14.2 pp. 41-45, 2015.

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증