[논문]불안정한 네트워크 환경에서 대용량 데이터의 전송 효율화를 위한 링 버퍼에 관한 연구

송민규; 김효령

doi:10.13067/jkiecs.2020.15.6.1045

[국내논문] 불안정한 네트워크 환경에서 대용량 데이터의 전송 효율화를 위한 링 버퍼에 관한 연구
A Study on Ring Buffer for Efficiency of Mass Data Transmission in Unstable Network Environment 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.15 no.6, 2020년, pp.1045 - 1054

송민규 (한국천문연구원 천문우주기술센터) , 김효령 (한국천문연구원 전파천문본부)

초록
AI-Helper

본 논문에서는 불안정한 네트워크 환경에서 안정적으로 대용량 데이터 스트림을 전송할 수 있는 TCP/IP 기반 링 버퍼 시스템을 설계하였다. 우리가 제안한 방식에서 각 전파천문대의 백엔드 시스템으로부터 UDP 프레임으로 생성 및 출력되는 관측 데이터 스트림은 클라이언트 시스템 내의 소켓 버퍼를 경유해 대용량 링 버퍼에 UDP 패킷으로 저장된다. 이후 목적지에 해당하는 상관센터로의 안정적인 전송을 위해 해당 패킷은 TCP로 전송되고 상관센터 내의 서버 시스템은 소켓 버퍼에 수신된 패킷에 이상이 없으면 대용량 링 버퍼에 저장한다. 패킷 손실, 중복 및 순서 역전 등의 이상이 발생할 경우 TCP의 흐름 제어를 통해 패킷은 재전송되며 상관센터에 도착한 데이터는 신뢰성을 보장받게 된다. 또한 네트워크 성능 불안정으로 인한 혼잡 회피 발생 시 병렬 스트림 적용을 통해 성능 저하가 최소화될 수 있도록 하였다.

Abstract ▼ AI-Helper

In this paper, we designed a TCP/IP based ring buffer system that can stably transfer bulk data streams in the unstable network environments. In the scheme we proposed, The observation data stream generated and output by each radio observatory's backend system as a UDP frame is stored as a UDP packet in a large capacity ring buffer via a socket buffer in the client system. Thereafter, for stable transmission to the remote destination, the packets are processed in TCP and transmitted to the socket buffer of server system in the correlation center, which packets are stored in a large capacity ring buffer if there is no problem with the packets. In case of errors such as loss, duplication, and out of order delivery, the packets are retransmitted through TCP flow control, and we guaranteed that the reliability of data arriving at the correlation center. When congestion avoidance occurs due to network performance instability, we also suggest that performance degradation can be minimized by applying parallel streams.

주제어

표/그림 (9)

그림 그림 1. 대용량 관측 데이터의 원격 기록을 위한 KVN 세 관측소, 대전상관센터 간 VLBI 시스템 및 네트워크 구성 Fig. 1 Configuration of VLBI System and Network between three KVN observatories and Daejeon Correlation Center for the remote recording of Massive Astronomical Data
그림 그림 2. KVN 세 사이트와 대전상관센터 간 네트워크 전송 성능 Fig. 2 Network Transmission Performance between Three KVN Sites and Daejeon Correlation Center
표 표 2. 원격 기록 실험에서 가장 많은 오류가 발생한 탐라 사이트의 패킷 유실 내역 Table. 2 Packet Loss List of the KVN Tamna Where the Most Errors Occurred in the Remote Recording Experiment
표 표 1. KVN 세 사이트와 상관센터 간 원격 기록 실험 결과 Table. 1 Results of Remote Recording Experiments between the Three KVN Sites and the Correlation Center
그림 그림 3. PF_RING 링 버퍼와 TCP/IP 기반 링 버퍼를 이용한 프레임 수신, 저장 성능 비교 Fig. 3 Performance Comparison of Frame Reception and Storage using PF_RING ring buffer and TCP/IP based Ring Buffer
그림 그림 4. TCP/IP 기반 링 버퍼 기반의 VLBI 데이터 스트림 전송 안정화를 위한 시스템 구성 Fig. 4 System Configuration for Stabilization of Transmission of VLBI data stream based on TCP/IP based Ring Buffer
그림 그림 5. 전파천문대에서 관측 데이터 스트림의 안정적 전송을 위한 시스템 설계 Fig. 5 System Design for Stable Transmission of Astronomical Data Streams at Radio Observatory
그림 그림 6. 상관센터 내의 관측 데이터 스트림 수신 및 저장을 위한 시스템 설계 Fig. 6 System Design for Receiving and Storing Astronomical Data Streams in Correlation Center
그림 그림 7. 불안정한 네트워크 환경에서 대용량 VLBI 데이터 스트림의 안정적 전송을 위한 흐름도 Fig. 7 Flow Chart for Stable Transmission of Large VLBI Data Streams in an Unstable Network Environment

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 OCTAD의 4채널로부터 8Gbps급 데이터를 합성하고, 이에 대한 원격 기록 수행 및 로컬 기록과의 검증을 위해 각 채널별로 쓰레드를 개별할당하였다. 각 쓰레드 당 VDIF 프레임의 속도는 헤더 정보를 제외하고 2048Mbps이고, 4개 쓰레드로부터 획득한 각 데이터 프레임을 하나로 병합해 처리할 경우 전체 프레임 속도는 8192Mbps가 된다.
링 버퍼 상에서 벌어지는 상기 데이터 입출력 과정에서 각포인터는 점진적으로 증가하며 두 포인터 간의 차이는 링 버퍼 상에서 실제 버퍼링되는 데이터 용량에 해당한다[10]. 본 논문에서는 근거리 환경의 원격 기록 성능 평가와 관련하여 2017년 전자통신학회논문지 12권 1호에 기술된 것과 동일한 환경을 실험실 내에구축하였다. 객관적 기록 성능 검증을 위해 외부에서입력되어 내부 메모리 상에 버퍼링되는 프레임을 TCP/IP 소켓과 PF_RING 기반으로 처리하는 두 가지 버전의 프로그램을 제작하였고 각 경우에 대한 성능을 측정하였다.
본 논문에서는 이러한 한계를 극복하기 위해 각 관측소에서 UDP 기반의 MAC 프레임을 단순 전달하던 기존의 방식에서 벗어나 TCP 기반 IP 패킷으로 가공, 변환 후 상관센터로 전송하는 시스템을 설계하였다. 제안된 시스템에서 각 관측소에서 출력되는 데이터스트림은 네트워크 상에서 IP 기반으로 라우팅되고소켓 주소에 명시된 IP 주소, 포트 번호에 따라 목적지의 스토리지로 직접 전달된다.
하지만 이 과정에서 네트워크 불안정에 따른 프레임 유실이 불가피하다. 이에 따라 본 논문에서는 이를 극복하기 위한 방안으로 UDP 프레임의 TCP 패킷 변환을 제시하였다. KVN 각 사이트의 디지털 백엔드에서 출력되는 UDP 프레임을 TCP 패킷으로 가공 후 송신할 수 있다면 상관센터는 보다 안정적으로 데이터를 수신할 수 있다.
반면, 원격 기록은 네트워크 안정성과 스토리지의 성능이 뒷받침된다면 관측 데이터의 생성 – 전송 – 기록 – 분석 과정에서 생산성과 효율성을 극대화시킬 수 있다는 장점이 있다. 이에 따라 본 논문에서는 후자에 초점을 맞춰 불안정한 네트워크 환경에서 관측 데이터 처리의 효율성을 개선하는 방안에 대해 논하고자 하며 이를 위한 실험 환경을 그림 1과 같이 구축하였다. 그림 1에서 하단에 위치한세 안테나는 KVN의 각 관측소에 설치된 전파망원경을 나타낸 것으로 이를 통해 수집된 천체 신호는 4채널 수신기를 통해 각 주파수 대역별로 분리 수신된다.
전송 효율이 개선된다. 이에 따라 본 논문에서는패킷 손실 발생 시 Congestion Avoidance/Slow Start 로 인한 성능 저하가 최소화될 수 있도록 전송되는스트림의 개수를 가변시키는 형태로 관측 데이터를 전파천문대에서 상관센터로 송수신하는 방법을 제시하였다. 이를 시스템에 적용할 경우 향후 네트워크 환경에 보다 최적화된 형태로 신뢰성있는 패킷 송수신이 가능할 것으로 기대된다.

제안 방법

본 논문에서는 근거리 환경의 원격 기록 성능 평가와 관련하여 2017년 전자통신학회논문지 12권 1호에 기술된 것과 동일한 환경을 실험실 내에구축하였다. 객관적 기록 성능 검증을 위해 외부에서입력되어 내부 메모리 상에 버퍼링되는 프레임을 TCP/IP 소켓과 PF_RING 기반으로 처리하는 두 가지 버전의 프로그램을 제작하였고 각 경우에 대한 성능을 측정하였다. PF_RING 방식의 경우 PF_RING 활성화, 함수 호출에 필요한 구조체 핸들 획득을 비롯 애플리케이션 지정, PF_RING 소켓과 결합된 디바이스 연결, 해제 등의 작업이 필요하다.
네트워크 성능 검증 후 KVN 세 사이트에서 획득한 관측 데이터 스트림을 원거리의 상관센터에 직접전송, 기록하는 실험을 실시하였다. 데이터가 저장되는 스토리지는 물리적으로 16개의 1TB 디스크로 구성되며 RAID0에 기반해 14.
그림 7은 이러한 구조 하에서 대용량 VLBI 데이터 스트림의 안정적 전송 방법을 나타낸 흐름도이며, 데이터 처리 절차를 서술하면다음과 같다. 대용량 VLBI 데이터 스트림의 안정적 전송을 위해 먼저, 각 전파천문대의 망원경으로 관측한 전파 신호를 디지털 백엔드에서 UDP 프레임으로 변환, 생성 및 출력한다. 상기 VLBI 관측 데이터 스트림은 관측동에 설치된 제1 리눅스 서버 시스템의 수신 소켓 버퍼를 경유해 링 버퍼에 UDP 프레임으로 저장된다.
이를 위해 상관센터의 원격 스토리지에 대한 전송 및 저장용으로 1, 2, 3, 4 쓰레드를 그리고 관측소 내부의 로컬 스토리지 Mark6 측으로 5, 6, 7, 8 쓰레드를 설정하였다. 또한 원격의 상관센터와 내부의 관측소 목적지로 복제된 두 관측 데이터 스트림이 KREONET 과 사설망에서 동시에 병렬 스트림으로 전달될 수 있도록 10GbE 네트워크 스위치를 VLAN 기반으로 포트 분할하였다[9]. KVN 각 관측소에서 상관센터로 전송되는 관측 데이터는 최소 10GbE 회선을 통해 KREONET 백본에 입력된다.
반면 TCP/IP 소켓 인터페이스에서는 일반적인 데이터 송수신과 동일하게 소켓 개설, 소켓 주소와의 결합 이후 recv, recvfrom 등의 함수 호출을 통해 외부에서 입력되는데이터를 수신하는 방식이다. 로컬 네트워크 환경에서위에 명시한 함수 호출을 기반으로 OCTAD로부터전송된 VDIF 프레임을 스토리지에 저장하여 성능 평가를 수행하였고 그에 관한 결과를 그림 3과 같이 수치화하였다.
상술한 네트워크 구성 하에서 관측 데이터 스트림의 원격 기록 실험을 수행하였다. 원격 기록은 네트워크를 경유해 상관센터의 스토리지에 바로 데이터를 저장하기 때문에 네트워크 성능이 패킷 전달의 안정성에 비례한다.
원격 기록 과정에서 발생한 프레임 손실과 네트워크 불안정의 연관성을 판별하기 위해 백엔드와 기록시스템이 로컬 네트워크에 구축된 환경에서의 기록성능을 추가로 검증하였다. 그림 1에 도식화된 KVN 세 사이트와 대전상관센터 간 원격기록 실험에서도 활용되었지만 백엔드에서 출력되는 8.
위 성능 평가는 OCTAD에서 8.224Gbps 속도로 출력되는 UDP 프레임을 1TB 용량 16개 디스크로 구성된 스토리지에 15, 500초 동안 수신 및 기록하는 방식으로 진행되었다. 정밀한 결과 도출을 위해 로컬 기록실험은 PF_RING, TCP/IP 소켓 각 방식에서 두 번에 걸쳐 수행되었다.
링 버퍼에 저장된 프레임에서 사용자 데이터에 해당하는페이로드가 추출하여 송신 소켓 버퍼에 저장되고 TCP/IP 계층에 대한 스트림 소켓 API 함수 호출을 기반으로 TCP 패킷으로 변환, 전송된다. 이 과정에서전송 성능 향상을 위해 병렬 스트림이 지원되고 네트워크 성능 변화에 따라 가변적으로 운용될 수 있도록 시스템을 설계하였다.
하지만 각 관측소에서 출력되는 UDP 프레임을 TCP 기반으로 전송할 수 있다면 네트워크 상에서 패킷이 유실되더라도 재전송을 통해 복원할 수 있고 신뢰성 있는 원격 기록이 가능하다. 이를 구현하기 위해본 논문은 기존 시스템에서 두 가지 부분을 개선하였고, 이를 반영한 시스템 설계를 그림 4와 같이 도식화하였다. 첫 번째 개선 사항은 링 버퍼로서 리눅스 커널에서 제공하는 흐름제어를 손쉽게 접목할 수 있도록 TCP/IP 소켓 인터페이스에 기반한 링 버퍼를 채택하였다.
해당 관측 데이터는 네트워크를 경유해 원격의 대전 상관센터에 기록되며, 패킷 손실 및 무결성 점검을 위해 로컬 상의 Mark6 시스템에 동시에 기록될 필요가 있다. 이를 위해 상관센터의 원격 스토리지에 대한 전송 및 저장용으로 1, 2, 3, 4 쓰레드를 그리고 관측소 내부의 로컬 스토리지 Mark6 측으로 5, 6, 7, 8 쓰레드를 설정하였다. 또한 원격의 상관센터와 내부의 관측소 목적지로 복제된 두 관측 데이터 스트림이 KREONET 과 사설망에서 동시에 병렬 스트림으로 전달될 수 있도록 10GbE 네트워크 스위치를 VLAN 기반으로 포트 분할하였다[9].
이에 대한 해결을 위해 본 논문에서는 각 전파천문대에서 생성된 VLBI 관측 데이터 스트림을 데이터분석이 이뤄지는 상관센터에 직접 송신, 저장하는 것은 물론, 데이터 전송 중 네트워크의 성능이 변화하더라도 관측 데이터의 손실이 최소화되도록 하는 시스템을 설계하였다. 이를 위한 본 논문의 구성은 다음과 같다.
원격 기록은 네트워크를 경유해 상관센터의 스토리지에 바로 데이터를 저장하기 때문에 네트워크 성능이 패킷 전달의 안정성에 비례한다. 이에 따라 실험에 앞서 iperf3를 이용해 TCP 프로토콜 기반으로 KVN 세 사이트와 대전상관센터 간 네트워크 성능을 측정하였다. 그림 2는 KVN 각 사이트에 대해 600초에 걸쳐 측정한 결과로서 10GbE NIC 기준으로 연세, 울산, 탐라 각각 평균 9.
224Gbps 속도로 출력되는 UDP 프레임을 1TB 용량 16개 디스크로 구성된 스토리지에 15, 500초 동안 수신 및 기록하는 방식으로 진행되었다. 정밀한 결과 도출을 위해 로컬 기록실험은 PF_RING, TCP/IP 소켓 각 방식에서 두 번에 걸쳐 수행되었다. 먼저 PF_RING 기반 링 버퍼 방식의 경우 두 번 모두 프레임 유실이 발생하지 않았다.
설계하였다. 제안된 시스템에서 각 관측소에서 출력되는 데이터스트림은 네트워크 상에서 IP 기반으로 라우팅되고소켓 주소에 명시된 IP 주소, 포트 번호에 따라 목적지의 스토리지로 직접 전달된다. 따라서 네트워크에연결된 어디라도 TCP의 흐름제어, 재전송을 통해 안정적인 패킷 송수신 구현이 가능하고, 헤더 정보가 커널에서 처리됨에 따라 사용자는 실질적으로 필요로하는 페이로드를 바로 획득할 수 있다.
지금까지 네트워크 상의 안정적인 데이터 전송을위한 구조를 설계하였다. 그림 7은 이러한 구조 하에서 대용량 VLBI 데이터 스트림의 안정적 전송 방법을 나타낸 흐름도이며, 데이터 처리 절차를 서술하면다음과 같다.
이를 구현하기 위해본 논문은 기존 시스템에서 두 가지 부분을 개선하였고, 이를 반영한 시스템 설계를 그림 4와 같이 도식화하였다. 첫 번째 개선 사항은 링 버퍼로서 리눅스 커널에서 제공하는 흐름제어를 손쉽게 접목할 수 있도록 TCP/IP 소켓 인터페이스에 기반한 링 버퍼를 채택하였다. 또한 관측 데이터 전송에 있어서도 기존에는 백엔드에서 원격의 스토리지로 바로 UDP 프레임을 전송하는 방식이었다.
이를 수신 및 저장하는 상관센터는 100GbE 회선으로 KREONET 대전지역망 센터와 연결되며 네트워킹을 위해 현재 Dell 사의Z9100-ON이 설치되어 운용 중이다. 하부단 서버와의 통신을 위해 해당 스위치의 각 포트에 40GbE SR4 트랜시버를 장착하였고 이로부터 4가닥으로 분기되는 10G 회선 중 세 개를 각 관측소의 데이터가 저장되는 스토리지에 연결하였다.
상기 VLBI 관측 데이터 스트림은 관측동에 설치된 제1 리눅스 서버 시스템의 수신 소켓 버퍼를 경유해 링 버퍼에 UDP 프레임으로 저장된다. 해당 프레임에서 페이로드를 추출하여 송신소켓 버퍼에 복사하고 커널은 이로부터 생성된 IP 패킷을 TCP에 기반해서 네트워크 성능 저하에 따라 가변 개수의 스트림으로 상관센터로 전송한다. 단일 또는 병렬 스트림으로 상관센터의 제2리눅스 서버에 전달되는 TCP 기반의 IP 패킷은 수신 소켓 버퍼 상에서 이상 없음이 검증되면 대용량 링 버퍼에 복사된다.

대상 데이터

기록하는 실험을 실시하였다. 데이터가 저장되는 스토리지는 물리적으로 16개의 1TB 디스크로 구성되며 RAID0에 기반해 14.546TB 크기의 단일 볼륨으로 가상화하였다. KVN의 세 관측소에서 8.

성능/효과

전자의 경우 다음 장의 시스템 설계에서 기술하겠지만 TCP에 기반한 신뢰성 있는 프레임 전달 구현이용이 하다는 점에서 활용 가치가 크다. 네트워크 특성 관련으로는 동일한 백엔드, 스토리지를 사용해 진행된 실험임에도 네트워크 거리가 짧아짐에 따라 프레임송수신 및 저장 성능이 매우 안정화되었다. 이로부터 그림 1, 2의 프레임 손실이 백엔드, 스토리지보다는 상당 부분 네트워크로부터 야기되었음을 알 수 있다.
하지만 이를 수 백km 이상의 외부 네트워크로 확장할 경우, 네트워크가 불안정하면 전송 과정에서 패킷 손실이 발생하고 원하는 결과의 도출은 현재불가능하다. 이러한 사실은 KVN 세 사이트를 이용한 UDP 기반 원격 기록 실험을 통해서도 확인될 수 있었는데, 내부 기록 실험 결과와의 비교 분석을 통해데이터 송수신 시스템이 안정적이라도 네트워크 불안정에 따라 패킷 손실이 증가하는 현상을 입증하였다.
하지만 각 관측소에 이미 저장된 데이터를 상관센터에 추가로 전송하고 반복 저장되는 과정에서시간 지연이 발생하였고 효율성은 저하되었다. 이러한처리 방식은 이전의 Mark5B를 이용한 1Gbps 관측에서는 큰 문제가 되지 않았다.
이러한처리 방식은 이전의 Mark5B를 이용한 1Gbps 관측에서는 큰 문제가 되지 않았다. 하지만 대역폭과 채널수가 각각 2, 4배에 해당하는 광대역 VLBI 관측에서 늘어난 데이터 용량에 비례하여 시간 지연이 급증하고 상관처리 생산성이 저하되는 일이 빈번하게 나타났다. 이를 극복하기 위한 방법은 네트워크 상에서 관측 데이터의 기록, 분석 처리가 이뤄지는 위치에 따라 크게 원격 상관과 원격 기록 두 가지로 분류된다.
원격 기록이 정상적으로 수행될 경우 매 초당 기록된 프레임 개수는 125000개이다. 하지만 실험 시작 후 29번의 에러 발생 과정에서 98717, 126, 9, 5개 등의 형태로 프레임이 매 초당 유실되었다. 그림 2에 도시한 네트워크 성능과 이에 비례하는 표 1의 프레임 유실 수치를 통해 성공적인 원격 기록을 위해서는 네트워크 안정성이 전제되어야 함을 알 수 있다.

후속연구

이에 따라 본 논문에서는패킷 손실 발생 시 Congestion Avoidance/Slow Start 로 인한 성능 저하가 최소화될 수 있도록 전송되는스트림의 개수를 가변시키는 형태로 관측 데이터를 전파천문대에서 상관센터로 송수신하는 방법을 제시하였다. 이를 시스템에 적용할 경우 향후 네트워크 환경에 보다 최적화된 형태로 신뢰성있는 패킷 송수신이 가능할 것으로 기대된다.

참고문헌 (10)

A. Szomoru, "EXPReS and the e-EVN," In Proc. The 9th European VLBI Network Symp., Bologna, Italy, Sept. 2008, pp. 40-47.
M. Lee and K. Yoo, "Implementation of a Platform for the Big Scientific Data Transfers," J. of the Korea Institute of Electronic Communication Sciences, vol. 13, no. 4, 2018, pp. 881-886.

원문보기 상세보기
A. R. Thompson, J. M. Moran, and G. W. Swenson, Interferometry and Synthesis in Radio Astronomy. Birkach: Wiley, 2004.
F. Takahashi, T. Kondo, Y. Takahashi and Y. Koyama, Very Long Baseline Interferometer. Tokyo: IOS Press, 2000.
M. Song, H. Kim, Y. Kang, D. Je, S. Wi and S. Lee, "Implementation of Ring Buffer based Massive VLBI Data Stream Input/Output over the Wide Area Network," J. of the Korea Institute of Electronic Communication Sciences, vol. 14, no. 6, 2019, pp. 1109-1119.

원문보기 상세보기
R. Cappallo, C. Ruszczyk, and A. Whitney, "Mark6: Design and Status," Reports of the Finnish Geodetic Institute, vol. 5, no. 8, Mar. 2013, pp. 9-12.
M. Lindqvist and A. Somoru, "Present status and technical directions of the EVN," 12th European VLBI Network Symp. and Users Meeting, Cagliari, Italy, Oct. 2014, pp. 1-8.
NASA, "Int. VLBI Service for Geodesy and Astrometry," Annual report 2008, July. 2009.
M. Song, H. Kim, D. Byun, T. Jung, Y. Kang, H. Kim, J. Kim, S. Wi, S. Lee, D. Roh, S. Oh, and J. Yeom, The Design and Implementation of e-KVN Network for the Data Processing in Wideband VLBI Observation. Daejoen: Korea Astronomy and Space Science Institute, 2019, pp. 3-5.
M. Song, Y. Kang and H. Kim, "A Study on the Performance Monitoring and Optimization of a High Speed Network for the Transfer of Massive VLBI Data," J. of the Korea Institute of Electronic Communication Sciences, vol. 14, no. 6, 2013, pp. 1097-1108

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증