선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이러한 파라미터들로는 물리적인 노드의 증가에 따른 변화 파라미터인 병행성(Concurrency)과 하나의 태스크를 여러 개로 나누어 처리하는 병렬성(Parallelism)을 포함한다. 본 실험에서는 DTN 클러스터링을 구성할 때 증가하는 I/O 노드 수 변화에 따른 WAN에서의 전송 성능 변화를 비교하고자 한다. 표 1에서 제시된 각각의 테스트 파일 세트에 대해서 단일 DTN 노드, 두 개로 구성된 DTN 클러스터링마다 종단간 데이터 전송을 수행하여 전송 성능을 측정한다.
제안 방법
- 2절에서 언급된 DTN의 HW, SW 측면에서 성능 최적화된 각각의 DTN들을 대상으로 클러스터링을 구성한다. 본 실험에서는 2대의 DTN 노드들을 클러스터링하고, 같은 네트워크에 있는 고성능 서버에 NFS 서버 프로세스를 구동하여 DTN 노드들에 마운트시키는 환경을 구축한다.
- 본 실험에서는 2대의 DTN 노드들을 클러스터링하고, 같은 네트워크에 있는 고성능 서버에 NFS 서버 프로세스를 구동하여 DTN 노드들에 마운트시키는 환경을 구축한다. NFS 서버/클라이언트 최적화와 관련해서 sync/async 모드 설정, read/write 버퍼 크기 파라미터 등을 조정할 수 있으나 본 테스트베드에서는 NFS 클라이언트/서버에 대해 기본 값을 설정하여 구성한다. 데이터 전송을 위한 WAN 대상 구간은 한-미간 100Gbps 백본망을 대상으로 하고, 미국 쪽의 엔드포인트는 ESnet에서 운영하는 DTN@Starlight을 이용한다.
- 본 논문에서는 NFS 기반의 DTN 클러스터링 테스트베드를 구축하고, 한-미간 100G 네트워크 구간에서 전송 성능을 실험하였다. 실험 경과 상대적으로 작은 크기의 파일 대비 큰 크기의 파일 전송의 경우와 파일의 개수가 많은 경우 DTN 클러스터링의 효과는 더 크게 나타났다.
- 2절에서 언급된 DTN의 HW, SW 측면에서 성능 최적화된 각각의 DTN들을 대상으로 클러스터링을 구성한다. 본 실험에서는 2대의 DTN 노드들을 클러스터링하고, 같은 네트워크에 있는 고성능 서버에 NFS 서버 프로세스를 구동하여 DTN 노드들에 마운트시키는 환경을 구축한다. NFS 서버/클라이언트 최적화와 관련해서 sync/async 모드 설정, read/write 버퍼 크기 파라미터 등을 조정할 수 있으나 본 테스트베드에서는 NFS 클라이언트/서버에 대해 기본 값을 설정하여 구성한다.
- 실 예로, 미국 DOE(Department of Energy) 산하의 연구 기관인 OLCF(Oak Ridge Leadership Computing Facility)에서의 핵 연구 관련 Petascale 시뮬레이션은 NERSC(National Energy Reserch Scientific Computing Center)에서 처리된 nuclear interaction 데이터 세트를 필요로 한다. 유사하게, ALCF(Argonne Leadership Computing Facility)의 기상 연구 과학자들은 시뮬레이션 결과를 OLCF(Oak Ridge National Laboratory)의 데이터센터에 있는 기후 관측 데이터 세트와 비교함으로써 실험의 유효성을 검증한다. 즉, 이러한 데이터 센터들 간의 협업은 유관 기관들 간의 대용량 데이터의 이동을 기반으로 이뤄진다 [2].
- 이러한 동향과 관련하여, 본 논문에서는 Science DMZ 환경에서 데이터 전송 노드로 활용되는 DTN 서버들을 대상으로 Globus 소프트웨어 [6]에서 제공하는 복수 개의 I/O 노드들에 대한 클러스터링 기법을 적용하여 NFS 기반의 DTN 클러스터링 테스트베드를 구축하고, 전송 성능을 실험한다. 특히, 단일 DTN 서버 대비 복수개의 DTN 서버일 경우 망 자원의 증가에 따른 병행성(Comcurrency)이 전송 성능에 미치는 영향을 한-미간 100G 네트워크 구간에서 측정 및 분석하고자 한다.
- 실제로 이러한 기법은 고속의 대용량 데이터 처리가 요구되는 HPC(High Performance Computing) 환경의 WAN 구간에서 대용량 데이터의 외부 전송 성능을 높이기 위해 활용되고 있다 [5]. 이와 관련하여 본 논문에서는 외부 스토리지를 연계하는 NFS 스토리지 기반의 DTN 클러스터링 환경을 구축하고, 실제 LFN(Long Fat Network) 환경에서 종단간 대용량 데이터 전송 실험을 수행한다.
- 이러한 동향과 관련하여, 본 논문에서는 Science DMZ 환경에서 데이터 전송 노드로 활용되는 DTN 서버들을 대상으로 Globus 소프트웨어 [6]에서 제공하는 복수 개의 I/O 노드들에 대한 클러스터링 기법을 적용하여 NFS 기반의 DTN 클러스터링 테스트베드를 구축하고, 전송 성능을 실험한다. 특히, 단일 DTN 서버 대비 복수개의 DTN 서버일 경우 망 자원의 증가에 따른 병행성(Comcurrency)이 전송 성능에 미치는 영향을 한-미간 100G 네트워크 구간에서 측정 및 분석하고자 한다.
- 본 실험에서는 DTN 클러스터링을 구성할 때 증가하는 I/O 노드 수 변화에 따른 WAN에서의 전송 성능 변화를 비교하고자 한다. 표 1에서 제시된 각각의 테스트 파일 세트에 대해서 단일 DTN 노드, 두 개로 구성된 DTN 클러스터링마다 종단간 데이터 전송을 수행하여 전송 성능을 측정한다. 참고로, 500GB-in-large-files은 100MB, 200MB, 500MB 파일들이 {a/a, a/b, …, a/z, b/a, b/b, …, b/z, …, z/a, z/b, …, z/z}와 같은 디렉토리에 각각 저장된다.
대상 데이터
- NFS 서버/클라이언트 최적화와 관련해서 sync/async 모드 설정, read/write 버퍼 크기 파라미터 등을 조정할 수 있으나 본 테스트베드에서는 NFS 클라이언트/서버에 대해 기본 값을 설정하여 구성한다. 데이터 전송을 위한 WAN 대상 구간은 한-미간 100Gbps 백본망을 대상으로 하고, 미국 쪽의 엔드포인트는 ESnet에서 운영하는 DTN@Starlight을 이용한다. 자세한 실험 환경은 표 1에서 제시되고, DTN 클러스터링에 포함되는 각각의 DTN 서버들에 대해 iperf를 이용한 Memory-to-Memory 전송 테스트는 약 83Gbps의 성능을 달성하였다.
- 또한, 이러한 대용량 데이터는 연구 그룹별로 공유되고, 원활환 협업 연구를 위해 필요한 시점에 협업 파트너들에게 고속으로 전송되어야 하므로 전용의 고성능 연구망의 역할은 매우 중요하다. 실 예로, 미국 DOE(Department of Energy) 산하의 연구 기관인 OLCF(Oak Ridge Leadership Computing Facility)에서의 핵 연구 관련 Petascale 시뮬레이션은 NERSC(National Energy Reserch Scientific Computing Center)에서 처리된 nuclear interaction 데이터 세트를 필요로 한다. 유사하게, ALCF(Argonne Leadership Computing Facility)의 기상 연구 과학자들은 시뮬레이션 결과를 OLCF(Oak Ridge National Laboratory)의 데이터센터에 있는 기후 관측 데이터 세트와 비교함으로써 실험의 유효성을 검증한다.
성능/효과
- 그림 2는 위에서 수행한 실험에 대해 각 파일 세트 별로 전송 성능을 비교하여 보여준다. 실험 결과에서 보듯이 상대적으로 작은 크기의 파일 대비 큰 크기의 파일 전송의 경우 DTN 클러스터링의 효과는 더 큰 것으로 나타난다. 실제로, 실험에서 500GB-in-large-files 경우 단일 DTN의 경우 대비 두 개의 DTN으로 구성된 DTN 클러스터링은 약 13% 정도의 성능 향상을 보인다.
- 본 논문에서는 NFS 기반의 DTN 클러스터링 테스트베드를 구축하고, 한-미간 100G 네트워크 구간에서 전송 성능을 실험하였다. 실험 경과 상대적으로 작은 크기의 파일 대비 큰 크기의 파일 전송의 경우와 파일의 개수가 많은 경우 DTN 클러스터링의 효과는 더 크게 나타났다. 향후, 제한된 실험 환경의 개선을 위해서 내포된 성능 저하 요인을 해결할 필요가 있다.
- 데이터 전송을 위한 WAN 대상 구간은 한-미간 100Gbps 백본망을 대상으로 하고, 미국 쪽의 엔드포인트는 ESnet에서 운영하는 DTN@Starlight을 이용한다. 자세한 실험 환경은 표 1에서 제시되고, DTN 클러스터링에 포함되는 각각의 DTN 서버들에 대해 iperf를 이용한 Memory-to-Memory 전송 테스트는 약 83Gbps의 성능을 달성하였다.
- 특히, DTN 노드는 HW, SW, 고속 마운트 측면에서 성능 최적화가 선행되어야 한다. 첫째, HW 최적화와 관련해서는 CPU, 저장장치, 네트워크 인터페이스 카드, 메인보드에 대한 하드웨어 규격 등이 성능 최적화를 고려하여 선택되어야 한다. 둘째, SW 최적화와 관련해서는 DTN간의 종단간 대용량 데이터 전송을 위해 TCP 혼잡제어 알고리즘, 소켓버퍼의 크기, 점보프레임 세팅 등을 고려한 OS 및 전송 프로토콜에 대한 튜닝이 이루어져야 한다.
후속연구
- 우선, 본 테스트베드 환경에서는 DTN 서버들의 업링크 경로와 NFS 서버/클라이언트 간의 경로가 같은 경로를 공유함으로써 종단간 전송 성능에 영향을 미친다. 추가적으로, NFS는 "Parallelism"에 특화된 네트워크 프로토콜이 아니므로 최적의 클러스터링 효과를 얻기 위해서는 Lustre, GPFS와 같은 "Parallel" distributed protocol을 대상으로 고속 마운트 기법을 적용하여 유사한 실험을 수행할 필요가 있다.
- 이러한 DTN 노드를 활용하여 대용량 데이터를 전송하기 위해서는 DTN 내부의 다수 스토리지들을 RAID 방법으로 묶어서 하나의 볼륨으로 제공하는 방법과 외부 스토리지들을 NFS, Lustre, GPFS와 같은 네트워크 프로토콜들을 이용하여 고속 마운트 시키는 방법 등을 고려할 수 있다. 추가적으로 DTN과 외부 스토리지를 연계해 주는 네트워크 프로토콜에 대해서도 네트워크 프로토콜의 서버/클라이언트 파트 각각에 대해 성능 최적화가 필요하다.
- 실험 경과 상대적으로 작은 크기의 파일 대비 큰 크기의 파일 전송의 경우와 파일의 개수가 많은 경우 DTN 클러스터링의 효과는 더 크게 나타났다. 향후, 제한된 실험 환경의 개선을 위해서 내포된 성능 저하 요인을 해결할 필요가 있다. 우선, 본 테스트베드 환경에서는 DTN 서버들의 업링크 경로와 NFS 서버/클라이언트 간의 경로가 같은 경로를 공유함으로써 종단간 전송 성능에 영향을 미친다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.