선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 국가 대기질 예보에 필수적인 모델 자료의 신속하고 안정적인 제공을 위하여 현업 운영 중인 모델링 시스템의 최적화 구성 방안으로 컴파일러, 라이브러리, CPU 코어 수에 따른 최적화 실험을 수행하였다. 전산 시스템 환경은 모델의 수치 계산을 위한 병렬 처리에 유용한 GPFS 시스템 및 Infiniband 네트워크를 사용하였고, PBS Pro 스케줄러를 도입하였다.
- 따라서 현재 사용 중인 시스템에 기상 및 대기질 모델 수행을 위한 최적의 조합을 독자적으로 구축해야할 필요가 있다. 본 연구에서는 기 구축된 시스템 환경을 기반으로 컴파일러, 라이브러리와 코어 수에 따른 최적화 테스트를 수행하여 사용 자원 대비 수행 시간을 단축시킬 수 있는 최적의 조합을 도출하고자 한다. 이러한 최적화 된 대기질 예보 모델링 환경 구축은 모델 자료 생산·가공 시간의 단축 및 효율적인 예보 자료 생산에 기여할 것으로 판단되며 예보관들은 모델결과를 분석하는데 충분한 시간을 확보하여 결과적으로 예보 정확도 향상에 크게 기여할 것으로 기대된다.
제안 방법
- Table 4에 제시된 컴파일러별 MPI와 NetCDF 라이브러리의 종류에 따라 12가지 조합에 대한 최적화 실험을 구성하였다. 12가지의 실험 조합 구성은 모델 계산 및 속도에 가장 중요한 컴파일러를 구분하여 설계하였고, 두 컴파일러에 따른 라이브러리의 버전별 세부 구성을 통해 세부 조합을 완성하였다. 컴파일러 종류는 2가지로 PGI (ver.
- 두 번째 실험은 첫 번째 실험 결과를 통해 결정된 최적화된 컴파일러 및 라이브러리의 조합을 이용하여 WRF, CMAQ 모델의 CPU 코어 수 증가에 따른 최적화를 수행하였다. 1대의 계산 서버가 보유하고 있는 CPU 코어 수는 28개 이므로 WRF 모델은 2~9대의 계산 서버를 활용하여 56~252개의 코어 수로 실험을 진행하였고(Table 5), CMAQ은 분해능에 따라 CPU 코어 수를 결정한 뒤 48~192개까지 CPU 코어를 증가시켜 2~7대 사이의 계산 서버를 활용하여 테스트를 진행하였다(Table 6). 최적화 여부는 컴파일러 및 라이브러리 조합 후 모델이 구동하는데 소요된 시간이 가장 짧은 구성을 최적화 구성으로 판단하였다.
- 2)를 사용하였다. 3가지 MPI 종류 중 mpich-3.2는 mvapich-2.0, mvapich-2.2와 달리 InfiniBand 네트워크 방식 환경을 반영하지 못한 라이브러리이지만 본 연구에서는 InfiniBand 네트워크 방식의 효과를 검증하기 위하여 mpich-3.2를 실험의 조합으로 추가하였다. 또한 NetCDF의 경우 모델 및 MPI 버전에 사용 가능한 2가지(NetCDF-3.
- 3) 조합을 바탕으로 CPU 코어 수에 따른 테스트를 코어 수를 48~192개까지 증가시켜 총 10개의 실험(CC1~CC10)을 수행하였다. CMAQ 실험의 경우 WRF와 달리 CPU 코어 수 구성시 x와 y방향의 분해능의 조합을 고려하여 실험을 설계하였다. 각각의 실험군은 Nx와 Ny의 조합에 의해 전체 코어수가 Nx와 Ny의 곱이 될 수 있도록 설계하였는데 이때 Nx를 기준으로 Ny를 증가 시키며 실험을 수행하였다.
- 첫 번째 실험은 최적화에 중요한 요소인 컴파일러와 라이브러리들의 선택이다. Table 4에 제시된 컴파일러별 MPI와 NetCDF 라이브러리의 종류에 따라 12가지 조합에 대한 최적화 실험을 구성하였다. 12가지의 실험 조합 구성은 모델 계산 및 속도에 가장 중요한 컴파일러를 구분하여 설계하였고, 두 컴파일러에 따른 라이브러리의 버전별 세부 구성을 통해 세부 조합을 완성하였다.
- WRF 모델에 대하여 컴파일러 및 라이브러리 종류에 따른 실험결과 가장 우수한 성능을 보인 WL7 (Intel complier, mvapich-2.0, NetCDF-3.6.3) 조합을 바탕으로 CPU 코어 수 테스트를 위해 WRF 모델의 CPU 코어 수를 56~252개 까지 증가시켜 총 8개의 실험(WC1~WC8)을 수행하였다. 1대의 계산 서버는 28 개의 CPU 코어로 구성되어 있어 코어 할당시 서버 전체 코어를 모두 사용하여 실험을 진행하였다.
- WRF 모델에 대한 CPU 코어 수 실험에 이어 CMAQ 모델에 대해서도 실험을 별도로 진행하였다. 컴파일러 및 라이브러리 종류에 따른 실험결과 WRF 모델과 마찬가지로 가장 우수한 성능을 보인 CL7 (Intel complier, mvapich-2.
- CMAQ 실험의 경우 WRF와 달리 CPU 코어 수 구성시 x와 y방향의 분해능의 조합을 고려하여 실험을 설계하였다. 각각의 실험군은 Nx와 Ny의 조합에 의해 전체 코어수가 Nx와 Ny의 곱이 될 수 있도록 설계하였는데 이때 Nx를 기준으로 Ny를 증가 시키며 실험을 수행하였다. 실험 결과 전체 실험 중에서 가장 많은 192개 코어를 사용한 실험이 47분 46초로 가장 긴 작업수행시간을 보였다.
- 스케줄러 사용시 작업의 모니터링이 가능해 지므로 각각의 모델 수행시작 및 정상적인 종료에 대한 성공률을 향상 시킬 수 있었으며, 어떤 계산 서버에서 어떠한 작업이 수행될지 지정하는 과정 없이 여러 작업을 제출할 수 있게 해주어 효율적인 서버 자원 관리를 가능하게 해주었다. 구축된 전산을 기반으로 WRF와 CMAQ 모델에 대해 컴파일러(PGI, Intel), MPI (mvapich-2.0, mvapich-2.2, mpich-3.2), NetCDF (NetCDF-3.6.3, NetCDF-4.1.3) 종류에 따른 12가지 조합을 구성하여 작업수행시간 측정을 통한 최적화 실험을 수행하였다. 컴파일러 및 라이브러리 종류에 따른 실험 결과, WRF 및 CMAQ 모델은 12개의 조합 중에서 Intel complier, mvpich-2.
- 두 번째 실험은 첫 번째 실험 결과를 통해 결정된 최적화된 컴파일러 및 라이브러리의 조합을 이용하여 WRF, CMAQ 모델의 CPU 코어 수 증가에 따른 최적화를 수행하였다. 1대의 계산 서버가 보유하고 있는 CPU 코어 수는 28개 이므로 WRF 모델은 2~9대의 계산 서버를 활용하여 56~252개의 코어 수로 실험을 진행하였고(Table 5), CMAQ은 분해능에 따라 CPU 코어 수를 결정한 뒤 48~192개까지 CPU 코어를 증가시켜 2~7대 사이의 계산 서버를 활용하여 테스트를 진행하였다(Table 6).
- GPFS는 고성능 공유 디스크 파일 시스템으로 모든 클러스터내의 노드들은 단일 파일에 대한 동시적 읽기 쓰기가 가능하며 파일들이 여러 디스크에 걸쳐 다수의 시스템을 통하여 작동되기 때문에 고성능 시스템인 예보 모델링 시스템에 적합하다. 따라서 본 시스템에서는 생산되는 자료에 대한 신속한 I/O를 제공하고 안정적이고 효율적인 관리가 가능한 IBM의 GPFS를 구축하였다.
- , 2014). 따라서본 시스템에서는 모델링 수행을 위해 GPFS 파일 시스템과 더불어 InfiniBand 네트워크를 구축하였고 InfiniBand 기반의 MPI 라이브러리들을 사용하였다.
- 2를 실험의 조합으로 추가하였다. 또한 NetCDF의 경우 모델 및 MPI 버전에 사용 가능한 2가지(NetCDF-3.6.3, NetCDF-4.1.3) 버전을 사용하였다. 12가지의 실험 수행에 대한 결과 평가는 서버에서 측정된 작업수행시간(wall clock time)으로 평가하였다.
- 0) 컴파일러를 사용하였다. 라이브러리는 모델의 병렬 처리에 중요한 MPI와 파일의 입출력 부분에 중요한 NetCDF의 구성에 따라 조합을 세분화하였다. MPI는 현재 사용 중인 PBS와 호환이 가능한 버전 3가지 (mvapich-2.
- 컴파일러 및 두 종류의 라이브러리들에 따라 12개의 실험을 진행하였다. 모델 구동에 있어 가장 중요한 컴파일러 선택을 위해 PGI (ver.14.9)와 Intel (ver.15.0) 두 컴파일러에 대하여 WRF와 CMAQ 모델을 각각 적용한 실험을 우선적으로 진행하였다. WRF 모델의 컴파일러에 따른 민감도 실험 결과 Intel 그룹군이 PGI 그룹군보다 더 좋은 성능을 보였다.
- 작업수행시간은 해당 된 작업이 실제로 수행하는데 소요되는 시간이다. 모델의 모의 영역 및 예보 기간에 대하여 WRF 모델의 경우 real.exe와 wrf.exe 과정에 대해, CMAQ 모델은 BCON 및 CCTM 과정에 대해 작업수행시간을 평가 하였다.
- InfiniBand는 FDR (Fourteen Data Rate) 타입으로 56 Gbit/s의 데이터 전송률을 가지며 계산 서버와 병렬파일시스템의 I/O로 사용하고 있다 (Table 3). 민감도 실험은 기상 모델(WRF)과 대기질 모델(CMAQ)에 대해서만 진행하였으며, 모델의 연산 범위는 현재 예보를 위해 필요한 모델의 모의 영역 (Fig. 4)에 대해 수행하였다. 수치모델의 최적화를 통한 모의 시간 단축 방안으로 서버 구축 환경을 고려하여 2가지 실험을 수행하였다.
- 4)에 대해 수행하였다. 수치모델의 최적화를 통한 모의 시간 단축 방안으로 서버 구축 환경을 고려하여 2가지 실험을 수행하였다. 첫 번째 실험은 최적화에 중요한 요소인 컴파일러와 라이브러리들의 선택이다.
- 이와 같은 특수성을 고려하여 대기질 예보 모델링 시스템을 위한 전산 자원 및 서버 환경이 마련되었다. 안정적인 시스템 운영을 위해 스케줄러를 활용한 자동화 운영을 도입하였고 방대한 양의 자료를 효율적으로 처리하기 위하여 초고속 네트워크로 연결된 슈퍼컴퓨터에 상응하는 고성능 컴퓨팅 시스템을 구축하였다.
- 실제 스케줄러 적용시 이를 통한 작업의 모니터링이 가능해 지므로 각각의 모델 수행시작 및 정상적인 종료에 대한 성공률을 향상 시킬 수 있었으며, 어떤 계산 서버에서 어떠한 작업이 수행될지 지정하는 과정 없이 여러 작업을 제출할 수 있게 해주어 효율적인 서버 자원 관리를 가능하게 해주었다. 이와 같은 스케줄러를 통한 안정적인 모델 운영과 함께 모델 수행 시간의 단축을 위해서 모델의 구동 특성을 고려한 서버 환경을 구축하였다(Table 3).
- 본 연구에서는 국가 대기질 예보에 필수적인 모델 자료의 신속하고 안정적인 제공을 위하여 현업 운영 중인 모델링 시스템의 최적화 구성 방안으로 컴파일러, 라이브러리, CPU 코어 수에 따른 최적화 실험을 수행하였다. 전산 시스템 환경은 모델의 수치 계산을 위한 병렬 처리에 유용한 GPFS 시스템 및 Infiniband 네트워크를 사용하였고, PBS Pro 스케줄러를 도입하였다. 스케줄러 사용시 작업의 모니터링이 가능해 지므로 각각의 모델 수행시작 및 정상적인 종료에 대한 성공률을 향상 시킬 수 있었으며, 어떤 계산 서버에서 어떠한 작업이 수행될지 지정하는 과정 없이 여러 작업을 제출할 수 있게 해주어 효율적인 서버 자원 관리를 가능하게 해주었다.
- 전체 모델링 서버의 자원은 약 760개의 CPU (Central Processing Unit) 코어와 2.7 PiB (Pebibyte)의 저장용량, 20 Tflops (Tera floating-point operations) 성능의 계산 서버 30대로 이루어져 있지만 본 연구에 서는 기존 계산 서버 대비 더 향상된 사양의 CPU와 메모리, 상위 버전의 OS (Operating System)로 구성된 신규 계산 서버 10대(CPU 코어 수 : 280개)를 활용 하여 최적의 라이브러리를 도출하기 위한 민감도 실험을 설계 하였다. InfiniBand는 FDR (Fourteen Data Rate) 타입으로 56 Gbit/s의 데이터 전송률을 가지며 계산 서버와 병렬파일시스템의 I/O로 사용하고 있다 (Table 3).
- WRF 모델에 대한 CPU 코어 수 실험에 이어 CMAQ 모델에 대해서도 실험을 별도로 진행하였다. 컴파일러 및 라이브러리 종류에 따른 실험결과 WRF 모델과 마찬가지로 가장 우수한 성능을 보인 CL7 (Intel complier, mvapich-2.0, NetCDF-3.6.3) 조합을 바탕으로 CPU 코어 수에 따른 테스트를 코어 수를 48~192개까지 증가시켜 총 10개의 실험(CC1~CC10)을 수행하였다. CMAQ 실험의 경우 WRF와 달리 CPU 코어 수 구성시 x와 y방향의 분해능의 조합을 고려하여 실험을 설계하였다.
대상 데이터
- 3) 조합을 바탕으로 CPU 코어 수 테스트를 위해 WRF 모델의 CPU 코어 수를 56~252개 까지 증가시켜 총 8개의 실험(WC1~WC8)을 수행하였다. 1대의 계산 서버는 28 개의 CPU 코어로 구성되어 있어 코어 할당시 서버 전체 코어를 모두 사용하여 실험을 진행하였다. 전체 실험 중에서 56개의 CPU 코어를 사용했을 때 가장 긴 작업수행시간을 보였는데 CPU 코어 수가 증가함에 따라 성능이 향상되었지만 168개부터 하락하였다.
- 국가 대기질 예보제는 2013년 8월 31일 수도권 시범 예보를 시작으로 예보 권역이 점차 전국으로 확대 되었으며 2014년 2월 6일부터 법정 예보를 시행하였다. 2014년 5월 22일 대기질통합예보센터가 신설된 이후 대기환경보전법 제 7조의 2(대기오염도 예측· (점크기변경)발표)에 따라 현재 매일 4회(05시, 11시, 17시, 23시) 전국 19권역을 대상으로 103개의 항목(PM10, PM2.
- 컴파일러 및 두 종류의 라이브러리들에 따라 12개의 실험을 진행하였다. 모델 구동에 있어 가장 중요한 컴파일러 선택을 위해 PGI (ver.
- 12가지의 실험 조합 구성은 모델 계산 및 속도에 가장 중요한 컴파일러를 구분하여 설계하였고, 두 컴파일러에 따른 라이브러리의 버전별 세부 구성을 통해 세부 조합을 완성하였다. 컴파일러 종류는 2가지로 PGI (ver.14.9)와 Intel (ver.15.0) 컴파일러를 사용하였다. 라이브러리는 모델의 병렬 처리에 중요한 MPI와 파일의 입출력 부분에 중요한 NetCDF의 구성에 따라 조합을 세분화하였다.
데이터처리
- 3) 버전을 사용하였다. 12가지의 실험 수행에 대한 결과 평가는 서버에서 측정된 작업수행시간(wall clock time)으로 평가하였다. 작업수행시간은 해당 된 작업이 실제로 수행하는데 소요되는 시간이다.
이론/모형
- 라이브러리는 모델의 병렬 처리에 중요한 MPI와 파일의 입출력 부분에 중요한 NetCDF의 구성에 따라 조합을 세분화하였다. MPI는 현재 사용 중인 PBS와 호환이 가능한 버전 3가지 (mvapich-2.0, mvapich-2.2, mpich-3.2)를 사용하였다. 3가지 MPI 종류 중 mpich-3.
성능/효과
- CMAQ 모델의 실험결과 컴파일러의 경우 WRF 모델의 결과와 동일하게 Intel 그룹군이 PGI 그룹군보다더 좋은 성능을 보였다. Intel 그룹군은 평균 약 97분, PGI의 경우는 약 105분으로 Intel 컴파일러를 사용했을 때 PGI 컴파일러보다 약 8분 정도의 시간이 단축되는 효과를 보였다.
- WRF 모델의 컴파일러에 따른 민감도 실험 결과 Intel 그룹군이 PGI 그룹군보다 더 좋은 성능을 보였다. Intel 그룹군은 평균 약 32분이 소요되었고, PGI의 경우는 약 36분으로 Intel 컴파일러 사용시 약 4분 정도의 시간이 단축되었다. 라이브러리는 MPI의 경우 mpich-3.
- CMAQ 모델의 실험결과 컴파일러의 경우 WRF 모델의 결과와 동일하게 Intel 그룹군이 PGI 그룹군보다더 좋은 성능을 보였다. Intel 그룹군은 평균 약 97분, PGI의 경우는 약 105분으로 Intel 컴파일러를 사용했을 때 PGI 컴파일러보다 약 8분 정도의 시간이 단축되는 효과를 보였다. 따라서 PGI보다 Intel 컴파일러를 사용했을 경우에 더 향상된 성능을 기대할 수 있다.
- 위의 다양한 민감도 실험 연구를 종합해 보면 예보 모델의 구동 성능은 각 모델의 특성에 따라 구성 환경에 영향을 받음을 알 수 있다. WRF 모델의 경우 컴파일러 및 라이브러리의 조합 실험에 의한 차이보다는 CPU 코어 수에 따른 차이에 의한 변화가 컸던 반면, CMAQ 모델의 경우에는 컴파일러 및 라이브러리의 조합에 의한 변화가 가장 크게 나타났다.
- 0) 두 컴파일러에 대하여 WRF와 CMAQ 모델을 각각 적용한 실험을 우선적으로 진행하였다. WRF 모델의 컴파일러에 따른 민감도 실험 결과 Intel 그룹군이 PGI 그룹군보다 더 좋은 성능을 보였다. Intel 그룹군은 평균 약 32분이 소요되었고, PGI의 경우는 약 36분으로 Intel 컴파일러 사용시 약 4분 정도의 시간이 단축되었다.
- 따라서 구동 시간 외에 CPU 코어 수 까지 고려하면 현업 운영상 가장 효율적인 최적 구성은 84개 코어를 사용할 때로 판단 할 수 있다. WRF 실험을 종합한 결과, Intel complier, mvpich-2.0, NetCDF-3.6.3의 라이브러리 조합 및 3대의 계산 서버를 사용한 모델링 구동이 현업 운영 조건 하에서 최적의 조합임을 알 수 있다.
- 또한 CPU 코어 수에 따른 최적화 결과, WRF 모델은 140코어(계산 서버 5대)에서, CMAQ 모델은 120 코어(계산 서버 5대)에서 가장 좋은 결과를 보였다. 그러나 사용된 CPU 코어 개수와 구동 시간을 종합적으로 고려할 때, WRF 모델의 WC2~WC4 실험에서 소요된 각 구동 시간은 큰 차이가 없지만 WC2의 실험에 사용된 CPU 코어 수가 84개로 가장 적었다. 또한 CMAQ 모델은 CC3~CC8 실험에서도 소요된 구동 시간은 큰 차이가 없었지만 CPU 코어 수를 Nx, Ny 각각 8개로 구성하여 64개를 사용한 CC4의 경우가 코어수가 가장 적었다.
- 모델 수행을 위한 최적의 구성은 구축 환경에 따라 차이가 발생 할 수 있으며, 같은 모델이라 할지라도 최적의 조합 환경이 상이할 수 있는데 대기질 모델인 CMAQ을 대상으로 서버 성능 및 분해능에 따른 성능을 분석하여 최적의 조합을 구성한 바 있다(Delic, 2017). 기상 모델인 WRFv3의 성능과 관련한 실험의 경우 컴파일러를 가장 중요한 요소로 꼽았으며 컴파일러에 따른 성능 비교 결과 GCC (Gnu Compiler Collection) 및 PGI (Portland Group Inc)그룹보다는 Intel 그룹의 성능이 우수하였다. 특히, GCC 보다 Intel 적용시 약 26% 향상됨을 보였다(Langkamp et al, 2011).
- 기상 및 대기질 예측 결과 생산은 광화학 반응에 의한 2차 생성·소멸 등 복합적인 대기오염현상을 과학적으로 예측할 수 있는 수치 모델 기반의 예측 시스템의 구축 및 구동을 통해 가능하다.
- 따라서 PGI보다 Intel 컴파일러를 사용했을 경우에 더 향상된 성능을 기대할 수 있다. 동일한 컴파일러 군에서 NetCDF 버전에 따른 속도 차이가 상당하게 나타났는데 특히 NetCDF-4.1.3버전보다 NetCDF-3.6.3은 약 2배 더 좋은 성능을 보였다. 컴파일러와 NetCDF 라이브러리의 조합이 동일하게 구성 되어있다는 조건하에서는 작업수행시간이 약 150분으로 MPI 라이브러리 버전에 상관없이 유사하게 나타났으며 이는 Intel과 PGI 컴파일러 모두 동일하게 나타났다.
- 단순히 모델의 구동 소요 시간 측면에서는 WC4 번 실험이 가장 우수하지만, CPU 코어 수 사용대비 소요 시간 측면을 함께 고려하면 WC2~WC4 경우 모두 우수하다고 볼 수 있다. 따라서 구동 시간 외에 CPU 코어 수 까지 고려하면 현업 운영상 가장 효율적인 최적 구성은 84개 코어를 사용할 때로 판단 할 수 있다. WRF 실험을 종합한 결과, Intel complier, mvpich-2.
- CPU 코어 수에 따른 CMAQ 모델의 결과, WRF 모델 실험결과 비교해 보았을 때 CPU 코어 수에 따른 작업수행시간의 민감도 결과는 거의 유사하였다. 따라서 자원 사용 대비 효율성을 고려해 볼 때, CC3~CC8의 실험에서 소요된 구동 시간이 큰 차이가 없으므로 Intel complier, mvapich-2.0, NetCDF-3.6.3 조합 및 CPU 코어 수를 64개(Nx, Ny 각각 8개)로 사용할 때 가장 효율적임을 알 수 있다.
- 3 조합을 적용한 경우 WRF는 30분 30초, CMAQ은 47분 22초로 가장 우수한 성능을 보였다. 또한 CPU 코어 수에 따른 최적화 결과, WRF 모델은 140코어(계산 서버 5대)에서, CMAQ 모델은 120 코어(계산 서버 5대)에서 가장 좋은 결과를 보였다. 그러나 사용된 CPU 코어 개수와 구동 시간을 종합적으로 고려할 때, WRF 모델의 WC2~WC4 실험에서 소요된 각 구동 시간은 큰 차이가 없지만 WC2의 실험에 사용된 CPU 코어 수가 84개로 가장 적었다.
- Intel 그룹군은 평균 약 32분이 소요되었고, PGI의 경우는 약 36분으로 Intel 컴파일러 사용시 약 4분 정도의 시간이 단축되었다. 라이브러리는 MPI의 경우 mpich-3.2 버전보다 mvapich-2.0의 조합이 더 좋은 성능을 나타냈고, 이는 Intel과 PGI 컴파일러 모두 동일하게 나타났다. 컴파일러와 MPI 라이브러리의 조합이 고정되어 있다는 조건하에서는 NetCDF-4.
- 본 연구에서 수행된 최적화 결과를 도입한 결과 기존 시스템의 모델링 운영 시간 대비 최적화된 모델링 과정의 소요 시간은 약 30%가 단축되었으며, 구동된 모델 자료의 처리 및 가공의 과정까지 포함한 전체 시스템의 소요 시간은 기존 대비 약 45%가 감소하였다. 본 연구가 현재 구축되어진 전산 환경 및 가용 가능한 컴파일러 및 라이브러리의 버전에 특화된 최적의 조합이지만 이를 통해 모델의 실행 환경 구성으로 얻어진 모델 수행 시간 단축은 예보관들에게 충분한 모델 결과 분석 시간을 제공하여 예보의 정확도 향상에 기여할 것으로 사료 된다.
- 전산 시스템 환경은 모델의 수치 계산을 위한 병렬 처리에 유용한 GPFS 시스템 및 Infiniband 네트워크를 사용하였고, PBS Pro 스케줄러를 도입하였다. 스케줄러 사용시 작업의 모니터링이 가능해 지므로 각각의 모델 수행시작 및 정상적인 종료에 대한 성공률을 향상 시킬 수 있었으며, 어떤 계산 서버에서 어떠한 작업이 수행될지 지정하는 과정 없이 여러 작업을 제출할 수 있게 해주어 효율적인 서버 자원 관리를 가능하게 해주었다. 구축된 전산을 기반으로 WRF와 CMAQ 모델에 대해 컴파일러(PGI, Intel), MPI (mvapich-2.
- 실제 스케줄러 적용시 이를 통한 작업의 모니터링이 가능해 지므로 각각의 모델 수행시작 및 정상적인 종료에 대한 성공률을 향상 시킬 수 있었으며, 어떤 계산 서버에서 어떠한 작업이 수행될지 지정하는 과정 없이 여러 작업을 제출할 수 있게 해주어 효율적인 서버 자원 관리를 가능하게 해주었다. 이와 같은 스케줄러를 통한 안정적인 모델 운영과 함께 모델 수행 시간의 단축을 위해서 모델의 구동 특성을 고려한 서버 환경을 구축하였다(Table 3).
- 각각의 실험군은 Nx와 Ny의 조합에 의해 전체 코어수가 Nx와 Ny의 곱이 될 수 있도록 설계하였는데 이때 Nx를 기준으로 Ny를 증가 시키며 실험을 수행하였다. 실험 결과 전체 실험 중에서 가장 많은 192개 코어를 사용한 실험이 47분 46초로 가장 긴 작업수행시간을 보였다. 고정된 Nx에서는 코어수가 증가함에 따라 성능 하락을 보였지만 Nx가 6으로 고정된 CC1~CC3의 실험의 경우 코어수가 증가함에 따라 향상된 성능을 보였다.
- 따라서 자원을 최소한으로 사용한 경우 모델 수행을 위한 최적의 CPU 코어 및 서버 수는 WRF 84개(계산 서버 3대), CMAQ 64개(계산 서버 3대)로 판단할 수 있다. 위의 다양한 민감도 실험 연구를 종합해 보면 예보 모델의 구동 성능은 각 모델의 특성에 따라 구성 환경에 영향을 받음을 알 수 있다. WRF 모델의 경우 컴파일러 및 라이브러리의 조합 실험에 의한 차이보다는 CPU 코어 수에 따른 차이에 의한 변화가 컸던 반면, CMAQ 모델의 경우에는 컴파일러 및 라이브러리의 조합에 의한 변화가 가장 크게 나타났다.
- 3이 더 좋은 성능을 나타냈다. 이를 종합해 볼 때 컴파일러 및 라이브러리 종류에 따른 WRF 모델의 실험결과, WL7번 실험의 조합(Intel complier/mvapich-2.0/NetCDF-3.6.3)의 소요 시간이 약 30분으로 전체 실험 중 가장 좋은 결과를 나타냈다(Fig.5, Table 7).
- 7, Table 9). 이중 가장 좋은 성능을 보인 실험은 WC4로 계산 서버 5대, 140개의 코어를 사용하였을 때 가장 뛰어난 성능을 보임을 알 수 있다. 단순히 모델의 구동 소요 시간 측면에서는 WC4 번 실험이 가장 우수하지만, CPU 코어 수 사용대비 소요 시간 측면을 함께 고려하면 WC2~WC4 경우 모두 우수하다고 볼 수 있다.
- 1대의 계산 서버는 28 개의 CPU 코어로 구성되어 있어 코어 할당시 서버 전체 코어를 모두 사용하여 실험을 진행하였다. 전체 실험 중에서 56개의 CPU 코어를 사용했을 때 가장 긴 작업수행시간을 보였는데 CPU 코어 수가 증가함에 따라 성능이 향상되었지만 168개부터 하락하였다. 이는 코어 수가 많아짐에 따라 계산을 위해 자료를 분배 하고 취합하는데 더 많은 시간이 더 소요되었기 때문으로 판단된다.
- CPU 코어수가 224개를 넘어서자 작업수행시간이 더 이상 증감을 보이지 않는 상태가 되었다. 전체 실험의 평균 작업수행시간은 25분 48초이며 평균 이상의 성능을 보인 실험은 WC2, WC3, WC4로 나타났다(Fig. 7, Table 9). 이중 가장 좋은 성능을 보인 실험은 WC4로 계산 서버 5대, 140개의 코어를 사용하였을 때 가장 뛰어난 성능을 보임을 알 수 있다.
- 고정된 Nx에서는 코어수가 증가함에 따라 성능 하락을 보였지만 Nx가 6으로 고정된 CC1~CC3의 실험의 경우 코어수가 증가함에 따라 향상된 성능을 보였다. 전체 실험의 평균 작업수행시간은 46분 19초이며 평균이상의 성능을 보인 실험은 CC3~CC8로 이중 가장 좋은 성능을 보인 실험은 CC7실험이다. CC7 실험은 Nx가 10이고 Ny 가 12인 분해능일 때 약 45분 29초의 작업수행시간이 소요 되었다(Fig.
- 따라서 CMAQ 실험결과 컴파일러와 NetCDF의 선택이 중요함을 알 수 있다. 총 12개의 조합 중에서 CL7번 실험(Intel complier/mvapich-2.0/ NetCDF-3.6.3)이 약 47분의 소요 시간으로 가장 좋은 결과를 보였다(Fig.6, Table 8).
- 3) 종류에 따른 12가지 조합을 구성하여 작업수행시간 측정을 통한 최적화 실험을 수행하였다. 컴파일러 및 라이브러리 종류에 따른 실험 결과, WRF 및 CMAQ 모델은 12개의 조합 중에서 Intel complier, mvpich-2.0, NetCDF-3.6.3 조합을 적용한 경우 WRF는 30분 30초, CMAQ은 47분 22초로 가장 우수한 성능을 보였다. 또한 CPU 코어 수에 따른 최적화 결과, WRF 모델은 140코어(계산 서버 5대)에서, CMAQ 모델은 120 코어(계산 서버 5대)에서 가장 좋은 결과를 보였다.
- 3은 약 2배 더 좋은 성능을 보였다. 컴파일러와 NetCDF 라이브러리의 조합이 동일하게 구성 되어있다는 조건하에서는 작업수행시간이 약 150분으로 MPI 라이브러리 버전에 상관없이 유사하게 나타났으며 이는 Intel과 PGI 컴파일러 모두 동일하게 나타났다. 따라서 CMAQ 실험결과 컴파일러와 NetCDF의 선택이 중요함을 알 수 있다.
- (2009)은 WRF 모델 수행 시 MPI (Message Passing Interface) 종류(MVAPICH, Open MPI)별 성능 분석 결과 종류에 따른 성능의 차이는 없음을 밝혔다. 하지만 서버 네트워크 연결 방식 (InfiniBand, GigE)에 따른 성능 분석을 실시한 결과 InfiniBand가 GigE보다 최소 2%(2노드), 최대 115%(23노드)의 성능향상이 있음을 밝혔다. 이는 Cho et al.
후속연구
- 본 연구에서 수행된 최적화 결과를 도입한 결과 기존 시스템의 모델링 운영 시간 대비 최적화된 모델링 과정의 소요 시간은 약 30%가 단축되었으며, 구동된 모델 자료의 처리 및 가공의 과정까지 포함한 전체 시스템의 소요 시간은 기존 대비 약 45%가 감소하였다. 본 연구가 현재 구축되어진 전산 환경 및 가용 가능한 컴파일러 및 라이브러리의 버전에 특화된 최적의 조합이지만 이를 통해 모델의 실행 환경 구성으로 얻어진 모델 수행 시간 단축은 예보관들에게 충분한 모델 결과 분석 시간을 제공하여 예보의 정확도 향상에 기여할 것으로 사료 된다. 향후 본 연구의 구성과 다른 전산 환경에서 예보 모델 구동시 운영 모델별 최적화 실험이 추가로 요구되지만 본 연구 결과를 활용하면 적은 시간과 노력으로 좋은 결과를 빠르게 얻을 것으로 사료된다.
- 이러한 최적화 된 대기질 예보 모델링 환경 구축은 모델 자료 생산·가공 시간의 단축 및 효율적인 예보 자료 생산에 기여할 것으로 판단되며 예보관들은 모델결과를 분석하는데 충분한 시간을 확보하여 결과적으로 예보 정확도 향상에 크게 기여할 것으로 기대된다.
- 본 연구가 현재 구축되어진 전산 환경 및 가용 가능한 컴파일러 및 라이브러리의 버전에 특화된 최적의 조합이지만 이를 통해 모델의 실행 환경 구성으로 얻어진 모델 수행 시간 단축은 예보관들에게 충분한 모델 결과 분석 시간을 제공하여 예보의 정확도 향상에 기여할 것으로 사료 된다. 향후 본 연구의 구성과 다른 전산 환경에서 예보 모델 구동시 운영 모델별 최적화 실험이 추가로 요구되지만 본 연구 결과를 활용하면 적은 시간과 노력으로 좋은 결과를 빠르게 얻을 것으로 사료된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.