농업기상재해 조기경보시스템에서의 고해상도 격자형 자료의 처리 속도 향상 기법 Speed-up Techniques for High-Resolution Grid Data Processing in the Early Warning System for Agrometeorological Disaster원문보기
데이터 처리 속도는 예보 능력과 관련이 있다. 최신의 입력 자료를 이용한 예측 데이터의 고속 생산은 신속한 대처를 가능하게 한다. 또한 알고리즘 작성, 계산, 결과 평가, 알고리즘 개선으로 이어지는 순환 구조를 원활하게 할 뿐만 아니라 오류 발생시 빠른 시간 내에 복구할 수 있게 하는 등 매우 중요한 요소이다. 현재의 조기경보 시스템은 매 계산 주기 마다 섬진강 유역의 10개 시군에 대해 30미터 해상도의 격자형 자료를 400개 이상 생성하고 있으며(중간 데이터 포함) 최대 9일까지 예보되는 자료를 포함할 경우 600개 이상이다. 이는 전국을 30미터 해상도로 약 45개를 생성하는 계산양과 비슷하다. 또한 14,000여개의 필지에 대한 구역 통계와, 각 래스터의 평균, 최대, 최소 등의 통계자료 생성도 함께 수행 해야 한다. 이와 같은 대량의 데이터를 한정된 시간 내로 처리하기 위한 몇 가지 기법을 적용하여 적용하였으며, 아직 적용은 못하였으나 가능성의 여부를 평가해 보는 것으로 본 연구를 진행하였다. 그 결과 앞서 제시된 래스터 캐시, NFS 캐시, 분산 처리를 모두 적용할 경우 데이터 처리 시간을 1/8로 단축 시킬 수 있음이 확인되었다. 또한 GPU를 이용한 연산을 적용할 경우 일부 모듈에 대해 매우 큰 폭으로 수행 시간을 단축 시킬 수 있음을 확인하였다. 다만 캐시를 위한 추가적인 디스크, GPU라는 별도의 하드웨어, 추가된 하드웨어 지원을 위한 고출력 전원 장치와 이에 따른 UPS (Uninterruptible power supply, 무정전 전원공급 장치)까지 상대적으로 높은 사양으로 준비해야 하는 비용적인 문제가 발생할 수 있다. 본 연구에서 제시한 네 가지 기법 중 세 가지는 계산 서버 추가를 통한 수평적 성능 확장에 관한 것이다. 하지만 서버의 추가가 처리 속도 향상으로 이어지지 않음은 물론 오히려 저하시키는 경우가 있다. 본 연구에서는 특정 시간 내로 작업을 완료 시키지 못하면 해당 작업을 반환하여 다른 서버가 처리하는 간단한 방식을 이용한다. 하지만 이런 문제를 지속적으로 발생시키는 계산 서버가 발견된다면 정해진 기준에 따라 계산 작업에서 완전히 퇴출 시켜야 성능 향상에 도움이 된다. 따라서 처리 속도에 대한 정확한 원인을 검사하고 이를 실시간으로 반영할 수 있는 기법이 필요하다.
데이터 처리 속도는 예보 능력과 관련이 있다. 최신의 입력 자료를 이용한 예측 데이터의 고속 생산은 신속한 대처를 가능하게 한다. 또한 알고리즘 작성, 계산, 결과 평가, 알고리즘 개선으로 이어지는 순환 구조를 원활하게 할 뿐만 아니라 오류 발생시 빠른 시간 내에 복구할 수 있게 하는 등 매우 중요한 요소이다. 현재의 조기경보 시스템은 매 계산 주기 마다 섬진강 유역의 10개 시군에 대해 30미터 해상도의 격자형 자료를 400개 이상 생성하고 있으며(중간 데이터 포함) 최대 9일까지 예보되는 자료를 포함할 경우 600개 이상이다. 이는 전국을 30미터 해상도로 약 45개를 생성하는 계산양과 비슷하다. 또한 14,000여개의 필지에 대한 구역 통계와, 각 래스터의 평균, 최대, 최소 등의 통계자료 생성도 함께 수행 해야 한다. 이와 같은 대량의 데이터를 한정된 시간 내로 처리하기 위한 몇 가지 기법을 적용하여 적용하였으며, 아직 적용은 못하였으나 가능성의 여부를 평가해 보는 것으로 본 연구를 진행하였다. 그 결과 앞서 제시된 래스터 캐시, NFS 캐시, 분산 처리를 모두 적용할 경우 데이터 처리 시간을 1/8로 단축 시킬 수 있음이 확인되었다. 또한 GPU를 이용한 연산을 적용할 경우 일부 모듈에 대해 매우 큰 폭으로 수행 시간을 단축 시킬 수 있음을 확인하였다. 다만 캐시를 위한 추가적인 디스크, GPU라는 별도의 하드웨어, 추가된 하드웨어 지원을 위한 고출력 전원 장치와 이에 따른 UPS (Uninterruptible power supply, 무정전 전원공급 장치)까지 상대적으로 높은 사양으로 준비해야 하는 비용적인 문제가 발생할 수 있다. 본 연구에서 제시한 네 가지 기법 중 세 가지는 계산 서버 추가를 통한 수평적 성능 확장에 관한 것이다. 하지만 서버의 추가가 처리 속도 향상으로 이어지지 않음은 물론 오히려 저하시키는 경우가 있다. 본 연구에서는 특정 시간 내로 작업을 완료 시키지 못하면 해당 작업을 반환하여 다른 서버가 처리하는 간단한 방식을 이용한다. 하지만 이런 문제를 지속적으로 발생시키는 계산 서버가 발견된다면 정해진 기준에 따라 계산 작업에서 완전히 퇴출 시켜야 성능 향상에 도움이 된다. 따라서 처리 속도에 대한 정확한 원인을 검사하고 이를 실시간으로 반영할 수 있는 기법이 필요하다.
The objective of this study is to enhance the model's speed of estimating weather variables (e.g., minimum/maximum temperature, sunshine hour, PRISM (Parameter-elevation Regression on Independent Slopes Model) based precipitation), which are applied to the Agrometeorological Early Warning System (ht...
The objective of this study is to enhance the model's speed of estimating weather variables (e.g., minimum/maximum temperature, sunshine hour, PRISM (Parameter-elevation Regression on Independent Slopes Model) based precipitation), which are applied to the Agrometeorological Early Warning System (http://www.agmet.kr). The current process of weather estimation is operated on high-performance multi-core CPUs that have 8 physical cores and 16 logical threads. Nonetheless, the server is not even dedicated to the handling of a single county, indicating that very high overhead is involved in calculating the 10 counties of the Seomjin River Basin. In order to reduce such overhead, several cache and parallelization techniques were used to measure the performance and to check the applicability. Results are as follows: (1) for simple calculations such as Growing Degree Days accumulation, the time required for Input and Output (I/O) is significantly greater than that for calculation, suggesting the need of a technique which reduces disk I/O bottlenecks; (2) when there are many I/O, it is advantageous to distribute them on several servers. However, each server must have a cache for input data so that it does not compete for the same resource; and (3) GPU-based parallel processing method is most suitable for models such as PRISM with large computation loads.
The objective of this study is to enhance the model's speed of estimating weather variables (e.g., minimum/maximum temperature, sunshine hour, PRISM (Parameter-elevation Regression on Independent Slopes Model) based precipitation), which are applied to the Agrometeorological Early Warning System (http://www.agmet.kr). The current process of weather estimation is operated on high-performance multi-core CPUs that have 8 physical cores and 16 logical threads. Nonetheless, the server is not even dedicated to the handling of a single county, indicating that very high overhead is involved in calculating the 10 counties of the Seomjin River Basin. In order to reduce such overhead, several cache and parallelization techniques were used to measure the performance and to check the applicability. Results are as follows: (1) for simple calculations such as Growing Degree Days accumulation, the time required for Input and Output (I/O) is significantly greater than that for calculation, suggesting the need of a technique which reduces disk I/O bottlenecks; (2) when there are many I/O, it is advantageous to distribute them on several servers. However, each server must have a cache for input data so that it does not compete for the same resource; and (3) GPU-based parallel processing method is most suitable for models such as PRISM with large computation loads.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
GPU를 이용한 병렬 처리는 하나의 래스터를 고속으로 처리하기 위해 그리고 GPU가 래스터를 처리하는 동안 CPU를 다른 작업에 이용할 수 있도록 하여 시스템의 성능을 향상 시키는 데 그 목적을 두었다. 조기경보 시스템은 별도의 GPU 하드웨어를 탑재되어있지 않으며, CPU 또한 OpenCL™ (Open computing language)을 지원하지 않는 모델이기 때문에 추가적인 자원 투입 없이 적용할 수 있는 기법이 아니다.
래스터 캐시는 다양한 종류, 영역, 해상도의 입력자료를 데이처 처리 시점에 동적으로 지원하고 독립된 프로세스의 중복 연산을 줄임으로써 결과적으로는 데이터 처리 속도를 일정하게 유지하면서도 다양한 형식의 데이터를 지원하는 것을 목표로 하였다. 그 결과 래스터 캐시를 사용하는 것은 사용하지 않는 것 대비 데이터의 처리 속도가 최대 3배 향상됨을 볼 수 있었다.
다만 캐시를 위한 추가적인 디스크, GPU라는 별도의 하드웨어, 추가된 하드웨어 지원을 위한 고출력 전원 장치와 이에 따른 UPS (Uninterruptible power supply, 무정전 전원공급 장치)까지 상대적으로 높은 사양으로 준비해야 하는 비용적인 문제가 발생할 수 있다. 본 연구에서 제시한 네 가지 기법 중 세 가지는 계산 서버 추가를 통한 수평적 성능 확장에 관한 것이다. 하지만 서버의 추가가 처리 속도 향상으로 이어지지 않음은 물론 오히려 저하시키는 경우가 있다.
농업기상재해 조기경보시스템은 기후 상세화 모형, 생물계절 예측모형, 농업기상재해 예측모형, 전국기반 위험지수 산출모형 등 총 4가지 서브 시스템으로 구분될 수 있다. 본 연구에서는 각 서브 시스템을 구성하는 모형을 고속으로 처리하는데 사용될 수 있는 4 가지 기법(래스터 캐시, NFS 캐시, 분산 처리, GPU 병렬 처리)에 대해 소개한다. 그리고 각 기법에 대한 수행 성능을 평가하고 해당 기술 도입 시 기존 대비 얻을 수 있는 데이터 처리 속도 향상 비율을 확인하여 보았다.
분산 처리는 다수의 코어를 가진 하나의 서버뿐만 네트워크로 연결된 여러 서버를 이용하여 처리 해야 할 복수 개의 작업을 분산시켜 최종적으로 수행 시간을 단축 시키는데 목표를 두었다. 조기경보 시스템을 위해 운영되고 있는 4개의 모든 서버를 이용한 것과 1개의 GIS 서버를 이용한 것을 비교하는 것으로 성능을 측정하였다.
또한 14,000여개의 필지에 대한 구역 통계와, 각 래스터의 평균, 최대, 최소 등의 통계 자료 생성도 함께 수행 해야 한다. 이와 같은 대량의 데이터를 한정된 시간 내로 처리하기 위한 몇 가지 기법을 적용하여 적용하였으며, 아직 적용은 못하였으나 가능성의 여부를 평가해 보는 것으로 본 연구를 진행하였다. 그 결과 앞서 제시된 래스터 캐시, NFS 캐시, 분산 처리를 모두 적용할 경우 데이터 처리 시간을 1/8로 단축 시킬 수 있음이 확인되었다.
가설 설정
최초 N개의 프로세스가 동시에 하나의 래스터 데이터에 대한 접근을 수행한다고 가정한다. N개의 프로세스는 각각 원본 래스터 파일에 대한 캐시 파일이 존재하는지 검사하며 캐시 파일이 있는 경우 그 파일이 잠겨있는지 검사한다.
제안 방법
NFS 캐시는 중앙 집중화된 NFS 서버의 Disk I/O에서 발생하는 지연과, 1GBE에 제한된 현재의 조기경보 시스템의 네트워크 한계를 극복하기 위해 도입하였다. 그 결과 NFS 캐시를 사용함으로써 처리 속도가 최대 3배 향상됨을 확인할 수 있었다.
본 연구에서는 각 서브 시스템을 구성하는 모형을 고속으로 처리하는데 사용될 수 있는 4 가지 기법(래스터 캐시, NFS 캐시, 분산 처리, GPU 병렬 처리)에 대해 소개한다. 그리고 각 기법에 대한 수행 성능을 평가하고 해당 기술 도입 시 기존 대비 얻을 수 있는 데이터 처리 속도 향상 비율을 확인하여 보았다. 현재 조기 경보 시스템의 하드웨어 적인 제약으로 인해 일부 기법 및 모델에 대해서는 조기경보 서버가 아닌 외부의 다른 서버에서 성능 측정을 하였으며, 해당 기술의 도입 가능성 여부를 살펴보았다.
2와 같이 하나의 큰 스토리즈를 공유하는 현재 구축되어 있는 시스템에는 도입 대비 얻을 수 있는 효과가 크지 않을 것으로 판단되었다. 따라서 NFS를 통해 이동해야 할 데이터를 각 서버의 캐시 디스크에 직업 파일 형식으로 저장하는 방식으로 공유 자원 접근의 경쟁 문제와 1GBE의 대역폭 한계에 대응하기로 하였다.
또한 멀티 프로세스 시스템에서는 동일한 작업을 여러 프로세스가 반복하는 문제가 있고, 분산 시스템에서는 여러 서버의 여러 프로세스가 동일한 작업을 비슷한 시간대에 중복 처리한다는 문제가 있다. 따라서 본 연구에서는 아래와 같은 방식의 래스터 캐시 정책을 두어, 분산 메모리 병렬 처리 시스템에서도 효율적으로 래스터 데이터를 사용할 수 있는 LRU (least recently used, 최근 최소 사용) 캐시 시스템을 구축하여 보았다
이때 데이터 처리의 속도는 각 서버의 연산 능력에 관계없이 1GBE의 대역폭의 이하로 제약되는 문제가 발생하였다. 따라서 한 곳에 집중된 데이터 입력의 부하를 연산을 담당하는 각 서버에 분산함으로써 데이터 입력에 소모되는 지연을 감소시킬 수 있는 기법을 적용하기로 하였다.
모형을 위한 입력자료를 준비할 때 각 프로세스는 우선 로컬 캐시의 존재 여부를 검사한다. 로컬 캐시가 존재하고 파일이 잠겨있지 않을 경우 해당 파일을 메모리로 읽어 들여 모형의 입력자료로 사용한다.
하지만 서버의 추가가 처리 속도 향상으로 이어지지 않음은 물론 오히려 저하시키는 경우가 있다. 본 연구에서는 특정 시간 내로 작업을 완료 시키지 못하면 해당 작업을 반환하여 다른 서버가 처리하는 간단한 방식을 이용한다. 하지만 이런 문제를 지속적으로 발생시키는 계산 서버가 발견된다면 정해진 기준에 따라 계산 작업에서 완전히 퇴출 시켜야 성능 향상에 도움이 된다.
분산 처리는 다수의 코어를 가진 하나의 서버뿐만 네트워크로 연결된 여러 서버를 이용하여 처리 해야 할 복수 개의 작업을 분산시켜 최종적으로 수행 시간을 단축 시키는데 목표를 두었다. 조기경보 시스템을 위해 운영되고 있는 4개의 모든 서버를 이용한 것과 1개의 GIS 서버를 이용한 것을 비교하는 것으로 성능을 측정하였다. 그 결과 래스터 캐시(2.
1과 같은 작업을 거쳐 캐시를 생성하고 로컬에 캐시를 저장한 후 서버에 이를 전송하여 다른 서버가 이를 이용할 수 있도록 한다. 캐시와 원본의 일치 문제는 고비용의 일치 검사 알고리즘 대신 캐시 파일 이름의 접미사와 원본 파일의 생성 시각 일치 여부를 이용하여 빠르게 결정할 수 있도록 하였다.
그리고 각 기법에 대한 수행 성능을 평가하고 해당 기술 도입 시 기존 대비 얻을 수 있는 데이터 처리 속도 향상 비율을 확인하여 보았다. 현재 조기 경보 시스템의 하드웨어 적인 제약으로 인해 일부 기법 및 모델에 대해서는 조기경보 서버가 아닌 외부의 다른 서버에서 성능 측정을 하였으며, 해당 기술의 도입 가능성 여부를 살펴보았다.
대상 데이터
비교에 사용된 CPU는 현재 조기경보 시스템에서 가장 높은 성능인 GIS 서버에 탑재된 Intel xeon 프로세서가 이용되었고, GPU는 NVIDIA Tesla P100이 이용되었다. Table 6과 같이 성능 측정에 사용된 GPU가 CPU 대비 매우 높은 가격임을 볼 수 있는데 이는 배정밀도 연산 능력, 메모리 오류 정정 기능, NVLink™ 등의 기능에 기인하는 것으로 필수적인 요소는 아니다.
이론/모형
com). Ozimek은 ArcGIS 경우와 유사하게 GRASS GIS 모듈로서 동작할 수 있는 전파 확산 예측 수행을 약 14배 향상 시키는데 병렬처리 기술을 이용하였다(Ozimek et al., 2013). 구글은 자사의 오픈소스 기계학습 및 딥러닝 라이브러리인 텐서플로우에서 NVIDIA GPU 및 Multi-GPU를 지원하면서 데이터 처리 속도를 크게 향상 시켰다(https://www.
분산 처리를 도와주는 여러가지 라이브러리 중 본 연구에서는 기존부터 현업 서비스에 사용되어 온 Celery라는 Python 기반의 라이브러리를 사용하였다. Celery는 기본적으로 RabbitMQ라는 메시지 큐를 사용하며, 이 메시지 큐에 쌓여있는 작업들이 Celery에 의해 생성된 독립적인 프로세스(worker)들에 의해 동시에 처리되면서 높은 성능과 가용성을 제공하게 된다.
타 프로세스의 캐시 생성 작업 수행 여부를 확인하기 위해 파일 잠금 기법을 사용한다. 예를 들어 N개의 프로세스 중 최초로 캐시 생성 작업에 도착한 하나의 프로세스(1번 프로세스라고 명명)는 다른 프로세스들이 파일을 사용할 수 없도록 파일을 잠그고 캐시 생성 작업에 들어간다.
성능/효과
NFS 캐시는 중앙 집중화된 NFS 서버의 Disk I/O에서 발생하는 지연과, 1GBE에 제한된 현재의 조기경보 시스템의 네트워크 한계를 극복하기 위해 도입하였다. 그 결과 NFS 캐시를 사용함으로써 처리 속도가 최대 3배 향상됨을 확인할 수 있었다. 다만 각 서버는 평균적으로 1년치 데이터를 캐시하기 위한 400GB 정도의 스토리지를 추가적으로 소모하므로, 안정적인 운영을 위해서는 약 512GB 이상의 캐시를 할당하는 유리할 것으로 보인다.
조기경보 시스템을 위해 운영되고 있는 4개의 모든 서버를 이용한 것과 1개의 GIS 서버를 이용한 것을 비교하는 것으로 성능을 측정하였다. 그 결과 래스터 캐시(2.1)와 NFS 캐시(2.2)를 활성화한 상태에서는 최대 2배의 성능 향상을 확인할 수 있었다. 성능 향상 폭이 투입된 서버의 개수대비 높지 않은 이유는 기준이 되는 GIS 서버 대비 나머지 서버들의 각 성능이 낮기 때문인 것으로 추측된다.
래스터 캐시는 다양한 종류, 영역, 해상도의 입력자료를 데이처 처리 시점에 동적으로 지원하고 독립된 프로세스의 중복 연산을 줄임으로써 결과적으로는 데이터 처리 속도를 일정하게 유지하면서도 다양한 형식의 데이터를 지원하는 것을 목표로 하였다. 그 결과 래스터 캐시를 사용하는 것은 사용하지 않는 것 대비 데이터의 처리 속도가 최대 3배 향상됨을 볼 수 있었다. 이는 이미 생성된 캐시를 단순히 읽기만 함으로서 캐시 생성에 소요되는 시간을 제거하는 것일 뿐만 아니라 여러 개의 각 프로세스는 각자의 캐시를 생성할 뿐이지만 시스템 전체로서는 모든 캐시를 함께 생성하면서 성능이 향상된 것이다.
이와 같은 대량의 데이터를 한정된 시간 내로 처리하기 위한 몇 가지 기법을 적용하여 적용하였으며, 아직 적용은 못하였으나 가능성의 여부를 평가해 보는 것으로 본 연구를 진행하였다. 그 결과 앞서 제시된 래스터 캐시, NFS 캐시, 분산 처리를 모두 적용할 경우 데이터 처리 시간을 1/8로 단축 시킬 수 있음이 확인되었다. 또한 GPU를 이용한 연산을 적용할 경우 일부 모듈에 대해 매우 큰 폭으로 수행 시간을 단축 시킬 수 있음을 확인하였다.
또한 본 연구에서는 모든 조기경보 모형에 대해 적용해보지 못하였고 가장 높은 성능 향상이 있을 것이라고 추측되는 PRISM 강수(Kim and Yun, 2013)와 성능 향상이 평균적일 것이라고 추측되는 기온의 시간 분해 모델인 Sugiura 알고리즘(Sugiura, 1999)에 대해서만 적용해 보는 것으로 가능성을 확인해 보았다. 그 결과, Kim and Yun(2013) 기법을 이용한 PRISM 강수의 경우 평균 1,000배 이상의 속도향상이 있었고, Sugiura의 경우 평균 6배의 성능 향상이 있었다. CPU 구현의 경우 OpenMP와 같은 병렬화 모델을 사용하지 않았는데, 그 이유는 2.
대용량 스토리지 구성을 위해 널리 사용되고 있는 분산 파일 시스템(Distributed File System, DFS)인 Ceps FS, Lustre FS, Gluster FS등을 고려해 보았으나, Fig. 2와 같이 하나의 큰 스토리즈를 공유하는 현재 구축되어 있는 시스템에는 도입 대비 얻을 수 있는 효과가 크지 않을 것으로 판단되었다. 따라서 NFS를 통해 이동해야 할 데이터를 각 서버의 캐시 디스크에 직업 파일 형식으로 저장하는 방식으로 공유 자원 접근의 경쟁 문제와 1GBE의 대역폭 한계에 대응하기로 하였다.
그 결과 앞서 제시된 래스터 캐시, NFS 캐시, 분산 처리를 모두 적용할 경우 데이터 처리 시간을 1/8로 단축 시킬 수 있음이 확인되었다. 또한 GPU를 이용한 연산을 적용할 경우 일부 모듈에 대해 매우 큰 폭으로 수행 시간을 단축 시킬 수 있음을 확인하였다. 다만 캐시를 위한 추가적인 디스크, GPU라는 별도의 하드웨어, 추가된 하드웨어 지원을 위한 고출력 전원 장치와 이에 따른 UPS (Uninterruptible power supply, 무정전 전원공급 장치)까지 상대적으로 높은 사양으로 준비해야 하는 비용적인 문제가 발생할 수 있다.
조기경보 시스템은 별도의 GPU 하드웨어를 탑재되어있지 않으며, CPU 또한 OpenCL™ (Open computing language)을 지원하지 않는 모델이기 때문에 추가적인 자원 투입 없이 적용할 수 있는 기법이 아니다. 또한 본 연구에서는 모든 조기경보 모형에 대해 적용해보지 못하였고 가장 높은 성능 향상이 있을 것이라고 추측되는 PRISM 강수(Kim and Yun, 2013)와 성능 향상이 평균적일 것이라고 추측되는 기온의 시간 분해 모델인 Sugiura 알고리즘(Sugiura, 1999)에 대해서만 적용해 보는 것으로 가능성을 확인해 보았다. 그 결과, Kim and Yun(2013) 기법을 이용한 PRISM 강수의 경우 평균 1,000배 이상의 속도향상이 있었고, Sugiura의 경우 평균 6배의 성능 향상이 있었다.
후속연구
이는 전국을 30미터 해상도로 약 45개를 생성하는 계산양과 비슷하다. 또한 14,000여개의 필지에 대한 구역 통계와, 각 래스터의 평균, 최대, 최소 등의 통계 자료 생성도 함께 수행 해야 한다. 이와 같은 대량의 데이터를 한정된 시간 내로 처리하기 위한 몇 가지 기법을 적용하여 적용하였으며, 아직 적용은 못하였으나 가능성의 여부를 평가해 보는 것으로 본 연구를 진행하였다.
다만 각 서버는 평균적으로 1년치 데이터를 캐시하기 위한 400GB 정도의 스토리지를 추가적으로 소모하므로, 안정적인 운영을 위해서는 약 512GB 이상의 캐시를 할당하는 유리할 것으로 보인다. 현재의 구현은 캐시가 디스크의 95%를 차지하면 가장 오래된 캐시를 삭제하는 작업을 수행하게 되는데, 만약 캐시에 할당된 디스크의 용량이 크지 않을 경우 오래된 캐시를 제거하는 작업이 빈번하게 발생할 수 있으므로 적절한 용량을 경험적으로 선정할 것이 요구된다.
질의응답
핵심어
질문
논문에서 추출한 답변
농업기상재해 조기경보시스템은 어떻게 구분되는가?
농업기상재해 조기경보시스템은 기후 상세화 모형, 생물계절 예측모형, 농업기상재해 예측모형, 전국기반 위험지수 산출모형 등 총 4가지 서브 시스템으로 구분될 수 있다. 본 연구에서는 각 서브 시스템을 구성하는 모형을 고속으로 처리하는데 사용될 수 있는 4 가지 기법(래스터 캐시, NFS 캐시, 분산 처리, GPU 병렬 처리)에 대해 소개한다.
분산 처리란 무엇인가?
분산 처리(Distributed Computing)는 네트워크 상에 분산된 컴퓨팅 처리 자원을 이용하여 하나의 처리 장치에서 수행하기 어려운 거대 문제를 해결하고자 하는 컴퓨팅 모델이다. 앞서 기술된 바와 같이 4대의 준고성능 서버가 하나의 네트워크상에 연결되어 있으며 각 서버는 최소 8개의 작업을 동시에 전개할 수 있는 능력을 가지고 있다.
본 연구에서 적용한 분산 처리의 서버는 어떤 특징을 가지는가?
분산 처리(Distributed Computing)는 네트워크 상에 분산된 컴퓨팅 처리 자원을 이용하여 하나의 처리 장치에서 수행하기 어려운 거대 문제를 해결하고자 하는 컴퓨팅 모델이다. 앞서 기술된 바와 같이 4대의 준고성능 서버가 하나의 네트워크상에 연결되어 있으며 각 서버는 최소 8개의 작업을 동시에 전개할 수 있는 능력을 가지고 있다.
참고문헌 (10)
Ahn, J. B., J. N. Hur, and A. Y. Lim, 2014: Estimation of fine-scale daily temperature with 30 m-resolution using PRISM. Atmosphere 24(1), 101-110.
Amdahl, G. M., 1967: Validity of the single processor approach to achieving large-scale computing capabilities. AFIPS Conference Proceedings 30, 483-485.
Chung, U., K. Yun, K. S. Cho, J. H. Yi, and J. I. Yun, 2009: The PRISM-based rainfall mapping at an enhanced gridcell resolution in complex terrain. Korean Journal of Agricultural and Forest Meteorology 11, 72-78.
Kim, C. Y., Y. C. Kim, Y. C. Kim, S. M. Lee, Y. K. Kim, and D. W. Seo, 2014: Performance enhancement of distributed file system as virtual desktop storage using client side SSD cache. Computer and Communication System 3(12), 433-442.
Kim, D. J., and J. I. Yun, 2013: Improving usage of the Korea meteorological administration's digital forecasts in agriculture: 2. Refining the distribution of precipitation amount. Korean Journal of Agricultural and Forest Meteorology 15(3), 171-177.
Mielikainen, J., B. Huang, and H. L. A. Huang, 2013: Speeding up the computation of WRF double-moment 6-class microphysics scheme with GPU. Journal of Atmospheric and Oceanic Technology 30(12), 2896-2906.
Ozimek, I., A. Hrovat, A. Vilhar, and T. Javornik, 2015: GPU computation acceleration of GRASS GIS modules for predicting radio-propagation. International Journal of Communication 9, 76-85.
Rodgers, D. P., 1985: Improvements in multiprocessor system design. ACM SIGARCH Computer Architecture News archive 13(3), 225-231.
Sugiura, T., 1999: Prediction of full bloom date of pear using air temperature. Agriculture and Horticulture 54(10), 146-149.
Zhang, J., S. You, and L. Gruenwald, 2015: Efficient parallel zonal statistics on large-scale global biodiversity data on GPUs. Proceedings of the 4th International ACM SIGSPATIAL Workshop on Analytics for Big Geospatial Data, 35-44.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.