프로그래밍 언어에서 변수를 사용하여 메모리의 특정 영역을 접근하는 것처럼, 텍스트 파일의 특정 영역도 문자열 이름을 가지는 변수로 표현하여 해당 영역의 값을 읽고 수정할 수 있는 텍스트 파일 인터페이스를 지원할 수 있다. 이것을 CAE, CAD, CAO 통합 자동화 시스템 분야에서는 파일 랩핑 (File Wrapping) 이라 한다. 파일 랩핑은 CAE, CAD, CAO 통합 자동화의 핵심 기술 중 하나이면서, 파일의 크기와 영역의 개수 및 분포에 따라서 통합 자동화 시스템의 실행 속도에 큰 영향을 미친다. 본 논문에서는 파일 랩핑의 핵심 기능을 일반화한 텍스트 파일 영역 관리 모델을 정의하고, 이를 그리드 서비스로 구현한 프로토타입의 구조를 설명한다. 그리고 구현된 프로토타입의 실행 결과 분석을 통하여, 제안된 모델과 텍스트 파일 영역 관리 서비스의 효용성을 검증한다.
프로그래밍 언어에서 변수를 사용하여 메모리의 특정 영역을 접근하는 것처럼, 텍스트 파일의 특정 영역도 문자열 이름을 가지는 변수로 표현하여 해당 영역의 값을 읽고 수정할 수 있는 텍스트 파일 인터페이스를 지원할 수 있다. 이것을 CAE, CAD, CAO 통합 자동화 시스템 분야에서는 파일 랩핑 (File Wrapping) 이라 한다. 파일 랩핑은 CAE, CAD, CAO 통합 자동화의 핵심 기술 중 하나이면서, 파일의 크기와 영역의 개수 및 분포에 따라서 통합 자동화 시스템의 실행 속도에 큰 영향을 미친다. 본 논문에서는 파일 랩핑의 핵심 기능을 일반화한 텍스트 파일 영역 관리 모델을 정의하고, 이를 그리드 서비스로 구현한 프로토타입의 구조를 설명한다. 그리고 구현된 프로토타입의 실행 결과 분석을 통하여, 제안된 모델과 텍스트 파일 영역 관리 서비스의 효용성을 검증한다.
In the areas of CAE, CAD and CAO integration & automation technology, the word 'File Wrapping' means a virtualization of TEXT files that supports variables-based I/Os like variable assignments in programming languages. This File Wrapping process is one of the cornerstones of CAE, CAD and GAO integra...
In the areas of CAE, CAD and CAO integration & automation technology, the word 'File Wrapping' means a virtualization of TEXT files that supports variables-based I/Os like variable assignments in programming languages. This File Wrapping process is one of the cornerstones of CAE, CAD and GAO integration & automation, and the performance of File Wrapping process, which is depending on the sire of a TEXT file to be accessed and the number of regions and their distribution, has a critical effect on the total performance of the CAE, CAD and CAO integration & automation systems. In this paper, we define TEXT File Region Management which generalizes the main functions of the File Wrapping process, and describe a prototype of TEXT file Region Management which is implemented as a Grid service. After that, the validity of the proposed model and the TEXT File Region Management service are discussed with evaluation results of the prototype.
In the areas of CAE, CAD and CAO integration & automation technology, the word 'File Wrapping' means a virtualization of TEXT files that supports variables-based I/Os like variable assignments in programming languages. This File Wrapping process is one of the cornerstones of CAE, CAD and GAO integration & automation, and the performance of File Wrapping process, which is depending on the sire of a TEXT file to be accessed and the number of regions and their distribution, has a critical effect on the total performance of the CAE, CAD and CAO integration & automation systems. In this paper, we define TEXT File Region Management which generalizes the main functions of the File Wrapping process, and describe a prototype of TEXT file Region Management which is implemented as a Grid service. After that, the validity of the proposed model and the TEXT File Region Management service are discussed with evaluation results of the prototype.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
DAIS (Data Access and Integration Services) 작업그룹은 GGF에 소속되어 그리드 환경에서 데이타의 가상화를 실현하는 아키텍처를 구축하는 것을 목표로 하고 있다. 여기에 포함되는 핵심 서비스로는 데이타 찾기 (discovery), 연합 접근(federated access), 작업흐름관근] (workflow coordination), 동시성 관리 (consistency management), 그리고 협업 (collaboration) 지원 등이 있다⑻.
본연구의 일차 목표는 파일 랩핑을 구현하는데 필요한 핵심적인 기능을 그리드 서비스로 지원하는 것이다. 그리고 이차적으로는 이 서비스를 이용하여 분산 파일 랩핑을 구현하였을 때, 매우 큰 파일의 파일 랩핑에 소요되는 시간을, 기존 시스템에서 실행할 때 보다 얼마나 줄일 수 있는지를 분석하여 그 적용 가능성을 연구하는 것이다.
먼저 구간 개수 변화에 따른 성능을 비교해 보자. 그림 4, 5, 6, 7은 각각 2M, 20M, 200M, 2G의 파일에서 구간 개수를 1, 5, 10, 50, 100, 500, 1000으로 증가하면서 파일 영역 관리를 실행한 속도를 측정한 결과를 보여 준다.
본 논문에서는 텍스트 파일 영역 관리를 그리드 서비스로 모델링 한 연구 결과와 구현된 프로토타입의 실행 및 분석 결과를 기술하였다.
본 논문에서는 파일 랩핑의 핵심 기능인 텍스트 파일 영역 관리 기능을 그리드 환경에서 설계 및 구현한 내용을 기술한다. 또한, 구현된 프로토타입의 성능을 분석하여 CAE, CAD, CAO 통합 및 자동화 환경을 그리드시스템으로 구성하였을 때 기대되는 유용성을 검토한다.
본 연구에서는 바로 이 문제점을 개선하기 위하여 n 리드 환경에서 분산 파일 랩핑 기능을 시도하였다. 본연구의 일차 목표는 파일 랩핑을 구현하는데 필요한 핵심적인 기능을 그리드 서비스로 지원하는 것이다.
본 연구에서는 영역 관리를 적용할 파일 내용의 전송을 위하여, GridFTP을 사용한 데이타 전송도 블록 단위로 파일의 내용을 전송하는 기능의 대안으로 적용될 수 있도록 설계를 하였다. 또한, 동시성 관리 및 협업 기능 등을 대용량 파일 영역 관리에 지원하기 위하여 DAIS와 GFS 작업 그룹의 연구 결과들을 하부 구조로 활용하는 구조를 염두에 두었다.
본연구의 일차 목표는 파일 랩핑을 구현하는데 필요한 핵심적인 기능을 그리드 서비스로 지원하는 것이다. 그리고 이차적으로는 이 서비스를 이용하여 분산 파일 랩핑을 구현하였을 때, 매우 큰 파일의 파일 랩핑에 소요되는 시간을, 기존 시스템에서 실행할 때 보다 얼마나 줄일 수 있는지를 분석하여 그 적용 가능성을 연구하는 것이다.
가설 설정
1. 시뮬레이션 입력 값들이 저장되어야 할 텍스트 파일 (들)의 특정 영역의 값을 새로운 값으로 변경한다.
1. 클라이언트가 VSS에 영역 관리를 적용할 파일 업로딩을 요청한다.
1. 클라이언트가 VSS에 전송된 파일에 대한 파일 영역서비스를 요청한다.
3. 실행이 정상적으로 종료 되면, 해석 결과가 저장된 텍스트 파일(들)이 생성된다.
그리드 시스템을 구성하는 컴퓨터가 n 개가 있다고 가정하자. 그리드 시스템에서 파일 영역 관리에 소요되는 전체시간 g는 크게, 그리드를 구성하는 모든 컴퓨터에 전체 파일의 부분 내용을 전송하는데 소요되는 시간 了以湖와 이들 각각의 컴퓨터에서 파일 영역 관리에 소요되는 시간 Ti(lMiMn)의 최대값, 그리고 수정된 부분 내용들을 개별 컴퓨터에서 전송 받아 하나의 파일로 만드는 데 소요되는 시간 TdouWoed의 합으로 구성된다.
제안 방법
가상 저장소 서비스는 저장소 기증 서비스를 구성하는 메쏘드들에 다음의 메쏘드들을 추가하여 설계하였다 (표 3).
기술한다. 또한, 구현된 프로토타입의 성능을 분석하여 CAE, CAD, CAO 통합 및 자동화 환경을 그리드시스템으로 구성하였을 때 기대되는 유용성을 검토한다.
있도록 설계를 하였다. 또한, 동시성 관리 및 협업 기능 등을 대용량 파일 영역 관리에 지원하기 위하여 DAIS와 GFS 작업 그룹의 연구 결과들을 하부 구조로 활용하는 구조를 염두에 두었다.
본 연구에서는 위 절에서 정의한 텍스트 파일 영역관리 기능을, 그리드 서비스 규정[12]을 준수하는 서비스(File Region Management Service, 줄여서 FRS) 로 설계 및 구현하였다. FRS 서비스는 표 1과 같이 4 개의 메쏘드로 구성되었다.
본 장에서는 먼저, CAE, CAD, CAO 통합 및 자동화 환경에 파일 랩핑이 사용되는 구체적인 예를 통하여 파일 랩핑의 의미와 필요성을 살펴 본다.
위 절차들을 실행하는 첫 번째 방법은 엔지니어가 매번 텍스트 파일 편집기를 사용하여 해당 영역의 값들을 원하는 값들로 수정한 후 프로그램을 실행하고, 그 결과를 역시 텍스트 편집기를 사용하여 확인하는 것이다. 두 번째는 다음과 유사한 형태의 프로그램 실행으로 위 작업을 자동화 할 수 있도록, 텍스트 파일 인터페이스를 구현하는 것이다.
이 가운데에서 본 연구에서는 GridFTP와 DAIS 작업 그룹(working group), 그리고 GFS 작업 그룹의 연구 내용들을 참조하였다.
이를 위해 저장소 기증 서비스(Storage Donor Service, 줄여서 SDS) 와 가상 저장소 서비스 (Virtual Storage Service, 줄여서 VSS)를 추가로 설계하였다(표 2).
예. 컴퓨터 시뮬레이션을 이용하여 두 자동차가 서로 정면 충돌을 하였을 때 발생하는 역학 현상을 실험한다. 이 때, 엔지니어는 A.
특히 이번 실험에서는 엔지니어가 입력 정보 중 input File.txt 파일의 17라인(line)의 5번째에서 10번째 칼럼 (column), 104라인의 52번째에서 73번째 칼럼 영역에 해당하는 값들을 변경해서 시뮬레이션을 실행해야 한다. 위 칼럼들에 대입할 값들은 1부터 100까지 정수로 총 100개이다.
파일 영역 관리를 적용할 파일들은 파일 크기를 2M, 20M, 200M, 2G, 4G, 그리고 8G로 다양화 하였다. 그러나, 각각의 파일은 10 bytes로 구성된 라인들로 동일한 구조로 구성되었다.
평가의 주 목적은 구현된 그리드 서비스의 성능 평가이므로, 먼저 동일한 파일에 대하여 단일 컴퓨터에서 실행 한 후(위 평가 절차에서 1번과 6번을 제외한 실행), 이 결과를 1번부터 6번까지의 전체 절차를 실행한 그리드 서비스의 성능과 비교하였다.
대상 데이터
4G와 8G의 파일에 대해서도 동일한 실험을 진행하여, 유사한 결과를 뽐아 낼 수 있었다 (이들의 경우에는 실행에 시간이 많이 걸려서 구간 개수를 10개로 제한하여 실험하였다).
본 논문은 서론을 포함하여 5장으로 구성된다. 2장에서 텍스트 파일 영역 관리에 대하여 기술하며, 본 연구에서 제안하는 방법과 기존 소프트웨어에서 구현된 파일 영역 관리의 차별 점들을 기술한다.
성능/효과
1. 클라이언트가 VSS에 영역 관리가 적용되어 내용이 변경된 파일의 다운로딩을 요청한다.
2. VSS는 요청 받은 파일을 분산하여 저장할 수 있는 SDS들을 선택한 후, 개별 SDS마다 사용할 저장 공간을 확정한다.
2. VSS는 자신과 연계되는 FRS를 클라이언트에 할당한다.
3. 클라이언트가 파일 내용을 VSS에 전달하면, VSS는 단계 2에서 결정된 개별 SDS에게 파일 내용을 분산하여 전송한다.
6. SDS와 연계된 FRS는 요청 받은 작업을 수행 후, 그 결과를 VSS와 연계된 FRS에 전달한다.
7. VSS와 연계된 FRS는 단계 6에서 획득한 부분 파일별 영역 정보를 전체 파일에 대한 정보로 변경 후, 클라이언트에게 전달한다.
4에서 지원되는 javautil.Random.nextlnt(int) 메쏘드를 사용하여 생성하였으며, 구간들의 위치는 테스트 파일의 전구간에 균등하게 분포되었음을 분석 프로그램을 사용하여 확인하였다.
와 爲皿E 가 고정으로 포함 된다. 따라서, 단일시스템에서의 파일 영역 관리에 소요되는 시간이 (Tupload + Tdownload) 보다 적을 경우는 본 방법을 적용하는 것이 비효율적이다. 그러나, 위 실험 결과에서도 보여지듯이, 파일의 구간 개수가 많아질수록, 또한 그리드시스템에서 사용할 수 있는 컴퓨터의 개수가 증가할수록 그리드 시스템에서 파일 영역 관리를 실행하는 것이 단일 시스템에서 실행하는 것 보다 더 유리하다.
두 경우 모두 전체 실행 소요 시간을 100으로 했을 때, 거의 80에 해당하는 부분이 네트워크 전송에 소요되었음을 알 수 있다. 따라서, 본 실험에서 사용한 10Mbps의 네트워크 환경 보다 더 빠른 전송 속도를 지원하는 네트워크 환경 (100Mbps 또는 IGbps)에서 구축된 그리드 시스템에서는 전체 실행 시간이 네트워크 성능에 비례하여 단축 될 것이다.
적은 수의 컴퓨터들로 구성된 그리드 환경에서 실행된 실험 결과 이지만, 본 연구를 통하여 영역 관리를 적용하는 파일이 대용량이고 변경되는 구간의 개수가 많다면 단일 시스템 보다 그리드 시스템에서 텍스트 파일 영역 관리를 하는 것이 효율적임을 알 수 있다.
후속연구
및 분석할 예정이다. 또한, 일시적인 네트워크 에러 등의 시스템 예외 사항들이 발생 하더라도 파일 영역관리 서비스를 그리드 시스템에서 안정적으로 실행 할 수 있는 구조 설계에 대한 연구도 병행하여 진행할 계획이 다.
앞으로, 본 연구에서 제시한 방법을 사용하여 다양한 통합 자동화 문제들에 적용하여 시스템 성능 개선을 평가 및 분석할 예정이다. 또한, 일시적인 네트워크 에러 등의 시스템 예외 사항들이 발생 하더라도 파일 영역관리 서비스를 그리드 시스템에서 안정적으로 실행 할 수 있는 구조 설계에 대한 연구도 병행하여 진행할 계획이 다.
참고문헌 (13)
Michael Sobolewski, Ravi-Kiran Malladi-Venkata, Abhijit Rai, Grid and Service-oriented Computing: The Intergrid Perspective, http://www.sorcer.cs.ttu.edu/publications/presentations/SORCER-GUG 040616.ppt
R.M. Kolonay and M. Sobolewski, Grid Interactive Service-Oriented Programming, http://www.sorcer.cs.ttu.edu/publications/papers/CE2004-557.pdf
홍은지, 이세정, 이재호, 김승민, 다분야통합최적설계를 위한 데이타 서버 중심의 컴퓨팅 기반구조, 한국 CAD/CAM학회 논문집, 8권 4호: 231-242, 2003
Vijayshankar Raman, et al, Services for Data Access and Data Processing on Grids, DAIS Working Group, Global Grid Forum, February 9, 2003
Pradeep Padala (ed.), A Survey of Grid File Systems, Grid File System Working Group, Global Grid Forum
John H.Howard, An overview of the Andrew File System, In Proceedings of the USENIX Winter Conference, pages 23-2, Berkeley, CA, USA, January 1988, USENIX Association
B.Callaghan, B. Pawlowski, and P.Staubach, RFC 1813: NFS version 3 protocol specification, June 1995
S. Tuecke, et al, Open Grid Services Infrastructure (OGSI), http://www.ggf.org/documents/final.htm
I.Foster and C.Kesselman, Globus: A metacomputing infrastructure toolkit, The International Journal of Supercomputer Applications and High Performance Computing, 11(2):115-128, 1997
※ AI-Helper는 부적절한 답변을 할 수 있습니다.