[논문]클라우드 컴퓨팅 환경에서 빅데이터 처리를 위한 ART 기반의 적응형 자원관리 방법

조규철; 김재권

doi:10.9709/jkss.2014.23.4.111

클라우드 컴퓨팅 환경에서 빅데이터 처리를 위한 ART 기반의 적응형 자원관리 방법
Adaptive Resource Management Method base on ART in Cloud Computing Environment 원문보기

한국시뮬레이션학회논문지 = Journal of the Korea Society for Simulation, v.23 no.4, 2014년, pp.111 - 119

초록
AI-Helper

클라우드 환경은 빅데이터의 이슈와 데이터 분석을 가능하게 하는 기술로서, 이를 위한 자원 관리 기법이 필요하다. 현재까지의 자원관리 기법은 한정된 계산 방법을 이용하여 자원의 편중의 문제점이 있으며, 이를 해결하기 위해서 자원관리는 자원이력 정보를 활용한 학습기반의 스케줄링이 필요하다. 본 논문에서는 ART(Adaptive Resonance Theory)기반의 적응형 자원관리 기법을 제안한다. 제안하는 기법은 클라우드환경에서 모니터링 및 자원이력을 이용하여 작업의 적합한 할당이 가능하다. 제안하는 방법은 무감독 학습방법을 사용하며, 적응형 자원 관리를 통하여 서비스의 안정성과 데이터 처리성능을 향상시키는 것을 목적으로 한다. 제안하는 방법은 체계적인 자원관리가 가능하고 가용자원을 효율적으로 활용하여 요구 성능을 향상시킬 수 있다는 장점이 있다.

Abstract ▼ AI-Helper

The cloud environment need resource management method that to enable the big data issue and data analysis technology. Existing resource management uses the limited calculation method, therefore concentrated the resource bias problem. To solve this problem, the resource management requires the learning-based scheduling using resource history information. In this paper, we proposes the ART (Adaptive Resonance Theory)-based adaptive resource management. Our proposed method assigns the job to the suitable method with the resource monitoring and history management in cloud computing environment. The proposed method utilizes the unsupervised learning method. Our goal is to improve the data processing and service stability with the adaptive resource management. The propose method allow the systematic management, and utilize the available resource efficiently.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

제안된 기법에 대한 성능을 실험하기 위해, 클라우드 컴퓨팅 환경에서 대용량데이터 처리를 위한 적응형 자원관리와 혼합형 데이터 분류시스템 모델을 구현하였다. 또한 적응형 자원관리의 성능을 평가하기 위해 리스트 기반 동적 자원관리, 응답시간 기반 자원관리기법에 대한 데이터 처리시간 및 자원 활용률을 비교하여 본 논문의 우수성을 검증한다.
본 논문에서는 ART기반의 적응형 자원관리 기법을 제안했다. 적응형 자원관리기법은 지속적인 고성능 작업수행을 위해 참여자원에 대한 데이터보유, 네트워크 성능, 가용스케줄, 예상 처리시간, 신뢰도 등에 대한 자원의 속성요소를 고려하여 수행 작업 가동시점에 맞춰 최적의 자원을 제공하였다.
본 논문에서는 자원의 관리뿐만 아니라 자원의 현황파악, 모니터링 및 이력관리를 통해 최적의 자원을 각 작업별로 할당하는 방법으로 ART(Adaptive Resonance Theory) (Carpenter et al., 1988)기반의 적응형 자원관리기법을 제안한다. 제안하는 방법은 무감독 학습방법을 사용하며 동적 자원 관리기법을 통하여 서비스의 안정성과 데이터 처리성능을 향상시키는 것을 목적으로 한다.
, 1988)기반의 적응형 자원관리기법을 제안한다. 제안하는 방법은 무감독 학습방법을 사용하며 동적 자원 관리기법을 통하여 서비스의 안정성과 데이터 처리성능을 향상시키는 것을 목적으로 한다.

제안 방법

중개자는 자원 공급자에게 사용자의 자원요청 정보를 전달하고, 공급자의 가격입찰을 위한 시장을 개설한다. 공급자는 중 개자로부터 수신한 정보를 바탕으로 자원클러스터(Resource Cluster)에서 자신의 소유한 자원에 대한 가격을 분류비율 관리자(Classification Rate Manager), 에이전트(Agent), 데이터 훈련 머신(Data Training Machine)에 대해서 각각 가격을 책정하여 입찰한다. 중개자는 공급자가 입찰한 가격에 대해서 조건에 맞는 자원과 수량을 결정하고 사용자에게 최저가에 입찰한 공급자와 연결해준다.
그리고 Service Cluster에 3장에서 설명한 자원할당을 위한 엔진을 탑재하여 Resource User에 대한 가용자원과 유용자원을 모니터링하면서, 분류인식률을 95%～96%범위내에 유도할 때까지 시뮬레이션 Iteration을 반복 수행하였다.
생성된 서비스 클러스터의 예는 분류비율 관리자(Classification Rate Manager), 3개의 에이전트(Agent), 12개의 데이터 훈련 머신(Data Training Machine) 등 16개의 컴포넌트로 구성되어 있다. 그리고 참여자원의 속성값으로 CRM, Agent, DTM Cluster 등의 참여가능 서비스유형, 시간단위의 서비스 가능시간, 예약스케줄과 HIGH, MIDDLE, LOW 등의 3가지 값으로 기록된 저장공간, 네트워크 성능, 서비스성능 레벨, 훈련데이터 보유수량 등의 정보를 실험을 진행하는 실제 물리 자원의 CPU, RAM, Net I/O, Net Download, Net Upload, Data Storage, Authority 을 DEVS W/S에서 처리가 가능하게 수치화하여 각 참여자원들의 단위데이터로 구성하였다.
두 번째 단계는 Fig. 2와 같이 가상자원이 보유한 성능및 정보를 ART기법에 적용하기 위해, 자원정보를 데이터 화하여 서비스관리를 위한 대표 클러스터와 비교한다.
두 번째 실험은 각 모델에 대해서, 데이터 분류를 진행 하면서 데이터 처리시간을 측정하여 그 성능을 비교하였다. 대용량데이터를 분류하고, 최적의 분류 성공율(95%)을 유도하기 위해서는 고성능의 작업 수행능력이 필요하게 된다.
클라우드 환경에서 대용량 데이터 처리는 고성능 작업 수행을 실현함에 있어 가용자원 구성의 복잡성 및 상호운영을 위한 유연성뿐만 아니라 다양한 요소를 고려해야 하므로, 기존의 자원할당기법을 해결할 수 있는 자원관리 기법이 요구되고 있다. 본 논문에서는 자원의 현황을 관리, 작업수행 모니터링, 서비스 처리결과에 대한 이력관리를 고려하여 새로운 자원관리기법에 적용한다.
클라우드 컴퓨팅환경에서 가용자원에 대한 관리 성능을 분석하기 위해서 리스트 기반 동적 자원관리(ACM: Active Coordination resource Management), 응답시간 기반 자원관리(RTM: Responsible Time-based resource Management)을 본 논문에서 제안하는 동적 자원관리기법인, 적응형 자원관리(ARM: Adaptive Resource Management)기법에 대해서 자원 활용율과 데이터 처리시간을 비교하는 실험을 진행하였다. 본 논문의 실험을 위해 분산되어 있는 DEVS W/S환경을 가상으로 구성하여 Resource User를 1, 4, 8, 16, 32, 64개의 Resource Provider를 생성하여, 보유한 데이터를 Resource User가 학습 및 분류 테스트를 진행할 데이터를 수신하여 진행하였다. 각 구성 컴포넌트들간의 주요 통신 메시지 및 구성은 Fig.
제안하는 적응형 자원관리는 서비스 협상모델에 적용할 수 있도록 입찰/계약 모델을 이용한다. 사용자의 자원 요구에 맞추어 각 공급자들은 거래를 성사시키기 위해 자원 공급 능력에 따라 가격을 결정하여 입찰한다. 중개자는 자원 공급자에게 사용자의 자원요청 정보를 전달하고, 공급자의 가격입찰을 위한 시장을 개설한다.
서비스의 질을 향상시킬 수 있는 자원을 제공하기 위해, 자원클러스터를 이용하여 동일한 자원형태와 선호하는 유용성 있는 자원을 생성한 후 이를 백업하여 사용한다. 이러한 다중 자원 예약(Georgiopoulos et al.
제안하는 적응형 자원관리를 모의하기 위해 DEVS (Zeigler, 1996)/WS환경을 구축하여 실험 한다. 실험을 위하여 각 모듈과 서비스를 결합하여 모델링 한다.
가상자원을 활용하여 서비스 성능을 높여야 하기 때문에 서비스 특성에 맞는 적당한 자원을 효율적으로 할당해야 한다. 이를 해결하기 위한 방법으로 클라우드 환경에서 데이터 처리를 위한 서비스 환경 구성과 적응형 자원관리를 통해 자원을 할당하는 방법에 대하여 서술 한다.
제안된 기법에 대한 성능을 실험하기 위해, 클라우드 컴퓨팅 환경에서 대용량데이터 처리를 위한 적응형 자원관리와 혼합형 데이터 분류시스템 모델을 구현하였다. 또한 적응형 자원관리의 성능을 평가하기 위해 리스트 기반 동적 자원관리, 응답시간 기반 자원관리기법에 대한 데이터 처리시간 및 자원 활용률을 비교하여 본 논문의 우수성을 검증한다.
제안하는 적응형 자원관리를 모의하기 위해 DEVS (Zeigler, 1996)/WS환경을 구축하여 실험 한다. 실험을 위하여 각 모듈과 서비스를 결합하여 모델링 한다.
클라우드 컴퓨팅환경에서 가용자원에 대한 관리 성능을 분석하기 위해서 리스트 기반 동적 자원관리(ACM: Active Coordination resource Management), 응답시간 기반 자원관리(RTM: Responsible Time-based resource Management)을 본 논문에서 제안하는 동적 자원관리기법인, 적응형 자원관리(ARM: Adaptive Resource Management)기법에 대해서 자원 활용율과 데이터 처리시간을 비교하는 실험을 진행하였다. 본 논문의 실험을 위해 분산되어 있는 DEVS W/S환경을 가상으로 구성하여 Resource User를 1, 4, 8, 16, 32, 64개의 Resource Provider를 생성하여, 보유한 데이터를 Resource User가 학습 및 분류 테스트를 진행할 데이터를 수신하여 진행하였다.

대상 데이터

그리고 최하위 컴포넌트의 프로세스를 최소화하여 데이터 처리작업 위주의 가벼운 작업만 진행 할 수 있는 장점을 기대할 수 있다. 생성된 서비스 클러스터의 예는 분류비율 관리자(Classification Rate Manager), 3개의 에이전트(Agent), 12개의 데이터 훈련 머신(Data Training Machine) 등 16개의 컴포넌트로 구성되어 있다. 그리고 참여자원의 속성값으로 CRM, Agent, DTM Cluster 등의 참여가능 서비스유형, 시간단위의 서비스 가능시간, 예약스케줄과 HIGH, MIDDLE, LOW 등의 3가지 값으로 기록된 저장공간, 네트워크 성능, 서비스성능 레벨, 훈련데이터 보유수량 등의 정보를 실험을 진행하는 실제 물리 자원의 CPU, RAM, Net I/O, Net Download, Net Upload, Data Storage, Authority 을 DEVS W/S에서 처리가 가능하게 수치화하여 각 참여자원들의 단위데이터로 구성하였다.

이론/모형

하지만, 비용에 따라서 자원을 할당하는 서비스중심의 스케줄링의 비용을 더욱 최소화하기 위해서는 성능기반의 자원관리 스케줄링 기법이 필요하다. 따라서 본 논문에서는 무감독학습방법인 ART기반의 성능 중심의 스케줄링 방법을 이용한다.
제안하는 적응형 자원관리는 서비스 협상모델에 적용할 수 있도록 입찰/계약 모델을 이용한다. 사용자의 자원 요구에 맞추어 각 공급자들은 거래를 성사시키기 위해 자원 공급 능력에 따라 가격을 결정하여 입찰한다.

성능/효과

하지만 실험 데이터를 분산시켜 데이터 분류를 진행하면서 이웃한 가상자원들의 작업 종료를 기다리거나 메시지를 기다리는 동안에 대기시간이 발생하면서 자원의 활용률이 떨어지게 된다. ARM-based ART1OD 모델은 ACM-based ART1OD 모델보다 17%, RTM-based ART1OD 모델보다 12%의 자원 활용율을 향상시키는 것을 보여주고 있다.
적응형 자원관리기법은 지속적인 고성능 작업수행을 위해 참여자원에 대한 데이터보유, 네트워크 성능, 가용스케줄, 예상 처리시간, 신뢰도 등에 대한 자원의 속성요소를 고려하여 수행 작업 가동시점에 맞춰 최적의 자원을 제공하였다. 실험을 통한 적응형 자원관리기법의 성능은 리스트기반 동적 자원관리 및 응답시간기반 동적 자원관리의 자원 활용율과 데이터 처리시간 비교를 통해 그 효과를 입증하였다. 또한 고성능 및 대용량데이터 처리를 위한 자원관리기법으로 적응형 자원관리 방법을 활용할 수 있으며, 이는 체계적인 자원관리가 가능하고 가용자원을 효율적으로 활용하여 요구 성능을 향상시킬 수 있다는 장점이 있다.
이는 같은 데이터 분류기법을 적용하였으므로, 자원관리의 방법에 따라 다른 성능을 제공하고 있는 것이라 할 수 있다. 자원을 작업, 네트워크 상황, 기존 작업수행 중에 보유하고 있던 데이터를 수신하는 시간을 절약함으로써 프로세스 성능을 향상시켰음을 알 수 있다. 그림은 ARMbased ART1OD 모델은 ACM-based ART1OD 모델보다 59%, RTM-based ART1OD 모델보다 43%의 데이터 처리시간을 절약하고 있음을 보여주고 있다.

후속연구

향후 연구로는 사용자 및 공급자의 다양한 요구사항을 반영하기 위해 참여자의 규칙과 룰을 세분화한 지식기반의 비용 및 서비스 만족도에 관한 연구를 진행 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	클라우드 환경에서 분산컴퓨팅이란 어떠한 기술을 의미하는가?	클라우드 환경에서 분산컴퓨팅은 여러 가상 자원과 물리자원을 하나의 클러스터로 묶어 고성능 컴퓨팅 단위로 구성하여 대용량 데이터를 처리할 수 있는 기술이다. 대용량 데이터 처리 서비스는 프로세스 결과와 통계적인 정보, 그리고 데이터의 성격에 대한 인터페이스로 운영되고 있다.
	기존의 자원관리 기법의 문제점은 무엇인가?	클라우드 환경은 빅데이터의 이슈와 데이터 분석을 가능하게 하는 기술로서, 이를 위한 자원 관리 기법이 필요하다. 현재까지의 자원관리 기법은 한정된 계산 방법을 이용하여 자원의 편중의 문제점이 있으며, 이를 해결하기 위해서 자원관리는 자원이력 정보를 활용한 학습기반의 스케줄링이 필요하다. 본 논문에서는 ART(Adaptive Resonance Theory)기반의 적응형 자원관리 기법을 제안한다.
	적응형 자원관리는 어떠한 단계를 거치면서 진행되는가?	적응형 자원관리는 2단계로 진행된다. 첫 번째 단계는 참여자원이 사용자 요구에 맞는 가상자원을 검증하는 단계이다. 가상자원이 보유한 성능(CPU, RAM, Net I/O, Net Download, Net Upload, Data Storage, Authority)에 따른 것으로, 처리해야하는 데이터 크기에 따라서 일정한 성능 이상인 자원들을 여과하며 두 번째 단계로 진행된다. 두 번째 단계는 Fig. 2와 같이 가상자원이 보유한 성능및 정보를 ART기법에 적용하기 위해, 자원정보를 데이터 화하여 서비스관리를 위한 대표 클러스터와 비교한다.

참고문헌 (13)

B. P. Zeigler, et al., "DEVS Framework for Modeling, Simulation, Analysis, and Design of Hybrid Systems in Hybrid II," Lecture Notes in CS. Springer-Verlag, Berlin, pp. 529-551, 1996.
C. Kiekintveld, M. P. Wellman, S. Singh, J. Estelle, Y. Vorobeychik, V. Soni and M. Rudary, "Distributed Feedback Control for Decision Making on Supply Chains", Proceeding of the 14th International Conference on Automated Planning and Scheduling, pp. 384-392, 2004.
Divyakant A., Sudipto D., and Amr E.A., "Big data and cloud computing: current state and future opportunities", Proceedings of the 14th International Conference on Extending Database Technology. ACM, pp. 530-533, 2011.
D. Jeffrey and G. Sanjay, "MapReduce: Simplified Data Processing on Large Clusters", Communications of the ACM, Vol. 51, No. 1, pp.107-113, 2008.

상세보기
D. T. Chalmers and D. P. Behan, "The use of Constitutively Activity GPCRs in Drug Discovery and Functional Genomics", Nature Reviews, Drug Discovery, Vol. 1, No. 8, pp. 599-608, 2002.

상세보기
Espadas, Javier, et al. "A tenant-based resource allocation model for scaling Software-as-a-Service applications over cloud computing infrastructures", Future Generation Computer Systems, Vol. 29, No. 1, pp.273-286, 2013.

상세보기
F.V. Jensen, "An Introduction to Bayesian Networks", UCL press London, 1996.
G. A. Carpenter and S. Grossberg, "Adaptive Resonance Theory: Stable Self-Organization of Neural Recognition Codes in Response to Arbitrary Lists of Input Patterns", Proceeding of the 8th Conference of the Cognitive Science Society, Hillsdale, NJ: Erlbaum Associates, pp. 45-62, 1988.
J. D. Thompson, D. G. Higgins and T. J. Gibson, "CLUSTAL W: Improving the Sensitivity of Progressive Multiple Sequence Alignment through Sequence Weighting, Positrion-Specific Gap Penalties and Weight Matrix Choice", Nucleic Acids Res, Vol. 22, No. 22, pp. 4673-4680, 1994.
Kim J.K. and Lee J.S., "Fuzzy Logic-driven Virtual Machine Resource Evaluation Method for Cloud Provisioning Service", Journal of korea society for simulation, Vol. 22, No. 1, pp. 77-86, 2013.

원문보기 상세보기
M. Georgiopoulos, G. L. Heileman and J. Huang, "Properties of Learning Related to Pattern Diversity in ART1", Neural Networks, Vol. 4, No. 6. pp. 751-757, 1991.

상세보기
T. R. Gopalakrishnan Nair and P Jayarekha, "Pre-allocation Strategies of Computational Resources in Cloud Computing using Adaptive Resonance Theory-2," International Journal on Cloud Computing: Services and Architecture (IJCCSA), Vol. 1, No. 2, pp. 31-41, 2011.
W. G. Baxt, "Application of Artificial Neural Networks to Clinical Medicine," The Lancet, Vol. 346, No. 8983, pp. 1135-1138, 1995.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증