초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

데이터 마이닝 기술 중 하나인 연관규칙 마이닝의 병렬 알고리즘들은 동형질의 병렬 컴퓨팅 시스템을 대상으로 하여 개발되었다. 그러나, 이러한 병렬 알고리즘들은 클러스터 시스템 또는 Network Of Workstation(NOW)과 같은 저가의 프로세서들로 구성된 집합적인 병렬 컴퓨팅 시스템에서는 부적당하다. 이는 이들 시스템이 다른 성능을 가진 프로세서로 구성되어 있거나 여러 사용자의 접근을 허용하는 등의 이형성을 가지기 때문이다. 결과적으로 이러한 환경을 고려하지 않은 기존의 병렬 연관규칙 알고리즘들은 전체 시스템의 성능을 활용하지 못하게 되어 성능저하를 피할 수 없다. 본 논문에서는 대표적인 병렬 연관규칙 알고리즘인 Data Distribution 알고리즘을 위만 효과적이고 확장성 있는 동적 부하분산 알고리즘의 설계와 구현을 다룬다.

데이터 마이닝 기술 중 하나인 연관규칙 마이닝의 병렬 알고리즘들은 동형질의 병렬 컴퓨팅 시스템을 대상으로 하여 개발되었다. 그러나, 이러한 병렬 알고리즘들은 클러스터 시스템 또는 Network Of Workstation(NOW)과 같은 저가의 프로세서들로 구성된 집합적인 병렬 컴퓨팅 시스템에서는 부적당하다. 이는 이들 시스템이 다른 성능을 가진 프로세서로 구성되어 있거나 여러 사용자의 접근을 허용하는 등의 이형성을 가지기 때문이다. 결과적으로 이러한 환경을 고려하지 않은 기존의 병렬 연관규칙 알고리즘들은 전체 시스템의 성능을 활용하지 못하게 되어 성능저하를 피할 수 없다. 본 논문에서는 대표적인 병렬 연관규칙 알고리즘인 Data Distribution 알고리즘을 위만 효과적이고 확장성 있는 동적 부하분산 알고리즘의 설계와 구현을 다룬다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 PC-Cluster 및 NOW 등의 집합적 컴퓨팅 환경에서 병렬 연관규칙 알고리즘의 확장성 보장을 위한 동적 부하 분산 알고리즘의 개발을 다룬다. 부하의 효과적인 예즉을 위한 Dynamic Support Count 기법과 함께 대표적인 병렬 연관규칙 알고或즘인 DD(Data Distribution algorithm)[l]를 위한 맞춤식 부하 분산 기법을 제안한다.
• 연관규칙 마이닝의 대표적인 알고리즘인 apriori"]를 백화점 데이터를 예를 들어 설명하겠다. 수십만 또는 수백만의 고객 상품 정보가 데이터베이스에 저장되었을 때, primary key를 고객의 id로 하여 고객이 구입한 item에 대한 itemset을 tuple로 하는 레코드를 생각해 보자. 연관 규칙이라 함은 item 또는 itemset에 대해서 다른 item 또는 item set 이이 함께 구입 될 확률이 기준치 이상인 규칙을 의미한다.

제안 방법

• 각 단계별로 DD에 적합한 periodic global distributed symmetric 방법 [8] 을 선택하였다. DD의 특성을 이용해 data exchange packet[l]에 덧붙이는 piggy-back 방법을 취해서 상태정보 교환을 위한 추가 통신비용을 줄였다. 이 정보는 각각의 프로세서에 분산 (dZsfr/况几配)되어 있는 load balancer에게 理/7&疗c하게 전달되어 분산 게시 및 분산 결정의 근거로 사용된다.
• 본 논문에서 제안한 동적 부하 분산 알고리즘을 병렬연관규 '칙 알고리즘에 적용하여 이형환경의 컴퓨팅 시스템의 성능을 활용하고 알고리즘의 확장성을 높일 수 있었다. 부하 분산의 효과적인 예측을 위해 Dynamic Support CountQDSC)를 제안함과 아울러 DD 맞춤형 부하 분산 알고리즘을 설계하고 구현 하였다.
• 본 논문에서는 PC-Cluster 및 NOW 등의 집합적 컴퓨팅 환경에서 병렬 연관규칙 알고리즘의 확장성 보장을 위한 동적 부하 분산 알고리즘의 개발을 다룬다. 부하의 효과적인 예즉을 위한 Dynamic Support Count 기법과 함께 대표적인 병렬 연관규칙 알고或즘인 DD(Data Distribution algorithm)[l]를 위한 맞춤식 부하 분산 기법을 제안한다. 이형 컴퓨팅 환경을 위해 PGCluster와 NOW를 혼합한 시스템이 구축되고 다 사용자 환경이 모의로 구현되어 성능 평가에 사용된다.

대상 데이터

• CD, DD 및 Dynamic Load Balancing algorithni(DLB)은 C++/MPI로 구현하였고 실험 데이터는 T10I2D1000μ기를 사용하였다. 시스템 환경은 3대의 NOW(spacs 64MB) 와 3대 PCPC-Cluster(Pentium HI, 733MHZ, 128MB)를 사项■하였다.
• CD, DD 및 Dynamic Load Balancing algorithni(DLB)은 C++/MPI로 구현하였고 실험 데이터는 T10I2D1000μ기를 사용하였다. 시스템 환경은 3대의 NOW(spacs 64MB) 와 3대 PCPC-Cluster(Pentium HI, 733MHZ, 128MB)를 사项■하였다. 네트워크는 100 Mbps fest Ethernet (1615.

데이터처리

• 첫 번째 실험 결과는 3-N0W 시스템에서의 다 사용자 환경에 대한 성능평가이다. 다 사용자 환경을 모의실험 하기 위해 각각의 프로세서의 CPU utilizatione 변화를 주었다(i.

이론/모형

• 상태정보 교환・ 분산 게시・ 부하 전송이다. 각 단계별로 DD에 적합한 periodic global distributed symmetric 방법 [8] 을 선택하였다. DD의 특성을 이용해 data exchange packet[l]에 덧붙이는 piggy-back 방법을 취해서 상태정보 교환을 위한 추가 통신비용을 줄였다.
• 부하지 수(load index)는 CPU, memory I/O speed를 함축적으로 반영하는 transaction 당 평균 응답 시간 0)을 사용했다. 다시 말해 프로세서가 하나의 transaction6!) 向해 자신의 concept(G)을 s叩port하기 위해 소요한 평균 시간이다.

성능/효과

• 8em;">]은 PC-Cluster와 NOW의 혼합형 인 이형 시스템 환경에서의 성능 평가이다. DLB를 사용한 DD 프로그 램이 그렇지 않은 프로그램에 비해 전체 시스템의 컴퓨팅 파 워를 사용하는 능력이 향상됨을 볼 수 있다.
• 다 사용자 환경을 모의실험 결과로 컴퓨팅 시스템 환경이 stable imbakmoe한 경우에서 30% 이상의 성능 향상과 unstable balance 한 경우에도 10% 이상의 성능을 보였다. NOW와 PC- Cluster의 혼합형이 이형환경에서의 실험에서 DD에 제안된 부하 분산 방법을 적용하여 낮은 성능을 보이는 NOW에 따른 전체 성능 저하의 문제를 해결하였다.
• 그러나, 클러스터 시스템의 특성상 성능의 차이를 보이는 프로세서나 여러 사용자의 접속 허용에 따른 이형 컴퓨팅 환경을 피할 수 없다. 결과적으로 기존의 병렬 연관규칙 알고리즘은 이형 시스템 환경에서 확장성이 떨어지는 현상을 보인다.
• 다 사용자 환경을 모의실험 결과로 컴퓨팅 시스템 환경이 stable imbakmoe한 경우에서 30% 이상의 성능 향상과 unstable balance 한 경우에도 10% 이상의 성능을 보였다. NOW와 PC- Cluster의 혼합형이 이형환경에서의 실험에서 DD에 제안된 부하 분산 방법을 적용하여 낮은 성능을 보이는 NOW에 따른 전체 성능 저하의 문제를 해결하였다.
• 본 논문에서 제안한 동적 부하 분산 알고리즘을 병렬연관규 '칙 알고리즘에 적용하여 이형환경의 컴퓨팅 시스템의 성능을 활용하고 알고리즘의 확장성을 높일 수 있었다. 부하 분산의 효과적인 예측을 위해 Dynamic Support CountQDSC)를 제안함과 아울러 DD 맞춤형 부하 분산 알고리즘을 설계하고 구현 하였다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기