초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

최근 데이터 마이닝에서 대용량 데이터를 처리하는 응용이 많아짐에 따라, 클러스터링(Clustering) 및 분류(Classification)방법이 중요한 분야가 되고 있다. 특히 분류방법에 관한 기존 연구들은 단지 메모리 상주(memory-resident) 데이터에 대해 한정되며 고차원 데이터를 효율적으로 처리할 수 없다. 따라서 본 논문에서는 대용량 고차원 데이터를 효과적으로 처리할 수 있는 새로운 분류 알고리즘을 제안한다. 이는 데이터들을 차원 공간상의 셀(cell)로 표현함으로써 수치(numerical) 애트리뷰트와 범주(categorical) 애트리뷰트 모두 처리할 수 있는 알고리즘을 제안한다. 아울러, 실험결과를 통해 제안한 알고리즘이 데이터의 양,차원 그리고 속성에 관계없이 분류를 효과적으로 수행함을 보인다.

최근 데이터 마이닝에서 대용량 데이터를 처리하는 응용이 많아짐에 따라, 클러스터링(Clustering) 및 분류(Classification)방법이 중요한 분야가 되고 있다. 특히 분류방법에 관한 기존 연구들은 단지 메모리 상주(memory-resident) 데이터에 대해 한정되며 고차원 데이터를 효율적으로 처리할 수 없다. 따라서 본 논문에서는 대용량 고차원 데이터를 효과적으로 처리할 수 있는 새로운 분류 알고리즘을 제안한다. 이는 데이터들을 차원 공간상의 셀(cell)로 표현함으로써 수치(numerical) 애트리뷰트와 범주(categorical) 애트리뷰트 모두 처리할 수 있는 알고리즘을 제안한다. 아울러, 실험결과를 통해 제안한 알고리즘이 데이터의 양,차원 그리고 속성에 관계없이 분류를 효과적으로 수행함을 보인다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 이때 효율적인 분할 인덱스 (SplittingIndex)에 대한 연구가 분류기법의 성능을 결정하는 중요한 역할을 한다. 따라서 본 논문에서는 gini index[4]에 기반한 셀-기반 분류모델에 적합한 분할 인덱스를 정의하여 대용량의 데이터를 처리하기에 적합한 분류 알고리즘을 제안한다. 또한 데이터의 속성값이 수 (numerical) 애 트리 뷰트 또는 범주(categorical) 애 트리 뷰트에에 따라 기존의 연구에서는 추가적인 작업이 필요하지만 제안하는 방법에서는 별도의 처리 과정이 필요하지 않다.
• 본 장에서는 대용량 고차원의 데이터를 효율적으로 클러스터링 및 분류하기 위한 셀■기반 분류 방법을 제안한다. 이를 위해 공간상에서 분할 인덱스(splitting index)를 통해 각 차원의 구간을 정하고 각 구간에 따라 셀을 구성한다.
• 또한 데이터의 속성값이 수 (numerical) 애 트리 뷰트 또는 범주(categorical) 애 트리 뷰트에에 따라 기존의 연구에서는 추가적인 작업이 필요하지만 제안하는 방법에서는 별도의 처리 과정이 필요하지 않다. 아울러, 본 논문에서는 데이터 공간을 각 차원별 구간으로 분할하고 각 분할구간의 밀도를 구하여 저장하는 방식으로 고차원데이터를 효율적으로 처리할 수 있는 방법을 제안한다.

제안 방법

• 이 방법은 셀의 번호를 분류정보파일 의 오프셋으로 사용하여 질의 처리 시 한번의 I/O 로 결과를 바로 얻을 수 있으나 셀의 수가 많은 경우 분류 정 보파일의 크기가 매우 큰 단점이 있다. 둘째, 모든 차원 에 대한 각각의 구간별 빈도수를 구하여 구간 임계값 이상인 구간과 미만인 구간을 구분하여 근사정보파일 (Approximation Information file) 에 0 과 1 로서 저장하고, 분 류정보파일에는 각 셀에 대해 빈도수 구하여 빈도수가 셀 임계값 이상인 셀의 번호 및 빈도수를 저장한다. 셀 임계값과 구간 임계값은 식 2 와 같다.
• 본 논문에서 제안한 셀-기반 분류 방법은 첫째, 메모리 상주 데이터에 대해 한정되어 있는 문제점을 해결하였고, 고차원의 데이터를 효율적으로 처리할 수 없는 문제점을 각 차원별 구간 임계값을 사용하여 크기가 큰 분류정보 파일을 검색하는 횟수를 줄임으로서 성능을 향상시켰다. 또한, 데이터의 속성에 관계없이 적용 가능한 새로운 분류 알고리즘을 제안하였다.
• 이를 위해 공간상에서 분할 인덱스(splitting index)를 통해 각 차원의 구간을 정하고 각 구간에 따라 셀을 구성한다. 얻어진 셀의 밀도가 셀 임계 값 이상인 셀을 저장하고 검색하는 방법을 제안한다.
• 본 장에서는 대용량 고차원의 데이터를 효율적으로 클러스터링 및 분류하기 위한 셀■기반 분류 방법을 제안한다. 이를 위해 공간상에서 분할 인덱스(splitting index)를 통해 각 차원의 구간을 정하고 각 구간에 따라 셀을 구성한다. 얻어진 셀의 밀도가 셀 임계 값 이상인 셀을 저장하고 검색하는 방법을 제안한다.

대상 데이터

• 실험에 사용된 시스템 환경은 CPU 650 MHz dual, 메모리 512MB 의 리눅스 서버 에서 수행하였다. 사용된 데이터는 IBM Quest Data mining proje아[5]에 서 사용한 Synthetic Data Generation Code for Classification 을 이용하여 각각 4차원, 8차원의 10만 건의 데이터를 사용하였다. 성능평가는 10만 건의 데이터를 분류하여 근사 정보파일과 분류정보파일을 생성하는 시간과 1000 건의 질의레코드를 처리할 때 구간 임계값에 따라서 분 류정보파일 검색하지 않고 근사정보파일에서 걸러지는 비율과 정확율을 측정한다.

성능/효과

• 그러나 질의 처리 시 근사정보파일과 분류정보파일을 순차 검색해야 하는 단점이 있다. 따라서 비교적 셀의 수가 적은 데이터는 셀을 모두 저장하는 방법이 우수하며, 셀의 수가 많은 데이터에는 각 셀에 대해 빈도수가 셀 임계값 이상인 셀의 번호를 저장하는 방법이 효율적 이다.
• 본 논문에서 제안한 셀-기반 분류 방법은 첫째, 메모리 상주 데이터에 대해 한정되어 있는 문제점을 해결하였고, 고차원의 데이터를 효율적으로 처리할 수 없는 문제점을 각 차원별 구간 임계값을 사용하여 크기가 큰 분류정보 파일을 검색하는 횟수를 줄임으로서 성능을 향상시켰다. 또한, 데이터의 속성에 관계없이 적용 가능한 새로운 분류 알고리즘을 제안하였다.
• 본 장에서제안된 셀-기반 분류방법을 구현하여 성능 평가를 수행한다 실험을 통하여 제안된 셀-기반 분류 방법이 대용량의 데이터에 대한 처리가 가능함을 보이고, 각 차원의 구간별 밀도에 대한 구간 임계값을 변화하면서 성능을 측정한다. 실험에 사용된 시스템 환경은 CPU 650 MHz dual, 메모리 512MB 의 리눅스 서버 에서 수행하였다.

후속연구

• 따라서 본 논문에서는 gini index[4]에 기반한 셀-기반 분류모델에 적합한 분할 인덱스를 정의하여 대용량의 데이터를 처리하기에 적합한 분류 알고리즘을 제안한다. 또한 데이터의 속성값이 수 (numerical) 애 트리 뷰트 또는 범주(categorical) 애 트리 뷰트에에 따라 기존의 연구에서는 추가적인 작업이 필요하지만 제안하는 방법에서는 별도의 처리 과정이 필요하지 않다. 아울러, 본 논문에서는 데이터 공간을 각 차원별 구간으로 분할하고 각 분할구간의 밀도를 구하여 저장하는 방식으로 고차원데이터를 효율적으로 처리할 수 있는 방법을 제안한다.
• 향후 연구로는 보다 다양한 데이터를 가지고 실제 응용에 적용하여 본 논문에서 제안한 방법의 성능을 측정하는 연구이다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기