초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

컴퓨팅 환경의 발달로 방대한 양의 정보들이 매우 빠른 속도로 생성되고 있다. 구성 요소가 지속적으로 발생되는 무한 집합으로 정의되는 데이터 스트림에 대한 마이닝 방법은 이들 정보로부터 중요한 지식을 효과적으로 얻을 수 있는 방법으로 최근 들어 다양한 방법들이 활발히 제안되고 있다. 이러한 마이닝 방법에서는 지속적으로 확장되는 데이터 스트림의 특성으로 수행과정에서 메모리 사용량을 가용 범위 내로 제한하는 것이 중요한 고려 사항이 되고 있다. 본 논문에서는 데이터 스트림에서 빈발 항목을 탐색하는데 있어서 가용 메모리 범위에서 최적의 메모리를 사용하여 최상의 마이닝 결과를 얻을 수 있도록 하는 메모리 사용량 최적화 방법을 제시한다.

컴퓨팅 환경의 발달로 방대한 양의 정보들이 매우 빠른 속도로 생성되고 있다. 구성 요소가 지속적으로 발생되는 무한 집합으로 정의되는 데이터 스트림에 대한 마이닝 방법은 이들 정보로부터 중요한 지식을 효과적으로 얻을 수 있는 방법으로 최근 들어 다양한 방법들이 활발히 제안되고 있다. 이러한 마이닝 방법에서는 지속적으로 확장되는 데이터 스트림의 특성으로 수행과정에서 메모리 사용량을 가용 범위 내로 제한하는 것이 중요한 고려 사항이 되고 있다. 본 논문에서는 데이터 스트림에서 빈발 항목을 탐색하는데 있어서 가용 메모리 범위에서 최적의 메모리를 사용하여 최상의 마이닝 결과를 얻을 수 있도록 하는 메모리 사용량 최적화 방법을 제시한다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 데이터 스트림 환경에서 데이터 집합은 사전 정의되지 있지 않고 마이닝을 수행하는 중에 동적으로 변화된다. 따라서 이런 데이터 스트림에서 빈발 항목을 탐색하기 위해 본 논문에서는 제한된 메모리에서 마이닝 수행과정 중에 동적으로 메모리 사용량을 조절하는 것을 실험을 통해 보였다. 결과적으로 이 방법은 무한하게 증가되는 데이터와 메모리와 같은 제한된 컴퓨팅 자원 사이에서 가장 최적화 된 결과를 얻을 수 있도록 지원한다.
• 데이터 스트림 환경에서는 마이닝을 수행할 때 동적으로 변하는 데이터 집합에 대해 고정된 메모리크기에 맞게 최 적화된 마이닝 결과를 얻을 수 있어야 한다. 본 논문에서는 데이터 스트림에서 빈발항목을 탐색하는 estAcc[6] 방법에서 가용 메모리 범위 내에서 최적의 메모리를 사용하여 최상의 마이닝 결과를 얻을 수 있도록 하는 메모리 사용량 최적화 방법을 제시한다.
• 본 절은 데이터 스트림 환경에서 빈발 항목을 찾기 위한 방법을 제안한다. 전체적인 알고리즘은 그림 1과 같다’ 이 방법은 매개변수 갱신 단계(1-2번째 줄)와 출현 빈도 수 갱신단계(4-5), 지연 추가 단계(8-19), 빈발항목 선택 단계(20)로 구성되며 빈도수 갱신 단계에선 항목 전지작 업(6-7)을 포함한다.

제안 방법

• 결과적으로 이 방법은 무한하게 증가되는 데이터와 메모리와 같은 제한된 컴퓨팅 자원 사이에서 가장 최적화 된 결과를 얻을 수 있도록 지원한다. 본 논문에서 제안한 방법은 데이터 집합의 크기에 상관없이 한정된 메모리의 크기에 맞게 마이닝 수행과정 중 메모리 사용량을 조절함으로써 데이터 스트림 환경에서 빈발 항목을 효율적으로 탐색 할 수 있는 방법을 제시하였다.

대상 데이터

• I4.D1000K 데이터 집합을 생성하였다. 이 실험에서 데이터 집합의 각 트랜젝션은 데이터 스트림 환 경에서처럼 하나씩 처리된다.
• 이 실험에서 생성 될 수 있는 최대 노드수를 각각 300000개와 180000개로 제한하고 제한된 메모리를 최 대한 이용할 수 있도록 專는 85%선 즉 255OQO개와 153000개에서 조절하도록 하였다. 그리고 최대 노드수 이상으로 생성되는 노드들에 대해서는 생성하지 않고 Sm 는 1%씩 조절된다.

이론/모형

• 따라서 새로운 트랜젝션이 현재 데이터 집합에 추가되었을 때 해당 트랜젝션의 정보들을 점진적으로 수집해야 한다. 빈발항목 탐색 과정에서 각 트랜젝션에 출현하는 단위 항목들의 조합으로 표현되는 서로 다른 항목들을 효과적으로 표현하기 위해 본 논문에서는 전위-트리(prefix-tree)래티스 구조[2]를 활용한다. 이러한 전위트리 래티스 구조를 이용한 마이닝 방법 중 단순 축적 방법(Acc방법)[6]에 의한 방법은 데이터 스트림을 실시간으로 마이닝 하기 위해 추가되는 전체 데이터 집합의 모든 트랜젝션 정보를 메모리에 관리해야 한다.

성능/효과

• 따라서 이런 데이터 스트림에서 빈발 항목을 탐색하기 위해 본 논문에서는 제한된 메모리에서 마이닝 수행과정 중에 동적으로 메모리 사용량을 조절하는 것을 실험을 통해 보였다. 결과적으로 이 방법은 무한하게 증가되는 데이터와 메모리와 같은 제한된 컴퓨팅 자원 사이에서 가장 최적화 된 결과를 얻을 수 있도록 지원한다. 본 논문에서 제안한 방법은 데이터 집합의 크기에 상관없이 한정된 메모리의 크기에 맞게 마이닝 수행과정 중 메모리 사용량을 조절함으로써 데이터 스트림 환경에서 빈발 항목을 효율적으로 탐색 할 수 있는 방법을 제시하였다.
• 위 실험에서 제한된 메모리의 크기에 맞게 를 조절 함으로써 래티스의 노드수를 효과적으로 조절 할 수 있다.

후속연구

• 이런 환경에서 데이터 마이닝은 생성된 많은 정보들 중 가치 있는 지■식 을 얻기 위하여 다양한 분야에서 널리 이용되고 있다. 온 라인 분석 작업, 고객 관계 관리 및 비정상침입 탐지 시스템 등의 분야에서는 지속적으로 발생되는 트랜젝션들에 대한 자동적인 분석을 지원하고 분석 결과를 빠른 시간 내에 얻을 수 있기를 기대한다. 이런 환경을 데이터 스트림(data stream) 환경 이 라고 한다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기