$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

데이터 스트림 상에서 다중 연속 질의 처리를 위한 속성기반 접근 기법
Attribute-based Approach for Multiple Continuous Queries over Data Streams 원문보기

정보처리학회논문지. The KIPS transactions. Part D. Part D, v.14D no.5, 2007년, pp.459 - 470  

이현호 (연세대학교 컴퓨터과학과) ,  이원석 (연세대학교 컴퓨터과학과)

초록
AI-Helper 아이콘AI-Helper

데이터 스트림은 빠르게 연속적으로 발생하는 무제한의 데이터 튜플의 집합이다. 이러한 데이터 스트림에 대한 질의 처리 또한 연속적이고 신속해야 하며 엄격한 시공간적 제약이 요구된다. 대부분의 데이터 스트림 관리시스템(DSMS)에서는 시공간적 제약사항을 효과적으로 지키기 위해서 등록된 연속 질의들의 선택 조건(selection predicate)들을 그룹화하거나 색인처리 한다. 본 논문에서는 연속 질의들의 선택 조건들을 속성별로 그룹화한 새로운 구조체인 속성 선택체(Attribute Selection Construct)를 제안한다. 속성 선택체에는 해당 속성이 특정 질의조건에 사용되는지 여부, 부분적으로 미리 계산된 질의결과 정보, 그리고 해당 속성의 선택률 통계 등 효율적인 질의 처리를 위한 유용한 정보들이 포함된다. 또한, 대상 질의집합을 구현한 속성 선택체들 간의 처리 순서는 전체적인 질의성능에 많은 영향을 미칠 수 있기 때문에 효과적으로 속성 선택체 처리 순서를 결정할 수 있는 전략도 함께 제안된다. 마지막으로, 기존의 방법들이 포함된 다양한 실험을 통하여 제안된 방법론의 성능을 여러 각도에서 비교 검증한다.

Abstract AI-Helper 아이콘AI-Helper

A data stream is a massive unbounded sequence of data elements continuously generated at a rapid rate. Query processing for such a data stream should also be continuous and rapid, which requires strict time and space constraints. In most DSMS(Data Stream Management System), the selection predicates ...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 논문에서는 데이터 스트림 환경에서 다중 연속 질의를 효율적으로 처리하기 위해서 속성기반 구조체인 속성 선택체와 그것을 이용한 매칭 알고리즘을 제안하였다. 제안된 접근 방법은 대상 다중 연속 질의들의 공통된 선택 조건들을 공유함으로써 공간 사용량을 절약하였고, 질의의 선택조건에 나타난 참여 속성의 비교상수를 기준으로 한 질의의 부분적인 매칭 결과를 미리 계산하여 속성 선택체에 저장함으로써 실시간 부하를 줄었다.
  • 질의 최적화의 본질인 불필요한 연산수행을 막기 위해서 취해지는 일반적인 질의 최적화 전략은 선택 연산(selection operations)-8: 가능한 빨리 수행하며, 여러 개의 선택 조건들 중에는 선택률이 가장 낮은 선택 조건을 먼저 적용하는 것이다. 본 논문에서는 연속 질의들의 처리시간을 줄이거나 어떤 질의에도 만족되지않는 스트림 튜플을 가능한 한 빨리 제거하기 위해서 적응적으로 속성 선택체들의 처리 순서를 결정하는 속성 선택체정렬 전략을 제안한다. 이러한 전략은 만족하지 않는 튜플이나 질의들에 의해 수행되는 불필요한 연산들을 차단함으로써 질의수행비용을 줄이는데 기여한다.
  • 이러한 방법은 이미 대부분의 DSMS에서 적용하고 있다. 본 논문에서는 연속 질의의 집단적인 처리를 위해서 속성 선택처](Attribute Selection Construct)라는 새로운 구조를 제안한다. 주어진 연속 질의 집합에서 적어도 하나 이상의 선택 조건에 사용되는 데이터 스트림의 속성을 참여 속성(participant attribute 또는 p-attribute)라고 정의한다.
  • 덧붙여서, 최소 속성커버 집합과 참여 속성의 질의 선택률에 따라 속성 선택체의 처리순서를 정렬하는 질의 최적화 기법을 제안하였다. 질의 최적화의 목적은 만족하지 않는 질의와 튜플을 가능한 한 일찍 종료하고 제거함으로써 불필요한 연산을 줄이는데 있다. 또한, 제안된 방법과 최적화 기법들을 다양한 실험을 통하여 검증하였는데, 수행된 실험을 통해 본 논문의 방법론이 합성 또는 실제 데이터 집합을 포함한 다양한 데이터 분포를 지닌 데이터 스트림에 대한 다중 연속 질의 처리에서 고루 효율적이라는 것을 보였다.
  • (알고리즘 1)은 데이터 스트림 〃에 대한 질의집합 Q의 매칭 프로세스를 기술한 것이다. 이 알고리즘에서는 매칭 과정에서 질의집합 Q의 질의중간결과를 저장하기 위해서 전역 비트맵 변수 GRB이 소개된다. 비트맵 변수 GRB의모든 비트들은 모두 I로 초기화된다.
  • 본 논문의 목적은 다음과 같이 요약될 수 있다. 주어진 데이터 스트림 〃와 연속 질의 집합 Q에 대해서, 질의집합 Q에 속한 질의들의 공통 선택 조건들을 공유하고 Q에 속한 질의들을 연속적이면서 정시적인 형태로 동시 처리하기 위한 효과적인 데이터 구조와 매칭 알고리즘을 제안하고 이에 대한 적응적 최적화 방안을 제시하는 것이다 본 논문은 다음과 같이 구성되어 있다. 2장에서는 본 논문과 관련된 기존 연구들을 살펴본다.

가설 설정

  • 질의셋은 (그림 6)의 질의셋과 동일한 것을 사용하였다. 스트림 튜플이 일정한 간격으로 도착한다는 전제하에 선택률 재계산 주기 入는 80, 000 튜플이 도착하는데 걸리는 시간으로 가정하였다. A 주기마다 현 참여 속성 시퀀스의 질의 선택률을 계산하여 4.
  • 주어졌을 때, 질의집합。의 참여 속성들의 부분 집합 B u 에 대하여, Q6B丿를 집합 B에 속하는 속성이 적어도 한 번 이상 질의의 선택 조건에 나타난 질의들의 집합으로 가정한다. 일 때의 참여 속성집합 B를 질의 집합 Q에 대한 속성커버 집합이라 하고, 로 표기한다.
본문요약 정보가 도움이 되었나요?

참고문헌 (19)

  1. B. Babcock, S. Babu, M. Datar, R. Motwani, and J. Widom, 'Models and issues in data stream systems,' In Proc. 2002 ACM Symp. on Principles of Database Systems, pp.1-16, June, 2002 

  2. D. Carney, U. Cetintemel, M. Cherniack, C. Convey, S. Lee, G. Seidman, M. Stonebraker, N. Tatbul, and S. Zdonik, 'Monitoring Streams-Anew class of data management applications,' In Proc of the 28th International Conference on VLDB, pp.215-226, August, 2002 

  3. S. Chandrasekaran et al, 'TelegraphCQ: Continuous dataflow processing for an uncertain world,' In Proc. First Biennial Conf. on Innovative Data Systems Research, pp.269-280, Jan, 2003 

  4. J. Chen, D. J. DeWitt, F. Tian and Y. Wang, 'NiagaraCQ: A Scalable Continuous Query System for Internet Databases,' In proc.of ACM SIGMOD 2000 Conf., pp.379-390, May, 2000 

  5. D. Abadi, D. Carney, U. Cetintemel,M. Cherniack, C. Convey, S. Lee, M. Stonebraker, N. Tatbul, S. Zdonik, 'Aurora: A New Model and Architecture for Data Stream Management,' In VLDB Journal, pp.120-139, August, 2003 

  6. Widom J, Babu S, 'Continuous queries over data streams,' In ACM SIGMOD Record, pp.109-120, September, 2001 

  7. Samuel R. Madden, Mehul A. Shah, Joseph M. Hellerstein and Vijayshankar Raman, 'Continuously Adaptive Continuous Queries over Streams,' In proc. 2002 ACM SIGMOD Coni; June, 2002 

  8. Motwani R, Widom J, Arasu A, Babcock B, Babu S, Datar M, Manku G, Olston C, Rosenstein J, Varma R, 'Query Processing, Resource Management, and Approximation in a Data Stream Management System,' In Proc. of the 2003 CIDR, january, 2003 

  9. Sirish Chandrasekaran and Michael J. Franklin, 'Streaming Queries over Streaming Data,' In Proc. of the 28th Intl. Conf. on Very Large Data Bases, August, 2002 

  10. D. Carney, U. Cetinternel, A. Rasin, S. Zelonik, M. Chemiack, M. Stonebraker, 'Operator Scheduling in a Data Stream Manager,' In proc of the 29th International Conference on Very Large DataBases, 2003 

  11. N. Tatbul, U. Cetintemel, S. Zdonik, M. Cherniack, M. Stonebraker, 'Load Shedding in a Data Stream Manager,' In proc of the 29th International Conference on Very Large Data Bases, pp.309-320, 2003 

  12. Jianjun Chen, David J. DeWitt, and Jeffrey F. Naughton, 'Design and Evaluation of Alternative Selection Placement Strategies in Optimizing Continuous Queries,' In proc of the 18th International Conference on ICDE, pp.345-356, Feb, 2002 

  13. Jianjun Chen, DavidJ. DeWitt, 'Dynamic Re-grouping of Continuous Queries,' In Proc of the 28th VLDB Conference, pp.430-441, 2002 

  14. Ron Avnur, Joe Hellerstein, 'Eddies: Continuously Adaptive Query Processing,' In proc. of the 2000 ACM SIGMOD Intl. Conf. on Management of Data, Dallas, pp. 261-272, 2000 

  15. Vijayshankar Raman, Amol Deshpande, and Joseph M. Hellerstein, 'Using State Modules for Adaptive Query Processing' In ICDE, 2003 

  16. S. Babu, R. Motwani, K. Munagala, I. Nishizawa, and J. Widom, 'Adaptive Ordering of Pipelined Stream Filters,' In SIGMOD, pp.407-418, June, 2004 

  17. K. Munagala, U. Shrivastava, and J. Widom, 'Optimization of Continuous Queries with Shared Expensive Filters,' In Proc of the 32th VLDB Conference, Sep, 2006 

  18. H.S. Lim, J,G. Lee, M.J, Lee, K.Y. Whang, I.Y. Song, 'Continuous Query Processing in Data Streams Using Duality of data and Queries,' In Proc of the 32th VLDB Conference, Sep, 2006 

  19. S. Babu and J. Widom, 'StreaMon: An Adaptive Engine for Stream Query Processing,' In proc.of ACM SIGMOD 2004 Conf., June, 2004 

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

BRONZE

출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

이 논문과 함께 이용한 콘텐츠

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로