선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 대용량의 문서에 대하여 효율적인 정보 검색을 할 수 있도록 오디세우스를 사용하여 병렬 정보 검색 시스템을 구현하였다. 본 논문의 공헌은 다음과 같이 요약될 수 있다.
- 본 논문에서는 한국과학기술원 데이터베이스 및 멀티미디어 연구실에서 개발한 정보검색 기능이 밀결합된 객체 관계형 데이터베이스 관리 시스템인 오디세우스[이를 사용하여 병렬 정보 검색 시스템을 설계하고 구현한다. 역색인 분할 방법은 문서식별자 분할 방법, 키워드 식별자 분할 방법을 사용하며 각분함 방법을 혼합 사용하는 방법을 제안한다.
제안 방법
- 문서 검색 기능을 지원한다. OOSQL 에서는 INSERT, DELETE, UPDATE 질의 룔 통하여 정보 검색시스템으로의 문서 추가, 삭제, 변경을 위한 기능도 제공하고 있으나, 본 논문에서는 검색 기능에 대해서만 고려하도록 한다.
-
■ PLIERS
PLIERS(ParalIeI Information Retrieval System using MPJ)는 MPI(Message Passing interface)를 사용하여 무공유(shared nothing)구조로 병렬 정보검색 시스템을 구현하였다
. 역색인 분할 방법으로서 문서식별자 분할 방법과 키워드 식별자 분할 방법을 개별적으로 지원할 수 있도록 구현되었다[기. - 또한 키워드 식별자 분할 방법에서 가장 큰 포스팅을 가지는 키워 三의 검색 시간에 의해 질의 처리 시간이 결정되는 문제를 해결하기 위한 방법을 제안한다. 그리고 구현된 병렬 정보 검색의 유용성을 보이기 위하여 단일 정보 검색시스템과의 성능평가를 수행한다. 실험 견과 많은 양의 문서에 대하여 병렬 정보- 검색 시스템이 단일 정보 검색 시스템에 비해 역색인 블록의 개수에 <5사하게 비례하여 빠旦게정보 검색읍 실행함을 보인다.
- 기존의 역색인 분할 방법의 단점들을 보완하기 위하여 본 논문에서 제안하는 혼합부할 방법에서는 문서식별자 분할 방법에 의해 만들어진 각 역색인 블록에 대해서 키워드 식별자 분할 방법을 다시 적용한다. 그러므로 각 역색인 블록은 특정 문서의 특정 키워드들에 대한 포스팅 리스트들을 색인하게 된다
- 첫째, 병렬 정보 검색시스템을 구축하기 위한 기존의 역 색인 분발 방법을 분석하고, 이를 이용하여 병렬 정보 검색 시스템을 설계하고 구현하였다. 둘째, 기존 의역 색인 분할 방법인 문서식별자 분할 방법과 기워三 식별자 분할 방법을 혼합 사용하는 새로운 부할 방법을 제안하고 구현하였다. 셋째, 단일 정보 검색 시스템과의 질의 처리 시간 비교를 동하여 병렬 정보검색 시스템의 유용성을 보였다.
- 역색인 분할 방법은 문서식별자 분할 방법, 키워드 식별자 분할 방법을 사용하며 각분함 방법을 혼합 사용하는 방법을 제안한다. 또한 키워드 식별자 분할 방법에서 가장 큰 포스팅을 가지는 키워 三의 검색 시간에 의해 질의 처리 시간이 결정되는 문제를 해결하기 위한 방법을 제안한다. 그리고 구현된 병렬 정보 검색의 유용성을 보이기 위하여 단일 정보 검색시스템과의 성능평가를 수행한다.
- 슬레이브 오디세우스는 마스터 오디세우스로부터 부"을 질의를 처리함으로써 할당된 역색인 블록을 검색하고 검색 결과로서 서리 결과를 마스터 오디세우스에게 돌려준다. 마스터 오디세우스와 슬레이브 오디세우스는 슬레이브 오디세우스가 처리해야 하는 질의와 슬레이브 오디세우스의 질의 실행 결과를 마스터 오디세우스에게 전달舌; 기 위해 RPC(Remote Procedure Call) 를 사용하여 통신한다.
- 것이다. 본 논문에서는 이러한 문제를 해결하기 위해 특정 문서 블록 내에서의 특정 키워드의 포스팅리스트가 대형화되는 경우, 해당 키워드를 모든 역색인 블록에서 병렬적으로 검색할 수 있도록 포스팅들을 모든 역색인 블록들에 균등하게 분배하도록 한다.
- 본 논문을 통하여 구현된 병렬정보 검색시스템은 그림 2 에서와 같이사음자코부터의 질의를 분석하는 부분인 마스터(master) 오디세우스와 실세 克 가 블록을 검색하는 부분인 슬레이브(slave) 오디세우스로 나누어 진匸마스터 오디세우스는 사용자로부터 받은 잘 의룔- 분석하여 검색으 해야 하는 역색인 블록을 결정하며, 각 슬레이브 오디세우스가 처리해야 하는 질의를 전달하여 해당 슬레이브 오디세우스가 역 색안블록음 검색하도록 한다. 슬레이브 오디세우스는 마스터 오디세우스로부터 부"을 질의를 처리함으로써 할당된 역색인 블록을 검색하고 검색 결과로서 서리 결과를 마스터 오디세우스에게 돌려준다.
- 본 실험에서는 단일 정보 검색시스템과 본 논문을 통하여 구현 딘 병렬 정보검색 시스템에서의 질의 처리 시간을 측정하여 비교한다. 신임은 실험 데이터에서 가장 많은 수의 포스팅을 가지는 키워드들로 孑성된 질의를 이용한다.
- 본절에서는 본 논문을 통하여 구현된 구죽 한 병렬 정보 검색 시스템과 단일 정보 검색시스템의 성능을 비교한다.
- 구현한다. 역색인 분할 방법은 문서식별자 분할 방법, 키워드 식별자 분할 방법을 사용하며 각분함 방법을 혼합 사용하는 방법을 제안한다. 또한 키워드 식별자 분할 방법에서 가장 큰 포스팅을 가지는 키워 三의 검색 시간에 의해 질의 처리 시간이 결정되는 문제를 해결하기 위한 방법을 제안한다.
- 본 논문의 공헌은 다음과 같이 요약될 수 있다. 첫째, 병렬 정보 검색시스템을 구축하기 위한 기존의 역 색인 분발 방법을 분석하고, 이를 이용하여 병렬 정보 검색 시스템을 설계하고 구현하였다. 둘째, 기존 의역 색인 분할 방법인 문서식별자 분할 방법과 기워三 식별자 분할 방법을 혼합 사용하는 새로운 부할 방법을 제안하고 구현하였다.
대상 데이터
- 실험은 600MHz 〜 800MHz의 중앙 처근, 장치 속도와 128M의 메制리, 60G(54 00 RPM)의 하드디스크를 갖는 다섯 대의 PC 들에서 Red Hat Linux (Version 7.1)를 운영체 제로 하여 彳행한다.
- 신임은 실험 데이터에서 가장 많은 수의 포스팅을 가지는 키워드들로 孑성된 질의를 이용한다. 실험을 위한 데이터는 웹 로봇을 통해 얻은 이 핵만 건의 웹페이지이며, 사용된 데이터의 스키마는 웹페이지의 제목과 내용을 나타내는 두 개의 컬럼으로 구성된다. 실험에서 사용한 진의와 질의 결과 건수는 표 1 과 같다.
성능/효과
- 7배 빠貝게 처리된다. 따라서, 최적화된 분할을 사용하는 병렬 정보 검색 시스티에서 역 색인 블록의 수, 즉 슬레이兰 개수를 증가시키면 질의 처리 시간을 더욱 단 죽 시킬 수 있다고 예상할 수 있다.
- 키워드 저장을 위해 필요한 공간을 줄일 수 있다. 또한 특정 키워드에 뎌한 포스팅리스트들이 여러 역색인 블록에 나누어져 색인 되므로 키워드 식별자 분할 방법에서 보다 질의 처리 시간을 결정하는 키워 三의 검색시간을 줄일 수 있고, 키워드에 따른 역색인 블록이 색인하는 포스 텅 수의 불균형을 감소시릴 수 있다.
- 둘째, 기존 의역 색인 분할 방법인 문서식별자 분할 방법과 기워三 식별자 분할 방법을 혼합 사용하는 새로운 부할 방법을 제안하고 구현하였다. 셋째, 단일 정보 검색 시스템과의 질의 처리 시간 비교를 동하여 병렬 정보검색 시스템의 유용성을 보였다. 실험 결과 동일한 질의 틀 병렬 정보검색 시스템이 단일 정보 검색시스템에 비해 역색인의 블록의 개수에 근사하게 비례하여 빠电게 질의믄처리하는 것으 모 나타났다.
- 그리고 구현된 병렬 정보 검색의 유용성을 보이기 위하여 단일 정보 검색시스템과의 성능평가를 수행한다. 실험 견과 많은 양의 문서에 대하여 병렬 정보- 검색 시스템이 단일 정보 검색 시스템에 비해 역색인 블록의 개수에 <5사하게 비례하여 빠旦게정보 검색읍 실행함을 보인다.
- 셋째, 단일 정보 검색 시스템과의 질의 처리 시간 비교를 동하여 병렬 정보검색 시스템의 유용성을 보였다. 실험 결과 동일한 질의 틀 병렬 정보검색 시스템이 단일 정보 검색시스템에 비해 역색인의 블록의 개수에 근사하게 비례하여 빠电게 질의믄처리하는 것으 모 나타났다.
- 이러한 분할 방법을 사용하면 키워드 검색을 일부의 역 색인 블록만을 검색하므로 문서식별자 분할 방법에서 보다 디스크입/출력 횟수를 줄일 수 있으며, 특징 키워드는 일부의 역색인 블록에서만 색인되므코 키워드 저장을 위해 필요한 공간을 줄일 수 있다. 또한 특정 키워드에 뎌한 포스팅리스트들이 여러 역색인 블록에 나누어져 색인 되므로 키워드 식별자 분할 방법에서 보다 질의 처리 시간을 결정하는 키워 三의 검색시간을 줄일 수 있고, 키워드에 따른 역색인 블록이 색인하는 포스 텅 수의 불균형을 감소시릴 수 있다.
후속연구
- 병렬 질의 처리는 마스터 오디세우스에서 사용자로부터 받은 질의匸 분석하고, 역색인 분할 정보에 따라 질의를 나누어 각슬레이브 오디세우스에게 전달하고, 슬레이브 오디세우스로부터의 질의 처리 결과 돌려 받아 최종 결과를 얻기 위한 후 처리를 함으로서 이루어지게 뇐다병里 질의 처리 효율을 높이기 위하여 마스터 오디세우스에서 슬레이브 오디세우스로 전달되는 질의의 수와 슬레이브 오디세우스에서 마스터 오디세우스로 전달되는 결과의 M기元 가능한 작게 되도록 질의살행 계획을 최적화하는 것이 필요하다. 이를 위해 다음과 같은 죄적화규칙욜 사용한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.