선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 특히 앞에서 설명한 적 합성 피드백에 의한 질의 확장 시 이러한 상관관계의 존재는 거의 의심의 여지가 없다고 하겠다. 따라서, 본 연구에서는 같은 문서에 동시에 등장하는 빈도수가 높은 색인어들이 최대한 서로 다른 노드에 저장되도록 아 래의 그림 1에서 보인 바와 같은 색인어 군집화를 이용한 분산저장 방안을 강구하게 되었다.
- 따라서, 본 연구에서는 개별 질의 처리 시 부하가 최 대한 균등화될 수 있도록 색인어 역파일을 적절히 분산 시키는 방안을 강구한다. PC 클러스터는 각 노드마다 하나씩의 프로세서와 하드디스크가 있는 구조로서 각 프로세서는 자신의 하드디스크로부터 읽은 정보의 처리 를 우선적으로 담당하게 된다.
- 일부 노드의 사용이 불가능한 경우에도 전체 시스템의 운영이 가능하게 하는 가장 적극적인 대처방법은 전체 시스템을 복제하여 운영하는 방법이나, 이는 그 효율 에 비하여 추가 비용이 과다하게 발생하므로, 본 논문에서는 작업분배의 직접 대상이 되는 색인어 역파일을 중 복저장함으로써 시스템의 효율성과 결함포용성을 동시에 달성하고자 하였다. 병렬 정보검색 시스템에서 개별 색인어 관련 역파일 엔트리 정보를 2개 이상의 서로 다른 노드에 중복하여 저장한다면 특정 노드 결함시에도 운영이 가능하므로, 본 논문에서는 저장 공간상의 요구 가 가장 낮은 2 노드 색인어 역파일 엔트리 중복저장방 안을 연구하였다.
- 본 논문에서는 pc 클러스터 기반의 병릴 정보검색 시스템의 효율을 향상시키기 위하여 색인어 역파일을 PC 클러스터의 각 누드에 분산 및 중복저장하는 기법을 제시하였다. 부하 균등화를 통한 병릴도의 향상은 위해서는 한 질의 내에 동시에 등장할 가능성이 높은 색 인어들이 가능한 서로 다른 노드에 저장될 필요가 있다.
- 이 연구에서는 색인어간의 연관관계를 기반으로 디클러스터링(declustering) 기법을 이용하여 색인어 역파일을 분산저장함으로써 무작 위적 분산저장보다 성능향상을 이룰 수 있음을 보인 바 있다. 본 논문에서는 검색대상 자료인 색인어 역파일을 효과적으로 분산저장하기 위해서 색인어를 먼저 질의에 동시에 나타날 가능성이 높은 것들끼리 묶어 군집화 (clustering)한 후, 각 PC의 하드디스日에 나누어 할당 함으로써 병렬처리의 효율을 향상시키는 방안을 제시하고 있다. 정보검색 분야에서 유사한 군집으로 분류하는 군집화기법들을[8, 9] 이용한 연구가 상당히 진척되어 있으나, 모두 검색 결과를 문서의 측면에서 정리하여 사 용자가 원하는 문서를 보다 쉽게 찾을 수 있도록 하는데 그 초점이 맞추어진 것이지, 본 논문에서 제시하는 바와 같이 병렬검색의 효율 향상을 목표로 한 것은 아 니 다.
- 데이타베이스분야에서는 초기부터 이러한 연구가 활 발히 진행하여 왔으나[10, 11], 병렬정보의 특성을 반영 하여 이러한 문제에 접근한 연구는 아직 미흡한 실정이다. 본 논문에서는 실용적인 수준의 결함포용성을 제공 하기 위하여 색인어 역파일을 여러 PC에 중복하여 저 장하는 방안을 분산저장방안과 연계함으로써 실용적이 면서 효율적인 병렬정보검색시스템을 위한 색인어 역파 일 분산저장기법을 제안하고자 한다.
- 본 연구에서는 색인어들이 어떤 문서에서 얼마만큼의 중요도를 가지고 얼마나 동시에 등장하는지를 대량의 말뭉치를 분석하여 작성한 색인어 동시등장 가중치 행 렬을 기반으로, 관련성이 높은 색인어들을 군집화하는 CWC 알고리즘을 제시하고, 이를 이용하여 색인어들을 기존의 그리디 디클러스팅과 유사한 방식으로 각 노드 에 분산저장하는 방안을 소개하였다. 또한 실용적인 PC 클러스터 기반 병릴정보검색시스템을 운영하기 위하여 필수적으로 요구되는 결함포용성과 함께 추가의 동적 부하균형화를 달성할 수 있는 색인어 중복저장기법을 분산저장기법과 연계하여 제안하였다.
- 앞장에서 설명한 그림 1 방식의 성공의 관건은 결국 색인어 군집화가 얼마나 잘되느냐 하는데 있다. 본 연구에서는 일단 임의의 두 색인어에 대한 동시등장 빈도수 를 그 두 색인어를 연결하는 연결강도로 간주하여 강하 게 연결된 색인어들끼리 서로 묶이도록 해 보았다. 그러나, 초기 여러 차례 실험을 통해 관찰한 바 군집의 형성 이 지극히 불균형한 것으로 나타났다.
- 여러 디스크 상의 색안어 역파일 분할을 성능의 측면에서 분석한 연구로는 [4] 가 있다. 여기에서는 공유 메모리 기반 병렬컴퓨터에서 고성능 디스크 I/O를 지원 하기 위하여 디스크 어레이의 여러 디스크에 색인어 역 파일을 분할하는 방법과 이에 따른 성능를 시뮬레이션 을 통하여 평가하였다. 이 연구에서는 색인어별 또는 문 서별로 색인어 역파일을 각 디스크에 분할하는 방안을 다양한 상황에서 시뮬레이션하였고, 특히 색인어 역파일 을 색인어 단위로 분할 시, 질의에 나타날 색인어의 확 률을 고려하면 상당한 효과가 있음을 확인하였다.
- 일부 노드의 사용이 불가능한 경우에도 전체 시스템의 운영이 가능하게 하는 가장 적극적인 대처방법은 전체 시스템을 복제하여 운영하는 방법이나, 이는 그 효율 에 비하여 추가 비용이 과다하게 발생하므로, 본 논문에서는 작업분배의 직접 대상이 되는 색인어 역파일을 중 복저장함으로써 시스템의 효율성과 결함포용성을 동시에 달성하고자 하였다. 병렬 정보검색 시스템에서 개별 색인어 관련 역파일 엔트리 정보를 2개 이상의 서로 다른 노드에 중복하여 저장한다면 특정 노드 결함시에도 운영이 가능하므로, 본 논문에서는 저장 공간상의 요구 가 가장 낮은 2 노드 색인어 역파일 엔트리 중복저장방 안을 연구하였다.
가설 설정
- , 2차노드로는 Node, 가 선정되었으며, 색인어 由의 경우에는 1차노드로 Neg 2차노드로는 Nodes이 사용되었다. 그림 6에서는 임의노드 중복저장 방안의 노드 결함 시 대처방법을 보여주고 있는데 Nod们에 문제가 발생한 경우를 가정하였다. Mx地에 있던 색인어 匕 氏 Z17, 由5는 각각 Node>, Nodes, Node>„ Node」에 중복저장된 색인어를 활용함으로써 전체시스템의 지속적인 운영이 가능하다.
- 단방향 이웃노드 중복저장기법을 사용한 경우에는 2 개 이상의 노드가 운영중지 상황인 경우에도 서비스가 지속될 수 있는데, 본 실험에서는 가장 부하균등화가 어려운 1, 3번 노드가 동시에 사용불가능하게 된 상황을 가정하였다. 특정 노드 주위의 양쪽노드에 동시에 문제가 발생한 경우는, 해당 노드가 왼쪽 노드에서 유입되는 부하와 자신의 부하를 모두 처리해야 하므로 부하균등 화가 가장 어려운 상황이라 할 수 있다.
- 그림 8에는 단방향 이웃노드 중복저장방안 적용시 노드에 문제가 발생한 경우의 대처방법을 설명한다. 이 예에서는 M说1과 Not血이 동시에 결함이 발생한 경우를 가정하였다. 서로 이웃하지 않은 노드들에 문제'사 발생하였으므로 각각 Node-z, Nod幻를 활용하여 전체시스템의 지속적인 운영이 가능하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.