초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문은 여러 컬렉션에 대해 검색을 수행하는 분산 검색시스템에서 질의어가 들어 왔을 때 질의어에 적합한 컬렉션을 자동으로 선택할 수 있도록 하는 컬렉션 선택 모델과 브로커 구조를 제안하였다. 각 컬렉션마다 과거 질의에 대해 검색된 결과 문서들을 색인하여 인접단어를 고려한 불완전 인텍스를 생성한다. 이러한 불완전 인덱스를 이 용하여 컬렉션 선택하는 모델을 TREC 문서집합과 SMART 시스템을 이용하여 구현하였다.

본 논문은 여러 컬렉션에 대해 검색을 수행하는 분산 검색시스템에서 질의어가 들어 왔을 때 질의어에 적합한 컬렉션을 자동으로 선택할 수 있도록 하는 컬렉션 선택 모델과 브로커 구조를 제안하였다. 각 컬렉션마다 과거 질의에 대해 검색된 결과 문서들을 색인하여 인접단어를 고려한 불완전 인텍스를 생성한다. 이러한 불완전 인덱스를 이 용하여 컬렉션 선택하는 모델을 TREC 문서집합과 SMART 시스템을 이용하여 구현하였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 그러나 이러한 기존의 연구들은 컬렉션에서 특정 정보를 제공할 경우에 적용 가능하다는 한계점이 있다. 본 논문에서는 각 컬렉션마다 개별적인 검색 시스템이 지원된다는 가정하에, 어느 분산검색 시스템에서나 사용 가능한, 적응력 높은 컬렉션 선택 전략을 제안하고 이러한 방법을 이용함으로써 얼마나 효율적인 검색이 이루어지는지 실험을 통해 검증하고자 한다.
• 본 논문에서의 실험은 TREC disk 1 문서 집합에 대해 수행하였다. TREC disk 1의 컬렉션들은 7개의 컬렉션으로 나눌 수 있으며, 각 컬렉션마다 문서의 출처와 기간이 다양하다.

가설 설정

• 이를 위해서는 컬렉션에 출현하는 각 단어마다 용어 빈도수나 문헌 빈도수와 같은 통계정보가 요구된다. 그러나 통계정보를 제공하지 않는 컬렉션이 대부분이므로 본 논문에서는 모든 컬렉션이 통계정보를 제공하지 않는다고 가정한다. 대신 컬렉션 선택을 하기 위해 분 산 검색 시스템에서 질의어 집합을 이용하여 컬렉션들의 인덱스를 구성한다.
• 클러스터링을 이용한 컬렉션 선택 방법은 컬렉션을 문서 검색과 같은 방식으로 랭킹 하는 이전의 연구와는 달리 문서 클러스터링을 통해 컬렉션을 랭킹 한다. 이 연구에서는 연관된 문서 들은 같은 질의에 대해 적절한 문서라고 가정하고, 클러스터링을 통해 생성된 토픽에 따라 문서르 그룹화한다. 질의가 들어오면 가장 적절한 토픽을 고旦고 it 토픽을 포함하는 컬렉션에 대해 검색을 요청한다.
• 없을 경우에는 질의어를 포함한 문서가 컬렉션에 존재하는지 여부를 알 수 없으므로 인접단어 정보를 이용한다. 즉, 인접단어 리스트 중 여러 인접단어들이 컬렉션 안에 나타나면 질의어도 그 컬렉션에 나타날 가능성이 클 것이라고 가정하고 그 가능성이 일정. 임계값 이상일 경우에 컬렉션을 선택한다.

제안 방법

• 그러나 통계정보를 제공하지 않는 컬렉션이 대부분이므로 본 논문에서는 모든 컬렉션이 통계정보를 제공하지 않는다고 가정한다. 대신 컬렉션 선택을 하기 위해 분 산 검색 시스템에서 질의어 집합을 이용하여 컬렉션들의 인덱스를 구성한다.
• 본 논문에서는 각 컬렉션마다 컬렉션의 문서 전체가 아닌 과거 질의에 대해 검색된 결과 문서들만을 색인하여 불완전 인덱스를 생성하고, 이것을 이용하여 컬렉션 선택을 하는 방법을 제 안 하고 TREC 문서 집합과 SMART 시스템을 이용하여 구현하였다. 실험을 통해 컬렉션 선택을 한 경우가 컬렉션 선택을 하지 않은 경우보다 더 좋은 성능을 보이며, 인접단어를 고려한 경우의 컬렉션 선택이 인접단어를 고려하지 않은 경우보다 정확도와 재면율에서 더 나은 성능을 보임을 알 수 있었다.
• 여기에서 인접단어란 특정 단어와 관계된 단어들을 의미한다. 본 논문에서는 특정 단어와 관계된 단어는 자주 같이 출현한다는 가정하에 동시에 줄현 하는 빈도가 높은 단어들을 인접단어로 결정한다. 컬렉션 선택을 할 때 자신의 컬렉션 인덱스에서 질의어에 해당하는 단어를 찾지 못할 경우, 인접단어 리스트에 해당하는 단어들을 이용하여 컬렉션 선택을 하기 때문에 본 논문에서 인접단어의 역할은 매우 중요하다.
• 또한 컬렉션마다 포함하고 있는 문서의 개수와 각 문서의 길이가 다양한 이질적인 컬렉션들로 구성된다. 본 실험에서는 disk 1의 각 컬렉션마다 임의의 문서들을 선택하여 컬렉션 당 약 50Mbyte씩 7개 컬릭션을 생성하였다. 실험에 사용된 컬렉션에 대한 통계정보는 [표 1]과 같다.
• 처음 단계에서는 과거 질의를 이용하여 컬렉션, 로부터 검색 결과를 수집한다. 불완전 인덱스를 구성하기 위해 각 질의마다 검색 결과 중 상위 m개의 문서를 선태하여 컬렉션 i의 샘플 문서 집합을 구성한다.
• [5]. 이 연구는 다른 연구와 달리 컬렉션으로부터 정보를 요구하지 않고 학습 질의와 결과로 반환된 문서의 개수만 고려하여 컬렉션 선택을 하는 방법으로 TREC의 토픽을 질의어로 사용하여 실험하였다. 그러나 TREC의 토픽은 여러 단어들로 구성된 데 반해 인터넷 환경에서 대부분의 사용자들은 두, 세 개의 단어를 이용하여 질의를 하므로[6] 질의어 간의 유사도를 구 하는데 적 절하지 않을 수 있다.
• 불완전 인덱스는 완전 인덱스에 비해 매우 작은 인덱스를 구성하므로 인덱스에 없는 단어가 질의어에 포함되어 있을 경우에도 처리할 수 있도록 하는 다른 구 조가 요구된다. 이를 위해 인덱스의 각 단어마다 가중치 외에 인접단어 리스트를 보유하도록 한다. 여기에서 인접단어란 특정 단어와 관계된 단어들을 의미한다.
• 컬렉션 인덱스를 구성하기 위해 본 논문에서 제안한 방법은 과거 질의를 이용해 검색된 문서만을 대상으로 색인하여 해당 컬렉션의 내용을 표현하도록 하는 것이다. 이렇게 구성된 인 덱 스는 컬렉션의 모든 컨텐츠에 대한 완전한 인덱스는 아니지만 컬렉션의 컨텐츠를 반영하는 정보이다.

대상 데이터

• 본 논문에서 제안한 불완전 인덱스눈 과거 질의와 검색 결과 문서를 이용하여 구성한다. 불완전 인덱스를 구성하고 컬렉션 선택을 하는 과정을 개략적으로 살펴보면 다음과 같다.

이론/모형

• 이렇게 구성된 각 컬렉션의 문서들은 미국의 Cornell 대학에서 개발한 SMART 시스템을 이용하여 색인하였다【7][8]. 각 컬렉션에 대해 불완전 인덱스를 생성하기 위해 사용한 질의어 집합은 TREC topics 51-100이고 모델 성능의 평가에는 TREC topics 101-150을 이용하였다.
• 이렇게 구성된 각 컬렉션의 문서들은 미국의 Cornell 대학에서 개발한 SMART 시스템을 이용하여 색인하였다【7][8]. 각 컬렉션에 대해 불완전 인덱스를 생성하기 위해 사용한 질의어 집합은 TREC topics 51-100이고 모델 성능의 평가에는 TREC topics 101-150을 이용하였다.

성능/효과

• 본 논문에서는 각 컬렉션마다 컬렉션의 문서 전체가 아닌 과거 질의에 대해 검색된 결과 문서들만을 색인하여 불완전 인덱스를 생성하고, 이것을 이용하여 컬렉션 선택을 하는 방법을 제 안 하고 TREC 문서 집합과 SMART 시스템을 이용하여 구현하였다. 실험을 통해 컬렉션 선택을 한 경우가 컬렉션 선택을 하지 않은 경우보다 더 좋은 성능을 보이며, 인접단어를 고려한 경우의 컬렉션 선택이 인접단어를 고려하지 않은 경우보다 정확도와 재면율에서 더 나은 성능을 보임을 알 수 있었다. 즉, 불완전인 덱스에서 인접단어가 컬렉션 선택에 기여함을 확인할 수 있었다.
• [표 3]은 불완전 인덱스에서 인접단어를 고려한 경우와 고려 하지 않은 경우를 비교한 결과이다. 인접 단어를 고려하지 않으면 선택하지 못한 컬렉션과 잘못 선택한 컬렉션이 증가하는 것으로 보아 불완전 인덱스에서 인접단어를 고려하는 것이 효과적임을 알 수 있다.
• 실험을 통해 컬렉션 선택을 한 경우가 컬렉션 선택을 하지 않은 경우보다 더 좋은 성능을 보이며, 인접단어를 고려한 경우의 컬렉션 선택이 인접단어를 고려하지 않은 경우보다 정확도와 재면율에서 더 나은 성능을 보임을 알 수 있었다. 즉, 불완전인 덱스에서 인접단어가 컬렉션 선택에 기여함을 확인할 수 있었다.

후속연구

• 본 논문의 컬렉션 선택 방법이 더 좋은 성능을 낼 수 있도록 하기 위해서는 인덱스의 가장 적절한 크기를 조정해야 한 匸+. 또한 인덱스가 커지면 색인 단어 당 인접 단어의 개수가 매우 증가할 것이므로 인접 단어의 빈도수를 고려한 연구 또한 이루어져야 짤 것이다.
• 본 논문에서 제안한 컬렉션 선택 모델은 계층적인 구조에서도 하나의 분산 검색 시스템에서 수행한 것과 같은 컬렉션 선택 방법을 적용할 수 있으므로 향후 계증적인 분산 검색 시스템에 이용할 个 있다. 본 논문의 컬렉션 선택 방법이 더 좋은 성능을 낼 수 있도록 하기 위해서는 인덱스의 가장 적절한 크기를 조정해야 한 匸+.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기