선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 먼저 각각의 URL 에 우선순위를 부여하여 신뢰성 있는 정보 수집을 할 수 있고, 문서 수집 시 각각의 호스트에 대한 RTT 를 반영함으로써 문서 수집 속도의 향상을 이룰 수 있다. 그리고 다른 시스템과 달리 관리자의 개입을 많이 필요로 하는 크롤러에 명령어상태와 웹에서 작동할 수 있는 인터페이스를 제공하여, 크롤러의 관리에 있어서의 많은 편리성을 제공하도록 한다.
- 크롤러는 제안된 스케줄링 정책에 의해 각 URL 에 우선 순위를 부여하여 보다 신뢰성 있는 정보를 수집 가능하게 하고, 여러 개의 큐를 두어 특정 호스트로의 부하 집중을 1 차 분산시키고, 각 호스트로의 접근 시간 기록을 유지 반영함으로써 크롤러로 인한 호스트의 네트워크 부하를 2 차 분산 시키는 효과를 기대할 수 있다. 또한 웹 호스트로의 왕복시간을 스케줄링에 반영하여 좀더 신속하게 정보수집을 가능하도록 하였다. 웹을 통한 인터페이스를 제공함으로써 쉽게 크롤러를 제어할 수 있도록 한다.
- 그리고 로봇 배제 표준과 로봇 설계시에 지켜야 할 원칙을 따름으로써 크롤러를 작동시키는데 사회적, 기술적으로 문제가 발생될 수 있는 소지를 제거한다. 또한 효율적인 스케줄링 정책을 채택한다. 먼저 각각의 URL 에 우선순위를 부여하여 신뢰성 있는 정보 수집을 할 수 있고, 문서 수집 시 각각의 호스트에 대한 RTT 를 반영함으로써 문서 수집 속도의 향상을 이룰 수 있다.
- RTT 는 송신단이 데이터를 전송하여 해당 전송에 대한 응답을 받을 때까지의 소요된 시간을 나타낸다. 본 논문에서는 RTT 를 고려한 URL 스케줄링을 제안한다. 인터넷 상의 수많은 웹 호스트들로의 RTT 가 상이 하기 때문에 이를 고려하여 RTT 가 짧은 호스트의 URL 에 가중치를 주어 URL 스케줄링을 한다.
- 본 논문에서는 웹 크롤러의 문서 수집 속도를 향상시키기 위해 크롤러가 웹 서버에 접근할 때의 timestamp 와 웹 서버로부터의 응답이 도착할 때의 timestamp 를 이용하여 각 웹 서버의 round trip time 를 고려한 URL Scheduling 기법을 제시하고, 이 기법을 이용한 웹 크롤러를 설계한다.
- 웹에 산재해 있는 다양한 정보들을 효율적으로 수집하기 위해 웹 크롤러를 이용한 많은 검색 시스템들이 제시되고 있다. 본 논문에서는 제한된 시스템 하에서 신속하게 신뢰성 있는 정보들을 수집하기 위한 스케줄링 정책을 제시하고, 이를 이용한 웹 크롤러를 설계하였다.
- 이러한 politeness 문제를 해결하기 위해 본 논문은 속도를 고려한 우선순위 기반의 URL 스케줄러를 제안한다. 이것은 URL 들의 우선순위를 부여하는 prioritizer, FIFO 큐, host-to-queue 테이블, 각 FIFO 큐로의 핸들을 포함하는 힙 구조의 우선순위 큐, 그리고 ‘strong politeness guarantee’를 위한 부분으로 구성된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.