선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 또한, 시드 문맥 교환(seed context switching 기법을 통하여 다수의 사이트에 대한 동시 문서수집을 효율적으로 수행한다. 본 논문에서는 기존 로봇 개발자들이 보고한 통계 결과에 비해 최근 통계 자료를 제공할 뿐 아니라, 기존 연구에서 제공되지 않은 통계 정보를 다룬다.
- 본 논문에서는 웹 로봇 구현에 고려되어야 하는 다양한 선택 사항들에 대한 지침을 제공한다. 이를 위하여, 시드 기반의 웹 로봇이 소개되고 구현과 운영에 대한 통계 자료들이 제공된다.
- 웹 로봇의 구현에서 고려되는 사항은 DNS 서버에 대한 병목 현상 최소화, 웹 사이트에 대한 부하 감소, URL의 중복처리, 문서 내용의 중복처리, 넓이—우선 문서 탐색 등이 있다. 웹 로봇 구현에 대한 연구는 웹 사이트에 대한 부하를 최소화하면서 문서 수집 속도를 최대화하는 것을 중요한 목적으로 한다. 인터넷 아카이브(Internet Archive)[l]은 사이트 기반의 문서수집을 수행하는 웹 로봇으로서, 빠른 중복 URL 처리를 위하여 블룸필터 (Bloom filter)를 사용하였다, Heydon과 Najork는 컴팩 SRC 크롤러 (Compaq SRC crawler)[5, 기의 구조를 보이고, 자바(Java) 웹 로봇 구현시 결정한 사항들을 기술하였다.
가설 설정
- 어 떤 i 가 1과 N사이 의 정 수라고 할 때, 해당 시드가 S(i)에 속할 확률은 (|S(i)l/(S-|S(0) 丨))이다. 둘째, s가 S(l)에 속한 시드라면, 로봇은 다음 일괄 수집에서 s를 다운로드하지 못할 것이다. 만약 s가 S(2)에 속한 시드라면, 로봇이 다음 일괄 수집에서 성공적으로 다운로드할 확률은 ((2-l)/(N-l)) = (l/8)이다.
- 성공적으로 다운로드한 시드 문서 s가 있다고 하자. 첫째, s는 S(O)°fl 속한 시드가 아니다. s는 S(l), S(2), …, S(9) 중의 하나에 속한 시드이다.
제안 방법
- 일반적인 파일 시스템에서 한 디렉토리는 수십/수백 만개의 파일들을 포함할 수 없다. 따라서, 본 로봇은 시드 디렉토리 안에 몇 개의 하위 디렉토리들을 생성하고, 각 하위 디렉토리가 10, 000개의 파일들을 上함하도록 하였다. 또한, 본 로봇은 다수의 시드 디렉토리를 포함하는 상위 디렉토리를 생성하였다.
- 따라서, 본 로봇은 시드 디렉토리 안에 몇 개의 하위 디렉토리들을 생성하고, 각 하위 디렉토리가 10, 000개의 파일들을 上함하도록 하였다. 또한, 본 로봇은 다수의 시드 디렉토리를 포함하는 상위 디렉토리를 생성하였다. 또한, 다수의 상위 디렉토리를 포함하는 '디스크 디렉토리'를 생성하였다.
- 본 로봇은 파티 내의 웹 문서들을 수집하면서 새로 발견된 시드 U页L을 테이블에 삽입한다. 또한, 본 로봇은 파티의 문서 수집을 마칠 때마다 테이블에서 해당 시드의 컬럼 정보를 갱신한다. 문서 URL 정보를 저장한 테이블은 문서 식별자, 문서 URL 문자열, 문서 URL 문자열에 대한 해시 값, 문서의 내용에 대한 해시 값, 문서의 발견 깊이, 문서를 다운로드한 소요 시간, MIME 타입, 문서 내용이 저장된 운영체제 파일 이름, 문서의 네트웍상태 등을 저장한다.
- 본 로봇은 문서 수집 동안에 발견된 새로운 문서 URL을 테이블들에 저장한다. 또한, 본 로봇은 한 문서를 다운로드하고 디스크에 저장할 때마다 해당 문서 URL의 컬럼 정보를 갱신한다.
- 시드 기반의 웹 로봇은 사이트 기반의 웹 로봇에 비하여 보다 많은 웹 문서 수집이 가능하다. 또한, 시드 문맥 교환(seed context switching 기법을 통하여 다수의 사이트에 대한 동시 문서수집을 효율적으로 수행한다. 본 논문에서는 기존 로봇 개발자들이 보고한 통계 결과에 비해 최근 통계 자료를 제공할 뿐 아니라, 기존 연구에서 제공되지 않은 통계 정보를 다룬다.
- 본 로봇은 IP 주소, 시드 URL 문자열, 포트 번호, 수집해야 할 문서 URL. 목록, 파耳의 블룸-필터, 파习에서 마지막으로 다운로드한 문서의 다운로드 소요 시간 등을 시드 문먹으로 구성하였다. 특히, 파耳에서 마지막으로 다운로드한 문서의 소요시간을 7-시간' 이라고 한다.
- 둘째, 현재 웹 로봇은 웹 문서와 URL 문자열 처리를 위하여, 가능한 많은 공간을 메모리, 디스크, 데이터베이스에 할당한다. 보고된 통계 정보에 따라 불필요하게 할당된 메모리/디스크 공간을 조정한다. 셋째, 소개된 로봇은 웹 문서 하나당 파일 하나로 압축하여 저장한다.
- 예를 들어, Shakapenyuk과 Suel는 로봇이 한 웹 사이트의 문서를 30초에 최대 한 번만 다운로드하도록 하였다[6]. 본 로봇에는 다수의 수집 쓰레드가 동작하고, 각 쓰레드는 동시에 다수의 파티에서 문서를 다운로드한다. 본 논문에서는 시드와 파耳의 정보 집합을 시드 문맥(seed context)라고 한다.
- 따라서, 본 로봇은 내부 URL들의 중복처리에 블룸-필터를 사용한다. 본 로봇은 각 파티마다 하나의 블룸-필터를 생성하고 각 파日내의 웹 문서만을 고려하여 중복 皿을 검사한다. 본 로봇은 전체 웹 문서에 대한블룸-필터를 생성하지 않는다.
- Shakapenyuk과 Suel는 GNU adns라는 비 동기적 DNS 클라이언트를 사용하였고⑹, Heydon과 Naijork는 고유한 DNS 클라이언트를 구현하여 사용하였다[5]. 본 로봇은 병목현상을 줄이기 위해 DNS에 대한 질의 횟수를 줄이도록고안듸었다. 같은 파티내의 웹 문서들은 시드 문서와 동일한 I。주소를 가진다.
- 왜냐하면 URL 문자열로 허용되는 문자들이 파일시스템에서 허락되지 않는 경우가 있기 때문이다. 본 로봇은 숫자의 조합으로 파일과 디렉토리의 이름을 구성하였다.
- 본 로봇은 웹 문서를 하나의 파일로 저장한다. 같은 파习 의』문서들은 같은 디렉토리에 저장된다.
- 서를 수집하는 작업을 일괄 수집(batch crawling)이라고 한다. 본 시험에서는 총 9차례의 일괄 수집이 이틀 간격으로 수행되었다.
대상 데이터
- 본 시험에서. : 각 카테고리별로 상위 100위까지의 사이트들을 관찰 디상으로 선정하였고, 이 중에서 시험에 참여하는 것을 원하지 않는 사이트들을 제외하였다. 최종적으로 1, 424개의 웹 사이트들이 관찰 대상으로 선정되었고, 모든 사이트 URL 이 시드 URL로 사용되었다.
- 겨향을 조사한다. 관찰 대상은 웹 사이트의 랭킹 정보를제공温는 사이트(랭크서브, http://www.rankserv.com/)에서 높은 순위를 갖는 사이트들로 선정되었다. '랭크서브'는 웹 사이 上들을 15개의 카테고리(category)로 분류하고 각 카테고리별로 한국 웹 사이트의 순위를 부여하고 있다.
- 예를 들어, 어떤 시드가 10 일 동안 관찰되었고 그 기간에 5번 변경되었으면, 해당 시드의 변경주기는 10일/5 = 2일이다. 관찰한 사이트들 중에서 약 50%에 해당하는 761개 시드가 “kr” 도메인에 속하였다. “kr”, “com”, “net”, “org”이외에 10개 이상의 시드를 포함한 도메인은 존재하지 않았다.
- 시드 문서를 성공적으로 다운로드하였다. 또한, 총 73, 954, 114개의 웹 문서를 요청하여 67, 488, 127개의 웹 문서를 다운로드하였다. 한 웹 문서를 다운로드하는 동안 5초 이상 자료의 전송이 없으면 해당 웹 문서의 다운로드를 포기하였다.
- 본 시험에는 128, 446개의 국내 시드가 사용되었다. 문서 수집은 30개의 수집 쓰레드로 이루어 졌다. 각 수집 쓰레드는 동시에 15개의 시드 문맥을 가지고 작업하였다.
- 각 문서에는 5초의 타임아웃이 설정되었다. 본 논문에서는 로봇이 1, 424개의 사이트로부터 웹 믄.서를 수집하는 작업을 일괄 수집(batch crawling)이라고 한다.
- 본 로봇은 128, 446개의 깊이 0인 문서를 요청하였고, 111, 852개의 문서를 다운로드하였다. 다운로드한 111, 852개의 문서에서 623, 250개의 내부 URL이 발견되었다.
- Shkapenyuk과 Suel은 20이년에 그들이 개발한 고성능 웹 로봇[6]을 이용하여 1억 2천만 웹 문서에 대한 HTTP 응답 코드, 평균 웹 문서 크기에 대한 통계 자료를 제공하였다. 본 로봇은 2002년에 한국의 웹 문서들을 대상으로 하여 약 7천 4백 만개의 웹 문서를 요청하고 6천 7백 만개의 웹 문서를 성공적으로 다운로드하였다.
- (그림 4)는 각 디스크의 사용량을 나타낸다. 본 로봇은 67, 488, 127개의 웹 문서를 저장하는데 약 400기가바이트의 공간을 사용하였다..
- 각 수집 쓰레드는 동시에 15개의 시드 문맥을 가지고 작업하였다. 본 로봇은 각 파티 당 640, 000 비트 크기의 블룸-필터를 할당하였다. 즉, 웹 로봇은 하나의 시드로부터 최대 640, 000개의 웹 문서를 수집할 수 있다.
- 본 로봇은 다수의 쓰레드를 이용하여 웹 문서를 수집한다. 이러한 설계는 웹 로봇이 사용하는 네트웍 대역폭을 늘리는 반면 쓰레드들 간의 동기화를 필요로 한다.
- 다운로드한 111, 852개의 문서에서 623, 250개의 내부 URL이 발견되었다. 본 로봇은 발견된 내부 URL(623, 250개)의 문서를 요청한 결과 眺, 768개의 웹 문서를 다운로드하였다. 발견된 웹 문서의 약 90퍼센트는 성공적으로 다운로드되었으나, 10퍼센트는 해당 웹 문*로 연결되지 않았다.
- 또한, 다운로드한 시드로부터 1, 406, 908개의 문서 U攻L을 발견하였다. 본 로봇은 발견한 문서 U应L에 해당하는 웹 문서를 요청하였고 최종적으로 1, 211, 677개의 문서를 다운로드하였다. 매 일괄 수집에서 丄 로봇이 다운로드한 시드와 문서의 개수는 비슷하게 나타났다.
- 문서의 통계치를 나타낸다. 본 로봇은 첫 번째 일괄 수집에서 1, 424개의 시드 문서를 요청하여 1, 061개의 시드를 성공적으로 다운로드하였다. 또한, 다운로드한 시드로부터 1, 406, 908개의 문서 U攻L을 발견하였다.
- URL의 최대 길이는 255문자로 설정되었다. 본 로봇은 한국의 웹 문서들만을 수집하였다. 한국 웹 문서의 판단은 IP 주소에 근거하였다.
- 제시된 통계 자료는 웹 로봇과 같은 웹 어플리케이션의 설계와 자원 할당에 대한 지침이 될 수 있다. 본 시험에는 128, 446개의 국내 시드가 사용되었다. 문서 수집은 30개의 수집 쓰레드로 이루어 졌다.
- 본 시험에서는 142개의 시드(관찰한 1, 424개의 시 三에서 약 10%를 임의로 추출한 시드)에서 다운로드한 웹 문서들을 관찰하였다. 웹 로봇은 9번의 일괄 수집에서 총 220, 787 개의 웹 문서를 다운로드하였다.
- 본 웹 로봇은 총 128, 446개의 시드 문서를 요청하여 118, 852 개의 시드 문서를 성공적으로 다운로드하였다. 또한, 총 73, 954, 114개의 웹 문서를 요청하여 67, 488, 127개의 웹 문서를 다운로드하였다.
- 관찰하였다. 웹 로봇은 9번의 일괄 수집에서 총 220, 787 개의 웹 문서를 다운로드하였다. 이 중 32, 114개의 웹 문서는 매 일괄 수집에서 성공적으로 다운로드되었다.
- 웹 로봇은 문서 수집을 시작하기 전에 '입력 URL 목록'의 시드 URL을 데이타베이스에 저장한다. 웹 로봇은 데이타베이스에 저장된 시드 UT位로부터 문서수집을 수행한다. 문서 수집 중에 새롭게 발견된 시드 URL 은 데이타베이스에 저장된다.
- : 각 카테고리별로 상위 100위까지의 사이트들을 관찰 디상으로 선정하였고, 이 중에서 시험에 참여하는 것을 원하지 않는 사이트들을 제외하였다. 최종적으로 1, 424개의 웹 사이트들이 관찰 대상으로 선정되었고, 모든 사이트 URL 이 시드 URL로 사용되었다.
이론/모형
- 또한, 같은 기계에서 하나의 쓰레드가 DNS에 질의 중이면, 나머지 쓰레드들은 먼저 질의중인 쓰레드가 결과를 얻을 때까지 기다려야 한다. DNS 병목현상을 해결하기 위해, 기존의 웹 兄봇[1, 5, 6]은 비 동기적인 DNS 클라이언트를 사용하였다. Shakapenyuk과 Suel는 GNU adns라는 비 동기적 DNS 클라이언트를 사용하였고⑹, Heydon과 Naijork는 고유한 DNS 클라이언트를 구현하여 사용하였다[5].
- 시드 기반의 웹 문서 수집에서 한 파耳 내의 문서 URL은 다른 파티의 문서 URL과 중복되지 않는다. 따라서, 본 로봇은 내부 URL들의 중복처리에 블룸-필터를 사용한다. 본 로봇은 각 파티마다 하나의 블룸-필터를 생성하고 각 파日내의 웹 문서만을 고려하여 중복 皿을 검사한다.
- 예를 들어, Heydon과 Naijork는 URL 관리를 위하여 커넥티비티 서버 2(Connectivity Server 2)를 구현하여 사용한다[5]. 본 로봇은 다중 쓰레드 환경에서 데이터의 동시성 제어와 문서 수집 동안에 얻어진 방대한 통계정보의 관리를 위하여 DBMS를 사용한다. 본 로봇은 데이타베이스 내에 두 종류의 테이블을 유지 관리한다.
- 또한, 처리되지 않은 시드 URL이 발생될 수 있다. 본 로봇의 설계에는 널리 알려진 “생산자/소비자” 쓰레드 모델이 채택되었다. 본 로봇에서 수집 쓰레드는 '생산자 /소비자” 모델에서 소비자 쓰레드에 해당한다.
성능/효과
- “kr”, “com”, “net”, “org”이외에 10개 이상의 시드를 포함한 도메인은 존재하지 않았다. “net” 도메인에 속한 시드가 116개가 존재하였고, 이 중에서 70개의 시드들이 모든 일괄수집에서 성공적으로 다운로드되었다. 70개의 시드들 중에서 45개의 시드(64.
- 본 논문에 나타난 통계정보를 적용하여 소개된 웹 로봇의 성능을 향상시키는 것이 가능하다. 첫째; 본 논문에 소개된 통계자료에 따르면 문서 깊이가 깊어질수록 더 많은 문서를 수집할 수 있다.
- 추가하려는 외부 URL의 중복 검사 시간을 줄이는 것은 매우 중요하다. 본 로봇은 시드 URL 목록을 테이블로 구성하고 DBMS를 통하여 시드 URL 목록에 대한 동기화 문제를 효율적으로 해결한다.
- 본 시험에서 한 문서의 최대 크기를 2메가바이트로 제한하였을 때, 평균 웹 문서 크기는 18, 451바이트로 측정되었다.[표 5]는 웹 문서의 크기 분포를 나타낸다.
- 웹 문서들에 대한 통계 정보는 웹 로봇뿐 아니라 웹 어플리케이션 개발 및 설계에 유용하게 사용될 수 있다. 셋째, 1, 424개의 웹 사이트에서 발견된 웹 문서들의 변경 경향이 관찰되었다.
- 이와 같이, s 가 S(i)중의 하나라고 가정할 때, 다음 일괄 수집에서 성공적으로 문서를 다운로드할 확률은 ((「1)/(N-1))이다. 셋째, s가 S(() 중의 하나이고 다음 일괄 수집에서 성공적으로 문서를 다운로드할 확률은 (IS((-)|/(S- IS(O)D) x ((i -1)/(N-1))이다. 마지막으로, SS는 모든 (IS(z')l/(S- IS (0)|)) x ((—1)/(N-1))의 합이다.
- 본 시험에서 시드 URL 문자열의 길이가 49문자보다 크면 성공적으로 문서를 다운로드하지 못하였다. 즉, 데이터베이스 내에 시드 문자열을 저장하기 위한 공간은 50 바이트면 충분한 것으로 나타났다.[표 4] 는 시드 URL의 형태를 나타낸다.
- 7426로 측정되었다. 즉, 성공적으로 다운로드된 시드는 다음 문서 수집 시도에서도 성공적으로 다운로드될 확률이 약 96%로 나타났다.
- 본 로봇 시스템에서는 두 종류의 동기화가 필요하다. 첫째, 수집 쓰레드가 시드 큐에서 시드 URL을 얻을 때, 시드 큐는 동기화되어야 한다. 동기화 없이 다수의 쓰레드가 시드 큐를 접근하면, 같은 시드 URL이 둘 이상의 쓰레드에서 중복 처리될 수 있다.
후속연구
- 본 로봇은 다중 기계 (multiple machine)를 사용하는 웹 문서 수집 시스템에 쉽게 적용될 수 있다. 관리자는 본 로봇을 각 기계에 설치하고 수집할 시드 URL을 분배한다.
- 기록을 모두 유지 관리하는 것은 쉽지 않다. 향후 과제는 웹 문서의 과거 변경 기록 없이 현재 추출한 문서 정보만을 바탕으로 하여 향후 변경 주기를 예측하는 것이다. 이를 위하여 웹 문서의 변경 주기 예측 모델을 만들고, 웹 문서 변경과 밀접하게 관련 있는 요소를 발견하여야 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.