선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
제안 방법
- 본 논문에서는 오픈소스 기반의 순차적 접근 웹 크롤러를 구현하였으며, 처리 속도의 성능향상을 위하여 멀티 쓰레드 기능을 추가하였다. 성능 검증을 위하여 다른 데이터 크기의 3곳 여행 사이트에 대한 크롤링 성능을 각각의 쓰레드 수에 따라 측정하였다.
- 본 논문에서는 위 세 가지 모듈 중에서 lxml 모듈을 중점적으로 이용하여 웹 크롤러를 구현한다.
- 본 논문에서는 오픈소스 기반의 순차적 접근 웹 크롤러를 구현하였으며, 처리 속도의 성능향상을 위하여 멀티 쓰레드 기능을 추가하였다. 성능 검증을 위하여 다른 데이터 치수의 3곳 여행 사이트에 대한 크롤링 성능을 각각의 쓰레드 수에 따라 측정하여 성능 결과를 비교하여 성능향상을 확인하였다.
- 본 논문에서는 오픈소스 기반의 순차적 접근 웹 크롤러를 구현하였으며, 처리 속도의 성능향상을 위하여 멀티 쓰레드 기능을 추가하였다. 성능 검증을 위하여 다른 데이터 크기의 3곳 여행 사이트에 대한 크롤링 성능을 각각의 쓰레드 수에 따라 측정하였다.
- 여행데이터를 가지고 있는 규모가 다른 레퍼런스 사이트를 선정하여 각각 쓰레드 수를 적용한 멀티쓰레드 크롤러의 실행 속도를 비교하였다. (그림 3)은 멀티쓰레드의 구현 소스 부분을 보여준다.
- 웹페이지에서 URL을 얻어 웹페이지를 다운로드할 때, 필요한 데이터가 있는 웹페이지에서는 그 데이터를 파일 또는 DB에 저장한다. 정보를 제공하는 페이지의 html 구조를 분석한 후, 필요한 데이터를 파일로 저장하는 Callback Function을 만들어서 조건에 맞는 페이지를 탐색할 때 호출하여 해당 페이지의 데이터를 파일로 출력한다.
대상 데이터
- <표 1>은 테스트 환경을 보이며 <표 2>는 레퍼런스 사이트에서의 실험 결과를 보여준다. 3개의 사이트는 Tourtips, EarthTory, myrealtrip를 이용하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.