선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 Casper.js기반의 웹 크롤러 시스템을 제안한다. 제안하는 웹 크롤러 시스템은 은닉된 URL에 접근하기 위해 Headless Browser환경에서 Casper.
제안 방법
- 본 논문에서는 기존의 크롤러가 가진 은닉된 URL 링크 페이지에 접근할 수 없는 문제와 정형 데이터와 비정형 데이터를 구분해서 수집할 수 없는 문제점들을 나열하였고 이를 해결하기 위해 Casper.js를 활용해 Headless Browser에서 직접 DOM 이벤트를 발생하여 접근할 수 있는 웹 크롤러를 제안하였으며, 사용자가 원하는 정형 및 비정형 데이터들인 텍스트, 이미지, 비디오, 오디오 데이터 타입과 크롤링 할 특정 영역을 선택함으로써 더욱 세밀하고 효율적인 수집을 할 수 있는 확장 프로그램 기능을 제시하였다. 또한 기존 웹 크롤러와 제안하는 웹 크롤러의 성능평가 결과를 보면 기존의 웹크롤러와의 10번의 테스트 케이스에서 평균은 약 437ms 속도차이가 났다.
- 웹 크롤러는 거미줄처럼 엉킨 웹의 환경에서 크롤링했던 웹 페이지를 다시 크롤링할 수 있기 때문에 중복 데이터가 발생할 우려가 있다. 이를 방지하기 위해 본 논문에서 제시하는 시스템은 URL을 기반으로 중복된 데이터를 관리한다. DB는 크롤러 특성상 많은 Read & Write가 이루어지고 Schema less한 특성이 있어 어떠한 형태의 데이터라도 저장할 수 있는 특징이 있기 때문에 RDB가 아닌 Mongo DB를 사용하였다.
- js의 모듈로서 서버의 포트를 공유하는 다수의 프로세스를 생성하여 처리를 할 수 있다. 이를 통하여 Cluster Crawler Service Worker인 쓰레드를 생성하고 크롤링을 함으로써 속도의 한계를 해결하였다.
- 제안하는 웹 크롤러는 정형 및 비정형 데이터를 효율적으로 수집할 수 있는 기능[8]과 링크에서 은닉된 URL의 웹 페이지도 수집할 수 있는 크롤링 시스템이다. 서버는 비동기로 동작하는 Node.
- 제안하는 웹 크롤러와 기존의 크롤러의 속도를 평가 하였다. 기존의 크롤러는 위와 동일한 모듈을 사용하였다.
- 14는 총 20개의 무작위 웹 페이지를 선정하였고 10번의 테스트를 진행했다. 처리시간은 웹 페이지를 수집을 시작하는 시점부터 종료하는 시점까지의 시간을 측정하였다. 결과는 아래와 같이 기존의 크롤러와 비슷한 성능을 보여주었다.
- 크롤링 규칙 정의와 수집 영역 추출 기술은 Browser Extension을 통해 구현하였다. Browser Extension은 웹 브라우저의 기존 기능의 동작을 변경하거나 완전히 새로운 기능을 추가하는 웹 브라우저용 프로그램이다.
대상 데이터
- DB는 크롤러 특성상 많은 Read & Write가 이루어지고 Schema less한 특성이 있어 어떠한 형태의 데이터라도 저장할 수 있는 특징이 있기 때문에 RDB가 아닌 Mongo DB를 사용하였다.
- 이는 크롤링하려는 페이지의 URL이 은닉되어 있기 때문이다. 기존의 크롤러는 은닉된 URL 링크를 크롤링할 수 없기 때문에 고려대학교에서는 0건 부산시청에서는 14건의 데이터를 수집하였다.
- js 기반이여서 비교에 적합하다고 판단하였다. 비교에 앞서 테스트 환경은 8GM RAM과 2.20GHz의 Intel Core I5, Window 10 운영체제를 갖는 서버와 클라이언트에서 비교 시험을 하였다.
- 성능 비교를 위한 웹 사이트는 부산시청 홈페이지(http://www.busan.go.kr/netfunnel.jsp)와 고려대학교 홈페이지(http://www.korea.ac.kr)를 비교하였고 게시판의 게시글을 크롤링 하도록 하였다.
- 아래 Fig. 14는 총 20개의 무작위 웹 페이지를 선정하였고 10번의 테스트를 진행했다. 처리시간은 웹 페이지를 수집을 시작하는 시점부터 종료하는 시점까지의 시간을 측정하였다.
이론/모형
- 하지만 Single Thread이기 때문에 다수의 웹 페이지를 크롤링하기에는 한계가 존재한다. 이런 문제를 해결하기 위해서 Cluster를 활용하였다. Cluster란 Node.
성능/효과
- 기존의 크롤러는 위와 동일한 모듈을 사용하였다. 논문에서 제안하는 웹 크롤러와 같은 Node.js 기반이여서 비교에 적합하다고 판단하였다. 비교에 앞서 테스트 환경은 8GM RAM과 2.
- js를 활용해 Headless Browser에서 직접 DOM 이벤트를 발생하여 접근할 수 있는 웹 크롤러를 제안하였으며, 사용자가 원하는 정형 및 비정형 데이터들인 텍스트, 이미지, 비디오, 오디오 데이터 타입과 크롤링 할 특정 영역을 선택함으로써 더욱 세밀하고 효율적인 수집을 할 수 있는 확장 프로그램 기능을 제시하였다. 또한 기존 웹 크롤러와 제안하는 웹 크롤러의 성능평가 결과를 보면 기존의 웹크롤러와의 10번의 테스트 케이스에서 평균은 약 437ms 속도차이가 났다. 이는 환경에 따라 변화되는 값이기 때문에 기존의 웹 크롤러와는 속도적인 측면에서 차이가 없지만 수집의 양을 따져보면 매우 큰 차이가 나는 것을 Fig.
- 13을 보면 알 수 가 있다. 이로써 제안하는 크롤러 시스템의 정형 및 비정형 데이터 수집 기능의 우수성을 입증하였다.
- js기반의 웹 크롤러 시스템을 제안한다. 제안하는 웹 크롤러 시스템은 은닉된 URL에 접근하기 위해 Headless Browser환경에서 Casper.js를 활용하여 은닉된 URL에 접근을 하여 수집할 수 있는 기능과 브라우저의 기능인 확장 프로그램을 통해 사용자가 원하는 데이터 형(텍스트, 비디오, 오디오 등)과 수집하고 싶은 특정영역을 설정할 수 있다. 설정된 값을 바탕으로 수집을 하는 기능을 가진다.
후속연구
- 향후에는 기존의 크롤러와 비슷한 속도를 나타내었던 성능을 더욱 발전시켜 속도와 수집하는 양 두 가지 모두 우수한 웹 크롤러 시스템을 개선할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.