[논문]실시간 웹 크롤링 분산 모니터링 시스템 설계 및 구현

김영아; 김계희; 김현주; 김창근

doi:10.22156/cs4smb.2019.9.1.045

실시간 웹 크롤링 분산 모니터링 시스템 설계 및 구현
Design and Implemention of Real-time web Crawling distributed monitoring system 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.9 no.1, 2019년, pp.45 - 53

김영아 (경남과학기술대학교 컴퓨터공학과) , 김계희 (경남과학기술대학교 컴퓨터공학과) , 김현주 (경남과학기술대학교 컴퓨터공학과) , 김창근 (경남과학기술대학교 컴퓨터공학과)

초록
AI-Helper

급변하는 정보화 시대에서 웹사이트에 서비스되는 정보 과잉에 대한 문제들을 접하곤 한다. 정보가 많아도 쓸모 있는 정보는 없고, 필요한 정보를 선택하는데 불필요한 시간이 많이 소비 된다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링을 한다. 웹 크롤링은 대부분 방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며 검색 엔진은 이렇게 생성된 페이지를 더욱 빠른 검색을 위해 인덱싱 한다. 많은 데이터 중에 정보가 실시간으로 변경되는 도매정보, 주문정보 등의 제한된 웹 데이터 수집은 일반적인 주제 중심의 웹 데이터 수집으로 무리가 있다. 현재 제한적 웹 정보를 실시간으로 수집하고 저장하는 방법에 대한 대안이 제시되고 있지 않다. 본 논문에서는 제한된 웹 사이트의 정보를 수집하고, 데이터의 상세분석을 통한 수집 시간 예측과 분류 작업을 통해 병렬 시스템에 저장하는 웹 크롤링 분산 모니터링 시스템(R-WCMS)을 제안한다. 실험 결과 웹 사이트 정보 검색을 제안모델에 적용하여 15-17% 시간이 감소됨을 입증했다.

Abstract ▼ AI-Helper

We face problems from excessive information served with websites in this rapidly changing information era. We find little information useful and much useless and spend a lot of time to select information needed. Many websites including search engines use web crawling in order to make data updated. Web crawling is usually used to generate copies of all the pages of visited sites. Search engines index the pages for faster searching. With regard to data collection for wholesale and order information changing in realtime, the keyword-oriented web data collection is not adequate. The alternative for selective collection of web information in realtime has not been suggested. In this paper, we propose a method of collecting information of restricted web sites by using Web crawling distributed monitoring system (R-WCMS) and estimating collection time through detailed analysis of data and storing them in parallel system. Experimental results show that web site information retrieval is applied to the proposed model, reducing the time of 15-17%.

주제어

표/그림 (18)

그림 Fig. 1. Domestic data solution market share
그림 Fig. 2. Architecture of web crawler
그림 Fig. 3. Typical Web Crawl algorithm
그림 Fig. 4. Architecture of Apache Kafka
그림 Fig. 5. Architecture of R-WCMS Agent
그림 Fig. 6. Product Listing Page URL Pattern
그림 Fig. 7. Product detail page URL pattern
그림 Fig. 8. Messages to the R-WCMS Manager
그림 Fig. 9. Architecture of R-WCMS Manager
그림 Fig. 10. Find messages in the R-WCMS
그림 Fig.11. Real-time behavioral model
표 Table 1. The Performance data
표 Table. 2 Equation parameter
그림 Fig. 12. Code List Web Crawling
그림 Fig. 13. Estimate update time of R-WCMS
그림 Fig. 14. The accuracy of seached data within the same time frame
표 Table 3. The OSS Ver. and OSS List
그림 Fig. 15. The time it took to process the updated search data

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 실시간으로 변화하는 웹 사이트의 데이터를 병렬 수집하고 시스템에 적재한 후 업데이트 되는 데이터의 수집 시간을 예측하는 방법에 대해서 제안했다. 제안하는 모델은 실시간으로 업데이트 되는 검색 자료를 병렬적으로 수집하여 시스템에 적재하고 수집될 데이터의 시간도 예측하는 방법을 제안했다.
따라서 웹 크롤러는 동일한 웹 서버에 연속 사용을 피하면서 새로운 정보를 빠르게 서비스 한다는 목표를 달성해야한다. 본 논문은 수시로 변경되는 정보를 웹 환경에 적용할 수 있도록 주기적인 병렬 수집과 서버에 액세스 간격을 효율적으로 제어 하는 웹 크롤링 모니터 시스템인 R-WCMS 를 제안한다.

제안 방법

11은 업데이트된 상품을 수집하는 시간 예측 알고리즘이다. Kafka에서 데이터를 읽기 학습한 행동 유형 모델을 이용하여 상품 이벤트 메시지 주기로 판별했다. 발생된 상품 이벤트 메시지 주기는 제안된 모델의 모니터 시스템으로 업데이트된 웹 데이터의 수집 시간을 예측 할 수 있다.
연속 범위 질의는 실시간으로 변경된 데이터를 저장된 영역에 대한 데이터와 비교한 연산의 결과를 모니터 시스템을 통해 업데이트 된다. 기술된 모든 절차는 Spark Streaming을 기반으로 설계되고 실행되었으며 연속 범위질의 목록은 Spark의 RDD로 생성되어 인-메모리에서 관리 한다. 상품 이벤트로 전송된 메시지들을 1초 미만 수집하여 처리 시간 마다 RDD로 생성한다.
제안하는 모델은 실시간으로 업데이트 되는 검색 자료를 병렬적으로 수집하여 시스템에 적재하고 수집될 데이터의 시간도 예측하는 방법을 제안했다. 또한 검색된 데이터의 목록과 세부 정보까지 검색하고 수집할 데이터의 개수까지 검출했다.
먼저 제안 모델을 사용하여 상품 코드에 대한 데이터를 가전제품과 생활용품 판매 사이트 100개를 기준으로 5년 동안 분기별로 나누어 데이터를 병렬 수집했다.
실험 결과를 통해 30만개의 이벤트가 발생되었고 4,841개의 이벤트가 4분에서 5분 사이에 실시간 발생되는 예측결과를 확인했다. 본 논문에서 제안하는 색인연속 범위질의, 발생되는 이벤트 메시지, 시간 예측 모델링은 모두 Spark Streaming과 Kafka로 설계했다. 실험 결과 웹 수집은 15∼ 17%의 시간이 감소했다.
스트림 데이터 실시간 예측 기법을 평가하기 위한 실험환경은 Table 3과 같다. 색인연속 범위질의, 발생되는 이벤트 메시지, 시간 예측 모델링은 모두 Spark Streaming과 Kafka로 설계 했다.
Table 1은 상품 이벤트의 데이터의 메시지 파라미터이다. 수집된 데이터는 상품정보를 카테고리 별로 분류하여 스트림 데이터로 변환하면 스트림을 30초 단위로 일괄 처리 메시지 이벤트를 구현한다.
13 에서와 같이 적용된 모델은 병렬로 웹 데이터를 수집한 시간과 실시간 업데이트된 자료를 비교한다. 실험은 실시간 웹 데이터 수집 모니터 시스템 미적용 모델과 적용 모델에 대한 편차로 자료 수집의 정확도 및 시간 성능을 평가했다.
두 번째는 본 논문에서 제안하는 알고리즘에 대한 평가를 위한 실험이다. 업데이트 된 웹 데이터의 시간을 예측했다.
결과를 볼 수 있도록 상품 관리, 상품 정보, 주문 정보 등을 제공한다. 업데이트 예측 시간을 측정하여 알림을 통한 데이터 수집의 시간적인 변화에 대처하는 시스템으로 구현했다.
9는 실시간 웹 데이터 수집 모니터 시스템의 흐름도를 표현 한 것이다. 에이전트의 메시지로 저장된 상품 데이터와 전송받은 상품 이벤트를 연속 범위 질의 처리를 통해서 검색한다. 연속 범위 질의는 실시간으로 변경된 데이터를 저장된 영역에 대한 데이터와 비교한 연산의 결과를 모니터 시스템을 통해 업데이트 된다.
전체 상품의 수는 보통 목록페이지 상단에 별도로 표시(예: “총 4,053개의 상품이 준비되어 있습니다”) 되어 있는 경우가 많다. 이를 활용하여 목록페이지의 숫자를 추정하여 첫 페이지부터 마지막 페이지까지의 상품코드 인덱스를 안정적으로 수집 한다.
상품의 상세 정보를 반복적으로 수집한 데이터는 업데이트 된 데이터만 선별하여 R-WCMS 매니저를 통해 시스템에 적재 한다. 적재된 데이터는 업데이트 된 자료를 기반으로 비교 분석하며 시간당 발생할 수 있는 웹 데이터의 목록을 예측 하는 알고리즘을 적용한 정보를 모니터 한다.
상품목록 페이지에서 전체 상품의 수와 상품코드를 수집한다. 전체 상품의 상품코드나 인덱스의 리스트를 확정하기 위해서 웹에서 정해진 상품 들을 주제어로 검색 한다. 전체목록이 없는 경우에는 카테고리별로 목록 페이지에서 상품 코드를 수집하여 통합을 한다.
제안모델은 인터넷의 실시간 업데이트 되는 상품 데이터를 수집, 저장하고 상품의 상세 정보를 분석 하는 웹 데이터 수집 모니터 시스템 R-WCMS이다.
본 논문에서는 실시간으로 변화하는 웹 사이트의 데이터를 병렬 수집하고 시스템에 적재한 후 업데이트 되는 데이터의 수집 시간을 예측하는 방법에 대해서 제안했다. 제안하는 모델은 실시간으로 업데이트 되는 검색 자료를 병렬적으로 수집하여 시스템에 적재하고 수집될 데이터의 시간도 예측하는 방법을 제안했다. 또한 검색된 데이터의 목록과 세부 정보까지 검색하고 수집할 데이터의 개수까지 검출했다.

대상 데이터

제안한 기법의 구현 환경은 CPU 2(4vCore), 메모리 8GB의 Red Hat Enterprise Linux 7.2의 플랫폼을 사용했다.

데이터처리

계산하는 방법은 식(1)의 수식과 같다. 모니터 시스템을 사용하여 저장된 상품 목록의 코드를 100개의 사이트를 10일 동안 20회씩 웹 수집 결과를 업데이트된 데이터의 URL 데이터 수집 횟수의 시간당 평균을 구한 후 통계를 산출했다. 상품 정보로는 신규 상품, 단종 상품, 품 절 상품, 상품 가격, 상품의 상세 정보와 변경 수량 등을 제공한다.

이론/모형

일반 검색 엔진에서 사용하는 매우 방대한 웹 전체의 문서를 원활하게 수집하기 위해 분산 웹 크롤러 방식을 사용한다. Google에서 제공하는 중앙 집중식과 Mercator와 같은 P2P방식 및 Multiple Site Crawlers 등이 있다.

성능/효과

Kafka에서 데이터를 읽기 학습한 행동 유형 모델을 이용하여 상품 이벤트 메시지 주기로 판별했다. 발생된 상품 이벤트 메시지 주기는 제안된 모델의 모니터 시스템으로 업데이트된 웹 데이터의 수집 시간을 예측 할 수 있다. 결과를 볼 수 있도록 상품 관리, 상품 정보, 주문 정보 등을 제공한다.
본 논문에서 제안하는 색인연속 범위질의, 발생되는 이벤트 메시지, 시간 예측 모델링은 모두 Spark Streaming과 Kafka로 설계했다. 실험 결과 웹 수집은 15∼ 17%의 시간이 감소했다. 향후 연구에서는 실시간 발생 되는 예측 결과를 초 단위로 분할하고 데이터가 기하급수적으로 늘어나게 되면 적재될 시스템 확장에 대한 연구가 요구된다.
첫 번째는 웹 데이터 수집 과정 실험이다. 실험 결과, 한정된 시간동안 검색에 대한 수집내용의 정확성을 확인했다. 두 번째는 본 논문에서 제안하는 알고리즘에 대한 평가를 위한 실험이다.
실험 결과를 통해 30만개의 이벤트가 발생되었고 4,841개의 이벤트가 4분에서 5분 사이에 실시간 발생되는 예측결과를 확인했다. 본 논문에서 제안하는 색인연속 범위질의, 발생되는 이벤트 메시지, 시간 예측 모델링은 모두 Spark Streaming과 Kafka로 설계했다.
하지만 모니터 시스템을 통하여 저장된 데이터를 분석 모델링 한 경우에는 Fig.15 에서 보는 바와 같이 데이터 저장 속도와 실시간 분석 시간이 제안 모델 적용인 경우 미적용 모델 보다 15∼17% 감소되었다.

후속연구

Apache Nutch과 Scrapy와 같은 오픈 소스 웹 크롤러 및 검색 엔진의 개발이 활발하게 이루어지고 있으며, 웹 자체를 제공하는 서비스도 있다[1]. 기존 상용 검색 엔진 구축에 사용 중인 소프트웨어 인 웹 크롤러는 앞으로의 연구와 데이터 산업의 비즈니스 분야에서 널리 이용 될 전망이다.
실험 결과 웹 수집은 15∼ 17%의 시간이 감소했다. 향후 연구에서는 실시간 발생 되는 예측 결과를 초 단위로 분할하고 데이터가 기하급수적으로 늘어나게 되면 적재될 시스템 확장에 대한 연구가 요구된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	웹 데이터 수집의 구성 요소는?	Google에서 제공하는 중앙 집중식과 Mercator와 같은 P2P방식 및 Multiple Site Crawlers 등이 있다. 웹 데이터 수집은 다운로더, 저장소, 스케줄러 등으로 이루어진다. 웹 데이터 수집 중 가장 중요한 것은 스케줄러이다.
	웹 크롤러의 역할은?	지능형 정보사회의 도래는 사물인터넷, 빅 데이터, 인공지능 등 ICT(Information and Communication Technology) 환경 변화로 데이터 산업 시장 성장을 이끄는 주요 동력이 된다. 웹의 규모가 커지면서 서비스 되는 방대한 정보 수집을 웹 문서로 주기적으로 읽어 들여 자동으로 데이터베이스에 저장하는 웹 크롤러를 이용하고 있다. Apache Nutch과 Scrapy와 같은 오픈 소스 웹 크롤러 및 검색 엔진의 개발이 활발하게 이루어지고 있으며, 웹 자체를 제공하는 서비스도 있다[1].
	병렬 수집 시스템의 웹 데이터 수집 시간이 빠른 이유는?	15 에서 보는 바와 같이 데이터 저장 속도와 실시간 분석 시간이 제안 모델 적용인 경우 미적용 모델 보다 15∼17% 감소되었다. 이는 비정형 데이터를 이용한 데이터 저장 시간과 업데이트 될 예측 시간 측정이 수집될 시간을 모니터 해주기 때문이다 특히, 실시간 업데이트 될 데이터를 분석 예측하는 알고리즘을 통해 웹 데이터 수집의 횟수를 줄여 주기 때문이다. 제안 모델의 경우 웹 데이터 수집의 시간이 감소한 것은 모니터 시스템으로부터 웹 사이트의 업데이트 할 예측 정보를 받아 무한적인 주기적 탐색시간을 줄일 수 있기 때문이다.

참고문헌 (11)

K. Y. Kim, W. Lee, M. H. Lee, H.M.Yoon & S. H. Shin(2011). Development of Web Crawler for Archiving Web Resources, International J ournal of contents, 11(9), 9-16. DOI : 10.5392/JKDA
J. h. Cho & H. Garcia-Molina. (2009), Parallel crawlers , Proceedings of the 11th international conference on World Wide Web. Honolulu, Hawaii, USA:ACM. pp.(124-135). DOI :10.1145/511446.511464.ISBN
H. J. Kim, J. Y Lee & S. S Shin. (2017), Multi-threaded Web Crawling Design using Queues. Journal of Convergence for Information Technology, 7(2) , 43-51.

상세보기
H. J. Mun. (2015). Polling Method based on Weight Table for Efficient Monitoring. Journal of Convergence for Information Technology, 5(4), 5-10.
Olston, Christopher. et al. (2010). Foundations and Trends(R) in Information Retrieval, 4(3), 17. DOI : 10.1561/1500000017

상세보기
Y. S. Jeong. (2015). Business Process Model for Efficient SMB using Big Data. Journal of Convergence for Information Technology, 5(4) , 11-16.
J. H. Ku. (2018). A Study on Adaptive Learning Model for Performance Improvement of Stream Analytics. Journal of Convergence for Information Technology, 8(1), 201-206.
G. Pant & F. Menczer. (2002). MySpiders: Evolve your own intelligent Web crawlers. Autonomous Agents and Multi-Agent Systems 5(2), 221-229.
E. J. Shin, Y. R. Kim, H. S. Heo & K. Y. Whang. (2008). Implementation of a Parallel Web Crawler for the Odysseus Large-Scale Search Engine. Journal of Computing Science and Engineering, 14(6) , 567-581.
M. Zaharia, M. Chowdhury, M. J. Franklin. (2010). Scott Shenker, and Ion Stoica, Spark: Cluster Computing with Working Set. Proceedings of the 2nd USENIX Conference on Hot Topics in Cloud Computing, 10(10-10), 95.
Kafka. https://kafka.apache.org/intro

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증