[논문]빅데이터 분석 기반의 정보 검색을 위한 웹 크롤러 서비스 구현

김희숙; 한나; 임숙자

doi:10.9728/dcs.2017.18.5.933

빅데이터 분석 기반의 정보 검색을 위한 웹 크롤러 서비스 구현
Web Crawler Service Implementation for Information Retrieval based on Big Data Analysis 원문보기

디지털콘텐츠학회 논문지 = Journal of Digital Contents Society, v.18 no.5, 2017년, pp.933 - 942

김희숙 (전남대학교 공과대학 전자컴퓨터공학부) , 한나 (전남대학교 공과대학 전자컴퓨터공학부) , 임숙자 (한국폴리텍대학 광주캠퍼스 광고디자인학과)

초록
AI-Helper

본 논문에서는 대학생 및 취업준비생의 대외활동, 공모전, 장학금에 대한 효율적인 정보 수집을 위한 웹 크롤러 서비스 방식을 제안한다. 제안된 웹 크롤러 서비스는 빠른 속도로 크롤링하면서 중복해서 크롤링되는 문제를 회피하기 위하여 Jsoup 트리 분석과 Json 형식의 데이터 전송 방식을 이용하였다. 24시간 동안 관련 정보를 수집한 결과 100%의 정확도로 웹 크롤러 서비스가 실행되고 있음을 확인할 수 있었다. 향후 제안된 웹 크롤러 서비스를 적용할 수 있는 웹 페이지 범위를 확대하여 다양한 웹 사이트에 동시에 적용할 수 있도록 개선하면 웹 크롤러 서비스의 양적 내용을 보충할 수 있을 것으로 기대한다.

Abstract ▼ AI-Helper

In this paper, we propose a web crawler service method for collecting information efficiently about college students and job-seeker's external activities, competition, and scholarship. The proposed web crawler service uses Jsoup tree analysis and Json format data transmission method to avoid problems of duplicated crawling while crawling at high speed. After collecting relevant information for 24 hours, we were able to confirm that the web crawler service is running with an accuracy of 100%. It is expected that the web crawler service can be applied to various web sites in the future to improve the web crawler service.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Jung의 연구에서는 서버-클라이언트 환경으로 크롤링하는 분산 웹 크롤러 모델을 제시하였다[15]. RMI(Remote Method Invocation)와 NIO(New Input/Output) 기반의 분산 웹 크롤러를 제안하여 중복 수집에 대한 문제를 해결하고자 하였다. 그러나 수집 속도에 한계가 있고 동적 웹 페이지에 대한 접근이 미흡한 실정이다.
본 논문에서는 대학생 및 취업준비생에게 필요한 대외활동, 공모전, 장학금에 관한 빅데이터를 기반으로 Jsoup 트리분석과 Json 전송 방식을 이용하여 중복해서 크롤링되는 문제를 해결하면서 정보 검색에 소요되는 시간과 노력을 최소화할 수 있는 분산형 웹 크롤러 서비스를 구현하는 방식을 소개한다.
본 논문에서는 대학생 및 취업준비생을 위해 대외활동, 공모전, 장학금 이렇게 3가지 분야에 관한 웹 크롤러 서비스에서 제공되는 웹 페이지를 PHP 처리 기능이 있는 웹 서버에서 해당 html 코드를 인식하도록 하여 생성하는 방식으로 구현된다. 제안된 웹 크롤러 서비스는 다음과 같이 크게 5가지 기능으로 구분된다.
본 논문에서는 대학생 및 취업준비생의 대외활동, 공모전, 장학금에 대한 효율적인 정보 수집을 위한 웹 크롤러 서비스 방식을 제안하였다. 제안한 대학생 및 취업준비생들을 위한 웹 크롤러 서비스는 빠른 속도로 크롤링하면서 중복해서 크롤링되는 문제를 회피하기 위하여 Jsoup 트리 분석과 Json을 이용한 전송 방식을 이용하였다.
본 논문에서는 웹 크롤러 구현 시 크롤링 시간을 최소화하면서 중복해서 크롤링되는 문제를 회피하기 위하여 자바 (Java)에서 제공하는 Jsoup 트리 분석과 Json(JavaScript Object Notation)을 이용한 분산형 웹 크롤러를 구현하고자한다. 제안된 웹 크롤러는 대외활동, 공모전, 장학금 등의 정보를 놓치지 않기 위해서 웹사이트에서 원하는 조건에 맞는 검색을 수시로 시도하고 있는 대학생 및 취업준비생에게 정보 검색에 소요되는 시간과 노력을 최소화할 수 있는 웹 크롤러 서비스를 제공하는데 목적이 있다.
본 논문에서는 한 곳의 특정 사이트에 대하여 일정기간 동안 웹 페이지를 크롤링하는 방식으로 웹 크롤러 서비스를 설계하고 구현하였다. 향후 제안된 웹 크롤러 서비스를 적용할 수 있는 웹 페이지 범위를 확대하여 다양한 웹 사이트에 동시에 적용하여 양적 정보를 보충할 수 있는 연구가 필요하다.
본 논문에서는 웹 크롤러 구현 시 크롤링 시간을 최소화하면서 중복해서 크롤링되는 문제를 회피하기 위하여 자바 (Java)에서 제공하는 Jsoup 트리 분석과 Json(JavaScript Object Notation)을 이용한 분산형 웹 크롤러를 구현하고자한다. 제안된 웹 크롤러는 대외활동, 공모전, 장학금 등의 정보를 놓치지 않기 위해서 웹사이트에서 원하는 조건에 맞는 검색을 수시로 시도하고 있는 대학생 및 취업준비생에게 정보 검색에 소요되는 시간과 노력을 최소화할 수 있는 웹 크롤러 서비스를 제공하는데 목적이 있다.

제안 방법

Json은 속성과 값이 쌍으로 이루어진 데이터 오브젝트를 전달하기 위해 프로그래머가 읽을 수 있는 텍스트를 사용하는 개방형 표준 포맷으로 인터넷에서 자료를 주고받을 때 변수 값을 표현하는 데 사용한다. Json 데이터를 읽어와 리스트에 추가하고, 안드로이드의 ImageLoader를 통해 이미지를 불러오도록 한다. 그리고 RecyclerView를 이용하여 ListView를 데이터의 개수만큼 View에 추가한다.
본 논문에서 제안한 방식을 Android 4.3이상의 운영체제, MySQL 5.0, CPU는 Intel Core i5-2500 CPU @ 3.30GHz , 8GB RAM 환경에서 테스트하였다.
본 논문에서는 웹 크롤러 서비스를 위한 데이터베이스 구축을 위해서 Java를 기반으로 웹 사이트에서 특정 문자열을 추출하여 얻은 데이터를 데이터베이스에 삽입(Insert)하고, Jsoup 라이브러리를 이용하여 DOM 방식으로 한 번에 받아와서 메모리에 로딩한 후 트리 형태로 파싱하여 데이터를 추출해주는 방식을 사용한다. Jsoup이 분석하는 html 트리 형태는 그림 9와 같다.
안드로이드 검색 창의 EditText에서 검색할 내용을 입력하고 검색 버튼을 탭하면 입력한 데이터가 SearchList Fragment에 전달되어 전달받은 값으로 검색된 내용을 출력하도록 한다. 검색 버튼을 탭할 때 EditText에 입력한 내용을 getText로 받아온다.
제안된 방식의 성능 평가를 위해서 대외활동, 공모전, 장학금에 관한 정보를 제공하고 있는 W사이트를 선택하여 웹 크롤러 기능 테스트를 수행하였다. 원하는 정보를 추출하기 위하여 쓰레드를 이용하여 3.
웹 크롤러 서비스의 어플리케이션을 실행했을 때 가장 먼저 보이는 메인 화면에서는 가장 최근에 업데이트된 대외활동, 공모전, 장학금 리스트가 화면으로 보이는 서비스가 실행된다. 제안된 웹 크롤러 서비스를 사용하는 사용자는 원하는 검색 키워드나 필터링 기능을 이용하여 웹 크롤링으로 구축된 데이터베이스에서 대외활동, 공모전, 장학금 결과를 선별하여 볼 수도 있다. 그리고 사용자가 관심 있는 정보를 발견했을 때 그 정보를 보관할 수 있도록 즐겨찾기 기능을 제공한다.
즐겨찾기 기능은 사용자가 향후 다시 정보를 찾아보고 싶을 때를 대비하여 메인 화면에서 대외활동, 공모전, 장학금 중 원하는 분야를 선택하여 탭하면 안드로이드의 RecyclerView로 보여지는 대외활동, 공모전, 장학금 중 원하는 정보를 선택하여 선택된 정보에 대한 상세 화면을 보여 줄 때 즐겨찾기 버튼을 탭하여 설정하도록 설계한다. 이 때 즐겨찾기에 추가되었다는 토스트(Toast) 메세지를 보여줄 수 있도록 한다.
추출한 데이터는 MySQL로 구현된 데이터베이스 테이블에 삽입된다. 크롤링시 웹 과부하를 막고 보안상 크롤링 기능이 제한되는 경우를 해결하기 위하여 그림 10에서 보여준 것과 같이 쓰레드를 이용하여 임의의 시간(3.9 초)마다 웹페이지를 하나씩 읽어 데이터를 크롤링하는 방식을 사용한다. 설정한 정보를 모두 로딩하면 새로 읽을 위치와 마지막 데이터를 읽은 날짜를 업데이트한다.
특정 문자열을 셋팅해 놓으면 웹 상에서 셋팅된 문자열에 기반하여 해당되는 문자열을 추출하여 MySQL 기반의 데이터베이스에 저장한다. 크롤링으로 인한 서버의 부담을 줄이기 위하여 즐겨찾기 기능은 안드로이드 기반의 SQLite 모바일 데이터베이스로 설계한다. 서버에서는 저장된 데이터 베이스를 기반으로 사용자가 원하는 형식으로 웹 페이지를 구성하여 웹 크롤러 서비스를 할 수 있도록 설계된다.

이론/모형

본 논문에서는 대학생 및 취업준비생의 대외활동, 공모전, 장학금에 대한 효율적인 정보 수집을 위한 웹 크롤러 서비스 방식을 제안하였다. 제안한 대학생 및 취업준비생들을 위한 웹 크롤러 서비스는 빠른 속도로 크롤링하면서 중복해서 크롤링되는 문제를 회피하기 위하여 Jsoup 트리 분석과 Json을 이용한 전송 방식을 이용하였다. 24시간 동안 관련 정보를 수집한 결과 100%의 정확도로 웸 크롤러 서비스가 실행되고 있음을 확인할 수 있었다.

성능/효과

제안한 대학생 및 취업준비생들을 위한 웹 크롤러 서비스는 빠른 속도로 크롤링하면서 중복해서 크롤링되는 문제를 회피하기 위하여 Jsoup 트리 분석과 Json을 이용한 전송 방식을 이용하였다. 24시간 동안 관련 정보를 수집한 결과 100%의 정확도로 웸 크롤러 서비스가 실행되고 있음을 확인할 수 있었다.

후속연구

본 논문에서는 한 곳의 특정 사이트에 대하여 일정기간 동안 웹 페이지를 크롤링하는 방식으로 웹 크롤러 서비스를 설계하고 구현하였다. 향후 제안된 웹 크롤러 서비스를 적용할 수 있는 웹 페이지 범위를 확대하여 다양한 웹 사이트에 동시에 적용하여 양적 정보를 보충할 수 있는 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	빅데이터의 크기는 무엇을 의미하는가?	빅데이터(Big Data)는 정치, 경제, 사회, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치 있는 정보를 제공할 수 있으며 그 중요성이 부각되고 있다. 빅데이터의 크기는 통상적으로 사용되는 데이터 수집, 관리 및 처리 소프트웨어의 수용 한계를 넘어서는 규모를 의미한다[1]. 인터넷에 기반을 두고 있는 웹(Web)은 다양한 종류의 거대한 데이터들이 구성된 개방형 집합체이며 접근은 용이하지만 제공되는 데이터는 비계층적이고 이질적인 형태로 복잡하게 구성되어 있다.
	빅데이터의 3V가 의미하는 것은 무엇인가?	빅데이터는 3V(Volume, Velocity, Variety)의 구성 요소를 갖는다. 크기(Volume)는 페타/엑사/제타 수준의 데이터 집합의 양을 의미하고, 속도(Velocity)는 데이터의 생산, 처리, 수집, 분석 등의 일련의 과정들의 속도가 실시간으로 이루어짐을 의미하며 다양성(Variety)은 전통적인 정형데이터와 사진,동영상, 센싱 데이터 등 구조화 되지 않은 비정형데이터를 포괄한다[2].
	웹 크롤러란 무엇인가?	웹 크롤러는 인터넷 상에 존재하는 방대한 양의 빅데이터 문서들을 추적하여 필요한 정보를 수집하는 것을 의미한다[11]. 그림 1은 웹 크롤링시 큐를 이용한 스케줄 및 멀티쓰레드 방식으로 일반형 웹 크롤러 방법에 대해 보여준다.

참고문헌 (17)

Chris Snijders, Uwe Matzat and Ulf-Dietrich Reips, "'Big Data': Big Gaps of Knowledge," International Journal of Internet Science, Vol. 7, No. 1, pp. 1-5, 2012.
S. Y. Bang, H. D. Ha and C. J. Kim, "A Study on BigData-based Software Architecture Design for Utilizing Public Open Data," Journal of Korean Institute of Information Technology, Vol. 13, No. 10, pp. 99-107, Oct. 2015.
S. G. Lee, S. Y. Lee and J. C. Kim, "Design of a Platform for Collecting and Analyzing Agricultural Big Data," Journal of Digital Contents Society, Vol. 18, No. 1, pp. 149-158, Feb. 2017.

원문보기 상세보기
W. S. Cho and J. E. Lee and C. H. Choi, "Refresh Cycle Optimization for Web Crawlers," The Journal of the Korea Contents Association, Vol. 13, No. 6, pp. 30-39, 2013.
K. S. Park, J. H. Choi, J. B. Kim and J. W. Park, "Design and Implementation of a Search Engine based on Apache Spark," Journal of the Korea Institute of Information and Communication Engineering, Vol. 21, No. 1, pp. 17-28, January 2017.

원문보기 상세보기
D. M. Seo and H. M. Juung, "Intelligent Web Crawler for Supporting Big Data Analysis Services," The Journal of the Korea Contents Association, Vol. 13, No. 12, pp. 575-584, 2013.

원문보기 상세보기
J. Y. Kim, D. H. Han and J. M. Kim, "Impact of Diverse Document-evaluation Measure-based Searching Methods in Big Data Search Accuracy," The Journal of the Korea Information Science Society, Vol. 44, No. 5, pp. 553-558, May 2017.
Leskovec, Jure, Anand Rajaraman, and Jeffrey David Ullman, Mining of massive datasets, Cambridge University Press, 2014.
Russell, Stuart Jonathan, et al., Artificial intelligence: a modern approach, Vol. 2, Upper Saddle River: Prentice hall, 2003.
Hyafil, Laurent and Ronald L. Rivest, "Constructing optimal binary decision trees is NP-complete," Information Processing Letters 5.1, pp. 15-17, 1976.

상세보기
S. J. Kim, "A Comparative Study on Models of Web-based Information Seeking Behavior," Journal of the Korean Society for Infromation Management, Vol. 21, No. 2, pp. 211-233, June 2004.

원문보기 상세보기
M. L. Vidal, A. S. da Silva, E. S. de Moura, and J. M. B. Cavalcanti, "GoGetIt!: a tool for generating structure-driven web crawlers," In Proc. 15th international conference on World Wide Web, pp.1011-1012, 2006.
Pycon. Web Scraper in 30 Minutes [Online]. Available: https://www.pycon.kr/2014/program/15.
H. C. Kim and S. H. Chae. "Design and Implementation of a High Performance Web Crawler," Journal of Digital Contents Society, Vol. 4, No. 2, pp.127-137, December. 2003.
D. M. Seo and H. M. Jung. "Intelligent Web Crawler for Supporting Big Data Analysis Services," The Journal of the Korea Contents Association, Vol. 13, No. 12, pp.575-584, December. 2013.

원문보기 상세보기
D. Cai, S. Yu, J. R. Wen and W. Y. Ma, "VIPS: a Vision-based Page Segmentation Algorithm," Microsoft Technical Report, 2003.
C. Kohlschutter, P. Fankhauser, and W. Nejdl, "Boilerplate Detection using Shallow Text Features," In Proc. of ACM International Conference on Web Search and Data Mining, pp.441-450, 2010.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증