다양한 계층 트리 구조를 갖는 쇼핑몰 상에서의 상품평 수집을 위한 웹 크롤러 래퍼의 설계 및 구현 Design and Implementation of Web Crawler Wrappers to Collect User Reviews on Shopping Mall with Various Hierarchical Tree Structure원문보기
본 논문에서는 다 계층 구조와 다양한 웹 언어로 구성된 한국내 쇼핑몰로부터 상품평 수집을 위한 래퍼 데이터베이스 기술 언어 및 모델을 제안한다. 기존에 제안된 래퍼 기반 웹 크롤러는 HTML 문서를 수집할 수 있고, 수집 대상으로 하는 문서의 계층 구조는 2~3계층이다. 그러나 한국형 쇼핑몰 사이트는 HTML 문서뿐만 아니라 다양한 웹 언어(JavaScript, Flash, AJAX)로 구성되어 있고, 그 계층 또한 5계층으로 이루어졌다. 웹크롤러가 이 5 계층 사이트에 있는 상품평만을 수집하려고 하면 상품평이 있는 위치를 정확히 알고 있으면 된다. 우리가 제안하는 래퍼에는 이러한 정보를 포함하고 있도록 하였고, 이러한 정보를 기술하기 위해 필요한 래퍼 데이터 기술 문법도 제안한다.
본 논문에서는 다 계층 구조와 다양한 웹 언어로 구성된 한국내 쇼핑몰로부터 상품평 수집을 위한 래퍼 데이터베이스 기술 언어 및 모델을 제안한다. 기존에 제안된 래퍼 기반 웹 크롤러는 HTML 문서를 수집할 수 있고, 수집 대상으로 하는 문서의 계층 구조는 2~3계층이다. 그러나 한국형 쇼핑몰 사이트는 HTML 문서뿐만 아니라 다양한 웹 언어(JavaScript, Flash, AJAX)로 구성되어 있고, 그 계층 또한 5계층으로 이루어졌다. 웹크롤러가 이 5 계층 사이트에 있는 상품평만을 수집하려고 하면 상품평이 있는 위치를 정확히 알고 있으면 된다. 우리가 제안하는 래퍼에는 이러한 정보를 포함하고 있도록 하였고, 이러한 정보를 기술하기 위해 필요한 래퍼 데이터 기술 문법도 제안한다.
In this study, the wrapper database description language and model is suggested to collect product reviews from Korean shopping malls with multi-layer structures and are built in a variety of web languages. Above all, the wrapper based web crawlers have the website structure information to bring the...
In this study, the wrapper database description language and model is suggested to collect product reviews from Korean shopping malls with multi-layer structures and are built in a variety of web languages. Above all, the wrapper based web crawlers have the website structure information to bring the exact desired data. The previously suggested wrapper based web crawler can collect HTML documents and the hierarchical structure of the target documents were only 2-3 layers. However, the Korean shopping malls in the study consist of not only HTML documents but also of various web language (JavaScript, Flash, and AJAX), and have a 5-layer hierarchical structure. A web crawler should have information about the review pages in order to visit the pages without visiting any non-review pages. The proposed wrapper contains the location information of review pages. We also propose a language grammar used in describing the location information.
In this study, the wrapper database description language and model is suggested to collect product reviews from Korean shopping malls with multi-layer structures and are built in a variety of web languages. Above all, the wrapper based web crawlers have the website structure information to bring the exact desired data. The previously suggested wrapper based web crawler can collect HTML documents and the hierarchical structure of the target documents were only 2-3 layers. However, the Korean shopping malls in the study consist of not only HTML documents but also of various web language (JavaScript, Flash, and AJAX), and have a 5-layer hierarchical structure. A web crawler should have information about the review pages in order to visit the pages without visiting any non-review pages. The proposed wrapper contains the location information of review pages. We also propose a language grammar used in describing the location information.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 다 계층 구조와 다양한 웹언어로 구성된 한국형 쇼핑몰로부터 상품평 수집을 위한 래퍼 기반 크롤링 모델을 제안하였다.
본 논문은 다 계층 구조와 다양한 웹 언어로 구성된 한국 내 쇼핑몰로부터 상품평을 수집하기 위한 래퍼 데이터베이스 기술 언어 및 모델을 제안한다. 최근 들어 오피니언 마이닝 연구[1～5]가 활발하게 진행되고 있다.
본 절에서는 3절에서 분석한 한국내 쇼핑몰 사이트의 구조로부터 상품평을 추출하기 위한 래퍼를 제안한다. 래퍼는 에이전트 또는 웹 로봇을 이용하여 정보를 추출하기 위해 각 문서에 대해서 추출하고자 하는 정보의 위치와 구조, 포맷 등에 관한 데이터를 포함하고 있어야 해당 페이지만 정확히 방문할 때 사용할 수 있다.
본 절에서는 한국내 쇼핑몰의 구조를 분석한다. 그 결과 한국내 쇼핑몰에서 상품평을 발견하기 위해 5단계의 이동 경로를 거쳐야 한다는 것을 발견하였다.
최근 들어 오피니언 마이닝 연구[1～5]가 활발하게 진행되고 있다. 이 연구의 궁극적인 목표는 쇼핑몰에 게재된 상품평을 자동으로 분석하고 그 결과를 사용자에게 제공함으로써 사용자가 제품의 구매 결정을 쉽게 할 수 있도록 하는 것이다. 각각의 연구가 그 목표를 이루기 위해 접근하는 방법은 다양하지만, 대부분의 연구에서 공통적으로 필요한 부분은 실제 환경에서 사용되는 상품평 문서를 정확하고 빠르게 수집하는 방법이다.
또한 그 계층구조도 5단계 정도로 이루어져 있어, 각 단계별로 필요한 URL 정보를 분석하여 래퍼를 구성해야 한다. 이에 따라 본 논문에서는 한국내 쇼핑몰에 적용할 수 있는 래퍼 기반 크롤링 모델을 제안하고 구현을 통해 성능 평가를 실행한다.
제안 방법
기존에 제안된 포커스드 크롤러는 원하는 문서를 찾기 위해 URL을 수집하고, 수집된 문서의 적합성을 판단하기 위해 분류기를 이용하였다. 이러한 이유로 문서 수집에 비교적 많은 시간을 필요로 하며, 문서 분류기의 정확도가 떨어지는 경우는 원하지 않는 문서도 수집할 수 있다.
그러나 본 논문에서 관심 대상으로 하는 한국형 쇼핑몰(A-D)사이트는 다양한 웹언어로 구성되어있기 때문에 일반적인 웹크롤러나 포커스드/토피컬 크롤러로는 상품평을 수집할 수 없다. 따라서 표 2와 같이 수집 대상 문서의 형식, 수집 대상 문서의 계층, 실험에 사용한 문서, 수집시간, 재현율을 비교하였다. 그 결과, 본 논문에서 제안하는 래퍼는 기존에 제안된 크롤러로는 접근 불가능한 한국형 쇼핑몰 사이트에 접근하여 상품평을 수집할 수 있었다.
이는 문법 GK를 이용하여 표현한 것이다. 본 논문에서는 지면 관계상 단계 1 부터 단계 5에 해당하는 문서로부터 래퍼 데이터베이스 베이스를 구축하는 과정을 설명하지 않고, 단계 1에 해당하는 문서로부터 래퍼 데이터베이스를 구축하는 과정만 설명한다.
이 때문에 자동으로 래퍼를 구성하는 방법도 설명하고 있다. 이와 더불어 인터넷 상의 수많은 웹 데이터를 추출하는 방법을 비교 분석하였다.
대상 데이터
수집 대상으로 하는 웹사이트의 특징이 다르기 때문이다. [10～13]에서 대상으로 한 사이트는 URL 접근이 용이한 HTML 문서만 수집 대상으로 하였고, 목표 데이터를 수집하기 위한 계층 구조가 비교적 단순한 2～3단계로 이루어진 사이트만 대상으로 하였다. 그러나 한국내 쇼핑몰은 HTML 문서 뿐만 아니라 JavaScript, Flash, AJAX 등의 다양한 웹 언어로 표현되어 있어 기존에 제안된 래퍼 기반 웹 크롤러로는 페이지 접근이 불가능하다.
이러한 단점을 보완하기 위해 특정 사이트?의 구조를 분석하여 데이터 모델을 구축하였고, 이를 이용하여 자동 래퍼를 구성하는 방법을 소개하고 있다. 수집 대상으로 하는 사이트는 한 곳이며, 원하는 정보를 찾기 위한 계층 구조는 2-3계층으로 이루어져있다.
스트링 u : 수집할 상품평이 존재하는 사이트의 홈페이지 URL 주소이다. URL 주소는 주로 영문과 숫자로 이루어지기 때문에 알파벳 T2의 심벌로 구성된다.
이러한 이유로 문서 수집에 비교적 많은 시간을 필요로 하며, 문서 분류기의 정확도가 떨어지는 경우는 원하지 않는 문서도 수집할 수 있다. 이러한 문제를 해결하기 위해 제안된 것이 래퍼기반 크롤러인데, [6][7]에서는 주로 HTML로 작성된 문서만을 수집 대상으로 하였다. 또한 그 계층 구조는 2~3계층 정도에 그쳤다.
성능/효과
본 절에서는 한국내 쇼핑몰의 구조를 분석한다. 그 결과 한국내 쇼핑몰에서 상품평을 발견하기 위해 5단계의 이동 경로를 거쳐야 한다는 것을 발견하였다.
따라서 표 2와 같이 수집 대상 문서의 형식, 수집 대상 문서의 계층, 실험에 사용한 문서, 수집시간, 재현율을 비교하였다. 그 결과, 본 논문에서 제안하는 래퍼는 기존에 제안된 크롤러로는 접근 불가능한 한국형 쇼핑몰 사이트에 접근하여 상품평을 수집할 수 있었다. 이는 한국형 쇼핑몰 사이트를 분석하고 일반화한 것으로 한국형 쇼핑몰에 적용할 수 있는 래퍼를 기반으로 한 것이다.
이에 따라 한국형 쇼핑몰에서 상품평을 수집할 수 있는 일반화된 래퍼 모델(K-Wrapper)을 제안하게 되었다. 기존의 크롤러는 접근이 불가능한 한국형 쇼핑몰과 같은 구조를 접근할 수 있는 것을 확인하였다. 실제로 K-Wrapper를 이용하여 2,333개의 상품에 대한 123,420건의 상품평을 수집하는데는 약 11시간 30분 정도의 시간이 소요되었다.
후속연구
제안하는 래퍼의 우수성을 입증하기 위해, 기존에 제안된 일반적인 웹크롤러와 포커스드/토피컬 크롤러를 이용하여 상품평 문서를 얼마나 정확하고 빠르게 수집할 수 있는지 정량적인 비교가 수행되어야 한다. 그러나 본 논문에서 관심 대상으로 하는 한국형 쇼핑몰(A-D)사이트는 다양한 웹언어로 구성되어있기 때문에 일반적인 웹크롤러나 포커스드/토피컬 크롤러로는 상품평을 수집할 수 없다.
질의응답
핵심어
질문
논문에서 추출한 답변
기존에 제안된 웹크롤러는 무엇인가?
기존에 제안된 웹크롤러는 일반적인 크롤러[5], 포커스드 크롤러(focused crawler)[6], 토피컬 크롤러(topical crawler)[7][8], 래퍼 기반 웹 크롤러[10～13]가 있다. 이 중 상품평과 같이 특정 주제의 웹 문서를 정확하게 수집하기 위해서는 래퍼 기반 웹 크롤러를 사용한다.
상위 정보는 무엇으로 구성되어 있는가?
그림 3은 그림 1의 최상위에 있는 ‘사이트 홈’ 페이지의 구조를 표현한다. 여기에서 ‘상위 정보’는 메타 태그(meta tag), 스타일 태그(style tag), 자바스크립트(javascript), AJAX 등으로 구성되어 있다. ‘본문 정보’는 상품의 대분류 카테고리로 접근하기 위한 카테고리명과 링크 등을 포함한다.
수집 대상 사이트의 구조를 분석하여 직접적으로 데이터를 수집해올 수 있는 래퍼 관련 연구가 진행된 이유는 무엇인가?
일반적인 크롤러는 모든 웹 문서를 수집 대상으로 하며, 포커스드 크롤러(focused crawler)와 토피컬 크롤러(topical crawler)는 특정한 주제의 문서만을 수집하기 위해 일반적인 크롤러에 문서 분류기(document classifier)나 규칙 (rules)을 포함하고 있다. 이 때, 포커스드 크롤러나 토피컬 크롤러에서 분류기의 성능이 좋지 못하고 규칙의 양이 불충분할 경우 사용자가 원하는 데이터를 쉽게 수집할 수 없다. 이러한 이유로 수집 대상 사이트의 구조를 분석하여 직접적으로 데이터를 수집해올 수 있는 래퍼 관련 연구가 진행되어 왔다.
참고문헌 (15)
P.Tuerny, “Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews,” In Proc. of the Meeting of the Association for Computational Linguistics(ACL’02), pp.417-424, 2002
Bo Pang, Lillian Lee and Shivakumar Vaithyanathan, “Thumbs up? Sentiment
M. Hu and B. Liu, “Mining and Summarizing Customer Reviews,” In Proc. of ACM SIGKDD ’04, pp.168-177,2004
M. Hu and B. Liu, “Mining Opinion Features in Customer Reviews,” In Proc. of the 19th National Conference on Artificial Intelligence(AAAI’04), pp. 755-760, 2004
Bing Liu, Web Data Mining : Exploring Hyperlinks, Contents, and Usage Data,
S. Chakrabarti,M. van den Berg, and B. Dom, “Focused Crawling : A New Approach to Topic-Specific Web Resource Discovery,” Computer Networks, Vol.31, No. 11-16, pp.1623-1640, 1999
Ziyu Guan, Can Wang, Chun Chen, Jiajun Bu, Junfeng Wang, “Guide Focused Crawler Efficiently and Effectively Using On-line Topical Importance Estimation," In Proc. of ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 757-758, 2008
S. Chakrabarti, Mining the Web. Discovering Knowledge from Hypertext Data, Morgan Kaufmamm, pp. 257-287, 2003
J. Cho, H. Garcia-Molina, and L. Page, “Efficient Crawling through URL Ordering,” Computer Networks, Vol.30, No.1-7, pp. 161-172, 1998
Chia-Hui Chang, Mohammed Kayed, Moheb Ramzy Girgis, and Khaled Shaalan, “A Survey of Web Information Extraction Systems,” IEEE Transaction on Knowledge and Data Engineering, Vol.18, No. 10, pp.1411-1428, 2006
Jaeyoung Yang, Tae-Hyung Kim, and Joongmin Choi, “An Interface Agent for Wrapper-Based Information Extraction,” In Proc. of the International Confenrence on Principles of Practice in Multi-Agent Systems(PRIMA'04), pp.291-302, 2004
Claudio Bertoli, Valter Crescenzi, and Paolo Merialdo, “Crawling programs for wrapper-based applications,” In Proc. of IEEE International Conference on Information Reuse and Integration(IRI'08), pp.160-165, 2008
Stephen Soderland, Claire Cardie, and Raymond Mooney, "Learning information extraction rules for semi-structured and Free Text," Machine Learning, Vol. 34, No.1-3, pp.233-272, 1999
Hanhoon Kang, Seong Joon Yoo, Dongil Han, “Modeling Web Crawler Wrappers to Collect User Reviews on Shopping Mall with Various Hierarchical Tree Struture,” In Proc. of the International Conference on Web Information Systems and Mining(WISM ’09), pp. 69-73, 2009
※ AI-Helper는 부적절한 답변을 할 수 있습니다.