$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

태그 경로 및 텍스트 출현 빈도를 이용한 HTML 본문 추출
HTML Text Extraction Using Tag Path and Text Appearance Frequency 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.25 no.12, 2021년, pp.1709 - 1715  

김진환 (Department of Computer Science & Engineering, Korea University of Technology and Education) ,  김은경 (School of Computer Science & Engineering, Korea University of Technology and Education)

초록
AI-Helper 아이콘AI-Helper

웹 페이지에서 필요한 텍스트를 정확하게 추출하기 위해 본문이 존재하는 곳의 태그와 스타일 속성을 웹 크롤러에 명시하는 방법은 웹 페이지 구성이 변경될 때마다 본문을 추출하는 로직을 수정해야 하는 문제가 있다. 이러한 문제점을 해결하기 위해 이전 연구에서 제안한 텍스트의 출현 빈도를 분석하여 본문을 추출하는 방법은 웹 페이지의 수집 채널에 따라 성능 편차가 크다는 한계점이 있었다. 따라서 본 논문에서는 텍스트의 출현 빈도뿐만 아니라 웹 페이지의 DOM 트리로부터 추출된 텍스트 노드의 부모 태그 경로를 분석하여 다양한 수집 채널에서 높은 정확도로 본문을 추출하는 방법을 제안하였다.

Abstract ▼ AI-Helper 아이콘AI-Helper

In order to accurately extract the necessary text from the web page, the method of specifying the tag and style attributes where the main contents exist to the web crawler has a problem in that the logic for extracting the main contents. This method needs to be modified whenever the web page configu...

주제어

#웹 크롤링   #웹 스크래이핑   #빅데이터 수집   #텍스트 빈도 분석   #태그 경로 분석  

표/그림 (8)

참고문헌 (14)

  1. Y. J. Kim, H. S. Kim, and H. S. Kim, "Understanding the Effects of COVID-19 on the Starbucks Perception through Big Data Analytics: A Comparative Study," Culinary Science & Hospitality Research, vol. 27, no. 6, pp. 276-279, 2021. 

  2. Y. R. Suh, K. P. Koh, and J. W. Lee, "An analysis of the change in media's reports and attitudes about face masks during the COVID-19 pandemic in South Korea: a study using Big Data latent dirichlet allocation (LDA) topic modelling," Journal of the Korea Institute of Information and Communication Engineering, vol. 25, no. 5, pp. 731-740, 2021. 

    원문보기 상세보기 crossref

  3. C. H. Lee, K. H. Kang, Y. H. Kim, H. N. Lim, J. H. Ku, and K. H. Kim, "A Study on the Factors of Well-aging through Big Data Analysis: Focusing on Newspaper Articles," Journal of the Korea Academia-Industrial cooperation Society, vol. 22, no. 5 pp. 354-360, 2021. 

    원문보기 상세보기 crossref

  4. J. H. Lee, "Building an SNS Crawling System Using Python," Journal of the Korea Industrial Information Systems Research, vol. 23, no. 5, pp. 61-76, 2018. 

    원문보기 상세보기 crossref

  5. C. Kohlschuer, P. Fankhauser, and W. Nejdl, "Boilerplate detection using shallow text features," in Proceedings of the third ACM international conference on Web Search and Data Mining (WSDM), New York: NY, pp. 441-450, 2010. 

  6. W. M. Song and M. G. Kim, "Contents Extraction from HTML Documents using Text Block Context," Journal of KISS : Software and Applications, vol. 40, no. 3, pp. 155-163, 2013. 

  7. H. G. Jeon and C. Koh, "Text Extraction Algorithm using the HTML Logical Structure Analysis," Journal of Digital Contents Society, vol. 16, no. 3, pp. 445-455, 2015. 

    원문보기 상세보기 crossref

  8. J. H. Mo and J. M. Yum "Korean Web Content Extraction using Tag Rank Position and Gradient Boosting," Journal of KIISE, vol. 44, no. 6, pp. 581-586, 2017. 

    원문보기 상세보기 crossref

  9. S. Wu, J. Liu, and J. Fan, "Automatic Web Content Extraction by Combination of Learning and Grouping," in Proceedings of the 24th International Conference on World Wide Web (WWW '15), pp. 1264-1274, 2015. 

  10. S. H. Kim and H. J. Kim, "Logistic Regression Ensemble Method for Extracting Significant Information from Social Texts," KIPS Transactions on Software and Data Engineering, vol. 6, no. 5, pp. 279-284, 2017. 

    원문보기 상세보기 crossref

  11. T. Vogels, O. E. Ganea, and C. Eickhoff, "Web2text: Deep structured boilerplate removal," in Proceedings of the 40th European Conference on Information Retrieval, pp. 167-179, 2018. 

  12. J. Leonhardt, A. Anand, and M. Khosla, "Boilerplate Removal using a Neural Sequence Labeling Model," in Companion Proceedings of the Web Conference 2020 (WWW '20), New York: NY, pp. 226-229, 2020. 

  13. J. H. Kim and E. G. Kim, "HTML Text Extraction Using Frequency Analysis," Journal of the Korea Institute of Information and Communication Engineering, vol. 25, no. 9, 2021. 

  14. Tharwat, A, "Classification assessment methods," Applied Computing and Informatics, vol. 17 no. 1, pp. 168-192, 2021. 

    상세보기 crossref

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로