인터넷과 웹은 정보 이용자들이 가장 빠르고 손쉽게 접근할 수 있는 정보매체의 하나이다. 공공기관에서도 웹은 정부와 국민들 간에 자유로운 의사소통을 위해 많이 사용하게 되었다. 웹기록물 역시 공공기관의 업무와 관련되어 생산되는 웹상의 자료를 의미한다. 웹기록물은 아직 수집, 보존, 활용에 대한 방안이 없어서 일정 기간의 서비스가 끝나면 사라져 버리는 문제점이 있다. 이러한 것을 해결하기 위해 웹기록물 아카이빙이 필요하게 되었다. 본 논문의 목표는 웹기록물 아카이빙 절차 중 수집에 사용되는 웹크롤러를 개발하기 위해, 국내외 대표적인 웹크롤러인 Heritrix를 분석하고 국내 웹기록물에 적합하도록 연구 개발하는 것이다. 이를 위해 Heritrix에 대한 기본적인 처리 로직, URI 추출 모듈, 크롤링프로파일에 대해 연구하였다. 이를 바탕으로 WARC 파일에 대한 빠른 접근을 위해 인덱스 저장기를 개발하였고, 저장된 내용을 원본대로 확인할 수 있는 웹기록물 뷰어를 개발하였다. 또한 직접 전송(Direct transfer) 방식을 지원하기 위해 직접 전송 저장기를 개발하였고, 웹사이트의 특성을 파악하기 위해 URL별 필터링 통계 뷰어를 개발하였다. 개발된 시스템은 국내의 세 개의 공공기관을 대상으로 테스트하여 각 홈페이지가 갖는 특성과 문제점 등을 파악할 수 있었다. 이를 통해 홈페이지들이 가지고 있는 특성을 반영할 수 있는 수집정책을 수립할 수 있다.
인터넷과 웹은 정보 이용자들이 가장 빠르고 손쉽게 접근할 수 있는 정보매체의 하나이다. 공공기관에서도 웹은 정부와 국민들 간에 자유로운 의사소통을 위해 많이 사용하게 되었다. 웹기록물 역시 공공기관의 업무와 관련되어 생산되는 웹상의 자료를 의미한다. 웹기록물은 아직 수집, 보존, 활용에 대한 방안이 없어서 일정 기간의 서비스가 끝나면 사라져 버리는 문제점이 있다. 이러한 것을 해결하기 위해 웹기록물 아카이빙이 필요하게 되었다. 본 논문의 목표는 웹기록물 아카이빙 절차 중 수집에 사용되는 웹크롤러를 개발하기 위해, 국내외 대표적인 웹크롤러인 Heritrix를 분석하고 국내 웹기록물에 적합하도록 연구 개발하는 것이다. 이를 위해 Heritrix에 대한 기본적인 처리 로직, URI 추출 모듈, 크롤링 프로파일에 대해 연구하였다. 이를 바탕으로 WARC 파일에 대한 빠른 접근을 위해 인덱스 저장기를 개발하였고, 저장된 내용을 원본대로 확인할 수 있는 웹기록물 뷰어를 개발하였다. 또한 직접 전송(Direct transfer) 방식을 지원하기 위해 직접 전송 저장기를 개발하였고, 웹사이트의 특성을 파악하기 위해 URL별 필터링 통계 뷰어를 개발하였다. 개발된 시스템은 국내의 세 개의 공공기관을 대상으로 테스트하여 각 홈페이지가 갖는 특성과 문제점 등을 파악할 수 있었다. 이를 통해 홈페이지들이 가지고 있는 특성을 반영할 수 있는 수집정책을 수립할 수 있다.
Internet and web sites become one of the most frequently used information media that can access fast and easily for users. Web sites are also used for free communications between the government and the public. Public web records mean the data made in web sites related public institutions' works. But...
Internet and web sites become one of the most frequently used information media that can access fast and easily for users. Web sites are also used for free communications between the government and the public. Public web records mean the data made in web sites related public institutions' works. But there is no plan for web records to collect, preserve and utilize, so they are disappeared after service periods. To solve the problem, web records archiving is needed. In this paper we research and develop the web crawler that is used for collecting them in web archiving process. For the sake of it, we analysis the Heritrix, famous web crawler, then regulate for fitting domestic web records. First research basic process logic, URI extraction module and crawling profile defined in the Heritrix, then develop index storage for fast access to WARC file, web records viewer for checking up saved data in its original sight, direct transfer storage for supporting the direct transfer method and filtering statistic viewer by URL for understanding web records' characteristics. By experiment the developed system using three public web sites as a target, we can get the characteristics and problems at each site. It allows to make a proper collecting policy by reflecting them.
Internet and web sites become one of the most frequently used information media that can access fast and easily for users. Web sites are also used for free communications between the government and the public. Public web records mean the data made in web sites related public institutions' works. But there is no plan for web records to collect, preserve and utilize, so they are disappeared after service periods. To solve the problem, web records archiving is needed. In this paper we research and develop the web crawler that is used for collecting them in web archiving process. For the sake of it, we analysis the Heritrix, famous web crawler, then regulate for fitting domestic web records. First research basic process logic, URI extraction module and crawling profile defined in the Heritrix, then develop index storage for fast access to WARC file, web records viewer for checking up saved data in its original sight, direct transfer storage for supporting the direct transfer method and filtering statistic viewer by URL for understanding web records' characteristics. By experiment the developed system using three public web sites as a target, we can get the characteristics and problems at each site. It allows to make a proper collecting policy by reflecting them.
B. Adrian, Archiving Website: a practical guide for information management professionals, facet publishing, 2006
이성숙," 웹 아카이빙 도구에 관한 연구", 한국정보관리학회 학술대회 논문지, 제5권, pp. 185-193.
P. M. Krister and A. Allan", The Kulturarw Project - The Royal Swedish Web Archive" , http://elpub.scix.net/data/works/att/0025.content.01952.pdf
M. Gordon, S. Michael, R. Igor, A. Dan, and K. Michelle, "An Introduction to Heritrix: An Open Source Archival Quality Web Crawler", Internet Archive Web Team, 4th International Web Archiving Workshop, 2004
" JavaSWF2 - A Java Toolkit for Macromedia Flash(TM) Parsing and Generation" , http://www.anotherbigidea.com/javaswf/
T. Amit, " Generate PDF files from Java applications dynamically", Staff Software Engineer, IBM, 2006, http://www.ibm.com/developerworks/kr/library/osjavapdf/index.html
S. C. Steen", Archival Data Format Requirements", The Royal Library, Copenhagen, Denmark The State and University Library, Arhus, Denmark, 2004. 7
김희정," 디지털아카이빙최근연구동향및OAIS 참조모형에 관한 연구", 기록관리학회지, 제3권 제1호, pp. 23-42
" Reference Model for an Open Archival Information System(OAIS) Blue Book" , Consultative Committee for Space Data Systems, 2002. 1
J. Kunze, A. Arvidson, and G. Mohr, "The WARC File Format(Version 0.16)", IIPC Framework Working Group, 2007. 3
※ AI-Helper는 부적절한 답변을 할 수 있습니다.