경제의 흐름, 주가 등을 분석, 예측을 위해 경제 뉴스, 주가 등 데이터 수집이 필요하다. 일반적인 웹 크롤러는 자동적으로 웹서버를 방문하면서 웹페이지 내용을 분석하고 URL들을 추출하면서 웹 문서를 수집한다. 반면 특정한 주제의 문서만을 수집할 수 있는 크롤러 형태도 있다. 특정 사이트에서 경제 뉴스 정보만 수집하기 위하여 사이트의 구조를 분석하고 직접적으로 데이터를 수집해올 수 있는 래퍼 기반 웹 크롤러 설계가 필요하다. 본 논문에서는 빅데이터를 기반으로, 경제뉴스 분석 시스템을 위한 크롤러 래퍼를 설계, 구현하여 경제 전문 분야의 뉴스 데이터를 수집하였다. 2000년부터 현재까지 미국 자동차 시장의 주식 데이터를 래퍼 기반으로 가져오고, 사이트 상에서의 데이터가 업데이트되는 주기를 판단하여 주기적으로 업데이트 함으로써 중복되지 않게 하였다. 그리고 미국, 한국의 경제 기사를 래퍼 기반의 웹 크롤러를 사용하여 수집하고, 향후 분석이 쉽게 데이터를 정형화 시켜 저장한다.
경제의 흐름, 주가 등을 분석, 예측을 위해 경제 뉴스, 주가 등 데이터 수집이 필요하다. 일반적인 웹 크롤러는 자동적으로 웹서버를 방문하면서 웹페이지 내용을 분석하고 URL들을 추출하면서 웹 문서를 수집한다. 반면 특정한 주제의 문서만을 수집할 수 있는 크롤러 형태도 있다. 특정 사이트에서 경제 뉴스 정보만 수집하기 위하여 사이트의 구조를 분석하고 직접적으로 데이터를 수집해올 수 있는 래퍼 기반 웹 크롤러 설계가 필요하다. 본 논문에서는 빅데이터를 기반으로, 경제뉴스 분석 시스템을 위한 크롤러 래퍼를 설계, 구현하여 경제 전문 분야의 뉴스 데이터를 수집하였다. 2000년부터 현재까지 미국 자동차 시장의 주식 데이터를 래퍼 기반으로 가져오고, 사이트 상에서의 데이터가 업데이트되는 주기를 판단하여 주기적으로 업데이트 함으로써 중복되지 않게 하였다. 그리고 미국, 한국의 경제 기사를 래퍼 기반의 웹 크롤러를 사용하여 수집하고, 향후 분석이 쉽게 데이터를 정형화 시켜 저장한다.
For analyzing and prediction of economic trends, it is necessary to collect particular economic news and stock data. Typical Web crawler to analyze the page content, collects document and extracts URL automatically. On the other hand there are forms of crawler that can collect only document of a par...
For analyzing and prediction of economic trends, it is necessary to collect particular economic news and stock data. Typical Web crawler to analyze the page content, collects document and extracts URL automatically. On the other hand there are forms of crawler that can collect only document of a particular topic. In order to collect economic news on a particular Web site, we need to design a crawler which could directly analyze its structure and gather data from it. The wrapper-based web crawler design is required. In this paper, we design a crawler wrapper for Economic news analysis system based on big data and implemented to collect data. we collect the data which stock data, sales data from USA auto market since 2000 with wrapper-based crawler. USA and South Korea's economic news data are also collected by wrapper-based crawler. To determining the data update frequency on the site. And periodically updated. We remove duplicate data and build a structured data set for next analysis. Primary to remove the noise data, such as advertising and public relations, etc.
For analyzing and prediction of economic trends, it is necessary to collect particular economic news and stock data. Typical Web crawler to analyze the page content, collects document and extracts URL automatically. On the other hand there are forms of crawler that can collect only document of a particular topic. In order to collect economic news on a particular Web site, we need to design a crawler which could directly analyze its structure and gather data from it. The wrapper-based web crawler design is required. In this paper, we design a crawler wrapper for Economic news analysis system based on big data and implemented to collect data. we collect the data which stock data, sales data from USA auto market since 2000 with wrapper-based crawler. USA and South Korea's economic news data are also collected by wrapper-based crawler. To determining the data update frequency on the site. And periodically updated. We remove duplicate data and build a structured data set for next analysis. Primary to remove the noise data, such as advertising and public relations, etc.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 제시하는 경제 데이터 수집 시스템은 지정된 사이트에서 태그를 분석하고 필요한 데이터만을 가져오는 Wrapper 기반으로 설계하였다. 시스템은 미국 도시의 날씨 데이터, 자동차 회사의 미국 시장 주가, 미국 Dollar의 환율, 미국의 GDP, PPI 등 경제수치, 금 가격, 유가 등 데이터를 수집하고 업데이트 주기를 체크하여 데이터 자동 업데이트하는 목적으로 설계된다.
제안 방법
그림 1과 같은 시스템은 URL 목록을 제공해주면 그 페이지를 크롤링하여 HTML Source를 가져와 안에 Tag를 분석한다. 그리고 Tag 분석을 통하여 얻으려는 특정 데이터만 추출하여 Data Storing를 형성하고 다음 페이지로 이동하는 링크를 자동으로 추출하여 낸다. 이 시스템 과정에서 수집한 데이터를 저장하기 위해서는 데이터베이스를 설계하여야 한다.
본 논문에서 제시하는 경제 데이터 수집 시스템은 지정된 사이트에서 태그를 분석하고 필요한 데이터만을 가져오는 Wrapper 기반으로 설계하였다. 시스템은 미국 도시의 날씨 데이터, 자동차 회사의 미국 시장 주가, 미국 Dollar의 환율, 미국의 GDP, PPI 등 경제수치, 금 가격, 유가 등 데이터를 수집하고 업데이트 주기를 체크하여 데이터 자동 업데이트하는 목적으로 설계된다.
두 번째는 데이터 분석 측면에서, 현재의 데이터로 과거의 예측을 검증하고 미래에 대한 재예측이 제대로 이루어질 수 있도록 데이터의 주기적인 업데이트를 보증해 주어야 한다. 세 번째 사용자가 원하는 데이터들은 크게 나누면 미국의 날씨데이터, 미국 자동차 회사의 미국 주가 데이터, 금의 국제 가격, 석유의 국제 가격, 미국 Dollar과 타국 화폐 사이의 환율, 미국의 각종 경제 지표 수치 등을 필요해 한다. 네 번째로는 이러한 데이터들을 사용자가 쉽게 사용 할 수 있게 구조를 잡아 주는 것이다.
대상 데이터
Weather 데이터는 URL에 GET 방법으로 city, year, month, day를 파라미터로 주어 지정된 미국도시의 지정 시간의 날씨 데이터를 보여주는 페이지 HTML Source에서 위 방법을 사용하여 데이터를 수집한다.
수집할 내용은 미국 자동차 회사 주식 데이터, 미국 날씨 데이터, 금 가격 데이터, 유가 데이터, 환율 데이터, 미국의 각종 경제수치 데이터 등 여러 가지가 있는데 여기에서는 Stock(미국 자동차 회사 주식) 데이터 만 예를 들어 설명한다.
위에서 제시한 방법으로 표 1에서와 같이 2010년부터의 15개 자동차 회사 주식 데이터를 일 단위로 45,963건, 2000년부터의 뉴욕과 로스앤젤레스의 날씨 데이터를 일 단위로 10,880건, 1995년부터의 금가를 월 단위로 239건, 1988년부터의 유가를 일(매주 5일) 7,381건, 2010년부터의 12개 나라와의 환율을 일 단위로 53,706건, 1960년부터 지금까지의 14개 경제수치 데이터를 상은 한 기간을 단위로 8,538건 수집하였다. 향후 이 데이터는 주기적으로 업데이트 할 것이다.
유가 데이터 수집은 사이트에서 제공하는 URL(http://www.eia.gov/dnav/pet/hist_xls/RWTCd.xls)에서 제공되는 파일을 받아 parsing 한다. 미국의 경제수치 데이터는 URL에 사전에 준비해 놓은 경제 수치 이름에 해당하는 코드를 파라미터 주어 웹에서 제공되는 txt 파일을 parsing 한다.
후속연구
위에서 제시한 방법으로 표 1에서와 같이 2010년부터의 15개 자동차 회사 주식 데이터를 일 단위로 45,963건, 2000년부터의 뉴욕과 로스앤젤레스의 날씨 데이터를 일 단위로 10,880건, 1995년부터의 금가를 월 단위로 239건, 1988년부터의 유가를 일(매주 5일) 7,381건, 2010년부터의 12개 나라와의 환율을 일 단위로 53,706건, 1960년부터 지금까지의 14개 경제수치 데이터를 상은 한 기간을 단위로 8,538건 수집하였다. 향후 이 데이터는 주기적으로 업데이트 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.