최근 사물인터넷(Internet of Things)과 클라우드 컴퓨팅(Cloud Computing), 빅데이터(Big Data) 환경에서 기업의 데이터 웨어하우스(Data Warehouse)에 포함되는 데이터는 단순히 운영계 데이터의 수집, 보고 기능뿐 아니라 다각화된 데이터 소스 환경에 대한 분석, 예측을 통해 올바른 분석 정보를 제공해야하는 중요성이 더욱 증가되고 있다. 따라서 정보계 시스템의 데이터 웨어하우스 환경에서 늘어나는 데이터의 빠른 이행을 요구하고 있다. 데이터 ...
최근 사물인터넷(Internet of Things)과 클라우드 컴퓨팅(Cloud Computing), 빅데이터(Big Data) 환경에서 기업의 데이터 웨어하우스(Data Warehouse)에 포함되는 데이터는 단순히 운영계 데이터의 수집, 보고 기능뿐 아니라 다각화된 데이터 소스 환경에 대한 분석, 예측을 통해 올바른 분석 정보를 제공해야하는 중요성이 더욱 증가되고 있다. 따라서 정보계 시스템의 데이터 웨어하우스 환경에서 늘어나는 데이터의 빠른 이행을 요구하고 있다. 데이터 마이그레이션(Data Migration) 수행 시 여러 데이터 소스 환경에 따라 담당자는 최적화된 ETL(Extract/Transform/Load) 솔루션을 고려해야한다. 이를 위해서는 ETL Tool의 단순 사용보다는 해당 툴의 특성과 데이터 마이그레이션 환경에 대한 이해를 필요로 한다. 본 논문에서는 대량의 동일한 데이터 셋(Data Set)을 대상으로 다양한 환경에서 데이터 이관 성능향상 연구를 위해 ETL 오픈소스(Open Source) 인 Talend Open Studio와 MS-SQL 서버 군에 제공되는 SSIS(Sql Server Integration Services)를 이용하여 이 기종 데이터베이스에서 데이터를 이관할 때의 ETL 성능 측정을 진행하고, Tool 특성에 따른 성능 차이를 비교한다. 그리고 Procedure 와 ETL Tool 의 이관 성능을 비교하기 위해 동일한 소스의 데이터 이관 로직을 각각 Procedure와 ETL Tool 의 Task를 사용하여 ETL을 구현한다. 두 비교대상의 성능 측정을 진행하여 상황에 따른 효율적인 ETL 방법 적용 및 Tuning을 통해 성능향상 방법 등을 제안한다. 데이터 이관 시 성능과 관련하여 고려해야하는 사항들을 데이터 이관 테스트 기반으로 분석하고자한다.
최근 사물인터넷(Internet of Things)과 클라우드 컴퓨팅(Cloud Computing), 빅데이터(Big Data) 환경에서 기업의 데이터 웨어하우스(Data Warehouse)에 포함되는 데이터는 단순히 운영계 데이터의 수집, 보고 기능뿐 아니라 다각화된 데이터 소스 환경에 대한 분석, 예측을 통해 올바른 분석 정보를 제공해야하는 중요성이 더욱 증가되고 있다. 따라서 정보계 시스템의 데이터 웨어하우스 환경에서 늘어나는 데이터의 빠른 이행을 요구하고 있다. 데이터 마이그레이션(Data Migration) 수행 시 여러 데이터 소스 환경에 따라 담당자는 최적화된 ETL(Extract/Transform/Load) 솔루션을 고려해야한다. 이를 위해서는 ETL Tool의 단순 사용보다는 해당 툴의 특성과 데이터 마이그레이션 환경에 대한 이해를 필요로 한다. 본 논문에서는 대량의 동일한 데이터 셋(Data Set)을 대상으로 다양한 환경에서 데이터 이관 성능향상 연구를 위해 ETL 오픈소스(Open Source) 인 Talend Open Studio와 MS-SQL 서버 군에 제공되는 SSIS(Sql Server Integration Services)를 이용하여 이 기종 데이터베이스에서 데이터를 이관할 때의 ETL 성능 측정을 진행하고, Tool 특성에 따른 성능 차이를 비교한다. 그리고 Procedure 와 ETL Tool 의 이관 성능을 비교하기 위해 동일한 소스의 데이터 이관 로직을 각각 Procedure와 ETL Tool 의 Task를 사용하여 ETL을 구현한다. 두 비교대상의 성능 측정을 진행하여 상황에 따른 효율적인 ETL 방법 적용 및 Tuning을 통해 성능향상 방법 등을 제안한다. 데이터 이관 시 성능과 관련하여 고려해야하는 사항들을 데이터 이관 테스트 기반으로 분석하고자한다.
Recently, in the Internet of Things, Cloud Computing and Big Data environments, the importance of the data included in businesses' Data Warehouse that should provide correct analysis information not simply through the functions of collecting and reporting operational data but also analyzing and pred...
Recently, in the Internet of Things, Cloud Computing and Big Data environments, the importance of the data included in businesses' Data Warehouse that should provide correct analysis information not simply through the functions of collecting and reporting operational data but also analyzing and predicting diversified data source environments. Thus, fast migration of data is required, which are increasing in the data warehouse environment of an informational system. In performing data migration, the persons in charge of various data source environments should consider optimized Extract / Transform / Load (ETL) solutions. To do this, rather than simple uses of ETL tools, they should have an understanding of the characteristics of the tools and the data migration environment. This study conducts a measurement of the ETL performance of data migration in different types of database and compares the differences in the performance according to the characteristics of the tools for research of the improvement of the data migration performance in various environments with a mass of the same data set, using ETL Open Source, Talend Open Studio and SQL Server Integration Services (SSIS) provided for an MS-SQL Server Group. Also, in order to compare the procedures and the migration performances of the ETL tools, ETL is implemented, using each procedure and task of the ETL tools for the data migration logic of the same source. The performances of the two subjects of comparison are measured to propose a method of improving the performances through applying an efficient ETL method according to the situation and tuning it. Matters to consider regarding the performances in data migration will be analyzed based on a test on data migration.
Recently, in the Internet of Things, Cloud Computing and Big Data environments, the importance of the data included in businesses' Data Warehouse that should provide correct analysis information not simply through the functions of collecting and reporting operational data but also analyzing and predicting diversified data source environments. Thus, fast migration of data is required, which are increasing in the data warehouse environment of an informational system. In performing data migration, the persons in charge of various data source environments should consider optimized Extract / Transform / Load (ETL) solutions. To do this, rather than simple uses of ETL tools, they should have an understanding of the characteristics of the tools and the data migration environment. This study conducts a measurement of the ETL performance of data migration in different types of database and compares the differences in the performance according to the characteristics of the tools for research of the improvement of the data migration performance in various environments with a mass of the same data set, using ETL Open Source, Talend Open Studio and SQL Server Integration Services (SSIS) provided for an MS-SQL Server Group. Also, in order to compare the procedures and the migration performances of the ETL tools, ETL is implemented, using each procedure and task of the ETL tools for the data migration logic of the same source. The performances of the two subjects of comparison are measured to propose a method of improving the performances through applying an efficient ETL method according to the situation and tuning it. Matters to consider regarding the performances in data migration will be analyzed based on a test on data migration.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.