초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

인구의 증가와 높아지는 도시화율에 따라 전 세계적으로 스마트시티에 관한 연구가 많이 진행되고 있다. 본 논문에서는 스마트시티에서 발생하는 다양한 빅데이터의 신뢰성을 보장하며 데이터 레이크에 저장하기 위해 ...

인구의 증가와 높아지는 도시화율에 따라 전 세계적으로 스마트시티에 관한 연구가 많이 진행되고 있다. 본 논문에서는 스마트시티에서 발생하는 다양한 빅데이터의 신뢰성을 보장하며 데이터 레이크에 저장하기 위해 ETL 프로세스 및 모니터링 도구와 데이터 라이프사이클 관리 도구를 웹 기반으로 사용할 수 있도록 설계하고 구현하였고 청주시 교통카드 빅데이터에 적용하였다.
구현 결과 프로그래밍 작업 없이 ETL 작업 및 모니터링 작업, 데이터 라이프사이클 관리작업을 설정하고 실행할 수 있으므로 데이터에 대한 도메인 지식만 있다면 신속하고 쉽게 ETL 작업을 실행할 수 있으며 본 연구에서 제시한 ETL 작업 시에 수행해야 할 데이터 품질 체크와 관련된 가이드를 참고하여 신뢰성 있는 데이터를 데이터 레이크에 저장하고 활용할 수 있다. 또한, 데이터 라이프사이클 관리 도구를 통하여 데이터 이관 및 삭제 주기를 설정하여 스케줄링함으로써 데이터 관리비용을 절감할 수 있다.

Abstract ▼ AI-Helper

There is a lot of research on smart cities all over the world according to the increase of population and rising urbanization rate. We propose a tool for ETL process monitoring and data lifecycle management in the data lake. It is web-based tool for secure data lake of big data generated in smart ci...

There is a lot of research on smart cities all over the world according to the increase of population and rising urbanization rate. We propose a tool for ETL process monitoring and data lifecycle management in the data lake. It is web-based tool for secure data lake of big data generated in smart cities.
As a result of the implementation, It is possible to set up and execute ETL, monitoring, and data lifecycle management tasks without programming overhaed. If you have domain knowledge of data, you can execute ETL tasks quickly and easily by using the tool. Refer to the guide on data quality checklist to store and use reliable data in the data lake. In addition, data management overhead can be reduced by setting and scheduling data migration and deletion cycles through the data lifecycle management tool.

Keyword