최근 빅데이터는 민간 및 공공부문의 새로운 가치를 창출하는 미래 국가경쟁력의 핵심으로 대두되며 창의적인 빅데이터의 활용으로 생산성 향상, 기업 경쟁력 제고, 국가 미래전략 지원 및 공공 서비스의 혁신을 도모하고 있다. 이처럼 주목받는 가장 주된 요인은 기존과 차별화된 대용량 데이터의 새로운 분석과 추론을 통하여 새로운 서비스를 개발할 수 있는 가능성이 무궁무진하기 때문이다. 대용량 데이터를 기반으로 각 분야의 새로운 트렌드를 분석하여 전망할 수 있으며, ...
최근 빅데이터는 민간 및 공공부문의 새로운 가치를 창출하는 미래 국가경쟁력의 핵심으로 대두되며 창의적인 빅데이터의 활용으로 생산성 향상, 기업 경쟁력 제고, 국가 미래전략 지원 및 공공 서비스의 혁신을 도모하고 있다. 이처럼 주목받는 가장 주된 요인은 기존과 차별화된 대용량 데이터의 새로운 분석과 추론을 통하여 새로운 서비스를 개발할 수 있는 가능성이 무궁무진하기 때문이다. 대용량 데이터를 기반으로 각 분야의 새로운 트렌드를 분석하여 전망할 수 있으며, 자연언어 처리, 기계 학습, 인공지능 기술로 맥락 이해와 추론 서비스가 증가되고 있다. 그리고 이러한 추론의 영역은 교통, 금융, 의료 등의 공공분야를 혁신하는 신산업 분야를 개발하고, 맞춤형 개인화 서비스를 가능하게 한다. 이러한 빅데이터 처리 및 분석 기술로는 대용량의 비정형화된 데이터를 저장하는 HDFS(Hadoop Distributed File System)와 데이터 처리를 위한 MapRedce로 구성된 Hadoop이 대표적인 공개 소프트웨어로 빅데이터를 활용하는 전 세계 모든 기업에서 사용 중이다. 또한 HDFS기반 Nosql DB인 HBase를 사용하여 실시간으로 쏟아져 나오는 데이터를 확장하여 저장하거나 갱신할 수도 있다. 본 논문에서는 이러한 빅데이터 관련 기술을 교통 분야 예방에 활용하여 최적의 서비스를 할 수 있는 프레임워크를 제시한다. 교통 사고율을 기반으로 처리 및 분석 예방하는 서비스를 제공하기 위하여 샘플데이터로 미국 캘리포니아주의 고속도로 교통 데이터와 사고데이터를 사용 하였으며, 실시간 교통 사고율 서비스를 위한 슬라이딩 타임 윈도우 모델을 제시하였다. 또한, 기존의 저장되어 있는 교통정보 데이터나 사고 데이터를 사용하는 방식뿐만 아니라 실시간으로 GPS 정보나 날씨등의 교통관련 데이터가 들어왔을 때 이를 처리할 수 있는 실시간 이벤트 기반의 처리 구조와 비실시간 처리 구조를 기반으로 슬라이딩 타임 윈도우 모델을 처리할 수 있는 프레임워크를 제시하였다. 실시간 처리를 위한 CEP를 OSGi프레임워크 기반의 사용자 정의 구조의 미들웨어 타입으로 설계하고 구현함으로써 모든 서비스를 OSGi의 번들로서 동적으로 배치 및 수정, 삭제가 용이한 유연한 구조로 개발하였으며 비실시간 처리에서는 Hadoop의 MapReduce의 불필요한 전처리 과정을 줄여 성능향상을 하고자 HBase의 Block Cache 데이터를 수집하여 Job Tracker내의 Traffic MR Job Manager를 통하여 보다 빠른 처리를 할 수 있게 하였으며 같은 구간의 서로 다른 경로를 동시에 처리하는 경우를 생각하여 JobSet의 개념을 정의하여 처리하였다. 그리고 단순히 처리 및 저장하는 방법뿐만 아니라 교통 사고 원인의 상관 관계 분석을 하고 결과를 도출하기 위하여 기존 교통 사고율 분석의 방법과 본 논문에서 제시하는 인공 신경망(Artificial Neural Network)을 통하여 분석결과를 제공하는 방법을 비교하여 효율성을 강조한다. 이러한 분석을 위하여 사고 데이터를 수집하여 분석을 위한 데이터 셋을 만드는 전처리 과정을 거쳐야 하는데, 이때 측정하고자 하는 특정 구간의 교통정보데이터 및 사고 데이터의 양이 1년, 5년,10년 이상씩 늘어날 경우에 엄청나게 방대해져 컴퓨터 1대로 처리 할 경우에 하루 이상의 시간을 소요할 수도 있다. 이에 본 논문에서는 빠른 시간에 데이터를 처리하여 서비스 할 수 있도록 하둡의 HDFS와 맵리듀스를 사용하여 성능을 향상하였으며, 실시간으로 수집되는 교통 정보 및 사고 데이터를 반영하여 결과를 도출할 수 있도록 하였다.
최근 빅데이터는 민간 및 공공부문의 새로운 가치를 창출하는 미래 국가경쟁력의 핵심으로 대두되며 창의적인 빅데이터의 활용으로 생산성 향상, 기업 경쟁력 제고, 국가 미래전략 지원 및 공공 서비스의 혁신을 도모하고 있다. 이처럼 주목받는 가장 주된 요인은 기존과 차별화된 대용량 데이터의 새로운 분석과 추론을 통하여 새로운 서비스를 개발할 수 있는 가능성이 무궁무진하기 때문이다. 대용량 데이터를 기반으로 각 분야의 새로운 트렌드를 분석하여 전망할 수 있으며, 자연언어 처리, 기계 학습, 인공지능 기술로 맥락 이해와 추론 서비스가 증가되고 있다. 그리고 이러한 추론의 영역은 교통, 금융, 의료 등의 공공분야를 혁신하는 신산업 분야를 개발하고, 맞춤형 개인화 서비스를 가능하게 한다. 이러한 빅데이터 처리 및 분석 기술로는 대용량의 비정형화된 데이터를 저장하는 HDFS(Hadoop Distributed File System)와 데이터 처리를 위한 MapRedce로 구성된 Hadoop이 대표적인 공개 소프트웨어로 빅데이터를 활용하는 전 세계 모든 기업에서 사용 중이다. 또한 HDFS기반 Nosql DB인 HBase를 사용하여 실시간으로 쏟아져 나오는 데이터를 확장하여 저장하거나 갱신할 수도 있다. 본 논문에서는 이러한 빅데이터 관련 기술을 교통 분야 예방에 활용하여 최적의 서비스를 할 수 있는 프레임워크를 제시한다. 교통 사고율을 기반으로 처리 및 분석 예방하는 서비스를 제공하기 위하여 샘플데이터로 미국 캘리포니아주의 고속도로 교통 데이터와 사고데이터를 사용 하였으며, 실시간 교통 사고율 서비스를 위한 슬라이딩 타임 윈도우 모델을 제시하였다. 또한, 기존의 저장되어 있는 교통정보 데이터나 사고 데이터를 사용하는 방식뿐만 아니라 실시간으로 GPS 정보나 날씨등의 교통관련 데이터가 들어왔을 때 이를 처리할 수 있는 실시간 이벤트 기반의 처리 구조와 비실시간 처리 구조를 기반으로 슬라이딩 타임 윈도우 모델을 처리할 수 있는 프레임워크를 제시하였다. 실시간 처리를 위한 CEP를 OSGi프레임워크 기반의 사용자 정의 구조의 미들웨어 타입으로 설계하고 구현함으로써 모든 서비스를 OSGi의 번들로서 동적으로 배치 및 수정, 삭제가 용이한 유연한 구조로 개발하였으며 비실시간 처리에서는 Hadoop의 MapReduce의 불필요한 전처리 과정을 줄여 성능향상을 하고자 HBase의 Block Cache 데이터를 수집하여 Job Tracker내의 Traffic MR Job Manager를 통하여 보다 빠른 처리를 할 수 있게 하였으며 같은 구간의 서로 다른 경로를 동시에 처리하는 경우를 생각하여 JobSet의 개념을 정의하여 처리하였다. 그리고 단순히 처리 및 저장하는 방법뿐만 아니라 교통 사고 원인의 상관 관계 분석을 하고 결과를 도출하기 위하여 기존 교통 사고율 분석의 방법과 본 논문에서 제시하는 인공 신경망(Artificial Neural Network)을 통하여 분석결과를 제공하는 방법을 비교하여 효율성을 강조한다. 이러한 분석을 위하여 사고 데이터를 수집하여 분석을 위한 데이터 셋을 만드는 전처리 과정을 거쳐야 하는데, 이때 측정하고자 하는 특정 구간의 교통정보데이터 및 사고 데이터의 양이 1년, 5년,10년 이상씩 늘어날 경우에 엄청나게 방대해져 컴퓨터 1대로 처리 할 경우에 하루 이상의 시간을 소요할 수도 있다. 이에 본 논문에서는 빠른 시간에 데이터를 처리하여 서비스 할 수 있도록 하둡의 HDFS와 맵리듀스를 사용하여 성능을 향상하였으며, 실시간으로 수집되는 교통 정보 및 사고 데이터를 반영하여 결과를 도출할 수 있도록 하였다.
Recently, big data is a promising technology that creates new value on private and public sectors for future competitive. By using big data, we can increase industrial productivity, business competitiveness, support national future strategy, and innovate public services. Big data have infinite poten...
Recently, big data is a promising technology that creates new value on private and public sectors for future competitive. By using big data, we can increase industrial productivity, business competitiveness, support national future strategy, and innovate public services. Big data have infinite potential for development of new service by methods for analysis and inference of differentiated huge amount of big data. This is the main factor that big data attracts attention. Big data allows analysis of new trends of each domain based on huge amount of big data and helps to make a future view. Some technologies such as natural language processing, machine leaning and artificial intelligent are adopted to analyze and process of big data. By this, understanding of context and inference services could growing rapidly. This kind of inference areas allows development of new industrial areas such as transportation, finance and health domain that innovate public sector, and this area allows customized personalized services. Hadoop is a typical open source software in big data domain, and it is used by most of business companies that handle application of big data. Hadoop contains HDFS(Hadoop Distributed File System) that stores huge amount of atypical data and MapReduce for data processing. As well, HBase which is HDFS based Nosql DB could extend data to store or update data in real-time. In this paper, we suggest a framework for prevention of the accident of road traffic domain that provides the best services using big data related technologies. We use highway road traffic data and accident data of California, USA as sample data to provide process and analysis services for accident for prevention based on accident rate of road traffic. In addition, we provide real-time event based processing structure for processing real-time data that related with road traffic such as GPS information and weather. We suggest Artificial Neural Network based method for analysis of accident rate of road traffic. This method allows effective analysis and obtaining results. This method could be compared with existing methods for analysis accident rate of road traffic which provide simple data process and store. For such analysis, we need preprocessing to make data set for analysis of collected accident data. However, this preprocessing could be taken more than one day, because amount of road traffic information data and accident data could be extremely huge if data is collected over 1 year, 5 years or 10 years. Therefore, for improving performance, we use HDFS and MapReduce of Hadoop to allow fast data processing and on time service to our suggested method. By adding real-time processing functions, we could obtain dynamic analysis results of road traffic data by adapting road traffic information and accident data which are collected in real-time.
Recently, big data is a promising technology that creates new value on private and public sectors for future competitive. By using big data, we can increase industrial productivity, business competitiveness, support national future strategy, and innovate public services. Big data have infinite potential for development of new service by methods for analysis and inference of differentiated huge amount of big data. This is the main factor that big data attracts attention. Big data allows analysis of new trends of each domain based on huge amount of big data and helps to make a future view. Some technologies such as natural language processing, machine leaning and artificial intelligent are adopted to analyze and process of big data. By this, understanding of context and inference services could growing rapidly. This kind of inference areas allows development of new industrial areas such as transportation, finance and health domain that innovate public sector, and this area allows customized personalized services. Hadoop is a typical open source software in big data domain, and it is used by most of business companies that handle application of big data. Hadoop contains HDFS(Hadoop Distributed File System) that stores huge amount of atypical data and MapReduce for data processing. As well, HBase which is HDFS based Nosql DB could extend data to store or update data in real-time. In this paper, we suggest a framework for prevention of the accident of road traffic domain that provides the best services using big data related technologies. We use highway road traffic data and accident data of California, USA as sample data to provide process and analysis services for accident for prevention based on accident rate of road traffic. In addition, we provide real-time event based processing structure for processing real-time data that related with road traffic such as GPS information and weather. We suggest Artificial Neural Network based method for analysis of accident rate of road traffic. This method allows effective analysis and obtaining results. This method could be compared with existing methods for analysis accident rate of road traffic which provide simple data process and store. For such analysis, we need preprocessing to make data set for analysis of collected accident data. However, this preprocessing could be taken more than one day, because amount of road traffic information data and accident data could be extremely huge if data is collected over 1 year, 5 years or 10 years. Therefore, for improving performance, we use HDFS and MapReduce of Hadoop to allow fast data processing and on time service to our suggested method. By adding real-time processing functions, we could obtain dynamic analysis results of road traffic data by adapting road traffic information and accident data which are collected in real-time.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.