선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 Edge computing에서 군집 지능화를 위한 실시간 반응성 향상을 목표로 오픈소스 기반 스트림 데이터 처리 방법에 대한 비교 분석과 Fast-reaction을 위한 데이터 처리 도구 비교 분석 연구하는 것으로, 오픈 소프트웨어 아파치 스파크를 기반으로 다양한 스트림 데이터 분석 방법(MLlib, R, Mahout, MATLAB 등)들에 대한 비교 연구를 수행하였다.
제안 방법
- 아파치 스파크 스트리밍에서 트위터 데이터를 실시간으로 받고 K-means 머신러닝 기법으로 생성된 모델을 이용하여 트위터 데이터를 언어별로 분류하였다. 데이터브릭스(Databricks)에서 제공하는 오픈소스를 이용하였으며, 소스코드를 수정하여 K-means 머신러닝 기법의 Training 시간과 Test 시간을 확인하였다.
- 본 논문에서는 IoT 환경에서 실시간 반응성 향상을 목표로 오픈소스 기반 스트림 데이터 처리 방법에 대한 비교 분석과 Fast-reaction을 위한 데이터 처리 도구 비교 분석 연구를 하는 것으로, 대용량 데이터 처리 및 분산 협업을 지원하는 기계 학습 도구인 MLlib와 아파치 머하웃(Apache Mahout), R, MATLAB의 비교 분석 연구를 통해 Edge computing 환경에서 데이터 처리 속도를 향상시키고, 그 결과를 바탕으로 Fast-Reaction을 위한 최적화된 플랫폼을 선정한다.
- 수집한 트위터 데이터를 이용하여 트위터 데이터를 25개의 클러스터로 나누는 모델을 생성하였다. 모델 생성 후 100개의 트위터 데이터로 모델을 테스트하였다.
- 대표적인 머신러닝 기법인 K-means 기법을 이용하여 군집 모델을 생성하였다. 아파치 스파크 스트리밍에서 트위터 데이터를 실시간으로 받고 K-means 머신러닝 기법으로 생성된 모델을 이용하여 트위터 데이터를 언어별로 분류하였다. 데이터브릭스(Databricks)에서 제공하는 오픈소스를 이용하였으며, 소스코드를 수정하여 K-means 머신러닝 기법의 Training 시간과 Test 시간을 확인하였다.
- 아파치 스파크 스트리밍을 통해 트위터 데이터를 실시간으로 받아 K-means 머신러닝 기법으로 생성한 모델을 이용하여 트위터 데이터를 분류하였다. 클러스터 별로 분류된 트위터 데이터 중 지정한 클러스터에 포함되는 트위터 데이터를 확인하였다.
- 아파치 스파크 시스템은 3개의 클러스터 매니저(Standalone, Apache Mesos, Hadoop Yarn)를 지원하며, 본 논문에서는 3개의 클러스터 매니저 중 대표적인 Standalone 모드를 사용하여 아파치 스파크 클러스터 시스템을 구성하였다. 전체 노드의 구성은 3개의 노드(Master node 1개, Wroker node 2개)로 이루어진다.
- 마지막으로 다양한 스트림 데이터 분석을 위한 FastData 분석 방법을 아파치 스파크와 연동하여 Low Layer부터 High Layer 노드에 적용할 수 있는 메모리 기반의 처리 방식으로 다양한 작업을 빠르고 효율적으로 처리하는 연구를 수행할 것임. 이를 위해 2단계 연구에서는 분산 협업 처리 방법과 기계 학습 도구 비교 분석 연구를 바탕으로 군집 노드의 상황 패턴 인식을 위한 SVM/PCA 기반 학습 알고리즘을 연구를 진행하고자 한다. 학습 알고리즘의 목적은 학습모델과 예측 알고리즘을 만드는 것으로 주어진 학습데이터(Training set)로부터 최적의 학습모델을 생성하고, 해당 모델을 통해 대용량 데이터를 분석, 귀납 추론 등의 결과를 도출하는 방법을 일컫는다.
- 본 논문에서는 IoT 환경에서 실시간 반응성 향상을 목표로 오픈소스 기반 스트림 데이터 처리 방법에 대한 비교 분석과 Fast-reaction을 위한 데이터 처리 도구 비교 분석 연구를 하는 것으로, 대용량 데이터 처리 및 분산 협업을 지원하는 기계 학습 도구인 MLlib와 아파치 머하웃(Apache Mahout), R, MATLAB의 비교 분석 연구를 통해 Edge computing 환경에서 데이터 처리 속도를 향상시키고, 그 결과를 바탕으로 Fast-Reaction을 위한 최적화된 플랫폼을 선정한다. 이를 증명하기 위해 벤치마크를 통해서 연구된 플랫폼의 스트림 분석 처리를 평가하여 계층적 데이터 스트림 처리 환경에 적합한 FastData 분석 플랫폼을 도출하였다.
- 아파치 스파크 스트리밍을 통해 트위터 데이터를 실시간으로 받아 K-means 머신러닝 기법으로 생성한 모델을 이용하여 트위터 데이터를 분류하였다. 클러스터 별로 분류된 트위터 데이터 중 지정한 클러스터에 포함되는 트위터 데이터를 확인하였다.
- 트위터 데이터를 아파치 스파크 스트리밍을 이용하여 실시간으로 분석하였다. 대표적인 머신러닝 기법인 K-means 기법을 이용하여 군집 모델을 생성하였다.
대상 데이터
- K-means 머신러닝으로 군집 모델을 생성하기 위해 Collect 클래스를 이용하여 100,000개의 트위터 데이터를 수집하였다.
- 수집한 트위터 데이터를 이용하여 트위터 데이터를 25개의 클러스터로 나누는 모델을 생성하였다. 모델 생성 후 100개의 트위터 데이터로 모델을 테스트하였다.
이론/모형
- 트위터 데이터를 아파치 스파크 스트리밍을 이용하여 실시간으로 분석하였다. 대표적인 머신러닝 기법인 K-means 기법을 이용하여 군집 모델을 생성하였다. 아파치 스파크 스트리밍에서 트위터 데이터를 실시간으로 받고 K-means 머신러닝 기법으로 생성된 모델을 이용하여 트위터 데이터를 언어별로 분류하였다.
- 트위터에서 제공하는 트위터 API는 트위터 API KEY를 발급받아야 사용할 수 있다. 트위터의 Open API를 사용하려면 인증과정이 필요한데 트위터의 인증 방식은 OAuth 2.0 기술표준을 따름. OAuth 2.
후속연구
- 또한, 기존의 플랫폼에서는 제한된 알고리즘으로 모든 데이터를 처리, 분석하는 기능을 제공하고 있음. 따라서 다양한 데이터 타입에 기반을 두어 처리엔진 변경에 따른 유동성 보장 및 개별 데이터 목적에 따른 알고리즘 선택을 지원하기 위한 기술 연구가 필요하다.
- 학습 데이터의 개수에 비례하여 학습 속도와 메모리 용량이 증가하기 때문에 대용량 데이터를 학습하는 데에 기술적인 어려움이 있다. 따라서 분석 및 추론을 위하여 수집된 데이터를 기반으로 상황을 학습하고 예측하여 가장 정확한 서비스를 제공하는데 필요한 SVM/PCA를 포함한 여러 기계 학습 알고리즘을 비교 평가하고 IoT 노드에 분산 및 경량화시키는 연구가 필요할 것으로 예상된다.
- 향후 Edge computing 환경하에서의 아파치 스파크 기반 데이터 처리 환경 구축 연구를 통해 최신 버전의 아파치 스파크 환경을 구축하고 사용을 할 수 있도록 방향을 제시한다. 또한, 아파치 스파크와 연동되는 스트림 분석 방법 연구에서 FastData인 트위터 데이터를 아파치 스파크 스트리밍을 이용하여 실시간으로 분석하는 사례를 제시하여 아파치 스파크를 빅데이터 분석의 핵심 기술로서 IoT 및 Edge Computing 환경에 적용 시킬 수 있도록 방향을 제시할 것이다.
- 마지막으로 다양한 스트림 데이터 분석을 위한 FastData 분석 방법을 아파치 스파크와 연동하여 Low Layer부터 High Layer 노드에 적용할 수 있는 메모리 기반의 처리 방식으로 다양한 작업을 빠르고 효율적으로 처리하는 연구를 수행할 것임. 이를 위해 2단계 연구에서는 분산 협업 처리 방법과 기계 학습 도구 비교 분석 연구를 바탕으로 군집 노드의 상황 패턴 인식을 위한 SVM/PCA 기반 학습 알고리즘을 연구를 진행하고자 한다.
- 그러나 기존의 아파치 스파크에 대한 인터넷, 서적 등의 자료들은 초기 버전에 대한 자료들이며 현재 제공하고 있는 최신 버전에 대한 자료가 미비한 실정이다. 향후 Edge computing 환경하에서의 아파치 스파크 기반 데이터 처리 환경 구축 연구를 통해 최신 버전의 아파치 스파크 환경을 구축하고 사용을 할 수 있도록 방향을 제시한다. 또한, 아파치 스파크와 연동되는 스트림 분석 방법 연구에서 FastData인 트위터 데이터를 아파치 스파크 스트리밍을 이용하여 실시간으로 분석하는 사례를 제시하여 아파치 스파크를 빅데이터 분석의 핵심 기술로서 IoT 및 Edge Computing 환경에 적용 시킬 수 있도록 방향을 제시할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.