선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 반복적인 연산에 약했던 기존 하둡(Hadoop)시스템 보다 아파치 spark는 연산 속도가 빠르며, HADOOP[5]과 다르게 Spark를 이용하면 HBASE[6]와 HIVE[7]와 같은 SQL 질의를 제공하는 빅데이터 시스템을 별도로 설치하지 않고도 SQL문이 사용가능하다. 그렇기 때문에 본 연구에서는 이런 장점을 갖고 있는 Spark를 사용하여 일반 컴퓨터와의 성능 평가를 하였다.
- 하지만 하나의 노드로 처리하기 힘든 데이터의 크기라면 분산 처리 속도가 빠르게 나타나게 된다. 또한 라즈베리파이 클러스터가 일반 컴퓨터와 비교하여 속도가 느린 이유는 일반 컴퓨터의 RAM사양이 8GB이기 때문에 라즈베리파이와의 성능 차이가 있기 때문에 이러한 결과를 얻게 되었다.
- 올해 라즈베리파이2 모델 B버전이 출시되면서 소형 컴퓨터지만 쿼드코어와 1GB의 메모리 탑재로 인해 좋은 성능을 보이기 때문에 라즈베리파이를 이용한 연구가 더욱 주목받고 있다. 본 논문에서는 저전력 소형 컴퓨터인 라즈베리파이를 이용한 빅데이터 환경을 구축하여 일반 컴퓨터와의 성능 비교 평가하였다. 아파치 spark는 인 메모리 컴퓨팅 기반의 데이터 분산 처리 시스템[3][4]으로 반복적인 데이터 연산에 있어 디스크 I/O 비용을 효율화하기 위해 등장하게 되었다.
- 본 연구에서는 Spark에서 제공되는 SQL문을 사용하기 위해 JSON 데이터를 스키마로 변환하는 작업을 수행한다. (그림 1)은 Spark SQL에서 JSON 데이터를 스키마로 만들고 질의(query)를 실행하는 과정을 보여주는 순서도이다.
- 본 연구에서는 라즈베리파이2 클러스터를 이용한 빅데이터 처리환경을 구축하여 일반 컴퓨터 1대와 일반 컴퓨터 3대를 연결한 완전분산 환경에서의 성능을 평가하였다. 데이터 로딩과 질의 수행을 모두 실험해본 결과 일반 컴퓨터 1대, 분산된 환경, 라즈베리파이 클러스터 순으로 나타났다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.