$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

SparkR을 이용한 R 기반 빅데이터 분석의 분산 처리
Distributed Processing of Big Data Analysis based on R using SparkR 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.17 no.1, 2022년, pp.161 - 166  

류우석 (부산가톨릭대학교 병원경영학과)

초록
AI-Helper 아이콘AI-Helper

본 논문에서는 데이터 분석 도구인 R을 이용하여 빅데이터 분석을 수행할 때 발생하는 문제점을 분석하고, 빅데이터의 분산 처리를 효과적으로 지원하는 스파크와 R을 연계한 SparkR을 이용한 분석의 유용성을 제시하고자 한다. 먼저, 대량의 데이터를 로딩하고 연산을 수행할 때 발생하는 R의 메모리 할당 문제점과 R과 비교한 SparkR의 특징 및 프로그래밍 환경을 분석한다. 그리고, 선형 회귀 분석을 각각의 환경에서 수행할 때의 실행 성능을 비교 분석한다. 분석 결과 SparkR을 통해 추가적인 언어 학습 없이도 R을 그대로 이용하여 데이터 분석에 활용할 수 있음을 보였으며, SparkR을 이용하여 R로 작성된 코드를 클러스터 내 노드 수의 증가에 따라 효과적으로 분산 처리할 수 있었다.

Abstract ▼ AI-Helper 아이콘AI-Helper

In this paper, we analyze the problems that occur when performing the big data analysis using R as a data analysis tool, and present the usefulness of the data analysis with SparkR which connects R and Spark to support distributed processing of big data effectively. First, we study the memory alloca...

주제어

#빅데이터   #데이터 과학   #분산 처리   #프로그래밍 언어  

표/그림 (4)

참고문헌 (10)

  1. A. Rabasa and C. Heavin, An Introduction to Data Science and its Applications, Data Science and Productivity Analytics. Berlin: Springer Cham, 2020, pp. 57-81. 

  2. Y. Lim and K. Kim, "Methods to propel Tourism of Yeosu City Using Big Data," J. of the Korea Institute of Electronic Communication Sciences, vol. 15, no. 4, Aug. 2020, pp. 739-746. 

    원문보기 상세보기 crossref

  3. K. Goztepe, "De Facto Language of Data Science: The R Project," J. of Management and Information Science, vol. 4, no. 4, Dec. 2016, pp. 104-107. 

  4. M. Cho, "A Comparative Study on the Accuracy of Important Statistical Prediction Techniques for Marketing Data," J. of the Korea Institute of Electronic Communication Sciences, vol. 14, no. 4, Aug. 2019, pp. 775-780. 

    원문보기 상세보기 crossref

  5. B. Chambers and M. Zaharia, Spark: The definitive Guide: Big data processing made simple. Newton, MA, USA: O'Reilly Media, Inc, Feb. 2018. 

  6. M. Zaharia, R. Xin, P. Wendell, T. Das, M. Armbrust, A. Dave, X. Meng, J. Rosen, S. Venkataraman, M. Franklin, and A. Ghodsi, "Apache spark: a unified engine for big data processing," Communications of the ACM, vol. 59, no. 11, Oct. 2016, pp. 56-65. 

    상세보기 crossref

  7. J. Jang, J. Park, H. Kim, and S. Yoon, "A Comparative Performance Analysis of Spark-Based Distributed Deep-Learning Frameworks," KIISE(Korean Institute of Information Scientists and Engineers) Trans. Computing Practices, vol. 23, no. 5, May, 2017, pp. 299-303. 

  8. M. Assefi, E. Behravesh, G. Liu, and A. P. Tafti, "Big data machine learning using apache spark MLlib," In 2017 IEEE Int. Conf. on Big Data (Big Data), Boston, MA, U.S.A., 2017, pp. 3492-3498. 

  9. W. Ryu, "Performance Factor of Distributed Processing of Machine Learning using Spark," J. of the Korea Institute of Electronic Communication Sciences, vol. 16, no. 1, Feb. 2021, pp. 19-24. 

    원문보기 상세보기 crossref

  10. R. Myung, H. Yu, and S. Choi, "Performance Optimization Strategies for Fully Utilizing Apache Spark," KIPS(Korea Information Processing Society) Trans. Computer and Communication Systems, vol. 7, no. 1, Jan. 2018, pp. 9-18. 

관련 콘텐츠

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로