[논문]RHadoop 기반 보건의료 빅데이터 분석의 성능 평가

류우석

doi:10.13067/jkiecs.2018.13.1.207

[국내논문] RHadoop 기반 보건의료 빅데이터 분석의 성능 평가
Performance Evaluation of Medical Big Data Analysis based on RHadoop 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.13 no.1, 2018년, pp.207 - 212

류우석 (부산가톨릭대학교 병원경영학과)

초록
AI-Helper

빅데이터 시대에 각광받고 있는 데이터 분석 도구인 R은 강력한 통계 분석 기능과 데이터 가시화 기능을 제공함으로 인해 그 사용자를 급속히 넓혀 가고 있다. 오픈소스 기반으로서의 다양한 기능 확장성이 R의 강점인데 반해 규모 확장성이 미흡함으로 인해 대용량 데이터 처리에서의 성능 제약이 발생한다. 이를 보완하기 위한 확장 패키지 중 하나인 RHadoop은 R로 작성된 코드에 대해 하둡 플랫폼 기반 병렬 분산 처리를 지원하므로 데이터 분석 성능을 높일 수 있다. 본 논문에서는 인터넷을 통해 공개되는 실제 보건의료 빅데이터를 이용한 데이터 분석에서 RHadoop을 활용할 때 얻을 수 있는 성능 개선을 평가함으로써 RHadoop의 유효성을 검증한다. 본 연구를 통해 R과 RHadoop에서 국민건강보험 진료내역정보를 각각 분석한 결과 8개의 데이터 노드로 구성된 RHadoop 클러스터가 R과 비교하여 최대 8배 이상 성능을 개선시킬 수 있음을 입증하였다.

Abstract ▼ AI-Helper

As a data analysis tool which is becoming popular in the Big Data era, R is rapidly expanding its user range by providing powerful statistical analysis and data visualization functions. Major advantage of R is its functional scalability based on open source, but its scale scalability is limited, resulting in performance degrades in large data processing. RHadoop, one of the extension packages to complement it, can improve data analysis performance as it supports Hadoop platform-based distributed processing of programs written in R. In this paper, we evaluate the validity of RHadoop by evaluating the performance improvement of RHadoop in real medical big data analysis. Performance evaluation of the analysis of the medical history information, which is provided by National Health Insurance Service, using R and RHadoop shows that RHadoop cluster composed of 8 data nodes can improve performance up to 8 times compared with R.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 RHadoop을 이용하여 보건의료 빅데이터의 분석을 수행할 때의 실행 성능을 비교함으로써, 공공 빅데이터 분석을 위한 도구로서의 R과 RHadoop의 유효성을 평가하고자 한다.
본 논문에서는 빅데이터 분석을 위한 도구로서의 R과 병렬 분산 처리를 지원하는 RHadoop의 비교를 통해 보건의료 빅데이터의 효율적인 분석을 위한 RHadoop의 유효성을 검증하고자 하였다.
본 연구에서는 보건의료 빅데이터 분석시 R의 성능과 RHadoop의 성능을 비교하기 위해 다음과 같은 시스템을 구축하였다.
본 논문에서는 RHadoop을 이용하여 보건의료 빅데이터의 분석을 수행할 때의 실행 성능을 비교함으로써, 공공 빅데이터 분석을 위한 도구로서의 R과 RHadoop의 유효성을 평가하고자 한다. 이를 위해 R과 RHadoop 시스템을 각각 구축하고 국민건강보험공단에서 제공하는 진료내역정보 데이터를 이용한 데이터 분석을 각각 수행함으로써 그 성능을 비교하는 것이 본 연구의 목적이다.

제안 방법

그리고, 각 프로그램의 수행 시간 비교를 위해 R에서 제공하는 system.time() 함수를 이용하여 수행 시간을 측정하였다.
RHadoop과 관련한 관련 연구로서 데이터 규모와 클러스터 규모에 따른 RHadoop 플랫폼의 성능비교에 따른 연구가 제시되어 있다. 기존 연구에서는 회귀분석에서의 RHadoop의 성능을 분석하였으나, 클러스터의 규모를 최대 5대의 데이터노드로 한정하였으며, 실제데이터와 모의데이터를 혼합하여 실험을 진행하였다[6]. 본 연구의 선행 연구에서는 실제 국내 보건의료데이터를 이용하여 그 수행 성능을 비교하였으나, 데이터셋의 규모와 클러스터의 규모에도 제한이 있었다[7].
본 논문에서는 이 분석 프로그램을 R과 RHadoop에서 동작하도록 각각 프로그래밍하였다. R에서의 분석 프로그램은 그림 4에 도시되어 있다.
본 연구에서는 실제 보건의료 데이터를 이용하여 데이터분석을 수행하는 연구자가 직관적으로 그 결과를 확인할 수 있도록 실제 데이터를 이용하되, 그 데이터셋의 규모와 클러스터 규모를 최대 8대까지 다양하게 설정하여 실험을 진행하였다.
위에서 제시한 두 프로그램은 성능 비교를 위해서 최대한 다른 외부 라이브러리를 사용하지 않고 자체 함수들만 이용하였으며, 그 코드의 기능과 복잡도가 최대한 유사하도록 구현하였다.
이를 위해 보건의료 관련 공개 데이터인 국민건강보험공단의 2015년 진료내역정보를 분석하여 주상병별 진료 건수를 집계하는 프로그램을 R과 RHadoop 각각의 환경에서 구현하고 그 성능을 비교 검증하였다.
하둡 클러스터의 규모에 따른 실행 성능을 평가하기 위해 본 논문에서는 데이터 노드를 1개, 4개, 8개로 구분하여 성능을 검증한다.

대상 데이터

RHadoop의 운용을 위한 하둡 클러스터는 2 코어 인텔 펜티엄 G4400T 프로세서와 4GB 메모리를 장착한 총 9대의 PC로 구성하였으며, 운영체제로는 우분투 16.04 버전을 설치하였으며, 하둡 2.7.4버전을 이용하여 클러스터를 구성하였다.
그 중 실제 분석에 사용한 자료는 2017년 현재 가장 최근에 작성된 2015년 진료내역정보 데이터로서 100만명의 수진자에 대한 총 1123만여 건의 진료내역 데이터이다.
본 연구에서 분석 대상으로 설정한 보건의료 빅데이터는 국민건강보험공단에서 제공하고 있는 국가중점 개방데이터(진료내역정보)이다. 이 자료는 그림 2와 같이 공공데이터포털 웹사이트에 공개되어 있으며, 2002년부터 2015년까지의 국민건강보험 가입자를 대상으로 요양기관(병/의원)으로부터의 진료이력이 있는 각 연도별 수진자 100만 명에 대한 진료정보로 구성된 개방데이터가 수록되어 있다³⁾.
본 연구에서는 1123만 여건의 전체데이터에 대한 분석은 물론 수행 성능의 비교를 위해 표 1과 같이 데이터의 크기를 달리 한 총 7개의 데이터셋을 생성하고 이를 성능 비교에 이용하였다.
이 자료는 그림 2와 같이 공공데이터포털 웹사이트에 공개되어 있으며, 2002년부터 2015년까지의 국민건강보험 가입자를 대상으로 요양기관(병/의원)으로부터의 진료이력이 있는 각 연도별 수진자 100만 명에 대한 진료정보로 구성된 개방데이터가 수록되어 있다3).
이때, 1대의 노드는 네임 노드로 구성하였으며, 나머지 8대의 노드를 데이터 노드로 구성하였다.

성능/효과

그럼에도 본 실험을 통해 데이터셋의 크기가 여러 블록으로 나뉘어져서 분산 저장되는 대량의 데이터의 경우 그만큼 RHadoop으로 인한 분산 처리 성능을 기대할 수 있음을 확인하였다.
반면에 RHadoop의 경우 기본적인 수행 성능은 R보다 느리지만 데이터 크기의 증가에도 선형적인 실행 시간을 보이는 것으로 확인되었다.
비교 결과 RHaddop이 대량의 데이터 분석에서 R보다 최대 4배 이상 우수함을 검증하였으며, 하둡 클러스터의 규모에 따라서도 클러스터의 규모 증가에 따라 RHadoop의 성능이 점진적으로 우수해지는 것을 확인하였다.
실험 결과 데이터셋 100K에서 7M까지는 R의 성능이 수 배 이상 성능이 우수한 것으로 나타났으나, 데이터셋이 9M과 11M인 경우 H1의 성능이 보다 우수한 것으로 확인되었다. R의 경우 기본적인 데이터 처리 성능은 우수하나 데이터용량이 커지는 경우 그 성능이 급격하게 저하됨을 보였다.

후속연구

본 연구에서 분석에 사용된 소스 코드는 간단한 프로그램이므로, 향후 연구를 통해 회귀분석이나 데이터마이닝과 같은 복잡도가 높은 분석에서의 성능 비교도 필요하다, 또한 보건의료 빅데이터 분석을 위한 기반 플랫폼으로서 RHadoop 기반의 분석 플랫폼에 대한 추가 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	R은 어떤 언어인가?	R은 통계 및 그래픽 처리를 위해 개발된 인터프리터 언어로서 누구나 무료로 사용할 수 있도록 공개된 오픈소스 언어이다[5]. 또한 개방성을 지향하고 있음에 따라 다양한 고급 분석 라이브러리들이 패키지 형태로 무료 배포되고 있음에 따라 다양한 분야에서 널리 활용되고 있으며, 그래픽 처리의 수월성으로 인해 최근 빅데이터 분야에서도 데이터 분석 및 데이터 시각화(data visualization) 등의 목적으로 널리 활용되고 있다.
	R의 강점은?	빅데이터 시대에 각광받고 있는 데이터 분석 도구인 R은 강력한 통계 분석 기능과 데이터 가시화 기능을 제공함으로 인해 그 사용자를 급속히 넓혀 가고 있다. 오픈소스 기반으로서의 다양한 기능 확장성이 R의 강점인데 반해 규모 확장성이 미흡함으로 인해 대용량 데이터 처리에서의 성능 제약이 발생한다. 이를 보완하기 위한 확장 패키지 중 하나인 RHadoop은 R로 작성된 코드에 대해 하둡 플랫폼 기반 병렬 분산 처리를 지원하므로 데이터 분석 성능을 높일 수 있다.
	R은 그래픽 처리의 수월성으로 인해 최근 빅데이터 분야에서 어떠한 목적으로 널리 활용되고 있는가?	R은 통계 및 그래픽 처리를 위해 개발된 인터프리터 언어로서 누구나 무료로 사용할 수 있도록 공개된 오픈소스 언어이다[5]. 또한 개방성을 지향하고 있음에 따라 다양한 고급 분석 라이브러리들이 패키지 형태로 무료 배포되고 있음에 따라 다양한 분야에서 널리 활용되고 있으며, 그래픽 처리의 수월성으로 인해 최근 빅데이터 분야에서도 데이터 분석 및 데이터 시각화(data visualization) 등의 목적으로 널리 활용되고 있다. 2017년 11월 현재 R 3.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] RHadoop 기반 보건의료 빅데이터 분석의 성능 평가
Performance Evaluation of Medical Big Data Analysis based on RHadoop 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] RHadoop 기반 보건의료 빅데이터 분석의 성능 평가 Performance Evaluation of Medical Big Data Analysis based on RHadoop 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] RHadoop 기반 보건의료 빅데이터 분석의 성능 평가
Performance Evaluation of Medical Big Data Analysis based on RHadoop 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper