[논문]RHadoop을 이용한 보건의료 빅데이터 분석의 유효성

류우석

문제 정의

본 논문에서는 R 플랫폼을 이용하여 보건의료 빅데이터의 효과적인 분석을 수행하기 위한 방법으로서 R의 병렬분산 처리를 지원하는 RHadoop 패키지의 유효성을 검증하였다. 이를 위한 접근 방법으로 2015년 국민건강보험공단의 진료내역정보를 이용하였으며 주상병코드별 진료 건수 집계를 R과 RHadoop에서 동시에 수행하고 그 수행 성능을 비교하였다.
본 논문에서는 대량의 보건의료 데이터 분석을 수행하기 위한 도구로서의 RHadoop의 유효성을 검증하고자 한다. 이를 위해 보건의료 데이터의 분석에 많이 활용되고 있는 국민건강보험공단의 진료내역정보를 이용한 데이터 분석을 R과 RHadoop 각각에서 실행하고 그 결과를 비교하고자 한다.

제안 방법

이 기능을 수행하는 프로그램을 R과 RHadoop에서 동작하도록 각각 코딩하였으며 코드의 기능과 복잡도는 최대한 유사하도록 프로그래밍하였다. 그리고 수행 성능의 비교를 위해 R의 system.time() 함수를 이용하여 실행 시간을 측정하였다.
데이터 분석에 사용한 프로그램은 워드 카운트 프로그램으로서 진료내역의 각 레코드별 주상병 코드를 추출한 후 주상병코드별 레코드 건수를 집계하고 그 결과를 파일로 저장하는 프로그램이다. 이 기능을 수행하는 프로그램을 R과 RHadoop에서 동작하도록 각각 코딩하였으며 코드의 기능과 복잡도는 최대한 유사하도록 프로그래밍하였다. 그리고 수행 성능의 비교를 위해 R의 system.
본 논문에서는 R 플랫폼을 이용하여 보건의료 빅데이터의 효과적인 분석을 수행하기 위한 방법으로서 R의 병렬분산 처리를 지원하는 RHadoop 패키지의 유효성을 검증하였다. 이를 위한 접근 방법으로 2015년 국민건강보험공단의 진료내역정보를 이용하였으며 주상병코드별 진료 건수 집계를 R과 RHadoop에서 동시에 수행하고 그 수행 성능을 비교하였다. 검증 결과 총 1123만 여 건의 진료내역 정보의 분석에서 4개의 데이터 노드를 활용한 RHadoop이 단일 컴퓨터에서 수행된 R보다 4배 이상 성능이 우수한 것으로 나타남에 따라 보건의료 빅데이터의 분석에서 RHadoop의 활용이 유효한 것으로 평가되었다.
본 논문에서는 대량의 보건의료 데이터 분석을 수행하기 위한 도구로서의 RHadoop의 유효성을 검증하고자 한다. 이를 위해 보건의료 데이터의 분석에 많이 활용되고 있는 국민건강보험공단의 진료내역정보를 이용한 데이터 분석을 R과 RHadoop 각각에서 실행하고 그 결과를 비교하고자 한다. 2장에서는 실험을 위한 환경 설정을 기술하고, 3장에서는 성능 비교 결과를 기술한다.

대상 데이터

분석 대상 자료는 국민건강보험공단에서 제공하고 있는 진료내역정보로서 국민건강보험 가입자 중 병/의원으로부터의 진료이력이 있는 각 연도별 수진자 100만 명에 대한 기본정보(성, 연령대, 시도코드 등)와 진료내역(진료과목코드, 주상 병코드, 요양일수, 총처방일수 등)을 저장한 데이터이다. 그 중 실제 분석에 사용한 데이터는 2017년 현재 가장 최신 데이터인 2015년 진료내역정보로서 100만명에 대한 총 1123만여 건의 진료내역 데이터가 CSV 포맷으로 저장되어 있으며 용량은 약 900MB이다[4]. 수행 시간의 추가 비교를 위해 데이터의 크기를 달리 하여 10만 건, 100만 건, 1123만 건 전체 데이터로 구분하여 총 세 개의 데이터셋을 생성하였다.
본 연구에서 사용한 시스템은 2 코어 인텔 펜티엄 G4400T 프로세서와 4GB 메모리를 장착한 총 5대의 PC이며 모두 운영체제로 우분투 16.04 버전을 설치하였다. 하둡 2.
분석 대상 자료는 국민건강보험공단에서 제공하고 있는 진료내역정보로서 국민건강보험 가입자 중 병/의원으로부터의 진료이력이 있는 각 연도별 수진자 100만 명에 대한 기본정보(성, 연령대, 시도코드 등)와 진료내역(진료과목코드, 주상 병코드, 요양일수, 총처방일수 등)을 저장한 데이터이다. 그 중 실제 분석에 사용한 데이터는 2017년 현재 가장 최신 데이터인 2015년 진료내역정보로서 100만명에 대한 총 1123만여 건의 진료내역 데이터가 CSV 포맷으로 저장되어 있으며 용량은 약 900MB이다[4].
그 중 실제 분석에 사용한 데이터는 2017년 현재 가장 최신 데이터인 2015년 진료내역정보로서 100만명에 대한 총 1123만여 건의 진료내역 데이터가 CSV 포맷으로 저장되어 있으며 용량은 약 900MB이다[4]. 수행 시간의 추가 비교를 위해 데이터의 크기를 달리 하여 10만 건, 100만 건, 1123만 건 전체 데이터로 구분하여 총 세 개의 데이터셋을 생성하였다.

성능/효과

1123만 건의 전체 데이터셋의 경우 RHadoop 의 처리 성능이 R과 비교하여 4배 이상 높은 것으로 확인되었다. 전체 데이터의 파일 크기는 971MB이므로 총 8개의 블록으로 나뉘어서 분산 저장이 되며, 네 개의 데이터 노드를 통해서 적절 히 분산 처리가 되고 있음을 확인할 수 있다.
이를 위한 접근 방법으로 2015년 국민건강보험공단의 진료내역정보를 이용하였으며 주상병코드별 진료 건수 집계를 R과 RHadoop에서 동시에 수행하고 그 수행 성능을 비교하였다. 검증 결과 총 1123만 여 건의 진료내역 정보의 분석에서 4개의 데이터 노드를 활용한 RHadoop이 단일 컴퓨터에서 수행된 R보다 4배 이상 성능이 우수한 것으로 나타남에 따라 보건의료 빅데이터의 분석에서 RHadoop의 활용이 유효한 것으로 평가되었다. 향후 연구로서 RHadoop 기반의 보건의료 빅데이터 분석 플랫폼에 대한 추가 연구의 진행이 필요할 것이다.
표 1은 세 개의 데이터셋에 대해 R과 RHadoop을 각각 10회씩 교차 실행시킨 후 그 실행 시간의 평균 시간을 도시한 표이다. 데이터셋 이 10만 건과 100만 건의 경우 데이터의 크기가 비교적 적음에 따라 R보다 RHadoop의 성능이 현저하게 떨어지는 것을 확인할 수 있다. 그 이유는 하둡에서 데이터를 저장하는 파일 시스템인 HDFS의 경우 데이터 저장을 블록 단위로 저장하는데 블록의 기본 사이즈가 128MB가 되기 때문이다.
즉, 두 데이터셋 모두 파일의 크기가 1개 블록보다 적으므로 하둡 클러스터의 규모에 상관없이 한 데이터노드에서만 하둡 잡이 실행되므로 병렬분산 처리의 이점은 전혀 보이지 않았다. 맵 리듀스 처리로 인한 오버헤드가 오히려 더 크게 발생함으로 인해 RHadoop의 처리 성능이 최대 10배 이상 느린 것으로 확인되었다.
전체 데이터의 파일 크기는 971MB이므로 총 8개의 블록으로 나뉘어서 분산 저장이 되며, 네 개의 데이터 노드를 통해서 적절 히 분산 처리가 되고 있음을 확인할 수 있다. 이 결과를 통해 데이터셋의 크기가 여러 블록으로 나뉘어져서 분산 저장되는 경우 그만큼 RHadoop으로 인한 분산 처리 효과를 얻을 수 있음을 확 인하였다. 분석에 사용된 소스 코드는 간단한 프로그램이므로, 회귀분석이나 마이닝과 같은 복잡도가 높은 분석에서는 RHadoop의 효용성이 더욱 높아질 것으로 예상된다.
1123만 건의 전체 데이터셋의 경우 RHadoop 의 처리 성능이 R과 비교하여 4배 이상 높은 것으로 확인되었다. 전체 데이터의 파일 크기는 971MB이므로 총 8개의 블록으로 나뉘어서 분산 저장이 되며, 네 개의 데이터 노드를 통해서 적절 히 분산 처리가 되고 있음을 확인할 수 있다. 이 결과를 통해 데이터셋의 크기가 여러 블록으로 나뉘어져서 분산 저장되는 경우 그만큼 RHadoop으로 인한 분산 처리 효과를 얻을 수 있음을 확 인하였다.
그 이유는 하둡에서 데이터를 저장하는 파일 시스템인 HDFS의 경우 데이터 저장을 블록 단위로 저장하는데 블록의 기본 사이즈가 128MB가 되기 때문이다. 즉, 두 데이터셋 모두 파일의 크기가 1개 블록보다 적으므로 하둡 클러스터의 규모에 상관없이 한 데이터노드에서만 하둡 잡이 실행되므로 병렬분산 처리의 이점은 전혀 보이지 않았다. 맵 리듀스 처리로 인한 오버헤드가 오히려 더 크게 발생함으로 인해 RHadoop의 처리 성능이 최대 10배 이상 느린 것으로 확인되었다.

후속연구

검증 결과 총 1123만 여 건의 진료내역 정보의 분석에서 4개의 데이터 노드를 활용한 RHadoop이 단일 컴퓨터에서 수행된 R보다 4배 이상 성능이 우수한 것으로 나타남에 따라 보건의료 빅데이터의 분석에서 RHadoop의 활용이 유효한 것으로 평가되었다. 향후 연구로서 RHadoop 기반의 보건의료 빅데이터 분석 플랫폼에 대한 추가 연구의 진행이 필요할 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] RHadoop을 이용한 보건의료 빅데이터 분석의 유효성
Usefulness of RHadoop in Case of Healthcare Big Data Analysis 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] RHadoop을 이용한 보건의료 빅데이터 분석의 유효성 Usefulness of RHadoop in Case of Healthcare Big Data Analysis 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] RHadoop을 이용한 보건의료 빅데이터 분석의 유효성
Usefulness of RHadoop in Case of Healthcare Big Data Analysis 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper