[논문]스마트그리드 전력데이터 분석을 위한 빅데이터 시스템 연구

이원진; 이인규; 온병원; 최중인

문제 정의

본 논문에서는 스마트그리드 확산사업으로 수집된 전력사용 데이터를 기반으로 데이터의 특성을 분석하였으며 하둡 빅데이터 시스템을 이용한 전력 사용 데이터 저장 및 분석 방안을 제시하였다. 실험에 의하면 전력사용 데이터는 대용량으로 관계형 데이터베이스를 이용하여 분석하는 것보다 하둡을 이용한 빅데이터 시스템으로 구축한 후 맵리듀스를 이용한 병렬처리 방안이 3~5배 정도 빠르다.
기존의 시스템은 지능형 전력량계를 이용하여 수집된 데이터를 관계형 데이터베이스로 저장하였으나, 스마트그리드 확산과 함께 데이터량이 증가함에 관계형 데이터베이스로 저장하거나 분석하는 것이 어렵게 되었다[5]. 이러한 어려움을 극복하고자 본 논문에서는 하둡을 기반으로 한 빅데이터 시스템으로 전력량 데이터를 저장 및 분석하는 방안을 제안하고자 한다.

제안 방법

스마트그리드 확산사업으로 데이터의 용량이 증가할 것을 고려하면 관계형 데이터베이스로는 데이터 분석이 어려울 것으로 예측된다. 또한, 논문에서 하둡 에코시스템 기계학습 도구인 마헛을 이용하여 전력 수요를 예측하였다. 근무일인 경우에 휴무일보다는 오차가 작았고 휴무일인 경우 피크 전력량을 예측할 때 오차가 컸다.
자료 및 시스템 보안을 위하여 방화벽이 설치되어 외부 망으로부터의 접근을 제어한다. 또한, 서버의 가용성을 늘리기 위하여 모든 서버를 이중화하였으며 로드 밸런싱 스위치를 사용하여 서버간의 부하를 분산하였다.
데이터 노드는 인텔 제온 프로세서에 8TB의 하드디스크와 24GB 메모리를 가지고 있으며, 매니저 노드는 16GB의 메모리가 장착되어 있고, 부하가 큰 마스터 노드는 32GB 의 메인 메모리를 가지고 있다. 마스터 노드는 하둡의 네임노드와 HBASE의 마스터로 동작하도록 설정하여 빅데이터로 저장된 자원에 접근하여 맵리듀스를 이용한 병렬처리가 가능하도록 설정한다. 노드 1부터 노드 10까지 하둡의 데이터 노드는 HBASE의 지역 서버로 설정하여 실제로 데이터가 저장되어 병렬로 데이터를 분석하는 공간으로 사용된다.
핵심 연산이다. 본 논문에서는 기준사용량 연산을 단순화하여 동일 시간대의 10일간 평균 전력사용 값으로 정의한다. 동일한 타임태그를 갖는 레코드의 10 일간 전력사용량 데이터를 평균한 값이 기준사용량이 된다.
저장하게 된다. 이렇게 저장된 데이터를 이용하여 사용자 화면에 기준사용량 (CBL: Customer Baseline Load)과 현재 사용량을 화면에 비교 전시한다. 관계형 데이터베이스의 경우, 시간대별로 전력 사용 데이터를 저장하여 개소 및 단지 단위로 기준사용량을 계산하기에는 매우 부적절하다.
전력사용 패턴은 근무일인 경우와 휴무일인 경우가 차이가 커서, 그림13에서처럼 근무일(weekday)과 휴무일(weekend)을 분리하여 두 가지 다른 선형회귀모델로 예측하였다. 그림 13에서 보이는 것처럼 근무일 (weekday)인 경우에는 예측 패턴이 실제 전력사용 값과 비교적 정확하게 매치되고 있다.

대상 데이터

각 노드에는 운영체제로는 CentOS와 빅데이터 서비스를 위한 하둡 에코시스템이 설치되어 있다. 데이터 노드는 인텔 제온 프로세서에 8TB의 하드디스크와 24GB 메모리를 가지고 있으며, 매니저 노드는 16GB의 메모리가 장착되어 있고, 부하가 큰 마스터 노드는 32GB 의 메인 메모리를 가지고 있다. 마스터 노드는 하둡의 네임노드와 HBASE의 마스터로 동작하도록 설정하여 빅데이터로 저장된 자원에 접근하여 맵리듀스를 이용한 병렬처리가 가능하도록 설정한다.
저장되는 과정을 보여준다. 전력사용 데이터는 스마트 콘센트 또는 서브미터링의 지그비 (Zigbee)나 시리얼 (RS-485) 통신을 통하여 게이트웨이에 수집되고, 이렇게 게이트웨이에 수집된 전력 데이터는 랜선을 통하여 DP(Data Portal) 서버에 저장된다.
추세를 보여준다[3]. 현재 수집하고 있는 전력 데이터는 4개 지역단지내의 1, 880여개소로부터 5분 단위로 데이터를 수신한다. 한번에 2KB를 수신할 경우, 대략 연간 400GB의 전력데이터가 수집되고 있으며 시범사업으로 현재까지 수집된 데이터가 대략 4TB이다.

데이터처리

가장 널리 사용되는 기계학습 알고리즘 중의 하나가 선형회귀분석이다. 수집된 데이터를 이용하여 향후 전력수요량을 예측하기 위하여 마헛의 선형회귀분석을 수행하였다. 그림 13은 선형회귀분석을 이용한 수요전력량 예측 값과 실제 사용량을 비교하고 그 차이 값인 에러를 보여준다.

이론/모형

이 경우 대용량의 전력사용 데이터를 처리하기 위하여 하둡의 맵리듀스 분산처리 방식을 이용한다. 또한, 데이터마이닝과 기계학습 등 고급 분석이 요구되는 경우에 마헛 (Mahout)에서 제공하는 알고리즘을 활용한다[7].
이렇게 저장된 HBASE 형태의 데이터는 피그(Pig)와 하이브(Hive)를 이용하여 분석할 수 있다[9, 10]. 이 경우 대용량의 전력사용 데이터를 처리하기 위하여 하둡의 맵리듀스 분산처리 방식을 이용한다. 또한, 데이터마이닝과 기계학습 등 고급 분석이 요구되는 경우에 마헛 (Mahout)에서 제공하는 알고리즘을 활용한다[7].

성능/효과

HBASE의 경우 이러한 열기반으로 데이터를 저장하여 속도를 대시키고 있다. 마지막으로, 하둡의 맵리듀스를 이용하면 시스템 성능을 최적화 할 수 있는 복수의 맵퍼와 리듀서가 자동으로 생성되어 병렬로 연산을 처리하여 수행속도가 훨씬 빠르다.

후속연구

한번에 2KB를 수신할 경우, 대략 연간 400GB의 전력데이터가 수집되고 있으며 시범사업으로 현재까지 수집된 데이터가 대략 4TB이다. 따라서, 추후 계획된 확산사업에 따라 6개 지역으로 확장되는 경우 28TB, 12개 지역으로 확장될 경우 57TB로 증가하여 관계형 데이터베이스로 저장하거나 분석하는 것이 어려워진다 결과적으로 하둡과 같은 빅데이터 저장 방법과 맵리듀스를 이용한 병렬 데이터 분석 시스템이 필요하다[5, 6]
향후, 이와 같은 인메모리 기능을 활용하여 분석 성능을 더욱 향상 시킬 계획이다. 마지막으로 오프라인으로 분석하는 기능 이외에 온라인상에서 스트리밍으로 저장되는 전력사용 데이터를 처리 및 분석하기 위한 시스템으로 확장할 계획이다.
테이블에 보이는 것처럼 관계형 데이터베이스로 저장된 데이터를 이용하여 기준사용량을 계산하는 연산은 하둡의 하이브를 사용한 경우보다 3배 정도 많이 소요된다. 향후 데이터의 크기가 기하학적으로 커지면 두 방법간의 차이가 현저하게 증가할 것으로 예상된다.
편리하지 않다. 향후, 웹 기반의 사용자인터페이스를 제공하여 손쉽게 사용할 수 있도록 서비스를 제동할 계획이다. 또한, 최근에 인메모리 연산을 이용하여 연산 성능을 향상시키기 위한 시스템이 개발되어 하둡 빅데이터 시스템 환경에서 서비스가 제공되고 있다.
또한, 최근에 인메모리 연산을 이용하여 연산 성능을 향상시키기 위한 시스템이 개발되어 하둡 빅데이터 시스템 환경에서 서비스가 제공되고 있다. 향후, 이와 같은 인메모리 기능을 활용하여 분석 성능을 더욱 향상 시킬 계획이다. 마지막으로 오프라인으로 분석하는 기능 이외에 온라인상에서 스트리밍으로 저장되는 전력사용 데이터를 처리 및 분석하기 위한 시스템으로 확장할 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

스마트그리드 전력데이터 분석을 위한 빅데이터 시스템 연구 원문보기

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

스마트그리드 전력데이터 분석을 위한 빅데이터 시스템 연구 원문보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

이원진 (1) 온병원 (14)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper