[논문]전기 가격 예측을 위한 맵리듀스 기반의 로컬 단위 선형회귀 모델

한진주; 이인규; 온병원

doi:10.5370/kieep.2018.67.4.183

전기 가격 예측을 위한 맵리듀스 기반의 로컬 단위 선형회귀 모델
MapReduce-based Localized Linear Regression for Electricity Price Forecasting 원문보기

전기학회논문지. The Transactions of the Korean Institute of Electrical Engineers. P, v.67 no.4, 2018년, pp.183 - 190

한진주 (Dept. of Software Convergence Engineering, Kunsan National University) , 이인규 (Sorrell College of Business, Troy University) , 온병원 (Dept. of Software Convergence Engineering, Kunsan National University)

Abstract ▼ AI-Helper

Predicting accurate electricity prices is an important task in the electricity trading market. To address the electricity price forecasting problem, various approaches have been proposed so far and it is known that linear regression-based approaches are the best. However, the use of such linear regression-based methods is limited due to low accuracy and performance. In traditional linear regression methods, it is not practical to find a nonlinear regression model that explains the training data well. If the training data is complex (i.e., small-sized individual data and large-sized features), it is difficult to find the polynomial function with n terms as the model that fits to the training data. On the other hand, as a linear regression model approximating a nonlinear regression model is used, the accuracy of the model drops considerably because it does not accurately reflect the characteristics of the training data. To cope with this problem, we propose a new electricity price forecasting method that divides the entire dataset to multiple split datasets and find the best linear regression models, each of which is the optimal model in each dataset. Meanwhile, to improve the performance of the proposed method, we modify the proposed localized linear regression method in the map and reduce way that is a framework for parallel processing data stored in a Hadoop distributed file system. Our experimental results show that the proposed model outperforms the existing linear regression model. Specifically, the accuracy of the proposed method is improved by 45% and the performance is faster 5 times than the existing linear regression-based model.

주제어

표/그림 (18)

그림 그림 1 선형 회귀분석의 문제점 (1) Fig. 1 Problems of Linear Regression Analysis (1)
그림 그림 2 선형 회귀분석의 문제점 (2) Fig. 2 Problems of Linear Regression Analysis (2)
그림 그림 3 선형 회귀분석의 정확도 향상을 위한 제안 방안 Fig. 3 Suggestions for Improving Accuracy of Linear Regression
표 표 1 입력 데이터 설명 Table 1 Input Data Description
표 표 2 피어슨 상관계수 Table 2 Pearson correlation coefficient
그림 그림 4 로컬 단위 선형 회귀분석 Fig. 4 Localized Linear Regression
그림 그림 5 성능 향상을 위한 제안 방안 Fig. 5 Suggestions for improving performance
그림 그림 6 MapReduce 프로그램의 개요 Fig. 6 Outline of MapReduce program
표 표 3 로컬 단위의 Split 범위 Table 3 Each split range
그림 그림 7 맵 기반의 분산 선형 회귀분석 알고리즘 Fig. 7 Distributed Linear Regression Algorithm based on Map
그림 그림 8 리듀스 기반의 분산 선형 회귀분석 알고리즘 Fig. 8 Distributed Linear Regression Algorithm based on Reduce
표 표 4 전기 가격 예측의 정확도 평가 (1) Table 4 Assess the accuracy of electricity price forecasting (1)
그림 그림 9 전기 가격 예측의 정확도 평가 (2) Fig. 9 Assess the accuracy of electricity price forecasting (2)
표 표 5 로컬 단위로 추정된 회귀 계수 및 회귀식 Table 5 Each split-based estimated regression coefficient and regression equation
표 표 6 빅데이터 시스템 사양 Table 6 Big data system specifications
표 표 7 소프트웨어 사양 Table 7 Software specifications
그림 그림 10 실행 시간 비교 Fig. 10 Comparison of execution times
표 표 8 데이터 크기 별 실행시간 비교 Table 8 Comparison of execution times by data size

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

반면에 대용량 데이터를 처리하는 Hadoop의 MapReduce 프로그램을 이용하면 여러 개의 노드에서 분산 처리하기 때문에 속도가 현저히 줄어드는 장점이 있다. 따라서 본 논문에서는 성능을 향상시키기 위한 MapReduce 기반의 분산 선형 회귀분석을 제안한다.
그림 4에서 왼쪽 그래프인 기존의 선형 회귀를 사용하면 예측 값과 실제 값의 오차가 너무 크기 때문에 예측의 정확도를 신뢰하지 않을 것이다. 따라서 본 논문에서는 오른쪽의 로컬 단위 선형 회귀를 제안한다. 그래프를 보고 중앙값이 크게 변하는 구간, 즉 월별로 Split을 나누는 것을 사전 지식으로 이용한다.
여러 패턴을 가진 데이터에 대해 선형 회귀분석의 오차는 각 구간마다 다르기 때문에 오차를 줄여 회귀를 좀 더 유용하게 할 방법이 필요하다[5]. 본 논문에서는 전기 가격 예측의 정확도를 향상시키기 위한 로컬 단위 선형 회귀분석을 제안한다. 또한 선형 회귀분석을 대용량 데이터에 적용할 때 성능의 문제점이 있다.
먼저 미국 동부지역의 전기 가격 데이터를 수집한 후에 입력 변수들의 전처리 과정을 거친다. 본 연구에서는 예측의 정확도를 향상시키기 위하여 일정 시간 전의 가격들인 6개의 Lag terms 변수를 생성하였다. 통계적 방법을 통해 Lag2, Lag24, Lag48 입력 변수들이 선택되었다.
본 연구에서는 예측의 정확도를 향상시키기 위하여 일정 시간 전의 가격들인 다양한 Lag terms 변수를 생성한다. Lag1, Lag2, Lag12, Lag24, Lag36, Lag48을 생성하였고 이 Lag terms 변수는 1시간 전 가격, 2시간 전 가격, 12시간 전 가격, 24시간 전 가격, 36시간 전 가격, 48시간 전 가격을 의미한다.
MapReduce는 대표적으로 아파치 Hadoop(Apache Hadoop)에서 오픈 소스 소프트웨어로 사용되고 있으며, 자바 (Java)와 C++, Python 그리고 기타 언어에서 적용이 가능하도록 작성되었다[8]. 본 연구에서는 파이썬 언어를 기반으로 MapReduce 프로그램을 구현하였다.
[2]는 급격한 수요 패턴 변화로 오차율이 상승하는 것을 개선하기 위해 다양한 요인의 패턴 변화를 고려한 단기 전력수요 예측 프로그램을 제안한다. 하지만 이 연구는 빅데이터 기반이 아닌 단순한 통계적 모델 개발 및 분석에 관한 연구이다. 빅데이터는 최근 IT 분야뿐만 아니라 통계학 관련 여러 분야에서 집중적인 이슈가 되고 있다.

가설 설정

평균 μ=0이고 표준편차 σ인 정규분포를 따른다고 가정한다.

제안 방법

본 연구에서는 먼저 Test Set을 가장 최근 2일 데이터로 두고 실험을 하였다. 2.1.3절의 전체 데이터에서 분할된 각 Split 별로 Train Set에 대해 선형 회귀분석을 학습시킨 뒤 Test Set에 대한 전기 가격을 예측한다. 이때 기존의 선형 회귀분석을 통한 예측 값과 제안 방안인 구간 별로 선형 회귀분석을 통한 예측 값의 정확도를 평가하기 위해 결정 계수(R²)와 평균 제곱 오차(RMSE)의 수치를 이용한다.
Lag terms 변수는 시계열 분석에서 전기 가격 예측의 정확도 향상시키기 위해 독립 변수로 종종 사용하는 방법이다. Lag terms은 일반적으로 Lag1, Lag2, Lag3 정도만 추가를 하지만 본 논문에서는 2일 기준으로 가격을 예측하기 때문에 일반적으로 사용하는 Lag terms 변수에 24시간 전, 48시간 전 가격 등을 추가로 생성하였다.
Forward Selection 방식이란 변수들을 하나씩 넣어가며 유의 수준과 결정 계수 등을 보며 정확도를 확인하는 방법이다. 또한 여러 개의 모델의 조합들을 실험해가며 어떤 변수의 모델이 가장 좋은지 선택하는 기준인 AIC(Akaike Information Criterion), BIC(Bayesian Information Critertion)을 계산한다. 이때 AIC, BIC 값이 낮을수록 선택한 변수들의 모델이 좋다.
하지만 RHadoop은 아직까지 여전히 까다로운 정보기술로 인해 많은 사용자들에게 범용화의 어려움이 있다. 본 논문에서는 RHadoop의 범용화 문제를 해소하기 위해 데이터 분석에 적합하고 사용자에게 좀 더 친숙한 언어인 Python을 사용하여 Hadoop Streaming으로 연동하였다. 이것은 기존 연구에서 다루어지지 않은 부분이다.
전기 가격 예측을 위해 사용되는 다양한 회귀 모델들 중 선형 회귀분석은 여러 패턴을 가진 데이터에 대해 하나의 선으로 예측하기에 부족함이 있다. 본 연구에서는 일정 시간 전의 가격들을 입력 변수로 사용하고 데이터를 로컬 단위로 나누는 선형 회귀분석을 제안하여 예측의 정확도를 향상시켰다.
분할된 각 로컬 단위로 Train Set의 선형 회귀분석을 통하여 Test Set에 대해 전기 가격을 예측한다. 이때 기존의 선형 회귀분석을 통한 예측 값과 제안 방안인 로컬 단위 선형 회귀분석을 통한 예측 값의 정확도를 평가하기 위해 결정 계수와 평균 제곱 오차의 수치를 이용한다.
성능 향상을 위해 단일 스레드 기반의 선형 회귀분석이 아닌 MapReduce 프로그램 기반의 분산 선형 회귀분석을 제안한다. 2.
마지막으로 예측 변수인 Price 변수는 전기 가격이며, 종속 변수라고도 한다. 실험 데이터에서 독립 변수는 Day, Month, Year, Hour, Weekday, Temp, Demand이고, 종속 변수는 Price인 전기 가격이다. 이때 인덱스가 있는 명목 변수는 Day, Month, Year, Hour, Weekday이고 인덱스가 없는 척도 변수는 demand, pressure, price이다.
원래 ‘연도-월-일-시간’으로 합쳐진 Date 변수가 구성되어 있는데 각각을 명목 변수로 사용하기 위해 Year, Month, Day, Hour 변수들로 분리하였다.
표 1은 원본 데이터 각 변수에 대한 간단한 설명이다. 원본 데이터는 변수 별로 데이터 크기가 달라 변수별로 행 요약 등 전처리를 하였다. 전처리 과정을 거친 독립 변수들을 먼저 설명한다.
Demand 변수는 전기 수요 변수로 전기 사용량을 나타낸다. 이 변수는 원본 데이터에서 15분 단위로 되어있던 데이터를 엑셀의 피벗 테이블(데이터의 필드 재구성이 가능한 엑셀의 기능)을 이용해 1시간 단위로 행 요약을 하여 34,365행에서 8,592행으로 요약하였다.

대상 데이터

이때 AIC, BIC 값이 낮을수록 선택한 변수들의 모델이 좋다. 변수들을 조합한 모델 11개를 생성하였고 AIC, BIC을 계산했을 때 수치 값이 가장 낮은 모델이 선택되었다. 최종적으로 선택된 독립 변수는 Month, Hour, Weekday, Temp, Demand, Lag2, Lag24, Lag48이다.
시계열 데이터는 랜덤하게 데이터를 나누지 않고 가장 오래된 데이터를 Train Set으로 하고 최근 데이터를 Test Set으로 삼는다. 본 연구에서는 먼저 Test Set을 가장 최근 2일 데이터로 두고 실험을 하였다. 2.
1절을 참고한다. 시계열 데이터는 랜덤하게 데이터를 나누지 않고 가장 오래된 데이터를 Train Set으로 하고 최근 데이터를 Test Set으로 삼는다. 본 연구에서는 먼저 Test Set을 가장 최근 2일 데이터로 두고 실험을 하였다.
전기 가격 예측을 위하여 미국 동부지역 데이터 2015년 1월부터 10월까지의 데이터를 수집하였다.
변수들을 조합한 모델 11개를 생성하였고 AIC, BIC을 계산했을 때 수치 값이 가장 낮은 모델이 선택되었다. 최종적으로 선택된 독립 변수는 Month, Hour, Weekday, Temp, Demand, Lag2, Lag24, Lag48이다. 여기서 Lag terms 변수는 Lag2, Lag24, Lag48만이 선택되었다.

데이터처리

(1)은 값을 표준화시키기 위한 Z-score의 수식이다. 수치 데이터인 demand, pressure, price 변수들은 값의 범위가 다르기 때문에 비교하기 쉽게 만들기 위하여 Z-score를 사용하여 표준화(Standardization) 시켰다.
3절의 전체 데이터에서 분할된 각 Split 별로 Train Set에 대해 선형 회귀분석을 학습시킨 뒤 Test Set에 대한 전기 가격을 예측한다. 이때 기존의 선형 회귀분석을 통한 예측 값과 제안 방안인 구간 별로 선형 회귀분석을 통한 예측 값의 정확도를 평가하기 위해 결정 계수(R²)와 평균 제곱 오차(RMSE)의 수치를 이용한다.
분할된 각 로컬 단위로 Train Set의 선형 회귀분석을 통하여 Test Set에 대해 전기 가격을 예측한다. 이때 기존의 선형 회귀분석을 통한 예측 값과 제안 방안인 로컬 단위 선형 회귀분석을 통한 예측 값의 정확도를 평가하기 위해 결정 계수와 평균 제곱 오차의 수치를 이용한다. 또한 각 구간의 추정된 회귀 계수 및 회귀식을 구한다.
제안 방안의 정확도는 결정 계수와 평균 제곱근 오차를 이용하여 평가한다.
표 8은 Hadoop의 완전 분산 클러스터에서 Hadoop의 성능을 데이터 크기에 따라 평가하기 위해 작은 데이터부터 2GB까지 단일 스레드와 MapReduce 기반의 선형 회귀분석의 실행 시간을 비교하였다.

이론/모형

이처럼 생성된 Lag terms을 다 사용하는 것은 아니고 변수 선택 과정을 거쳐서 선정된 Lag terms만 독립 변수에 추가한다. 변수 선택 방법은 특정 모델링 기법에 의존하지 않고 데이터의 통계적 특성으로부터 변수를 택하는 필터 방법인 Forward Selection 방식을 사용하였다[6]. Forward Selection 방식이란 변수들을 하나씩 넣어가며 유의 수준과 결정 계수 등을 보며 정확도를 확인하는 방법이다.
여기서 Y 변수는 Price이고, X 변수들은 Month, Hour, Weekday, Temp, Demand, Lag2, Lag24, Lag48 이다. 이제 대용량 데이터에 대해 선형 회귀분석을 적용할 때 처리 속도를 향상시키기 위해 Hadoop의 MapReduce를 이용한다.

성능/효과

)와 평균 제곱 오차(RMSE)가 기존 방안에 비해 약 2배 향상되었다는 것을 가시적으로 보여준다. 3.1.1절에서 언급한 바와 같이 결정 계수의 값이 클수록 회귀 모형의 유용성이 높고, 평균 제곱근 오차(RMSE)가 낮을수록 예측의 설명력이 높다.
67%가 향상되었다. 따라서 데이터가 점점 커질수록, 데이터 노드의 수가 많아질수록 기존의 단일 스레드 기반의 선형 회귀분석보다 제안된 MapReduce 기반의 선형 회귀분석의 실행 시간이 훨씬 빠르다. 따라서 제안 방안의 성능은 더 향상될 것이라고 예상된다.
본 논문에서는 전기 가격 예측의 정확도를 향상시키기 위해 Lag terms 변수를 추가하고 구간을 나누는 선형 회귀분석을 제안하여 기존의 선형 회귀분석에 비해 약 45%의 예측의 정확도를 향상시켜 제안 방안의 우수성을 입증하였다. 또한 대용량 데이터에 대한 MapReduce 기반의 선형 회귀분석을 제안하여 단일 스레드 기반의 선형 회귀분석에 비해 약 5배 이상의 성능 향상을 보였다. 또한 데이터 크기별 성능 향상 비율을 보았을 때 데이터가 커지고 데이터 노드의 개수가 많아질수록 제안 방안의 성능은 더 향상될 것으로 예상된다.
본 논문에서는 전기 가격 예측의 정확도를 향상시키기 위해 Lag terms 변수를 추가하고 구간을 나누는 선형 회귀분석을 제안하여 기존의 선형 회귀분석에 비해 약 45%의 예측의 정확도를 향상시켜 제안 방안의 우수성을 입증하였다. 또한 대용량 데이터에 대한 MapReduce 기반의 선형 회귀분석을 제안하여 단일 스레드 기반의 선형 회귀분석에 비해 약 5배 이상의 성능 향상을 보였다.
또한 데이터 크기별 성능 향상 비율을 보았을 때 데이터가 커지고 데이터 노드의 개수가 많아질수록 제안 방안의 성능은 더 향상될 것으로 예상된다. 본 연구를 통해 전기 가격 예측의 정확도를 향상시키고, 대용량 데이터에 적용할 때 전기 가격 예측을 위해 소요되는 시간과 비용을 절약할 수 있다.
속도 향상 비율을 보면 MapReduce 기반의 선형 회귀분석은 데이터 크기가 355MB일 때 57.52%가 향상되었고, 710MB일 때 67.03%, 1.04GB일 때 76.43%, 2.08GB일 때엔 81.67%가 향상되었다. 따라서 데이터가 점점 커질수록, 데이터 노드의 수가 많아질수록 기존의 단일 스레드 기반의 선형 회귀분석보다 제안된 MapReduce 기반의 선형 회귀분석의 실행 시간이 훨씬 빠르다.
실험 결과 MapReduce 기반의 선형 회귀분석이 단일 스레드 기반의 선형 회귀분석보다 5배 이상 처리 속도가 향상되었다. 단일 스레드는 한 대의 서버에서 제한적인 메모리 범위 내에서 동작하는 반면에 Hadoop은 대용량의 데이터를 많은 Map task로 쪼개 여러 대의 서버에 분산하여 병렬처리하기 때문이다.
실험 결과는 제안 방안이 기존의 선형 회귀분석에 비해 R²는 45%가 개선되었고, RMSE는 49%가 개선되어 전기 가격 예측의 정확도 향상에 기여하였다.

후속연구

[2]는 급격한 수요 패턴 변화로 오차율이 상승하는 것을 개선하기 위해 다양한 요인의 패턴 변화를 고려한 단기 전력수요 예측 프로그램을 제안한다. 하지만 이 연구는 빅데이터 기반이 아닌 단순한 통계적 모델 개발 및 분석에 관한 연구이다.
또한 대용량 데이터에 대한 MapReduce 기반의 선형 회귀분석을 제안하여 단일 스레드 기반의 선형 회귀분석에 비해 약 5배 이상의 성능 향상을 보였다. 또한 데이터 크기별 성능 향상 비율을 보았을 때 데이터가 커지고 데이터 노드의 개수가 많아질수록 제안 방안의 성능은 더 향상될 것으로 예상된다. 본 연구를 통해 전기 가격 예측의 정확도를 향상시키고, 대용량 데이터에 적용할 때 전기 가격 예측을 위해 소요되는 시간과 비용을 절약할 수 있다.
또한 전력 시장은 생산과 동시에 소비가 이루어지는 실시간 예측이 필요하다. 추후에는 전기 가격의 실시간 예측을 위해서 스파크에 적용해 볼 것이다.
향후에 Split 구간 분할 자동화를 위한 개선된 알고리즘에 대해 연구할 것이다. 또한 전력 시장은 생산과 동시에 소비가 이루어지는 실시간 예측이 필요하다.

참고문헌 (8)

Rafal Weron, "Electricity Price Forecasting: A Review of the State-of-the-art with a Look into the Future," International Journal of Forecasting, pp. 1030-1081, 2014.
Korea Power Exchange, "A Study on Short-term Load Forecasting Technique and its Application," IEEE Trans. on VLSI Systems, pp. 446-455, 2011.
Kane, M. J. Emerson, J. W, "Bigmemory: Manage Massive Matrices with Shared Memory and Memory-mapped Files," IEEE Trans. on VLSI systems, vol. 1, no. 1, pp. 63-71, March 2012.
Jieun Shin, Byungho Jung, Donghoon Lim, "Big Data Distributed Processing System Using RHadoop," Journal of the Korean Data and Information Science Sociaty, vol. 26, no. 5, pp. 1155-1166, 2015.
Michael Milton, "Head First Data Analysis," O'Reilly Media, 2009, pp. 382-385.
Wikipedia, (2018, September 20). Feature Selection [Online]. Available: http://en.wikipedia.org/wiki/Feature_selection
SeonYeongO., "A MapReduce-based Prior Probability Optimization Algorithm for Topic Extraction," Journal of KIISE, vol. 45, no. 5, 2018.
Wikipedia. (2018, September 22). MapReduce [Online]. Available: https://en.wikipedia.org/wiki/MapReduce

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증