[논문]데이터마이닝 기법을 활용한 상수 이용현황 분석 및 단기 물 수요예측 방법 비교

안지훈; 김진화

데이터마이닝 기법을 활용한 상수 이용현황 분석 및 단기 물 수요예측 방법 비교
The Comparison Among Prediction Methods of Water Demand And Analysis of Data on Water Services Using Data Mining Techniques 원문보기

The journal of Bigdata = 한국빅데이터학회지, v.1 no.1, 2016년, pp.9 - 17

초록
AI-Helper

본 연구에서는 상수관망에 설치된 유량, 압력 센서를 통해 취득한 빅데이터에 대해 데이터마이닝 기법을 활용하여 해당 공급권역의 특성을 파악하고 그 정보에 기반하여 상수 공급에 있어서 유의할 점 등을 도출해보고자 하였다. 또한, 상수 사용에 대한 단기 수요예측을 수행하는데 있어서도 통계적 방법인 다중회귀분석과 데이터마이닝의 인공신경망 기법을 비교하여 좀 더 정확한 수요예측을 할 수 있는 모델을 제시해보고자 하였다. 데이터 수집과 테스트를 위하여 지자체 한 군의 소블록 지역을 대상으로 선정하였다. 해당 지역은 가정용 수요 외에도 관공서, 병원 등의 대형 업무용 수요도 일부 존재하고 있는 지역이다. 해당 지역의 센서를 통해 취득되는 연속 발생 데이터를 수집하였다. 이런 방식을 통해 취득된 데이터는 총 2,728건이며 이 중 2,632건은 예측모델을 생성하는데 96건은 예측모델의 예측력을 테스트 하는 데에 활용하였다. 이러한 테스트를 수행한 결과 상수 수요예측에 있어서 인공신경망이 다중회귀분석에 비교하여 더 좋은 예측율을 보였다.

Abstract ▼ AI-Helper

This study identifies major features in water supply and introduces important factors in water services based on the information from data mining analysis of water quantity and water pressure measured from sensors. It also suggests more accurate methods using multiple regression analysis and neural network in predicting short term prediction of water demand in water service. A small block of a county is selected for the data collection and tests. There isa water demand on business such as public offices and hospitalstoo in this area. Real stream data from sensors in this area is collected. Among 2,728 data sets collected, 2,632 sets are used for modelling and 96 sets are used for testing. The shows that neural network is better than multiple regression analysis in their prediction performance.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

주요 고려사항에서 언급한 바와 같이 현재 관망 운영상황에 대한 분석작업을 수행하기에 어떤 환경 하에서 물 사용, 압력이 어떤 모습인지를 우선 파악하고자 한다. 그런 다음 향후 그와 비슷한 상황 하에서 비슷한 수치를 보이는지를 알아보고자 한다. 그러하기에 현재 운영상황이 어떠한 규칙을 갖고 있는지 파악해 보고자 Decision Tree 기법을 활용한다.
본 작업에 사용될 지자체 D시의 중블록 데이터의 경우 관망의 이상이 발생한 시점의 데이터를 갖지 않고 정상적인 운영 상태에서의 데이터만을 보유하고 있기에 현장에서 취득되는 유량, 압력 정보를 기반으로 그 지역이 어떠한 곳이라는 정보를 도출하는 단계에 머무르고자 한다.
주요 고려사항에서 언급한 바와 같이 현재 관망 운영상황에 대한 분석작업을 수행하기에 어떤 환경 하에서 물 사용, 압력이 어떤 모습인지를 우선 파악하고자 한다. 그런 다음 향후 그와 비슷한 상황 하에서 비슷한 수치를 보이는지를 알아보고자 한다.

제안 방법

15분 간격의 사용유량 데이터 생성 후 이전 45분, 30분, 15분 데이터와 가중치를 적용한 이동평균값을 현시점의 사용유량 값으로 정하는 2차 조정작업을 수행 하였다. 그 수식은 아래와 같다.
또한, 이와 관련한 외부 환경 변수로 월, 요일 등의 시간 관련한 변수와 동일 시간대의 온도, 습도 등의 날씨 관련 변수를 추가하였다. 날씨 자료의 경우에는 해당 중 블록 지역에 가장 인접한 기상청 관측소의 데이터를 추출하여 센서 데이터와 동일하게 10분 단위의 데이터로 변환하여 활용하였다.
2012년 1월부터 4월까지의 기간 중 취득된 데이터에 대해 10분 간격의 단위로 조정한 사용유량, 압력 데이터를 활용하고자 하며, 도출된 데이터 건수는 17,418건이다. 또한, 이와 관련한 외부 환경 변수로 월, 요일 등의 시간 관련한 변수와 동일 시간대의 온도, 습도 등의 날씨 관련 변수를 추가하였다. 날씨 자료의 경우에는 해당 중 블록 지역에 가장 인접한 기상청 관측소의 데이터를 추출하여 센서 데이터와 동일하게 10분 단위의 데이터로 변환하여 활용하였다.
본 작업의 Target 변수는 센서에서 취득한 물 사용량 (ton, ㎥), 압력(kg/㎠)으로 하고, Input 변수는 일반적으로 도시생활에서 물 사용에 영향을 미치는 것으로 판단되는 시간, 날씨와 관련된 정보를 Input 변수로 선정하며 각각에 대한 내용은 다음과 같다.
여기에서 이동평균을 적용한 이유는 취득한 센서 데이터 중 센서이상, 통신불량 등 예기치 못한 이상치 데이터가 예측작업에 영향을 미치는 것을 감소하기 위해서이며, 또한 원래 발생한 15분 단위의 사용 추이와 비교하여 그 패턴이 크게 차이를 벗어나지 않는 수준의 추이를 갖도록 하기 위해 가중치를 부여하였다.
예측모델은 현 시점에서 향후 6시간 동안의 15분 단위의 데이터를 예측하는 것이며, 현 시점에서 30분 이후 데이터 예측 시 Input 데이터로 활용되는 직전 데이터는 15분 이후 예측작업에서 산출된 예측치를 Input 변수로 활용하는 방식을 사용한다. 동일한 데이터를 사용하여 두 가지 방법으로 예측모델을 생성한 결과 아래 그림과 같이 Validation Data 결과는 다중회귀분석이 인공신경망 보다 좋은 성능을 보이고 있다.
본 작업의 Target 변수는 앞으로 사용될 물 사용량(ton, ㎥)이며, Input 변수는 앞의 고려사항에서 언급한 바와 같이 짧은 학습 데이터 기간으로 날씨에 관련된 변수는 배제하였다. 추가적으로 현재 시점의 상수 사용 패턴과 과거 시점의 사용 패턴간의 일치 관계를 분석한 결과 동일 시간대 2주일 전, 1주일 전의 사용 패턴과 각각 피어슨 상관계수를 산출한 결과 평균 0.5 이상의 상관관계가 있음을 보이기에 Input 변수로 예측하는 시점에서 90분전부터 15분전까지의 사용량 데이터 6개, 1주일 전 예측 시간대 데이터를 포함한 동일 시간대 사용량 데이터 7개와 요일, 휴일 등의 시간과 관련한 데이터를 Input 변수로 선정하며 각각에 대한 내용은 다음과 같다.

대상 데이터

지자체 D시의 상업, 업무용 시설이 다수 위치한 중심가 지역에 물을 공급하고 관리하는 중블록 지역을 대상으로 하였다. 2012년 1월부터 4월까지의 기간 중 취득된 데이터에 대해 10분 간격의 단위로 조정한 사용유량, 압력 데이터를 활용하고자 하며, 도출된 데이터 건수는 17,418건이다. 또한, 이와 관련한 외부 환경 변수로 월, 요일 등의 시간 관련한 변수와 동일 시간대의 온도, 습도 등의 날씨 관련 변수를 추가하였다.
특히, 주기성, 계절성 등의 특성을 예측모델에 반영하기 위해 최소 1년의 사용 유량 데이터를 필요로 한다. 그러나, 예측 작업에 있어 사용된 지자체 Y군 내 소블록 지역의 경우 센서 설치가 최근에 이뤄졌기에 2014년 3월 말부터 5월 중순까지 54일간의 데이터를 예측모델 생성에 활용하고 그 이후 데이터를 예측모델 검증에 활용하기로 하였다. 또한, 예측모델 생성에 사용되는 데이터 기간이 짧으므로 온도, 습도 등의 날씨 정보는 금번 예측 작업에서 제외하기로 하였다.
해당 지역의 센서를 통해 1~3초 간격으로 취득되는 데이터에 대해 15분 간격의 데이터로 1차 조정을 수행하였다. 이런 방식을 통해 취득된 데이터는 총 2,728건이며 이 중 2,632건은 예측모델을 생성하는데 96건은 예측모델에 의한 예측값과 실제값 비교에 활용하였다.
지자체 D시의 상업, 업무용 시설이 다수 위치한 중심가 지역에 물을 공급하고 관리하는 중블록 지역을 대상으로 하였다. 2012년 1월부터 4월까지의 기간 중 취득된 데이터에 대해 10분 간격의 단위로 조정한 사용유량, 압력 데이터를 활용하고자 하며, 도출된 데이터 건수는 17,418건이다.
지자체 Y군의 소블록 지역을 대상으로 하였다. 해당 지역은 가정용 수요처 외 관공서, 병원 등의 대형 업무용 수요처도 일부 존재하고 있는 지역이다.

이론/모형

그런 다음 향후 그와 비슷한 상황 하에서 비슷한 수치를 보이는지를 알아보고자 한다. 그러하기에 현재 운영상황이 어떠한 규칙을 갖고 있는지 파악해 보고자 Decision Tree 기법을 활용한다. 분석 도구로는 SAS Enterprise Miner를 활용한다[5, 8, 11, 12, 14, 15].
그러하기에 현재 운영상황이 어떠한 규칙을 갖고 있는지 파악해 보고자 Decision Tree 기법을 활용한다. 분석 도구로는 SAS Enterprise Miner를 활용한다[5, 8, 11, 12, 14, 15].
수요예측 작업을 위해 통계기법으로 많이 활용되는 회귀분석과 데이터마이닝 기법을 활용한 방법으로 인공신경망 기법을 활용하여 비교해보기로 한다. 인공신경망 기법을 활용한 이유로는 기존 수요예측과 관련하여 발표된 논문, 학회지 자료 등을 통해 분석 도구로는 EXCEL에 3rd 제품으로 설치하여 사용 가능한 XL Miner를 활용하였다[1, 2, 7, 9, 10, 16, 17].
수요예측 작업을 위해 통계기법으로 많이 활용되는 회귀분석과 데이터마이닝 기법을 활용한 방법으로 인공신경망 기법을 활용하여 비교해보기로 한다. 인공신경망 기법을 활용한 이유로는 기존 수요예측과 관련하여 발표된 논문, 학회지 자료 등을 통해 분석 도구로는 EXCEL에 3rd 제품으로 설치하여 사용 가능한 XL Miner를 활용하였다[1, 2, 7, 9, 10, 16, 17].

성능/효과

그러나, 각 모델 기반으로 6시간 동안의 데이터를 예측한 결과 다음 과 같이 인공신경망이 다중회귀 분석보다 더 좋은 예측율을 보이고 있음을 알 수 있다.
이는 본 작업대상 지역의 특성이 업무, 상업용 밀집 지역임을 고려한다면 직장인들의 근무 시간과 맞물려 집중적으로 물 사용이 발생되고 있음을 알 수 있다. 그리고, 오후 10:30 이후 시간이면서 기온이 높은 시기에 물 사용이 많이 발생 하는 것으로 미루어 기온이 올라 사람들의 야간활동이 늘어나면서 해당 지역 내 호프집 등과 같은 음식점 등의 야간 시간대 영업이 활발해져 물 사용이 늘어나는 것으로 판단된다.
예측모델은 현 시점에서 향후 6시간 동안의 15분 단위의 데이터를 예측하는 것이며, 현 시점에서 30분 이후 데이터 예측 시 Input 데이터로 활용되는 직전 데이터는 15분 이후 예측작업에서 산출된 예측치를 Input 변수로 활용하는 방식을 사용한다. 동일한 데이터를 사용하여 두 가지 방법으로 예측모델을 생성한 결과 아래 그림과 같이 Validation Data 결과는 다중회귀분석이 인공신경망 보다 좋은 성능을 보이고 있다.
상수 수요예측에 있어서는 인공신경망이 타 기법 대비 좋은 예측율을 보이고 있다. 하루 24시간을 해당 예측모델을 통해 작업한 결과 평균 12.7%의 오차율을 보이고 있으나, 사용량의 변동폭이 큰 경우에는 그 예측율이 현저히 떨어져 예측값이 실제값 대비 최대 약 40% 수준의 오차율을 보이는 경우도 발생하였다. 실제, 수요예측을 수행하는 기존 논문 중에는 예측율을 보이기 위해 변동이 큰 지역에 대해 예측작업 수행을 제외하는 경우도 보여지고 있다.

후속연구

Decision Tree 규칙에 따라 사용량은 시간대에 따라 영향을 받는다는 것을 알 수 있었으나, 이는 해당 지역의 특성에 따라 변동이 있을 것이라는 판단이 들며, 또한 1~4월 데이터를 활용함에 따라 온도, 습도 등의 날씨 영향도가 미미한 것으로 판단이 된다. 어쨌든 해당 지역의 경우 원활한 물 공급을 위해서는 직장인들의 주 근무 시간대에 배수장의 운영시설에 문제가 발생하지 않도록 좀 더 시설관리에 주의를 기울일 필요가 있을 것으로 보인다.
실제, 수요예측을 수행하는 기존 논문 중에는 예측율을 보이기 위해 변동이 큰 지역에 대해 예측작업 수행을 제외하는 경우도 보여지고 있다. 이에 대한 해결을 위해서는 변동폭이 커지는 시점의 예측방식에 대한 추가 검토가 필요한 상황으로, 인공신경망만을 이용하기 보다 다른 기법과 혼합한 모델을 연구해 보려 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	년간 물 사용량 추이는 무엇에 따라 차이가 발생하는가?	년간 물 사용량 추이를 봤을 때, 계절에 따라 차이가 발생함을 알 수 있다. 이에 계절성을 반영하기 위해 봄, 여름 등의 사계절 구분은 봄은 3~5월 등의 주관적인 요소가 존재하기에 보다 객관적인 계절성 반영을 위해 월을 추가한다.
	상수도 시설 관리의 문제점은 무엇인가?	상수도 시설은 도시생활을 영위하는 시민들의 기본 적인 생활기반 마련을 위한 도시기반 시설로, 근래에 들어서 생활 및 경제 수준 향상으로 물에 대한 양적 및 질적 요구가 높아짐에 따라 그에 대한 효율적인 계획및 관리가 요구되고 있다. 그러나, 안정적인 물 공급을 하기 위한 상수관망의 유지관리 활동에 있어 현재까지는 주로 비정상적인 이벤트가 발생한 이후에 이를 조치하는 사후 대응에 치우쳐 있고, 조속한 누수지점 검색 및 보수 등의 대응 행위를 하는데 있어 해당 담당자의 경험에 높은 의존도를 보이고 있다. 이에 계획되지 않은 사고발생에 대한 대처를 신속히 하고 상수도 관리조직 내 작업자의 원활한 업무순환 등을 위해 사전 인지를 통한 조기대응의 요구가 높아지고 있다[3].
	상수도 시설은 무엇인가?	상수도 시설은 도시생활을 영위하는 시민들의 기본 적인 생활기반 마련을 위한 도시기반 시설로, 근래에 들어서 생활 및 경제 수준 향상으로 물에 대한 양적 및 질적 요구가 높아짐에 따라 그에 대한 효율적인 계획및 관리가 요구되고 있다. 그러나, 안정적인 물 공급을 하기 위한 상수관망의 유지관리 활동에 있어 현재까지는 주로 비정상적인 이벤트가 발생한 이후에 이를 조치하는 사후 대응에 치우쳐 있고, 조속한 누수지점 검색 및 보수 등의 대응 행위를 하는데 있어 해당 담당자의 경험에 높은 의존도를 보이고 있다.

참고문헌 (17)

삼성경제연구소, "효과적 수요 예측 방법과 사례", SERI 이슈 페이퍼, 2012.
송수섭, 이의훈, "인공신경망을 이용한 소비자 선택 예측에 관한 연구", 한국경영과학회, 제26권, 제4호, pp.55-70, 2001.

원문보기 상세보기
주충남, 구자용, 유명진, "인공신경망을 이용한 단기 물수요 예측", 대한환경공학회, 추계학술연구발표회 논문집(I), 1999.
최국렬, 데이터마이닝 이론과 실습 : 보건의료데이터 중심, 청구문화사, 2001.
최기선, 유철, 진력민, 유성근, 전명근, "AR모델과 MLP를 이용한 단기 물 수요 예측 알고리즘 개발", 한국지능시스템학회논문지, 제19권, 제5호, pp.713-719, 2009.

원문보기 상세보기
최세일, "의주식시장 기술적 지표 분석", 진리탐구, 1999.
추휘석, 민지경, 이인호, "다수의 인공신경망 모형을 통한 기업데이터의 분류 및 부도예측에 관한 연구", 연세경영연구, 제41권, 제2호, pp.513-539, 2004.
한상만, 박승배, 정남호, "인공신경망과 로짓모형을 이용한 내구재의 구매의도 예측에 관한 비교연구", 아시아마케팅저널, 제15권, 제3호, pp.71-92, 2000.
허명회, 이용구, 데이터마이닝 모델링과 사례, 한나래, 2008.
허 준, 최병주, 정성원, "클레멘타인을 이용한 데이터마이닝", 1판, SPSS아카데미, 2001.
Berry, M. and Linoff, G., Data Mining Techniques, Wiley, New York, 1997.
Domingos, P. and G. Hulten, Mining High-Speed Data Streams, KDD, Boston, MA, USA ACM Press, 2000.
Han, J. and M. Kamber, Data Mining-Concepts and Techniques, Morgan Kaufmann, 2001.
Han, J., J. Pei, and Y. Yin, "Mining frequent patterns without candidate generation", In Proceedings of 2000 ACM-SIGMOD International Conference of Management of Data, 2000.
Hulten, G., L. Spencer, and P. Domingos, Mining Time-Changing Data Streams, KDD 01 San Francisco, C.A. USA, 2001.
Pendharkar, P.C., "A Threshold-varying Artificial Neural Network approach for Classification and its Application to Bankruptcy Prediction Problem", Computers and Operations Research, Vol.32, No.10, pp.2561-2582, 2005.

상세보기
West, D., "Neural Network Credit Scoring Models", Computers and Operations Research, Vol.27, No.11, pp.1131-1152, 2000.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증