[논문]심층 강화학습을 이용한 지능형 빗물펌프장 운영 시스템 개발

강승호; 박정현; 주진걸

doi:10.33778/kcsa.2020.20.1.033

심층 강화학습을 이용한 지능형 빗물펌프장 운영 시스템 개발
A Development of Intelligent Pumping Station Operation System Using Deep Reinforcement Learning 원문보기

융합보안논문지 = Convergence security journal, v.20 no.1, 2020년, pp.33 - 40

초록
AI-Helper

하천 인근에 위치한 빗물펌프장은 유수지를 대상으로 적절한 규칙에 따라 펌프를 가동함으로써 도심지 및 농경지 침수 피해를 예방하는 기능을 수행한다. 현재 대부분의 빗물펌프장은 유수지의 수위를 기준으로 단순한 규칙 기반의 펌프운영 정책을 사용하고 있다. 최근 지구온난화로 인한 기후 변화가 예측하기 어려운 강우량의 변화를 발생시키고 있다. 따라서 단순한 펌프정책으로는 지구온난화로 인한 갑작스러운 유수지 변화에 적절하게 대처하기 어렵다. 본 논문은 강우량과 저수량, 유수지 수위 등의 정보를 이용해 시스템이 적정 유수지 수위을 유지할 수 있도록 펌프 가동을 선택할 수 있는 심층 강화학습 기반의 자동 빗물펌프 운용 방법을 제시한다. 제안한 방법의 타당성을 검증하기 위해 강우-유출 모의 모델인 Storm Water Management Model(SWMM)을 이용해 모의실험을 수행하고 현장에서 사용되고 있는 기존 펌프 정책과 성능을 비교하였다.

Abstract ▼ AI-Helper

The rainwater pumping station located near a river prevents river overflow and flood damages by operating several pumps according to the appropriate rules against the reservoir. At the present time, almost all of rainwater pumping stations employ pumping policies based on the simple rules depending only on the water level of reservoir. The ongoing climate change caused by global warming makes it increasingly difficult to predict the amount of rainfall. Therefore, it is difficult to cope with changes in the water level of reservoirs through the simple pumping policy. In this paper, we propose a pump operating method based on deep reinforcement learning which has the ability to select the appropriate number of operating pumps to keep the reservoir to the proper water level using the information of the amount of rainfall, the water volume and current water level of the reservoir. In order to evaluate the performance of the proposed method, the simulations are performed using Storm Water Management Model(SWMM), a dynamic rainfall-runoff-routing simulation model, and the performance of the method is compared with that of a pumping policy being in use in the field.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 라벨이 있는 학습 데이터를 얻기 불가능한 빗물 펌프장의 펌프 운영 문제를 대상으로심층 강화학습을 적용한 최초의 기계학습 기반 펌프 자동화 시스템이라는 점에서 이 분야에 새로운연구를 유도하는데 크게 기여할 수 있을 것으로본다. 앞으로 실제 환경을 보다 반영할 수 있도록적절하게 문제 정의를 해야하는 한편 펌프의 변경수를 줄이기 위한 개선된 학습 알고리즘과 모델선정에 대한 연구가 필요하다.
본 논문은 빗물 펌프장의 펌프 운영방식을 자동화하기 위해 심층 강화학습을 이용해 모델을 설계/구현하였다. 심층 강화학습 기반의 펌프장 운영 시스템의 성능 평가를 위해 실제 가산 빗물 펌프장의 환경과 2, 3, 5년 빈도의 강우 데이터를 준비하고 SWMM을 이용해 모의 실험하였다.
본 연구는 이러한 여러 가지 목적을 달성하고자 행위 결정을 담당할 4계층의 인공 신경망을 대상으로 정책 강하 (Policy Gradient) 강화학습 방법을 이용해 학습을 진행하였다. 또한 성능 개선을 위해 이전 단계에 선택된 행위를 다음 단계의의사결정에 활용할 수 있도록 재귀적(recursive)속성을 가미하였다.
심층 강화학습 기반의 빗물펌프장 운영 시스템이 추구하는 최종 목적은 강우시에 적절한 수의펌프를 가동해 최대한 유수지의 수위를 낮게 유지하는 것이다. 이때 함께 고려되어야 하는 사항은전력 손실 및 펌프 마모를 최소화하기 위해 가능한 한 가동하는 펌프 수의 변동을 작게 해야 한다는 것이다.

제안 방법

강우 샘플은 2, 3, 5년 빈도강우를 대상으로 강우지속 기간을 30, 60, 120, 180, 240, 720, 1080, 1440, 2880, 4320(분)의 10개 기간으로 나누어 생성하였다. 각 강우마다 Huff의 1~4분위로 시간분포시켜 4개의 샘플을 생성하였으므로 총 120개의 샘플을 모델의 학습데이터로 사용하였다.
강화학습을 이용한 모델이 펌프 변경을 최대한자제하면서 유수지의 최고 수위를 최소화 하는 펌프 조합을 매분 의사 결정할 수 있도록 보상 방법을 설계하였다.
다만, 펌프조합의 방류 가능 수량(ppq)이 현 유수지수량보다 작아야 하므로 vb < ppq 이면 w1값을0으로 하여 전체 보상에 아래 식처럼 펌프 유지에따른 보상만 고려하도록 하였다.
펌프조합 문제의 목적과 관련해서 분 단위로이루어지는 펌프 조합 결정에는 이전에 결정한 펌프 조합과 이전 유수지 수량 등이 고려되어야 한다. 따라서 이러한 시간적 특성을 반영해 모델의이전 출력인 펌프 조합 결정을 다시 입력으로 사용될 수 있도록 재귀 방법을 모델에 반영하였다.신경망의 가중치 초기화에는 He 초기화 방법을사용하였고 은닉층의 활성 함수로는 ReLU 함수를 사용하였다.
본 연구는 이러한 여러 가지 목적을 달성하고자 행위 결정을 담당할 4계층의 인공 신경망을 대상으로 정책 강하 (Policy Gradient) 강화학습 방법을 이용해 학습을 진행하였다. 또한 성능 개선을 위해 이전 단계에 선택된 행위를 다음 단계의의사결정에 활용할 수 있도록 재귀적(recursive)속성을 가미하였다.
EPA는 SWMM5을 랩핑(wrapping)한 파이썬인터페이스 PySWMM[10]을 제공하고 있다. 본연구에서는 심층 강화학습 구현을 위해 구글에서작성한 파이썬 플랫폼인 tensorflow와 모의 시스템 구현을 위해 PySWMM을 사용하였다.
시스템은 유수지의 수위와 운영 펌프의 변경을최소화 하도록 적절한 보상 정책을 설계하였고 임의 탐색과 이용 탐색 모두를 활용해 최적화된 운영 방법을 찾도록 학습하였다. 학습된 시스템은가산 펌프장에서 사용되고 있는 운영 규칙에 비해최고 유수지의 수위를 1m 이상 낮출 수 있음을확인하였다.
본 논문은 빗물 펌프장의 펌프 운영방식을 자동화하기 위해 심층 강화학습을 이용해 모델을 설계/구현하였다. 심층 강화학습 기반의 펌프장 운영 시스템의 성능 평가를 위해 실제 가산 빗물 펌프장의 환경과 2, 3, 5년 빈도의 강우 데이터를 준비하고 SWMM을 이용해 모의 실험하였다.
우선 모의 생성한 2년 빈도 강우 샘플을 이용해 가산 빗물 펌프장에서 현재 운용하고 있는펌프 조합 선택 방법에 따른 실험을 진행하였다.그리고 동일한 강우 샘플 44개의 훈련 데이터를대상으로 3000번의 임의 탐색(exploration)과 200번의 이용(exploitation) 탐색 방법을 이용해 모델38 융합보안논문지 제20권 제1호 (2020.
이번에는 2년, 3년, 5년 빈도의 강우 데이터 전체를 함께 이용해 4000번의 임의 탐색과 200번의이용 탐색 방법을 사용해 모의 실험을 실시하였다. 표에서 볼 수 있듯이 2년 빈도의 강우 데이터로 실시한 실험과 마찬가지로 최고 유수지 수위의평균값은 가산 펌프장 운영방식의 유수지 수위에비해 1m 이상 차이가 나는 걸 확인할 수 있다.

대상 데이터

강우 샘플은 2, 3, 5년 빈도강우를 대상으로 강우지속 기간을 30, 60, 120, 180, 240, 720, 1080, 1440, 2880, 4320(분)의 10개 기간으로 나누어 생성하였다. 각 강우마다 Huff의 1~4분위로 시간분포시켜 4개의 샘플을 생성하였으므로 총 120개의 샘플을 모델의 학습데이터로 사용하였다. 동일한 수의 샘플을 검증데이터로 사용하였다.
우선 모의 생성한 2년 빈도 강우 샘플을 이용해 가산 빗물 펌프장에서 현재 운용하고 있는펌프 조합 선택 방법에 따른 실험을 진행하였다.그리고 동일한 강우 샘플 44개의 훈련 데이터를대상으로 3000번의 임의 탐색(exploration)과 200번의 이용(exploitation) 탐색 방법을 이용해 모델38 융합보안논문지 제20권 제1호 (2020. 03)을 학습하였다.
각 강우마다 Huff의 1~4분위로 시간분포시켜 4개의 샘플을 생성하였으므로 총 120개의 샘플을 모델의 학습데이터로 사용하였다. 동일한 수의 샘플을 검증데이터로 사용하였다.
서울특별시 금천구에 위치한 가산 빗물펌프장을 모의 환경으로 사용하였다. 가산 펌프장의 펌프는 100 CMM(cubic meter per minute) 3대와170 CMM 2대로 구성되어 있다.
한편, 모델이 시간성을 갖도록 하려면 재귀적인입력 요소가 필요하다. 이러한 입력 요소로 최근두 펌프 조합과 직전 유수지 수량을 사용하였다.

이론/모형

이러한 모든 입력요소를 결합하면 입력 벡터의 크기는 4 + 1 + 12= 17이 된다. one-hot 벡터를 제외한 모든 입력요소는 min-max 정규화를 적용하였다.
가산 빗물 펌프장을 모의하기 위해 SWMM(Storm Water Management Model)을 사용하였다.SWMM은 미국 환경보호국(Environment Protection Agency)이 홍수 범람, 하수처리 등의 배수처리 시스템(drainage system)과 관련해서 계획,분석, 설계를 지원하도록 개발된 모의 시스템이다[9].
4.1 강우 모의

모형의 학습/적용을 위해서 빗물펌프장 설계에일반적으로 많이 사용되는 빈도별 확률강수량을사용하였다. 확률강수량은 강수량, 강우지속기간,강우재현기간(빈도)로 구성되어 있다.
따라서 이러한 시간적 특성을 반영해 모델의이전 출력인 펌프 조합 결정을 다시 입력으로 사용될 수 있도록 재귀 방법을 모델에 반영하였다.신경망의 가중치 초기화에는 He 초기화 방법을사용하였고 은닉층의 활성 함수로는 ReLU 함수를 사용하였다.
신경망의 파라미터 최적화를 위해 REINFORCE 알고리즘[15]으로 알려진 정책 경사하강법(policy gradient descent) 알고리즘을 사용하였다. 알고리즘의 기본작동 방법은 다음과 같다.
펌프조합선택문제를 해결하기 위해 인공신경망기반의 강화학습 모델을 사용하였다. 학습의 대상이자 상황에 따라 의사결정을 담당하는 인공신경망은 입출력 계층과 2개의 은닉 계층을 구성된 4계층의 완전연결형 신경망 구조이며 각 계층의 노드 수는 각각 17, 15, 20, 6 이다.
학습률은 0.01로, 비용함수는 softmax 함수를이용한 교차 엔트로피(cross entropy) 방법을 사용하였으며 Adam 최적화 방법을 사용하였다.
확률강수량은 강수량, 강우지속기간,강우재현기간(빈도)로 구성되어 있다. 확률강수량을 시간분포시키는 방법으로 Huff의 무차원 누가곡선 방법을 사용하였다. Huff의 무차원 누가곡선에 의한 방법은 과거의 관측 우량자료를 이용한다는 특징을 가지고 있어 신뢰성을 인정받고 있으며하천설계기준, 소하천설계기준 등 국내의 실무에서 가장 널리 사용되고 있다.

성능/효과

우선 유수지의 최고 수위를 비교해 보면 제안시스템에 의해 운영했을 때 유수지의 최고 수위가더 낮다는 사실을 확인할 수 있다. 하지만 펌프변경 수를 보면 제안 시스템을 사용했을 때의 변경 수가 월등히 크다는 걸 알 수 있다.
이번에는 2년, 3년, 5년 빈도의 강우 데이터 전체를 함께 이용해 4000번의 임의 탐색과 200번의이용 탐색 방법을 사용해 모의 실험을 실시하였다. 표에서 볼 수 있듯이 2년 빈도의 강우 데이터로 실시한 실험과 마찬가지로 최고 유수지 수위의평균값은 가산 펌프장 운영방식의 유수지 수위에비해 1m 이상 차이가 나는 걸 확인할 수 있다. 마찬가지로 펌프 변경 수는 펌프장 운영방식의 변경수에 비해 훨씬 크다.
시스템은 유수지의 수위와 운영 펌프의 변경을최소화 하도록 적절한 보상 정책을 설계하였고 임의 탐색과 이용 탐색 모두를 활용해 최적화된 운영 방법을 찾도록 학습하였다. 학습된 시스템은가산 펌프장에서 사용되고 있는 운영 규칙에 비해최고 유수지의 수위를 1m 이상 낮출 수 있음을확인하였다. 다만, 유수지 내의 유수를 모두 제거하도록 시스템이 설계되어 있어서 일정 수위 아래에 도달하면 펌프 운영을 중단하도록 되어 있는펌프장의 운영 규칙에 비해 많은 펌프 변경수를보여주었다.

후속연구

본 논문은 라벨이 있는 학습 데이터를 얻기 불가능한 빗물 펌프장의 펌프 운영 문제를 대상으로심층 강화학습을 적용한 최초의 기계학습 기반 펌프 자동화 시스템이라는 점에서 이 분야에 새로운연구를 유도하는데 크게 기여할 수 있을 것으로본다. 앞으로 실제 환경을 보다 반영할 수 있도록적절하게 문제 정의를 해야하는 한편 펌프의 변경수를 줄이기 위한 개선된 학습 알고리즘과 모델선정에 대한 연구가 필요하다.

참고문헌 (15)

S. U. Yun and J. T. Lee, "A study on the development of the operation models for storm water pumps in detention pond", J. KWRA, Vol. 28, No. 6, pp. 203-215, 1995
추연문, 유도근, 이승엽, 임오성, 주진걸, 김중훈, "도시 빗물펌프장 예측운영시스템의 스마트 운영기법 개발", 한국방재학회 논문집, 17(2), pp. 39-50, 2017.4
J. H. Sim, W. C. Joo, and W. H. Lee, "An adaptive control of inland pumping station using self-tuning of fuzzy control technique", KWRA Hydro Research Paper, pp. 291-299, 1992.
전환돈, 이양재, 이정호, 김중훈, "도시 내배수시스템 실시간 운영모형의 개발", 한국물환경학회지, 23권 5호, pp. 748-755, 2007.
X. Feng, B. Qiu, X. Yang, and B. Pei, "Optimal methods and its application of large pumping station operation", J. Drainage and Irrigation Machinery Engineering, Vol. 2, No. 10, 2011.
X. Zhuan, and X. Xiaohua, "Optimal operation scheduling of a pumping station with multiple pumps", Applied Energy, Vol. 104, pp. 250-257, 2013.

상세보기
T. Baumeister, S. L. Brunton, and J. N. Kutz, "Deep learning and model predictive control for self-tuning mode-locked lasers", J. Optical Society of America B, Vol. 35, No. 3, pp. 617-626, 2018.

상세보기
X. Y. Lee, et al., "A Case Study of Deep Reinforcement Learning for Engineering Design: Application to Microfluidic Devices for Flow Sculpting", J. Mechanical Design, Vol 141, No. 11, 111401(10 pages), 2019.

상세보기
https://www.epa.gov/water-research/storm-watermanagement-model-swmm
https://cfpub.epa.gov/si/si_public_record_report.cfm?LabNRMRL&direntryid335780
Richard S. Sutton and Andrew G. Barto, "Reinforcement Learning: An Introduction second edition", The MIT Press, 2018.
K. Arulkumaran, M. P. Deisenroth, M. Brundage, and A. A. Bharath, "Deep Reinforcement Learning: A Brief Survey", IEEE Signal Processing Magazine, Vol. 34, pp. 26-38, 2017.

상세보기
T. D. Bruin, J. Kober, K. Tuyls, and R. Babuska, "Experience Selection in Deep Reinforcement Learning for Control", The Journal of Machine Learning Research, Vol. 19, No. 1, pp. 1-56, 2018.
A. Ilyas, L. Engstrom, S. Santurkar, D. Tsipras, F. Janoos, L. Rudolph, A. Madry, "Are deep policy gradient algorithms truly policy gradient algorithms?", CoRR abs/1811.02553. arXiv:1811.02553.
R. Williams, "Simple statistical gradient-following algorithms for connectionist reinforcement learning", 1992.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증