[논문]SAC 강화 학습을 통한 스마트 그리드 효율성 향상: CityLearn 환경에서 재생 에너지 통합 및 최적 수요 반응

이자노브 알리벡 러스타모비치; 성승제; 임창균

doi:10.13067/jkiecs.2024.19.1.93

[국내논문] SAC 강화 학습을 통한 스마트 그리드 효율성 향상: CityLearn 환경에서 재생 에너지 통합 및 최적 수요 반응
Enhancing Smart Grid Efficiency through SAC Reinforcement Learning: Renewable Energy Integration and Optimal Demand Response in the CityLearn Environment

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.19 no.1, 2024년, pp.93 - 104

이자노브 알리벡 러스타모비치 (전남대학교 대학원 컴퓨터공학과) , 성승제 (전남대학교 대학원 컴퓨터공학과) , 임창균 (전남대학교 대학원 컴퓨터공학과)

초록
AI-Helper

수요 반응은 전력망의 신뢰성을 높이고 비용을 최소화하기 위해 수요가 가장 많은 시간대에 고객이 소비패턴을 조정하도록 유도한다. 재생 에너지원을 스마트 그리드에 통합하는 것은 간헐적이고 예측할 수 없는 특성으로 인해 상당한 도전 과제를 안고 있다. 강화 학습 기법과 결합된 수요 대응 전략은 이러한 문제를 해결하고 기존 방식에서는 이러한 종류의 복잡한 요구 사항을 충족하지 못하는 경우 그리드 운영을 최적화할 수 있는 접근 방식으로 부상하고 있다. 본 연구는 재생 에너지 통합을 위한 수요 반응에 강화 학습 알고리즘을 적용하는 방법을 찾아 적용하는데 중점을 둔다. 연구의 핵심 목표는 수요 측 유연성을 최적화하고 재생 에너지 활용도를 개선할 뿐 아니라 그리드 안정성을 강화하고자 한다. 연구 결과는 강화 학습을 기반으로 한 수요 반응 전략이 그리드 유연성을 향상시키고 재생 에너지 통합을 촉진하는 데 효과적이라것을 보여준다.

Abstract ▼ AI-Helper

Demand response is a strategy that encourages customers to adjust their consumption patterns at times of peak demand with the aim to improve the reliability of the power grid and minimize expenses. The integration of renewable energy sources into smart grids poses significant challenges due to their intermittent and unpredictable nature. Demand response strategies, coupled with reinforcement learning techniques, have emerged as promising approaches to address these challenges and optimize grid operations where traditional methods fail to meet such kind of complex requirements. This research focuses on investigating the application of reinforcement learning algorithms in demand response for renewable energy integration. The objectives include optimizing demand-side flexibility, improving renewable energy utilization, and enhancing grid stability. The results emphasize the effectiveness of demand response strategies based on reinforcement learning in enhancing grid flexibility and facilitating the integration of renewable energy.

주제어

표/그림 (9)

그림 그림 1. 건물의 에너지 모델 Fig. 1 Energy models of buildings
그림 그림 2. 전력 수요와 태양광 발전량 비교 Fig. 2 comparison electric demand and solar generation
그림 그림 3. SAC 기반 DR 관리를 위한 시스템 설계 Fig. 3 System design for SAC based DR management
표 표 1. CityLearn 챌린지의 건물과 설명 Table 1. Building and Descriptions in CityLearn Challenge
그림 그림 4. 태양광 발전이 있는 전력 수요 및 저장소 및 태양광 발전 제어를 위한 SAC 알고리즘 사용, 태양광 발전 및 DR 관리를 제외한 전력 수요 Fig. 4 Electricity demand with PV generation and using SAC algorithm for storage and solar generation control and Electricity demand without PV generation and DR management
그림 그림 5. 태양광 발전이 있는 총 전력 수요와 저장소 제어를 위해 SAC를 사용하는 총 전력 수요 및 DR 관리 및 태양광 발전이 없는 총 전력 수요 Fig. 5 Total electricity demand with PV generation and using SAC for storage control and total electricity demand without DR management and PV
표 표 2. SAC 알고리즘의 매개변수 Table 2. Parameters of SAC algorithm
그림 그림 6. SAC 알고리즘 에피소드당 평균 보상 Fig. 6 Average reward SAC algorithm per episode
표 표 3. SAC 알고리즘 성능에 대한 평가 지표 Table 3. Evaluation metrics for SAC algorithm performance

참고문헌 (18)

P. Siano, "Demand response and smart grids:？A survey," Renew Sustain Energy Rev., vol. 30？no. 37, 2014, pp. 461-478.
J. Joo and J. Oh, "Efficient Grid-Independent？ESS control System by Prediction of Energy？Production Consumption," J. of the Korea Institute of Electronic Communication Sciences,？vol. 14 no. 1, 2020, pp.155-160.
E. Kwak and C. Moon, "Analysis of Power？System Stability by Deployment of Renewable？Energy Resources," J. of the Korea Institute of？Electronic Communication Sciences, vol. 16 no.？4, 2021, pp.633-642.
Z. Wang and T. Hong, "Reinforcement？learning for building controls: The？opportunities and challenges," Appl Energy,？vol.. 269, 2020. pp.115036

상세보기
Yang, Shiyu, H. Oliver Gao, and Fengqi You.？"Model predictive control for Demand- and？MarketResponsive building energy management？by leveraging active latent heat storage," Appl？Energy, vol. 327, 2022. pp.120054
D. Mariano-Hern'andez, L. Hernandez-Callejo,？A. Zorita-Lamadrid, O. Duque-P'erez, and F.？Santos Garcia, "A review of strategies for？building energy management system: Model？predictive control, demand side management,？optimization, and fault detect & diagnosis,"？Journal of Building Engineering, vol. 33, 2021.？pp.101692

상세보기
C, Henggeler Antunes, M. J. Alves, and I.？Soares, "A comprehensive and modular set of？appliance operation MILP models for demand？response optimization," Advances Applied？Energy, vol. 320, 2022. pp.119142
J. R. Vazquez-Canteli and Z. Nagy,？"Reinforcement learning for demand response:？A review of algorithms and modeling？techniques," Advances Applied Energy, vol. 235？no. 1, 2019, pp. 1072-1089.
J. Schulman, F. Wolski, P. Dhariwal, A.？Radford, and O. klimov, "Proximal policy？optimization algorithms," arXiv preprint, vol.？1707, 2017. pp.06347
T. P. Lillicrap, J. J. Hunt, A. Pritzel, N.？Heess, T. Erez, Y. Tassa, D. Silver, D.？Wiersta, "Continuous control with deep？reinforcement learning," in Int. Conf. on？Learning Representations (ICLR), San Juan City,？PR, USA, 2016, pp. 1-14.
S. Fujimoto, H. V. Hoof, and D. Meger,？"Addressing function approximation error in？actor-critic methods," in Proc. of the 35nd Int.？Conf. on Machine Learning (ICML), Stockholm？City, Sweden, 2018, pp. 1587-1596.
A. Ajagekar and F. You, "Deep reinforcement？learning based unit commitment scheduling？under load and wind power uncertainty,"？IEEE Trans Sustain Energy, vol. 14 no. 2, 2023,？pp. 790-803.
R. Lu and Sh. Hong, "Incentive-based？demand response for smart grid with？reinforcement learning and deep neural？network," Advances Applied Energy, vol. 236？no. 8, 2019, pp. 937-949.
R. Jin, Y. Zhou, C. Lu, and J. Song, "Deep？reinforcement learning-based strategy for？charging station participating in demand？response," Advances Applied Energy, Vol328.？2022, pp.120140
X. Kong, D. Kong, J. Yao, L. Bai, and J. Xiao.？"Online pricing of demand response based on？long short-term memory and reinforcement？learning," Advances Applied Energy, vol. 328,？2022. pp.120140
J. V' azquez-Canteli, S. Dey, G. Henze, and？Z. Nagy, "CityLearn: Standardizing Research？in Multi-Agent Reinforcement Learning for？Demand Response and Urban Energy？Management," arXiv preprint, vol 2012, 2020.？pp.10504
S. Jung, C. Sim, S. Park, and J. Kim, "A？Novel of solar Heat collection Device？Prototype using Parabolic based on Solar？Light Tracking," J. of the Korea Institute of？Electronic Communication Sciences, vol. 11 no.？3, 2018, pp. 411-420.
M. Kang, "Renewable Energy Generation？Prediction Model using Meterological Big？Data," J. of the Korea Institute of Electronic？Communication Sciences, vol. 18 no. 1, 2023,？pp. 39-44.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format