현재 공기조화 및 냉동기기 등에 사용되는 산업용 제어기의 대부분은 PI(Proportional Integral) 형태의 제어기를 사용하고 있는데, PI제어기는 프로세스 모델의 불확실성이 존재하거나 운전환경이 변화하는 경우에는 최적의 제어성능을 유지하거나 예측하기가 어렵다. 이러한 문제점들을 해결하고 제어성능을 개선시킬 수 있는 방법으로 환경에 대한 충분한 지식이 없어도 강화 신호에 의하여 주어진 환경에 따른 시행착오를 통해서 최적의 행동을 학습할 수 있는 방법인 강화학습(Reinforcement Learning, ...
현재 공기조화 및 냉동기기 등에 사용되는 산업용 제어기의 대부분은 PI(Proportional Integral) 형태의 제어기를 사용하고 있는데, PI제어기는 프로세스 모델의 불확실성이 존재하거나 운전환경이 변화하는 경우에는 최적의 제어성능을 유지하거나 예측하기가 어렵다. 이러한 문제점들을 해결하고 제어성능을 개선시킬 수 있는 방법으로 환경에 대한 충분한 지식이 없어도 강화 신호에 의하여 주어진 환경에 따른 시행착오를 통해서 최적의 행동을 학습할 수 있는 방법인 강화학습(Reinforcement Learning, RL) 알고리즘을 적용한 제어를 실험건물의 공조설비에 적용하여 건물공조설비의 적용가능성에 대해 연구하였다. 본 연구에서는 TRNSYS 프로그램을 이용하여 이론해석을 수행한 후, 실험건물에 강화학습 알고리즘을 적용시킬 수 있도록 자동제어 감시운영시스템(SCADA)을 구현하고 실증실험을 통하여 비례적분(PI) 제어방식과 강화학습(RL) 제어방식의 제어성능특성을 비교, 분석하였다. TRNSYS를 사용하여 강화학습 제어알고리즘의 성능을 국내의 외기온도에서 검토한 결과 기존의 PI제어방식에서 외기온도 변화시 항상 게인값을 찾아주어야 하는 단점을 보완할 수 있어 실제 공조시스템에 적용성이 큰 것으로 나타났다. 난방코일과 냉방코일에 강화학습 제어알고리즘을 적용시켜 실험한 결과 시스템에 대한 최적 게인값을 적용하였을 경우 비례적분 제어방식과 강화학습 제어방식 모두 공급공기온도 설정값 변화시 정상상태까지의 추종성과 응답성에서 양호한 성능을 나타냈다. 외부환경의 변화에 따른 시스템의 게인값이 변화할 경우 난방코일에서 강화학습 제어는 비례적분 제어의 출력을 증감시켜 보다 빠른 응답성을 보이고 출력제어신호가 개선되는 것을 알 수 있었다. 냉방코일에서는 강화학습 제어의 보상에 따른 출력신호와 액츄에이터 구동의 지연시간으로 인해 난방코일의 경우처럼 큰 향상은 보이지 않았지만, 비례적분 제어의 경우보다는 정상상태의 응답성과 추종성의 개선이 있었다.
현재 공기조화 및 냉동기기 등에 사용되는 산업용 제어기의 대부분은 PI(Proportional Integral) 형태의 제어기를 사용하고 있는데, PI제어기는 프로세스 모델의 불확실성이 존재하거나 운전환경이 변화하는 경우에는 최적의 제어성능을 유지하거나 예측하기가 어렵다. 이러한 문제점들을 해결하고 제어성능을 개선시킬 수 있는 방법으로 환경에 대한 충분한 지식이 없어도 강화 신호에 의하여 주어진 환경에 따른 시행착오를 통해서 최적의 행동을 학습할 수 있는 방법인 강화학습(Reinforcement Learning, RL) 알고리즘을 적용한 제어를 실험건물의 공조설비에 적용하여 건물공조설비의 적용가능성에 대해 연구하였다. 본 연구에서는 TRNSYS 프로그램을 이용하여 이론해석을 수행한 후, 실험건물에 강화학습 알고리즘을 적용시킬 수 있도록 자동제어 감시운영시스템(SCADA)을 구현하고 실증실험을 통하여 비례적분(PI) 제어방식과 강화학습(RL) 제어방식의 제어성능특성을 비교, 분석하였다. TRNSYS를 사용하여 강화학습 제어알고리즘의 성능을 국내의 외기온도에서 검토한 결과 기존의 PI제어방식에서 외기온도 변화시 항상 게인값을 찾아주어야 하는 단점을 보완할 수 있어 실제 공조시스템에 적용성이 큰 것으로 나타났다. 난방코일과 냉방코일에 강화학습 제어알고리즘을 적용시켜 실험한 결과 시스템에 대한 최적 게인값을 적용하였을 경우 비례적분 제어방식과 강화학습 제어방식 모두 공급공기온도 설정값 변화시 정상상태까지의 추종성과 응답성에서 양호한 성능을 나타냈다. 외부환경의 변화에 따른 시스템의 게인값이 변화할 경우 난방코일에서 강화학습 제어는 비례적분 제어의 출력을 증감시켜 보다 빠른 응답성을 보이고 출력제어신호가 개선되는 것을 알 수 있었다. 냉방코일에서는 강화학습 제어의 보상에 따른 출력신호와 액츄에이터 구동의 지연시간으로 인해 난방코일의 경우처럼 큰 향상은 보이지 않았지만, 비례적분 제어의 경우보다는 정상상태의 응답성과 추종성의 개선이 있었다.
Although modern control theories have developed rapidly, proportional- integral(PI) controllers are used for most of office Building controllers in recent days. but in case that the dynamics of plant became more complicated and environment was changed, PID controllers used in fields have not being t...
Although modern control theories have developed rapidly, proportional- integral(PI) controllers are used for most of office Building controllers in recent days. but in case that the dynamics of plant became more complicated and environment was changed, PID controllers used in fields have not being tuned properly. To obtain the efficient operation of the HVAC system optimum gain value must be found for controlling the building HVAC system. In this study, as the one of method to solve the above problems and improve control performance of controller, optimal controller of reinforcement learning method is proposed and the validity will be evaluated under the real operating condition of HVAC system using experiment building in environment chamber. The environment chamber has been used for experimental study of the PI and reinforcement learning control of HVAC system. Reinforcement learning were shown to result in more tracking of the temperature set point of heating coil and cooling coil. training was based on a PI controller for the coil. The gain values, however, change with the change of environment conditions. The gain value stabilizes when the reinforcement learning controller is used instead of PI controller. It has been found that reinforcement learning improve the performance of building HVAC systems.
Although modern control theories have developed rapidly, proportional- integral(PI) controllers are used for most of office Building controllers in recent days. but in case that the dynamics of plant became more complicated and environment was changed, PID controllers used in fields have not being tuned properly. To obtain the efficient operation of the HVAC system optimum gain value must be found for controlling the building HVAC system. In this study, as the one of method to solve the above problems and improve control performance of controller, optimal controller of reinforcement learning method is proposed and the validity will be evaluated under the real operating condition of HVAC system using experiment building in environment chamber. The environment chamber has been used for experimental study of the PI and reinforcement learning control of HVAC system. Reinforcement learning were shown to result in more tracking of the temperature set point of heating coil and cooling coil. training was based on a PI controller for the coil. The gain values, however, change with the change of environment conditions. The gain value stabilizes when the reinforcement learning controller is used instead of PI controller. It has been found that reinforcement learning improve the performance of building HVAC systems.
주제어
#강화학습 최적제어 건물자동화시스템 reinforcement learning optimal control BAS
학위논문 정보
저자
박광용
학위수여기관
연세대학교 대학원
학위구분
국내석사
학과
기계공학과
지도교수
조성환,이진호
발행연도
2005
총페이지
ix, 66장
키워드
강화학습 최적제어 건물자동화시스템 reinforcement learning optimal control BAS
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.