초록 ▼

연구개요
다양한 경로를 통해 확보된 데이터를 기반으로 수학적 모델링이 불완전하거나 복잡한 시스템의 고장을 진단하는 강화학습 기반 외란 관측기를 설계한다. 실제 시스템에 존재하는 수학적 모델링이 어려운 비선형성이나 파라미터 및 부하 변동 등의 불확실성을 추정하고 보상하여 시스템의 강인성을 향상시키는 강화학습 기반 외란 관측기 설계 방법을 제안하고 다양한 실험을 통해 그 효과를 확인한다.

연구 목표대비 연구결과
■ 데이터 기반 강화학습을 이용한 공칭 시스템 모델링 기법: Data Driven LQR 기법을 이용한

연구개요
다양한 경로를 통해 확보된 데이터를 기반으로 수학적 모델링이 불완전하거나 복잡한 시스템의 고장을 진단하는 강화학습 기반 외란 관측기를 설계한다. 실제 시스템에 존재하는 수학적 모델링이 어려운 비선형성이나 파라미터 및 부하 변동 등의 불확실성을 추정하고 보상하여 시스템의 강인성을 향상시키는 강화학습 기반 외란 관측기 설계 방법을 제안하고 다양한 실험을 통해 그 효과를 확인한다.

연구 목표대비 연구결과
■ 데이터 기반 강화학습을 이용한 공칭 시스템 모델링 기법: Data Driven LQR 기법을 이용한 파라미터 추정 방법을 개발하고 슬라이딩 모드 제어기법에 기반한 RBF 신경망 관리제어기 설계방법을 제안함.
■ 강화학습 기반 공칭 시스템 모델과 외란 관측기를 이용한 제어 알고리즘: Off-policy 방법으로 새로운 파라미터 추정에 필요한 조건을 제시하고 전력시스템의 관측기 설계에 적용함.
■ 강화학습 기반 외란 추정을 위한 외란 관측기 개발: Deep Q-Network를 이용하여 측정 잡음 하에서 강인한 관측 성능을 가지도록 하는 외란 관측기 설계 연구를 진행하였으며 1기 무한모선 시스템의 고장 판별에 사용될 수 있음을 확인함.
■ 실제 시스템에 대한 실험 데이터 활용 강화학습 기반 외란 관측기 성능 평가 및 보완: PSCAD 모의실험 데이터를 활용한 불확실성 추정 연구 및 Deep Neural Network(DNN)를 이용한 고장 진단 데이터 학습 연구 진행.
■ 시스템 차수의 불확실성에 대한 관측기 기반 위치 제어 시스템의 안정도 분석: 고차 시스템 근사에 따라 실제 시스템보다 차수가 작은 모델에 대해 설계한 외란 관측기 기반 제어기가 폐루프 시스템에 미치는 영향에 대한 연구 진행.
■ 강화학습 기반 외란 추정을 위한 적응 외란 관측기 설계: 측정 환경과 사용하는 센서 오차에 따른 데이터 특성을 고려하여 최적의 외란 관측기 이득을 설계하는 방법에 대한 추가 연구 진행.
■ 고차 시스템에 대한 강화학습 기반 외란 관측기를 이용한 고장 진단 기법: 개발된 강화학습 기반 적응형 외란 관측기의 설계를 통해 고차 시스템의 고장 진단 및 강인성 향상 알고리즘 연구 진행.
■ 고차 시스템에 대한 성능 확인: 실제적인 시스템에 대한 고장 진단 성능 평가를 위해 디지털 제어 보드를 사용한 실제 실험과 RTDS를 사용하여 보다 실제적인 모의실험 진행 등 개발된 강화학습 기반 적응형 외란 관측기를 적용하는 연구 진행.

연구개발성과의 활용 계획 및 기대효과 (연구개발결과의 중요성)
산업용 로봇, 미사일 자동 조종장치, 초음속 자동차 등과 같은 고정밀/고성능 산업에서는 이미 복잡한 비선형적인 동특성을 다루기 위해 인공지능 기반의 제어기 설계연구가 관심을 받아왔다. 정밀 제어를 위해서는 모델링 되지 않는 다양한 불확실성을 추정하고 보상해야 하지만 제어기 설계자의 경험이나 직관에 의존하는 고전적인 보상 방식만으로는 제한적인 결과만 얻을 수 있다. 본 과제에서는 공칭 시스템과 불확실성을 보상하는 2 자유도 제어기법의 장점을 살리고 데이터 기반의 강화학습 기법으로 보완함으로써 실제 시스템에서 발생할 수 있는 고장에 대처하고 강인성과 신뢰성을 함께 보장할 수 있는 제어 방법을 제안하였다. 더불어 시스템의 고장 진단 및 분리를 위한 알고리즘 개발로 분산 시스템의 모니터링 등 원격 고장 진단 문제에도 적용된다면 그 중요성이 더욱 클 것이라 할 수 있다.

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• A. 다양한 강화학습 알고리즘 연구 ... 5
• B. 데이터 기반 강화학습을 이용한 공칭 시스템 모델링 기법 연구 ... 6
• C. 고차 시스템의 강인성 향상을 위한 외란관측기 설계 기법 연구 ... 7
• D. 강화학습 기반 공칭 시스템 모델과 외란 관측기를 이용한 제어 알고리즘 연구 ... 8
• E. 강화학습 기반 외란 추정을 위한 외란 관측기 개발 ... 9
• F. 실제 시스템에 대한 실험 데이터 활용 강화학습 기반 외란 관측기 성능 평가 및 보완 ... 10
• G. 시스템 차수의 불확실성에 대한 관측기 기반 위치 제어 시스템의 안정도 분석 ... 10
• H. 강화학습 기반 외란 추정을 위한 적응(adaptive) 외란 관측기 연구 ... 11
• I. 다수의 시스템이 연결된 고차 시스템에 대한 강화학습 기반 외란 관측기 연구 ... 12
• J. 고차 시스템에 대한 강화학습 기반 외란 관측기를 이용한 고장 진단 기법 연구 ... 12
• G. 고차 시스템에 대한 성능 평가 연구 ... 13
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 14
• 1) 정성적 연구개발성과(연구개발결과) ... 14
• 2) 세부 정량적 연구개발성과 ... 14
• 3) 목표 달성 수준 ... 15
• 4) 목표 미달 시 원인 분석 ... 15
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발 결과의 중요성) ... 16
• 5. 연구개발성과의 관리 및 활용 계획 ... 16
• 6. 참고문헌 ... 17
• [붙임1] 세부 정량적 연구개발성과 ... 18
• [붙임2] 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 24
• 끝페이지 ... 39