자율형 CPS는 자동화의 수준을 뛰어넘어, 사람의 개입 없이 인공지능을 기반으로 상황인지, 판단 및 제어를 자율적으로 수행하는 시스템이다. 안전 중요 분야의 자율형 CPS는 학습 시 고려하지 못한 상황에서 자율제어 소프트웨어의 결함으로 인해 오작동 시, 사람의 안전에 해를 가할 수 있으므로 시스템의 신뢰성을 보장하는 것이 중요하다. 현재 일반적으로 자율 제어 소프트웨어의 부족한 신뢰성을 보완하기 위한 절차는 개발자들이 직접 사고 데이터에 ...
자율형 CPS는 자동화의 수준을 뛰어넘어, 사람의 개입 없이 인공지능을 기반으로 상황인지, 판단 및 제어를 자율적으로 수행하는 시스템이다. 안전 중요 분야의 자율형 CPS는 학습 시 고려하지 못한 상황에서 자율제어 소프트웨어의 결함으로 인해 오작동 시, 사람의 안전에 해를 가할 수 있으므로 시스템의 신뢰성을 보장하는 것이 중요하다. 현재 일반적으로 자율 제어 소프트웨어의 부족한 신뢰성을 보완하기 위한 절차는 개발자들이 직접 사고 데이터에 레이블링 작업을 수행하므로 많은 시간과 노력을 요구하며, 한정된 상황의 데이터를 기반으로 단방향 학습을 수행하므로 학습된 자율 제어 모델이 사고 상황 데이터를 통해 판단한 행동의 인과관계를 고려하기 어렵다. 또한, 성능 검증 과정 중 개발자의 주관적 분석 및 결과 판단으로 인하여 평가 결과를 신뢰할 수 없다는 단점이 존재한다. 본 논문은 이러한 문제점들을 해결하기 위해 연합 강화학습을 기반으로 자율형 CPS의 자율 제어 소프트웨어 자가 진화를 지원하는 개발 및 검증 프레임워크를 제안한다. 본 프레임워크는 강화학습과 시뮬레이션을 통해 자율 제어 모델에 대해 개발자의 레이블링 작업 없이 양방향으로 학습하며, 강화학습의 학습 효율성을 향상시키기 위해 연합학습 방법론이 적용되었다. 학습 완료된 자율 제어 모델의 신뢰성을 보장하기 위해 의도 된 기능 안전 관점에서의 정량적 성능 평가 지표를 기반으로 검증을 수행한다. 본 프레임워크를 활용한 성능 진화 실험과 성능 검증 실험을 수행하였고, 기존 심층 강화학습 방법론에 비해 성능이 3.34배 빠르게 수렴하며, 자율형 CPS에 대한 신뢰성을 추가로 향상할 수 있음을 증명하였다.
자율형 CPS는 자동화의 수준을 뛰어넘어, 사람의 개입 없이 인공지능을 기반으로 상황인지, 판단 및 제어를 자율적으로 수행하는 시스템이다. 안전 중요 분야의 자율형 CPS는 학습 시 고려하지 못한 상황에서 자율제어 소프트웨어의 결함으로 인해 오작동 시, 사람의 안전에 해를 가할 수 있으므로 시스템의 신뢰성을 보장하는 것이 중요하다. 현재 일반적으로 자율 제어 소프트웨어의 부족한 신뢰성을 보완하기 위한 절차는 개발자들이 직접 사고 데이터에 레이블링 작업을 수행하므로 많은 시간과 노력을 요구하며, 한정된 상황의 데이터를 기반으로 단방향 학습을 수행하므로 학습된 자율 제어 모델이 사고 상황 데이터를 통해 판단한 행동의 인과관계를 고려하기 어렵다. 또한, 성능 검증 과정 중 개발자의 주관적 분석 및 결과 판단으로 인하여 평가 결과를 신뢰할 수 없다는 단점이 존재한다. 본 논문은 이러한 문제점들을 해결하기 위해 연합 강화학습을 기반으로 자율형 CPS의 자율 제어 소프트웨어 자가 진화를 지원하는 개발 및 검증 프레임워크를 제안한다. 본 프레임워크는 강화학습과 시뮬레이션을 통해 자율 제어 모델에 대해 개발자의 레이블링 작업 없이 양방향으로 학습하며, 강화학습의 학습 효율성을 향상시키기 위해 연합학습 방법론이 적용되었다. 학습 완료된 자율 제어 모델의 신뢰성을 보장하기 위해 의도 된 기능 안전 관점에서의 정량적 성능 평가 지표를 기반으로 검증을 수행한다. 본 프레임워크를 활용한 성능 진화 실험과 성능 검증 실험을 수행하였고, 기존 심층 강화학습 방법론에 비해 성능이 3.34배 빠르게 수렴하며, 자율형 CPS에 대한 신뢰성을 추가로 향상할 수 있음을 증명하였다.
An autonomous cyber-physical systems is a system that goes beyond the level of automation and autonomously recognizes the situation, makes the decision, and controls the physical system without human intervention based on artificial intelligence. It is important to ensure the reliability of the syst...
An autonomous cyber-physical systems is a system that goes beyond the level of automation and autonomously recognizes the situation, makes the decision, and controls the physical system without human intervention based on artificial intelligence. It is important to ensure the reliability of the system because autonomous cyber-physical systems in critical areas of safety can harm human safety in the event of malfunctions due to defects of autonomous control software in situations that have not been considered in training. Currently, procedures to compensate for the lack of reliability of the autonomouns control software generally require a lot of time and effort because engineers perform labeling about accident data. Also, in the procedures, the one-way learning of the autonomous control model is performed based on data from limited situations so that making it difficult to consider the causality of behavior determined by the learned autonomous control model ghrough limited accident situation data. Besides, there is a disadvantage that the results of the assessment are unreliable due to subjective analysis and determination by the engineers when they conduct the performance verification. To solve these problems, we propose a development and verification framework that supports self-evolution about autonomous control software of autonomous cyber-physical systems based on federated reinforcement learning. Through deep reinforcement learning and simulation environment, this framework carries out two-way learning on the autonomous control model without the labeling work of engineers, and the federated learning methodology is applied to improve learning efficiency of the deep reinforcement learning. Performance verification is carried out based on objectified quantitative performance verification metrics to ensure the reliability of the system in terms of the safety of the intended functionality when the model completes the training. Experiments of the performance evolution and verification using this framework have been conducted, and performance has been proved to converge 3.34 times faster than the existing deep reinforcement learning methodology and to further improve the reliability of autonomous control software.
An autonomous cyber-physical systems is a system that goes beyond the level of automation and autonomously recognizes the situation, makes the decision, and controls the physical system without human intervention based on artificial intelligence. It is important to ensure the reliability of the system because autonomous cyber-physical systems in critical areas of safety can harm human safety in the event of malfunctions due to defects of autonomous control software in situations that have not been considered in training. Currently, procedures to compensate for the lack of reliability of the autonomouns control software generally require a lot of time and effort because engineers perform labeling about accident data. Also, in the procedures, the one-way learning of the autonomous control model is performed based on data from limited situations so that making it difficult to consider the causality of behavior determined by the learned autonomous control model ghrough limited accident situation data. Besides, there is a disadvantage that the results of the assessment are unreliable due to subjective analysis and determination by the engineers when they conduct the performance verification. To solve these problems, we propose a development and verification framework that supports self-evolution about autonomous control software of autonomous cyber-physical systems based on federated reinforcement learning. Through deep reinforcement learning and simulation environment, this framework carries out two-way learning on the autonomous control model without the labeling work of engineers, and the federated learning methodology is applied to improve learning efficiency of the deep reinforcement learning. Performance verification is carried out based on objectified quantitative performance verification metrics to ensure the reliability of the system in terms of the safety of the intended functionality when the model completes the training. Experiments of the performance evolution and verification using this framework have been conducted, and performance has been proved to converge 3.34 times faster than the existing deep reinforcement learning methodology and to further improve the reliability of autonomous control software.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.