대도시권의 교통체증은 많은 사회적, 경제적 문제를 초래한다. 길어진 주행시간으로 인한 운전자의 피로도 증가와 더불어 차량의 배기가스 증가와 불필요한 연료 소모는 환경적으로도 악영향을 미친다. 교통신호 제어는 차량의 지체, 정지 횟수 등을 최소화할 수 있는 신호제어변수를 결정하여 교통정체를 감소시키는 것을 목적으로 한다. 기존의 신호제어시스템은 일정 시간 동안 관측한 교통량, 차량의 평균 속도 등을 신호 제어 이론에 기반하여 ...
대도시권의 교통체증은 많은 사회적, 경제적 문제를 초래한다. 길어진 주행시간으로 인한 운전자의 피로도 증가와 더불어 차량의 배기가스 증가와 불필요한 연료 소모는 환경적으로도 악영향을 미친다. 교통신호 제어는 차량의 지체, 정지 횟수 등을 최소화할 수 있는 신호제어변수를 결정하여 교통정체를 감소시키는 것을 목적으로 한다. 기존의 신호제어시스템은 일정 시간 동안 관측한 교통량, 차량의 평균 속도 등을 신호 제어 이론에 기반하여 교통혼잡을 최소화할 수 있는 신호패턴을 연산하는 방식이다. 최근에는, 딥러닝 기술을 활용한 연구들이 제안되고 있다. 현실의 교통흐름을 미시적으로 반영하여 최적화를 수행하는 고차원적인 수식 모델을 설계하는 것은 매우 높은 복잡도가 요구된다. 이로 인해 몇 가지 가정과 집계된 데이터를 이용하는 단순화된 교통모델이 신호제어에 적용되었고, 대도시권의 도로망에서는 유의한 성능을 발휘하기 어려운 한계를 여러 연구에서 언급하였다. 인공지능이 데이터를 학습하여 신호제어를 수행하는 딥러닝 기술은 앞서 언급한 기존의 교통모델과 같은 경험적 모델의 한계를 극복하는 사례가 다수 발표되었다. 특히, 교통흐름을 최적화하는 문제는 정답이 주어지지 않기 때문에 지도학습으로 해결할 수 없고 주어진 환경에서 탐험을 통해 최적해를 찾는 강화학습알고리즘이 적합하다. 강화학습을 이용한 다양한 방식의 신호제어 연구가 수행되었으나 대부분의 연구에서 지체를 최소화하는 것을 목표로 하는 등, 수학적인 최적화에 초점을 두고 현실에 적용하기 어려운 신호 패턴을 도출하였다. 이에 본 연구는 제약조건을 고려한 강화학습 기반의 신호 최적화 모델을 제안한다. 제안하는 모델은 Deep Q-network 알고리즘을 기반으로, 운전자들의 주행특성을 고려할 수 있도록 일정한 현시 순서를 유지하고 최소녹색시간을 부여한다. 이를 통해 한 주기에 모든 현시가 한 번은 켜질 수 있도록 모델에 제약조건을 적용하고 학습을 진행한다. 학습이 완료된 모델은 TOD(Time of day)기반의 고정형 방식, 반감응 신호제어 방식, 제약조건이 고려되지 않은 강화학습 기반 모델과 대기시간, 정지 횟수 등의 MOE(Measure of effectiveness)를 다양한 도로 형태와 교통량을 대상으로 비교, 분석한다.
대도시권의 교통체증은 많은 사회적, 경제적 문제를 초래한다. 길어진 주행시간으로 인한 운전자의 피로도 증가와 더불어 차량의 배기가스 증가와 불필요한 연료 소모는 환경적으로도 악영향을 미친다. 교통신호 제어는 차량의 지체, 정지 횟수 등을 최소화할 수 있는 신호제어변수를 결정하여 교통정체를 감소시키는 것을 목적으로 한다. 기존의 신호제어시스템은 일정 시간 동안 관측한 교통량, 차량의 평균 속도 등을 신호 제어 이론에 기반하여 교통혼잡을 최소화할 수 있는 신호패턴을 연산하는 방식이다. 최근에는, 딥러닝 기술을 활용한 연구들이 제안되고 있다. 현실의 교통흐름을 미시적으로 반영하여 최적화를 수행하는 고차원적인 수식 모델을 설계하는 것은 매우 높은 복잡도가 요구된다. 이로 인해 몇 가지 가정과 집계된 데이터를 이용하는 단순화된 교통모델이 신호제어에 적용되었고, 대도시권의 도로망에서는 유의한 성능을 발휘하기 어려운 한계를 여러 연구에서 언급하였다. 인공지능이 데이터를 학습하여 신호제어를 수행하는 딥러닝 기술은 앞서 언급한 기존의 교통모델과 같은 경험적 모델의 한계를 극복하는 사례가 다수 발표되었다. 특히, 교통흐름을 최적화하는 문제는 정답이 주어지지 않기 때문에 지도학습으로 해결할 수 없고 주어진 환경에서 탐험을 통해 최적해를 찾는 강화학습 알고리즘이 적합하다. 강화학습을 이용한 다양한 방식의 신호제어 연구가 수행되었으나 대부분의 연구에서 지체를 최소화하는 것을 목표로 하는 등, 수학적인 최적화에 초점을 두고 현실에 적용하기 어려운 신호 패턴을 도출하였다. 이에 본 연구는 제약조건을 고려한 강화학습 기반의 신호 최적화 모델을 제안한다. 제안하는 모델은 Deep Q-network 알고리즘을 기반으로, 운전자들의 주행특성을 고려할 수 있도록 일정한 현시 순서를 유지하고 최소녹색시간을 부여한다. 이를 통해 한 주기에 모든 현시가 한 번은 켜질 수 있도록 모델에 제약조건을 적용하고 학습을 진행한다. 학습이 완료된 모델은 TOD(Time of day)기반의 고정형 방식, 반감응 신호제어 방식, 제약조건이 고려되지 않은 강화학습 기반 모델과 대기시간, 정지 횟수 등의 MOE(Measure of effectiveness)를 다양한 도로 형태와 교통량을 대상으로 비교, 분석한다.
Traffic congestion in metropolitan areas causes many social and economic problems. In addition to the increase in driver fatigue due to the long driving time, the increase in vehicle exhaust gas and unnecessary fuel consumption also adversely affects the environment. The purpose of traffic signal co...
Traffic congestion in metropolitan areas causes many social and economic problems. In addition to the increase in driver fatigue due to the long driving time, the increase in vehicle exhaust gas and unnecessary fuel consumption also adversely affects the environment. The purpose of traffic signal control is to reduce traffic congestion by determining signal control variables that can minimize vehicle delays and the number of stops. The existing signal control system is based on the signal control theory using the traffic volume and average speed of vehicles observed for a certain period of time. Recently, studies on traffic signal control using reinforcement learning have been proposed. Optimization by applying real traffic flows microscopically requires high complexity to design high-dimensional mathematical models. For this reason, simplified traffic models using several assumptions and aggregated data have been applied to signal control studies. Several studies have mentioned the limitations of this method in that it is difficult to solve traffic congestion when targeting a wide area road network. This study proposes the reinforcement learning-based signal optimization model considering some constraints; the proposed model have constraints that the sequence of the phases is maintained and actions such as returning to the previous phase or skipping the next phase are impossible. In addition, the model included a minimum green time, therefore, every phase must be active once per signal cycle. The microscopic simulation environment was implemented by using Simulation of Urban MObility (SUMO). The model received the realtime traffic flow of the intersection as a state. Based on this, the action determined by the model was implemented at the intersection by SUMO’s signal controller. Traffic flow changed due to signal control was delivered to the model as a reward. By repeating this process, the model learned an optimized signal pattern that minimized traffic congestion, such as the vehicles’ delay and the number of stops. The reinforcement learning model was designed based on Deep Q-network (DQN). The performance of the proposed model was compared with a fixed-time signal control model, a semi-actuated signal control model, and a reinforcement learning-based model without constraints. The delay and number of stops were used for evaluation, and simulations were performed in scenarios with different road network structures.
Traffic congestion in metropolitan areas causes many social and economic problems. In addition to the increase in driver fatigue due to the long driving time, the increase in vehicle exhaust gas and unnecessary fuel consumption also adversely affects the environment. The purpose of traffic signal control is to reduce traffic congestion by determining signal control variables that can minimize vehicle delays and the number of stops. The existing signal control system is based on the signal control theory using the traffic volume and average speed of vehicles observed for a certain period of time. Recently, studies on traffic signal control using reinforcement learning have been proposed. Optimization by applying real traffic flows microscopically requires high complexity to design high-dimensional mathematical models. For this reason, simplified traffic models using several assumptions and aggregated data have been applied to signal control studies. Several studies have mentioned the limitations of this method in that it is difficult to solve traffic congestion when targeting a wide area road network. This study proposes the reinforcement learning-based signal optimization model considering some constraints; the proposed model have constraints that the sequence of the phases is maintained and actions such as returning to the previous phase or skipping the next phase are impossible. In addition, the model included a minimum green time, therefore, every phase must be active once per signal cycle. The microscopic simulation environment was implemented by using Simulation of Urban MObility (SUMO). The model received the realtime traffic flow of the intersection as a state. Based on this, the action determined by the model was implemented at the intersection by SUMO’s signal controller. Traffic flow changed due to signal control was delivered to the model as a reward. By repeating this process, the model learned an optimized signal pattern that minimized traffic congestion, such as the vehicles’ delay and the number of stops. The reinforcement learning model was designed based on Deep Q-network (DQN). The performance of the proposed model was compared with a fixed-time signal control model, a semi-actuated signal control model, and a reinforcement learning-based model without constraints. The delay and number of stops were used for evaluation, and simulations were performed in scenarios with different road network structures.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.