随着城市人口的增多与经济的快速发展，我国汽车保有量不断增长，城市交通拥堵问题日益严峻。而城市交通干线是城市交通的动脉，实现干线各交叉口间交通信号的动态协调，有效地疏导干线车辆，对于缓解城市交通拥堵具有重要意义。

       目前，城市主干道多交叉口的协调控制，主要采用Maxband和Multiband法以及图解法、数解法等绿波方法。LITTLE J D C等人最早提出最大绿波带宽Maxband模型；GARTNER N H等人在Maxband模型的基础上，提出复合绿波带宽Multiband模型；陈昕等人对图解法进行了优化，基于绿波带的中心线交点，设计了一种新的双向绿波图解法；卢凯等人[在绿灯中心点型双向绿波协调设计数解法的基础上，建立了一种绿灯终点型的双向绿波数解法，从而减少了干线车队的延误时间；曲大义等人在绿波协调中考虑了公交车辆的影响，并通过增加绿信比与对公交车辆适当的提速，进一步提升了交叉口的通行效率。

       现有的绿波方法难以准确地描述复杂的城市干线交通流状态，且采用静态的控制模式，无法有效地协调时变的干线交通流。随着人工智能的不断发展，采用深度强化学习实现城市交通信号优化控制已成为研究的热点。HA-LI P等人为提高交叉口通行能力，提出了一种基于深度强化学习算法的单交叉口信号优化控制方法；GAO J等人提出一种深度强化学习算法，从实时的交通流数据中自动提取有用特征，实现单交叉口交通流的自适应控制，并采用经验回放和目标网络技术，提高了算法的稳定性；LI C C等人为提高城市路网通行能力，提出了一种用于区域交叉口交通信号控制的深度强化学习算法，通过多智能体学习最佳的交通信号控制策略；VAN DER POL E采用Max-plus算法和基于深度强化学习的多智能体方法，实现城市交通区域协调控制。

       在深度强化学习领域，目前对于城市交通信号控制的研究，多以单交叉口为研究对象，而对于多交叉口的协调处理，普遍采用多智能体的协调控制。本文结合了双重深度Q网络(Double Deep Q Network，Double DQN)与基于竞争架构深度Q网络(Dueling Deep Q Network，Dueling DQN)，设计了基于DDDQN(Dueling Double Deep Q Network，DDDQN)的干线动态协调控制算法。通过将干线多交叉口的交通信号作为一个整体进行处理，相比于采用多智能体协调控制，减轻了智能体间通信协调的负担，且智能体通过获取多交叉口的实时状态，掌握干线全局信息，并使用Dueling DQN网络结构模型，能更充分地发挥网络提取干线交通流特征的能力，挖掘出多交叉口间协调控制的相关性。实验结果表明，本文方法相比于现有绿波方法、经典的深度Q网络(Deep Q Network，DQN)、以及Double DQN与Dueling DQN，能够更有效地降低城市主干道的车均延误和车辆的停车次数等重要的交通评价指标。

本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003143

作者信息：

郭瑝清1，陈  锋1，2

(1.中国科学技术大学 信息科学技术学院，安徽 合肥230027；

2.安徽中科龙安科技股份有限公司，安徽 合肥230088)