在未来很长一段时间里，城市道路很可能不会迅速进入“全自动驾驶”状态。人工驾驶车辆仍然占据相当比例，网联自动驾驶车辆逐步进入道路，而交叉口信号灯依然承担着分配通行权的重要任务。问题也随之出现：车辆在不断调整速度、加速度和车道，信号灯则根据交通状态改变绿灯持续时间，两类控制主体虽然服务于同一个交通系统，却往往按照各自的目标独立决策。
这种“车辆管车辆、信号管信号”的模式，在交通参与主体较为单一时尚可运行，但在网联自动驾驶车辆（CAVs，Connected and Automated Vehicles）、人工驾驶车辆（HDVs，Human-Driven Vehicles）和交通信号灯（TLs，Traffic Lights）长期共存的混合交通环境中，问题会明显复杂起来。车辆希望快速通过路口，信号系统需要兼顾不同进口方向的需求；某辆CAV为了提高自身效率实施换道或加速，也可能改变交叉口排队状态，使原本合理的绿灯方案失去效果。反过来，信号相位突然改变，也会直接影响车辆的纵向控制和换道决策。
近期被《IEEE Transactions on Vehicular Technology》接收的一项研究，将CAV与交通信号统一放进异质多智能体强化学习（HMARL，Heterogeneous Multi-Agent Reinforcement Learning）框架中，希望让车辆控制与信号控制不再分别优化，而是在同一个系统目标下共同决策。研究进一步引入异质图、潜在博弈和安全动作投影机制，并在德国科隆城市路网以及自建多交叉口道路环境中进行了验证。结果显示，相比集中式深度确定性策略梯度方法，HMARL的平均车速提高20.6%，通行量提高11.3%；与固定配时控制相比，平均车速和通行量的提升分别达到44.5%和33.6%。
一、车辆与信号为何需要协同：混合交通让“各自优化”越来越难
传统交通控制通常存在明显的层级边界。车辆控制关注的是单车或局部车群，例如保持安全车距、跟踪目标速度、执行换道；交通信号控制则关注交叉口或路网层面，例如调整绿灯时长、降低排队长度和车辆延误。两类系统控制尺度不同、状态变量不同，更新频率也不同，因此长期以来往往被分别研究。
混合交通环境打破了这种相对独立的关系。CAV不仅能够感知周围车辆状态，还能够借助车联网与其他车辆和基础设施交换信息；HDV没有这种通信能力，其位置、速度等状态只能在进入CAV传感器感知范围后被识别；交通信号则能够获取相位、剩余时长以及交叉口车辆运行状态。也就是说，同一个路口里同时存在“能够主动通信的车辆”“只能被感知的车辆”和“负责分配道路通行权的信号设施”，三类主体的信息获取方式和控制权限完全不同。
如果只优化CAV，就可能出现车辆轨迹看似合理、信号配时却并不匹配的情况。例如车辆准备加速通过路口，但当前绿灯即将结束，单车层面的最优动作并不一定带来系统层面的效率提升。如果只优化交通信号，同样存在问题：传统信号控制通常依据流量、平均速度和排队长度进行调整，却无法充分利用CAV能够提供的精细速度、加速度和换道意图等微观信息。因此，这项工作的核心并不是再训练一个更复杂的车辆控制器，也不是单独寻找更好的信号配时，而是让不同类型的交通主体在信息结构和控制权限均不相同的情况下形成稳定协同。
在控制变量上，CAV的动作被分为纵向与横向两部分：纵向连续调整加速度，横向选择左换道、保持车道或右换道；交通信号则动态调整当前绿灯阶段的持续时间。车辆状态以0.1 s的时间步快速更新，而信号控制的作用持续时间明显更长。不同动作形式和不同时间尺度并存，使得“车—灯一体化控制”天然属于异质多智能体问题。
图1 CAV、HDV与交通信号在混合交通环境中的交互关系
蓝色、白色和红色节点分别表示CAV、HDV与交通信号；局部感知连接与全局通信连接共同构成信息网络。
图1进一步说明了一个容易被忽略的问题：并不是所有交通参与者都天然处于“联网状态”。HDV本身不能主动通过V2X上传信息，如果周围没有CAV感知到它，在模型中就相当于一个不可观测节点。因此，混合交通协同首先要解决的不是“怎么学习”，而是哪些主体之间能够建立信息关系，以及这些不同来源的信息应当如何组织。
二、从局部感知到全局连接：不同交通主体如何形成统一信息网络
面对CAV、HDV和交通信号三类完全不同的对象，研究没有将它们简单拼接成一个固定长度的状态向量，而是采用异质图描述整个交通环境。每一辆CAV、每一辆被感知到的HDV以及每一个交通信号都对应图中的一个节点，节点之间的连边则表示感知或通信关系。
这里最关键的是“异质”二字。CAV与CAV之间可以通过车联网建立稳定通信，CAV与交通信号之间也可以通过车路通信交换信息；但CAV与HDV之间主要依靠摄像头、激光雷达等车载传感器形成局部连接。因此，不同节点之间的边具有不同物理含义，也不能简单按照普通图网络一视同仁。研究将这些连接分为两层：局部连接描述CAV对周围HDV的感知，全局连接描述CAV之间以及CAV与交通信号之间的通信。随着车辆移动，HDV不断进入或离开感知范围，局部图结构也随之更新，而V2X形成的全局连接相对稳定。
形成图结构之后，还需要把来自不同节点的信息转化为强化学习能够处理的特征。研究采用图注意力网络（GAT，Graph Attention Network），让系统根据当前交通状态动态判断不同邻居的重要程度。当某辆CAV接近信号交叉口时，附近车辆和前方交通信号的信息显然比远处车辆更加重要，注意力机制会在特征聚合过程中体现这种差异。
CAV和交通信号面对的时间尺度也不同，因此二者没有共用完全相同的编码方式。车辆控制需要对快速变化的局部环境做出即时响应，CAV编码器主要提取当前异质图中的空间交互信息；交通信号的动作影响持续时间更长，因此信号编码器还加入门控循环单元（GRU，Gated Recurrent Unit），将多个连续时刻的异质图状态联合起来，学习交叉口交通状态随时间的变化规律。
这种结构与“把所有车辆和信号塞进一个神经网络”有本质区别。CAV仍负责车辆层面的加减速和换道，交通信号仍负责交叉口绿灯持续时间，两类主体并没有失去自身功能，而是通过统一的信息表达建立联系。协同的关键不是让所有智能体执行同一种动作，而是让它们在保留不同职责的情况下理解彼此的状态和影响。
这种图结构还有一个面向真实路网的重要考虑：城市道路中的车辆数量始终变化，不同道路的交叉口数量和连接方式也不一致。研究通过节点掩码处理动态节点数量，并利用图结构保持拓扑表达的相对稳定，希望已经学习到的协同模式能够迁移到不同道路环境，而不是只对训练时的固定交叉口有效。
三、从“各自优化”到“共同目标”：潜在博弈如何让车辆与信号共同决策
能够交换信息，并不意味着一定能够合作。多智能体控制中一个典型问题是：每个智能体按照自己的奖励学习，很容易形成“局部合理、整体低效”的状态。一辆CAV可能为了尽快通过路口而持续提高速度，但信号系统为了消散另一方向的排队，恰好准备结束当前绿灯；某个交通信号也可能通过延长本进口绿灯改善局部交通，却将拥堵进一步传递到下一个交叉口。分别看都可能合理，放进整个路网后却未必是最优结果。
为了解决这种目标冲突，研究引入潜在博弈（PG，Potential Game），把CAV和交通信号放进同一个系统级目标中。潜在博弈强调一个关键关系：某个智能体改变自己的策略后，如果这种改变真正改善了系统整体状态，它得到的收益也应沿着相同方向变化。为此，研究构建统一潜在函数，将安全、运行效率、驾驶舒适性、信号运行以及车—灯协同纳入同一评价体系。
车辆不能只追求高速度，因为过小安全距离会受到惩罚；也不能依靠频繁急加速和换道获取局部收益，因为舒适性项会抑制激进操作；交通信号不仅考虑车辆等待，还需要结合车辆速度和交叉口通行状态；CAV与交通信号之间还设置专门的协同项，用于减少二者独立决策产生的冲突。这样一来，某辆车“多走一点”并不自动意味着奖励提高，只有当它的动作同时有利于系统整体运行时，策略才会得到强化。
对于交通控制而言，“学得好”还不够，车辆动作在真正执行之前必须保证安全。强化学习训练需要不断探索，如果直接允许网络输出的加速度和换道动作进入交通环境，探索过程中完全可能生成过激动作。因此，CAV的Actor网络后面增加了安全动作投影：纵向控制根据前后车辆距离、速度和加速度计算允许的加速度范围，横向控制则检查目标车道车辆间距和相对速度。超出安全边界的动作会被重新映射到可行范围，不满足条件的换道动作则直接改为保持当前车道。
这一设计改变了强化学习安全问题的处理方式：安全机制不再只是仿真结束后统计“发生了多少碰撞”，而是直接进入控制闭环，在动作执行之前限制探索边界。训练阶段则采用集中训练、分散执行（CTDE，Centralized Training with Decentralized Execution）模式。训练时，两类智能体可以利用更充分的全局信息学习协同策略；实际执行时，各智能体只依赖自身可获得的信息作出决策。考虑到车辆和信号更新时间尺度不同，研究还分别建立CAV与交通信号经验回放池，使两类主体按照各自节奏积累经验和更新策略。
四、协同控制效果如何：效率提升只是结果的一部分
研究首先在基于德国科隆实际路网数据构建的TapasCologne城市尺度环境中测试HMARL。随着CAV渗透率从0提高到10%、30%和50%，平均车速、通行量和平均碰撞次数均出现明显变化。
从0%提高至50%时，平均车速从21.49 km/h增加到30.12 km/h，单位时间内离开路网的车辆数量明显增加，而平均碰撞次数由7.31降至0.43。研究同时报告，在城市尺度实验中，HMARL优化后的平均网络速度较原始状态提高4.67%，平均交通密度降低9.42%。这些结果说明，CAV比例增加后，能够参与协同控制的信息和执行节点随之增加，系统级调节能力也得到增强。
图4 科隆城市路网早高峰条件下的平均速度与平均交通密度变化
为了进一步比较不同算法，研究又在包含三个连续信号交叉口的自建混合交通环境中进行测试。在1500 veh/h交通需求、80% CAV渗透率条件下，HMARL的平均车速达到35.77 km/h，通行量达到1820 veh/h，均高于固定配时控制（FTSC，Fixed-Time Signal Control）、独立Q学习（IQL，Independent Q-Learning）、集中式深度确定性策略梯度（CDDPG，Centralized Deep Deterministic Policy Gradient）和多智能体深度确定性策略梯度（MADDPG，Multi-Agent Deep Deterministic Policy Gradient）。
其中，MADDPG已经能够进行多智能体协调，平均车速达到30.14 km/h、通行量达到1702 veh/h，但HMARL仍进一步提高到35.77 km/h和1820 veh/h。与CDDPG相比，HMARL平均车速提高20.6%，通行量增加11.3%；与固定配时控制相比，则分别提高44.5%和33.6%。因此，性能提升不能简单归因于“用了多智能体强化学习”，异质图信息结构以及潜在博弈下的全局目标对齐同样发挥了作用。
安全结果同样值得关注。研究在800～2000 veh/h不同交通需求下比较碰撞情况。在相关实验条件下，HMARL平均碰撞次数约为0.6次，低于MADDPG的1.7次和IQL的5.0次。进一步观察碰撞时间（TTC，Time-to-Collision）分布，HMARL条件下有98%的TTC大于4 s，而MADDPG和IQL分别为87%和39%。这一差异主要来自前述安全动作投影，它能够在危险动作真正进入交通环境之前进行修正。
多智能体强化学习另一个常见问题是训练过程是否稳定。研究使用全局潜在函数和变异系数（CV，Coefficient of Variation）评价策略收敛。HMARL的潜在函数最终达到更高稳定水平，同时CV下降速度更快。消融实验进一步显示，一旦去掉潜在博弈结构，训练过程会出现明显振荡；去掉安全动作投影后，随着交通需求提高，碰撞数量也明显增加，在2000 veh/h条件下最高达到12.2次，而完整HMARL始终维持在4.5次以下。这说明两个模块分别承担了“稳定协同”和“约束危险动作”的不同功能。
现实车联网环境中还存在通信中断和观测噪声。为此，研究分别设置5%、10%、15%的通信中断率以及10%、20%、30%的通信噪声。随着通信质量恶化，各算法综合性能都会下降，但HMARL在全部组合条件下保持最高综合得分；即使达到15%通信中断率和30%噪声的较严重条件，其整体表现仍高于其他基线方法。
图6 不同通信中断率与噪声水平下各算法综合性能
这些结果共同说明，这项工作的价值并不只是平均速度提高了多少。它真正尝试解决的是混合交通中的三个连续问题：不同主体怎样共享信息、不同目标怎样形成一致方向，以及学习动作怎样在进入真实控制之前满足安全约束。异质图解决信息组织问题，潜在博弈解决局部目标与系统目标之间的冲突，安全投影则限制强化学习探索的物理边界，三者共同构成车—灯协同控制框架。
但这些结果仍然来自仿真环境。当前模型没有显式考虑行人和骑行者等弱势交通参与者；对HDV的感知也假设在有效感知范围内不存在遮挡。尽管研究加入了通信中断和噪声测试，但真实道路中的传感器遮挡、测量误差以及更复杂的人类驾驶行为仍未被完整纳入。此外，异质图与集中训练机制需要较高计算资源，作者也将计算效率和分布式实现列为后续需要进一步解决的问题。
因此，这项研究不能被简单理解为“部署HMARL就可以解决城市拥堵”。更准确的启示是：在CAV、HDV和交通信号长期共存的混合交通阶段，车辆控制与信号控制不宜继续完全独立。随着越来越多车辆具备通信与自动控制能力，交通信号掌握的宏观状态与车辆掌握的微观状态之间会出现更大的协同空间。未来交通控制的优化对象，可能不再只是某一辆车或某一个路口，而是车辆行为、交通信号和路网状态共同构成的闭环系统。
