SimWAM来了!用于端到端自动驾驶的世界动作模型!

🔗 点击加入➡️【AIGC/LLM/MLLM/3D/自动驾驶】 技术交流群

论文信息：SimWAM: A Simple World Action Model for End-to-End Autonomous Driving | arXiv:2608.07468

引言

端到端自动驾驶通过统一网络将原始传感器观测直接映射到规划轨迹，减少了传统模块化流水线中的误差传播。然而，现有规划器本质上是模仿策略，仅隐式捕获交通语义和场景动态。世界动作模型（WAMs）通过将视频动态先验迁移至动作预测来增强时空理解，但现有方法在测试时需昂贵的未来想象过程，显著增加推理延迟。

简介

我们提出SimWAM，一种简单而有效的世界动作模型，它将未来视频预测作为训练时的监督信号，而非推理时的必要条件。该模型通过联合流匹配共同训练一个预训练的视频专家和一个轻量级的动作专家。一个隔离的注意力掩码使动作预测独立于未来帧，从而在推理时无需显式生成未来帧即可进行轨迹预测。由于两个专家不共享参数，仅通过统一的注意力接口交互，视频主干网络可以被替换，动作专家也可以独立扩展，而无需修改学习目标或推理流程。我们进一步应用强化学习来优化超越轨迹模仿的组合驾驶奖励。如图1所示，SimWAM在NAVSIM上达到了91.5的PDMS，以显著更低的延迟超越了最先进的基于WAM的规划器，并零样本迁移至nuScenes。

图1：SimWAM在NAVSIM上以显著低于基于世界模型的规划器的延迟实现了最佳PDMS。

方法

我们提出SimWAM，作为端到端自动驾驶的一个简洁而坚实的世界动作模型，如图2所示。一个预训练的视频专家通过联合流匹配将交通动态知识迁移到轻量级动作专家。一个隔离的注意力掩码使动作预测独立于未来帧，从而允许在推理时无需未来帧展开即可进行轨迹预测。动作分支直接预测轨迹，并通过强化学习进一步优化。

图2：SimWAM概览。训练时，视频与动作DiT通过共享注意力联合优化未来帧生成与轨迹预测，隔离掩码防止动作token访问未来帧token；推理与强化学习时，模型直接预测轨迹，无需显式生成未来帧。

模型架构

问题定义。 我们考虑从前视摄像头观测ot、包含速度、加速度和横摆角速度的自车状态st以及导航指令l进行端到端轨迹规划。规划器在自车坐标系下预测自车轨迹at+1:t+H = (at+1, . . . , at+H)，其中每个路径点ai = (xi, yi, θi)指定了规划的位置和航向。现有的驾驶WAM通常采用“先想象后行动”的分解，表示为：

| pθ(at+1:t+H | ot, st, l) = ∫ pθ(zt+1:t+N | ot, st, l) pθ(at+1:t+H | ot, st, l, zt+1:t+N) dzt+1:t+N |

它首先合成未来驾驶场景的潜在表示zt+1:t+N，然后以它们为条件进行轨迹生成。这种分解将昂贵的视频生成置于实时规划循环中。SimWAM则保留了一个简单直接的策略接口，表示为：

| pθ(at+1:t+H | ot, st, l) = pθ(at+1:t+H | z(ot), st, l) |

其中z(ot)是从当前观测产生的表示。交通动态先验在训练期间通过未来视频监督来学习。因此，推理避免了未来场景生成和辅助运动模块，同时保留了直接的轨迹预测。

视频专家。 视频专家是一个视频扩散Transformer，从Wan2.2-5B初始化，连同其视频VAE和T5文本编码器。VAE将每个驾驶帧映射为潜在token，而导航指令通过T5交叉注意力输入。当前帧作为干净条件，N个未来帧被加噪并通过流匹配重建。这个标准的视频生成目标为动作专家提供了交通感知的运动先验，而无需引入驾驶特定的预测模块。

动作专家。 动作专家是一个隐藏大小为da=1024的轻量级扩散Transformer。以c = {z(ot), st, l}为条件，它通过流匹配预测轨迹速度场vθa(aτ_{t+1:t+H}, τ, c)，其中一个小型MLP嵌入自车状态。对ODE积分将噪声映射为规划轨迹。在推理时，我们省略显式的未来帧预测，直接生成轨迹。

协同训练。 两个专家仅通过共享注意力交互，并保留其原始架构。视频和轨迹模态上的联合流匹配允许未来场景预测塑造用于规划的观测表示。联合目标定义为：

L = L_act_FM + λ L_vid_FM

其中L_act_FM和L_vid_FM分别在动作轨迹at+1:t+H和未来帧潜在表示zt+1:t+N上实例化流匹配损失，λ平衡两项。

强化学习。 前一阶段通过模仿学习训练动作专家。然而，模仿学习完全依赖专家轨迹，将策略限制在演示的行为和质量上。因此，我们引入强化学习（RL）直接针对驾驶质量优化轨迹生成。确定性流ODE缺乏探索不同机动所需的随机性，并且不提供用于策略优化的可处理转移似然。遵循Flow-GRPO，我们用边际保持SDE替换ODE，并为每个场景采样一组G个候选轨迹。每个候选轨迹使用组合的NAVSIM PDM奖励进行评估，从中导出组相对优势用于裁剪策略更新。在此RL阶段，我们专注于模仿学习后PDMS最低的困难navtrain场景。为保留蒸馏出的运动先验并保持规划器简单，我们仅更新动作专家的LoRA适配器。

隔离注意力掩码

SimWAM旨在训练期间利用未来视频生成，同时避免推理时显式未来帧生成的计算开销。为此，我们引入了一个隔离注意力掩码，将动作预测与显式的未来驾驶场景生成解耦。如图2所示，共享注意力流包含当前观测潜在表示z(ot)、未来帧潜在表示zt+1:t+N和动作token。未来帧token和动作token都关注z(ot)，而彼此不可见。动作专家从共享观测表示中学习，而不依赖未来帧token。该掩码是将动作token与未来帧信息隔离所需的唯一结构修改。

得益于这种分离，未来视频预测目标作为训练时的监督信号，用交通动态丰富了观测表示。在推理时，动作专家直接从当前输入预测轨迹。因此，未来帧解码器在训练后可以被丢弃，避免了显式的未来场景生成，并大幅降低了推理延迟。同样的特性也允许强化学习在不依赖未来帧生成的情况下优化轨迹预测。

SimWAM的结构简洁性自然带来了架构和模型规模上的灵活性。两个专家不共享权重，仅通过注意力流交换信息。因此，任一专家都不依赖于另一个的内部参数化，允许它们在统一的注意力接口内独立调整架构和能力。

视频生成器灵活性。 得益于这种简单接口，SimWAM可以无缝适配不同的预训练视频生成器。动作专家在当前观测的共享表示上运行，而不依赖未来帧token或解码后的未来预测。在协同训练期间，未来视频目标提供了丰富该表示的动态监督，而推理则直接预测轨迹，无需显式生成未来帧。因此，用更新或更贴近驾驶领域的模型替换视频主干网络，无需重新设计动作专家或轨迹目标。从这个意义上说，SimWAM可以随时受益于视频生成的进展，同时保持相同的世界动作接口。

规模灵活性。 同样的简洁性也使模型容量易于扩展。视频专家和动作专家提供了两个互补的容量控制。更强的视频专家可以提供更丰富的动态感知表示，而SimWAM避免了显式预测未来帧的额外推理成本。相反，我们可以调整动作DiT的宽度和深度以满足目标延迟，而无需改变视频专家或训练目标。因此，SimWAM平衡了视频专家的表示能力和动作专家的规划能力，通过统一设计自然支持不同的性能和计算预算。

实验与结果

实验设置

我们在NAVSIM上评估SimWAM，这是一个基于nuPlan的OpenScene子集构建的非反应式规划基准。NAVSIM移除了平凡的静止和匀速场景，同时保留了具有挑战性的交叉口、合流和转弯场景。我们在包含103,288个场景的navtrain上训练，并在包含12,146个场景的留出navtest分割上进行评估。虽然每个场景提供多视角摄像头和LiDAR，但SimWAM仅使用前视摄像头作为视觉输入。主要指标是预测性驾驶员模型得分（PDMS），它根据以下公式组合五个闭环子指标：

PDMS = ( ∏{m∈{NC,DAC}} r_m ) × ( Σ w_m · r_m ) / ( Σ_{m∈{EP,TTC,C}} w_m )

其中NC和DAC分别表示无碰撞和可行驶区域合规性，作为二元惩罚因子。EP、TTC和C分别表示自车进展、碰撞时间和舒适性，构成加权质量项。

实现细节。 视频专家从Wan2.2-5B初始化，连同其VAE和T5编码器。动作专家是一个隐藏大小为1024的轻量级DiT。除非另有说明，所有实验使用分辨率为384×672的单个前视摄像头。动作专家以2Hz预测4秒内的8个路径点，而视频专家预测相应的8个未来帧。在联合训练阶段，我们采用AdamW和余弦学习率调度，初始学习率为10⁻⁴。我们训练模型100个epoch，并设置λ=1。在强化学习（RL）期间，我们仅优化动作专家注意力投影上的秩为32的LoRA适配器，缩放因子α=16。每个场景采样G=8条轨迹，学习率为5×10⁻⁵。RL专注于模仿策略获得PDMS低于90的困难navtrain场景，而评估始终覆盖完整的navtest分割。

主要结果

如表1所示，我们将SimWAM与NAVSIM navtest上最近的最先进规划器进行比较。即使仅使用单个前视摄像头，我们的方法也达到了91.5的PDMS，在端到端规划中确立了新的最先进水平。我们的SimWAM显著超过了最强的基于VLM的规划器SGDrive 0.4个百分点。ExploreVLA明确结合了未来图像预测来增强VLA规划，但仍落后我们的方法1.1个百分点。与最近的“先想象后行动”WAM规划器相比，SimWAM在训练期间有效地内化了视频动态先验，并在推理时直接生成轨迹，无需昂贵的未来预测。在相同的单摄像头设置下，SimWAM分别比DriveLaW和DriveWAM高出2.4和1.4个百分点。在基于世界模型的规划器中，我们的方法在保持有竞争力的NC和TTC的同时，实现了最佳的DAC和EP。结合图1中的延迟结果，这些结果表明训练时的世界建模可以支持卓越的规划性能和高效的推理。

表1：NAVSIM navtest上的主要结果比较。

组件分析。 我们分析了不同训练阶段的贡献，如表2所示。仅动作DiT建立了86.6 PDMS的坚实基线。与视频专家的联合训练一致地改善了所有指标，并将PDMS大幅提升至90.3。这些广泛的改进表明，未来视频监督有效地将交通动态先验迁移到共享观测表示中，使动作专家无需辅助模块或推理时未来生成即可更好地理解场景演化。RL通过直接优化超越轨迹模仿的驾驶质量，进一步将PDMS提升至91.5。尽管个别指标存在轻微权衡，但改进证实了RL更好地平衡了安全性、合规性和进展。因此，视频协同训练和RL贡献了互补的增益，将PDMS提高了4.9个百分点，同时保持了直接高效的轨迹推理，且无需显式未来帧生成。

表2：训练阶段贡献分析。

注意力掩码。 注意力模式决定了信息在两个专家之间如何流动，我们在表3中比较了三种替代方案。双向注意力和动作→视频注意力都将动作预测与未来视频token绑定，迫使模型在推理时实例化未来帧表示。相比之下，我们的隔离掩码干净地将动作专家与未来预测解耦，同时通过当前观测保留了联合学习的益处。尽管依赖结构更简单，隔离掩码实现了最佳的90.3 PDMS，以及最强的NC和TTC。这些结果表明，在我们的设置中，将动作分支暴露给未来视频token没有提供可衡量的益处，而隔离设计则无需显式未来帧预测即可实现高效推理。

表3：注意力掩码设计比较。

视频主干网络灵活性。 SimWAM通过统一的注意力接口适配多种预训练视频生成器，总结于表4。Wan2.1-1.3B和Wan2.2-5B取得了相当的结果，PDMS值分别达到90.2和90.3，证实了我们的方法并不依赖于特定的视频主干网络。值得注意的是，更新的Cosmos-Predict2.5已在驾驶视频上进行了预训练，因此提供了更强的驾驶相关动力学先验，以90.4的最佳PDMS以及最强的EP和TTC取得了最优表现。相比之下，轻量级的LTX-Video仅达到88.7的PDMS，表明视频先验的质量仍然至关重要。这些结果凸显了SimWAM能够无缝吸收来自先进视频生成模型的更强、更领域相关的先验，同时保持动作专家和推理流程不变。

表4：视频主干网络灵活性分析。

动作专家可扩展性。 参数独立的双专家设计进一步允许动作专家独立扩展，如表5所示。将动作DiT从0.21B增加到1.02B，PDMS从89.9稳步提升至90.3。由于专家通过统一的注意力接口进行交互，它们的能力可以分别调整。更强的视频专家可以丰富动力学感知表示，而动作专家则可以根据规划质量与效率之间的期望平衡来调整规模。这种解耦为SimWAM提供了两个互补的扩展维度。我们在其余实验中采用1.02B的动作专家。

表5：动作专家规模扩展分析。

零样本泛化

跨数据集泛化。 我们将NAVSIM上训练的SimWAM直接部署到nuScenes开环基准上进行零样本评估，无需微调。如表6所示，SimWAM在未使用nuScenes监督信号或辅助标注的情况下，取得了最低的平均碰撞率0.04%。其平均L2误差为0.96 m，与最强的零样本基线方法相当。L2指标侧重于衡量与数据集特定专家轨迹的一致性，而碰撞率则更直接地度量与交通参与者的安全交互。在领域迁移下展现出的强大安全性能表明，学习到的动力学先验能够泛化至训练基准之外。

表6：nuScenes开环规划基准上的零样本泛化结果。∗表示仅使用前视相机作为输入。

消融研究

我们对RL及其他关键选择进行消融实验。除非另有说明，配置消融使用模仿学习训练的世界-动作模型，所有延迟均在单个NVIDIA A100 GPU上测量。

探索采样器。 RL需要多样化的轨迹候选，而原始的流ODE是确定性的。因此，我们在表7中比较了两种随机采样策略。原生随机扰动鼓励探索并改善了EP，但由于机动缺乏结构性，NC和TTC明显下降。相比之下，保持边缘分布的SDE能够探索多样且合理的轨迹，同时为策略优化提供易处理的转移似然。因此，它实现了更好的整体平衡，达到91.5的PDMS。因此，我们在整个RL过程中采用SDE。

表7：探索采样器分析。

RL训练动态。 我们随后比较了在完整navtrain集和模仿PDMS低于90的困难子集上的RL训练，如图3所示。在困难子集上训练始终优于在全场景上训练，并在15k步时稳步将PDMS提升至91.5的峰值。这些困难场景在采样轨迹之间展现出更清晰的差异，从而为策略优化提供更具信息量的奖励信号。相比之下，完整集中的许多场景已被模仿学习很好地处理，贡献的学习信号有限，稀释了RL的收益。两条曲线在15k步之后均略有下降，表明延长优化的收益递减。

图3：强化学习训练动态。星号表示模仿学习检查点；在困难子集上训练始终优于在所有场景上训练。

预测时域与帧密度。 我们进一步在表8中考察了未来视频监督的时间配置。将预测时域从4 s缩短至2 s会显著降低PDMS，而在保持4 s时域的同时将帧数减半则可恢复大部分性能。这一比较表明，对于学习交通动力学，广泛的时间覆盖比密集的帧采样更为重要。完整的4 s、2 Hz目标取得了最强性能。

表8：未来视频目标分析。

输入分辨率。 我们接下来在表9中研究视觉细节与推理效率之间的权衡。将分辨率从192×352提升至384×672，PDMS显著提升1.4个百分点，而延迟仅增加9 ms。进一步将分辨率提升至768×1344仅带来0.3个百分点的增益，却增加了大量计算。这些结果确定384×672是规划精度与推理效率之间最有利的平衡点。

表9：输入分辨率的影响。

采样步数。 最后，我们在表10中考察动作流采样器的收敛性。单步采样不足以生成精炼的轨迹，而五步即可恢复大部分性能。将预算增加到十步可获得最高的90.3 PDMS。使用二十步不再带来进一步改进，同时延迟几乎翻倍，表明采样器已经收敛。

表10：采样步数的影响。

定性结果

如图4所示，我们在两个场景中比较了模仿学习训练和强化学习训练的模型。模仿学习训练的模型生成保守的轨迹，在交叉路口和狭窄街道上仅前进很短的距离。经过强化学习后，模型更果断地沿预定路线行驶，完成更大比例的机动操作。同时，轨迹保持在可行驶区域内，并与周围车辆保持安全距离。

图4：Ours-IL与Ours-RL在两个场景中的定性比较。红色椭圆突出显示Ours-RL在可行驶区域内前进更远的区域。

结论

在本文中，我们提出了SimWAM，一种用于端到端自动驾驶的简单而有效且灵活的世界-动作模型。通过联合流匹配，它将交通动力学先验从预训练的视频专家迁移至轻量级的动作专家。隔离的注意力掩码将动作预测与未来帧解耦，使得无需显式预测未来帧即可进行直接轨迹规划。在NAVSIM基准上，SimWAM达到了91.5的PDMS，以显著更低的延迟超越了最先进的基于WAM的规划器，并零样本迁移至nuScenes。我们希望SimWAM能够成为自动驾驶中高效世界动作建模的一个强大而实用的基线。