端到端自动驾驶:十大前沿算法盘点

核心亮点：首个将感知、预测与规划完全融合的端到端网络，CVPR 2023 最佳论文。

传统的自动驾驶系统通常被拆分为多个独立的模块（如感知、预测、规划）。这种设计虽然便于工程化团队分工，但往往会导致“累积误差”——感知模块的微小偏差，传递到规划模块时可能会被无限放大。更重要的是，感知模块的优化目标（如提高检测框的 IoU）并不一定能直接提升最终的驾驶安全性。

为了解决这一痛点，OpenDriveLab 联合武汉大学与商汤科技提出了 UniAD（Unified Autonomous Driving）。UniAD 的核心哲学是“规划导向”：所有的感知和预测任务，都不再是孤立的目标，而是为了服务于最终的路径规划。

UniAD 摒弃了传统的激光雷达，仅依靠多视角相机输入，在 BEV特征空间下进行处理。它巧妙地设计了五个基于 Transformer 的模块并将其串联：

1. TrackFormer：负责生成和跟踪交通参与者（Agent）。

2. MapFormer：在线构建道路地图。

3. MotionFormer：基于前两者的信息，预测每个参与者的未来轨迹。

4. OccFormer：预测场景的占用网格（Occupancy），避免碰撞。

5. Planner：综合所有信息，输出自车的安全行驶轨迹。

通过这种联合优化的方式，UniAD 在 nuScenes 数据集上的所有子任务均达到了 SOTA水平，其规划的平均碰撞率大幅降低至 0.29%。UniAD 证明了，保留中间可解释性表征的端到端架构，是通向高级别自动驾驶的可行之路。

核心亮点：首创全向量化场景表示，大幅提升端到端规划的速度与安全性。

虽然端到端模型展现出了巨大的潜力，但早期的许多方法（如基于占据网格 Occupancy 的方法）严重依赖于密集的栅格化场景表示。这种密集矩阵计算不仅消耗海量算力，而且丢失了车道线、道路边界等关键的“实例级”结构信息，这对于安全规划来说是致命的。

华中科技大学 hustvl 团队提出的 VAD 给出了一种极为优雅的解法：全向量化场景表示。

VAD 将复杂的驾驶场景抽象为四种向量：边界向量、车道向量、运动向量和自车向量。通过摒弃计算密集的栅格化渲染和繁琐的后处理步骤，VAD 直接在向量空间中对自车与环境的交互进行建模。

这种设计的优势立竿见影：向量化的地图元素和代理运动轨迹可以作为显式的实例级约束，极大地提高了规划的安全性。在 nuScenes 测试中，VAD-Base 模型的平均碰撞率较前作下降了 29.0%，同时推理速度提升了 2.5 倍。其轻量级版本 VAD-Tiny 更是将速度提升了惊人的 9.3 倍，为端到端模型在车端芯片上的实时部署铺平了道路。

核心亮点：引入视觉语言模型，实现类人的 Chain-of-Thought 推理规划。

传统的自动驾驶系统在面对结构化道路时游刃有余，但一旦遇到长尾的复杂场景（例如：前方有警车停靠、路面有施工锥桶、甚至有动物横穿），往往会显得“不知所措”。这是因为传统的感知网络只能识别预定义类别的物体，缺乏对开放世界常识的理解。

清华大学 MARS Lab 联合理想汽车提出的 DriveVLM（发表于 CoRL 2025），创新性地将强大的大视觉语言模型引入了自动驾驶系统。

DriveVLM 模仿了人类驾驶员的认知过程，提出了一套独特的三阶段“链式思考”模块：

1. 场景描述：识别环境、天气、路况以及关键物体（如“前方有一辆闪灯的警车”）。

2. 场景分析：理解这些物体的意图及其对自车的潜在影响（如“警车停在右侧，可能阻挡车道”）。

3. 层次化规划：先做出高层决策（如“减速并向左微调”），再输出具体的轨迹航点。

考虑到 VLM 目前的推理延迟还无法满足自动驾驶极高的实时性要求，团队还贴心地设计了 DriveVLM-Dual 混合架构。该架构将 VLM 的低频深度思考与传统感知规划系统的高频实时控制相结合，既保证了对复杂场景的理解力，又兼顾了系统的实时安全性。

核心亮点：Waymo 出品，基于 Gemini 基础模型，将传感器数据直接映射为驾驶轨迹。

如果说 DriveVLM 是在传统架构上“外挂”了一个聪明的 VLM 大脑，那么 Waymo 最近推出的 EMMA 则是在架构底层实现了真正的多模态统一。

EMMA 构建在强大的 Gemini 多模态大模型之上，其最激进的设计在于：它将所有非传感器的输入（如导航指令、自车状态）和所有的输出（如规划轨迹、3D 目标位置）全部表示为自然语言文本。

这种“一切皆语言”的统一空间表示，让 EMMA 能够充分榨取预训练大模型中蕴含的丰富“世界知识”。在面对同一个模型时，只需输入不同的任务提示词（Prompt），EMMA 就能联合处理运动规划、3D 目标检测以及道路图构建等多种任务。

Waymo 的实测数据表明，这种多任务联合训练产生了奇妙的“化学反应”——规划、检测和建图三个任务的性能都得到了共同提升。EMMA 在 nuScenes 和 Waymo 开放数据集上均展现出了极强的竞争力，并能输出详细的“驾驶理由”，为黑盒的端到端模型提供了难能可贵的可解释性。

核心亮点：90 亿参数的生成式世界模型，理解物理规律并预测未来。

自动驾驶面临的最大挑战之一，是如何预测自车采取不同动作后，周围世界将如何演变。为了解决这个问题，总部位于伦敦的自动驾驶新锐 Wayve 提出了一个宏大的愿景：构建自动驾驶的世界模型。

GAIA-1 就是这一愿景的初步结晶。它拥有 90 亿参数，是一个专门为自动驾驶设计的生成式 AI 模型。

与传统的预测模型不同，GAIA-1 接收过去的视频序列、文本指令和自车动作作为输入，并将其全部映射为离散的 Token。随后，它像 ChatGPT 预测下一个单词一样，去预测未来的视频帧 Token。

在这个看似简单的“预测下一个画面”的过程中，GAIA-1 涌现出了令人惊叹的能力。它不仅学会了车辆和行人的运动学规律，理解了道路的 3D 几何结构，甚至掌握了红绿灯变化等场景动态逻辑。GAIA-1 能够生成高度逼真的未来驾驶视频，这不仅为自动驾驶系统提供了一个极其强大的“仿真模拟器”用于无风险训练，更标志着 AI 正在真正理解我们所处的物理世界。

核心亮点：首创“稀疏中心”端到端范式，彻底摒弃密集 BEV 特征图，大幅降低推理延迟。

随着端到端模型复杂度的增加，计算资源的消耗成为了车端部署的最大拦路虎。尽管 VAD 引入了向量化表示，但其底层依然依赖于密集的特征图提取。地平线机器人团队提出的 SparseDrive 则将这一思路推向了极致：不仅要向量化，更要完全稀疏化。

SparseDrive 的核心在于，它将所有的驾驶元素（动态的车辆行人、静态的车道线）全部表示为稀疏的实例（Sparse Instances）。在整个网络的前向传播过程中，不再构建任何稠密的 BEV 特征图。这种“稀疏中心”的设计带来了两个显著优势：

1. 极致高效：计算量与场景中的实例数量成正比，而非与感知范围的面积成正比，极大地降低了推理延迟。

2. 聚焦关键信息：注意力机制只在关键实例之间交互，避免了大量背景噪声的干扰。

在 nuScenes 评测中，SparseDrive 在保持与主流稠密模型相当的安全性能（甚至在某些指标上更优）的同时，显著提升了推理速度，为端到端大模型的轻量化量产提供了一个极具潜力的解法。

核心亮点：巧妙解耦 VLM 的高层语义决策与 E2E 模型的低层数值规划。

将大语言模型（LLM/VLM）引入自动驾驶是当前的绝对热点（如前文的 DriveVLM），但人们很快发现了一个尴尬的事实：语言模型很懂常识，但它真的不擅长做精确的数学计算。如果你让一个 VLM 直接输出具体的方向盘转角或 XY 坐标轨迹，它往往会产生较大的误差。

Senna 给出了一种极为务实的工程解法：决策与控制解耦。

Senna 系统由两个核心模块组成：Senna-VLM 和 Senna-E2E。

• Senna-VLM 充当“大脑”，它接收多视角图像，理解复杂的交通场景（如红绿灯状态、行人意图），并输出自然语言的高层驾驶决策（例如：“前方红灯，保持直行并减速停车”）。

• Senna-E2E 则充当“小脑和手脚”，它接收 VLM 的高层决策作为条件输入，利用其强大的空间几何建模能力，输出精确的数值轨迹。

通过在大规模数据集 DriveX 上进行预训练，并在 nuScenes 上微调，Senna 的规划误差降低了 27.12%，碰撞率更是大幅下降了 33.33%。Senna 证明了，在现阶段，让语言模型做它擅长的语义推理，让专用网络做它擅长的数值计算，是提升端到端系统鲁棒性的最佳路径。

核心亮点：引入“动量”机制解决端到端模型帧间轨迹不一致的量产痛点。

在学术界的公开数据集（如 nuScenes）上，许多端到端模型都能跑出极低的安全碰撞率。但当工程师将这些模型部署到实车上时，往往会遭遇一个致命问题：规划轨迹的帧间抖动（Temporal Inconsistency）。

由于端到端模型通常是“单帧感知，单次预测”，上一帧模型决定向左变道，下一帧可能因为光线变化或遮挡，突然决定向右回正。这种轨迹的“左右横跳”会导致实车控制极度不稳定，乘坐体验极差。

为了解决这一面向真实量产的核心痛点，地平线联合清华大学等机构提出了 MomAD（Momentum-Aware Driving），该工作已被 CVPR 2025 接收。

MomAD 巧妙地借用了物理学中的“动量”概念：

1.轨迹动量（Trajectory Momentum）：在生成当前帧的轨迹时，不仅考虑当前的传感器输入，还强制参考上一帧规划的轨迹趋势，使其保持惯性，避免突变。

2.感知动量（Perception Momentum）：在特征提取层，通过历史特征的平滑更新，缓解单帧图像中目标被短暂遮挡带来的感知丢失。

通过这套动量感知机制，MomAD 在 nuScenes 数据集上不仅取得了 SOTA 的规划精度，更重要的是，其轨迹平滑度（Smoothness）和帧间一致性得到了质的飞跃。MomAD 代表了当前端到端研究正在从“刷榜”向“真实量产落地”务实转变的趋势。

核心亮点：纯 Transformer 的并行端到端范式，消除感知-预测-规划的级联依赖，大幅提升扩展性与训练稳定性。

尽管 UniAD 等工作实现了端到端的联合优化，但它们在内部架构上仍然保留了“感知 →\rightarrow→ 预测 →\rightarrow→ 规划”的时序级联（Sequential）依赖。这种级联结构不仅导致前序模块的误差容易在后序模块中累积，还限制了模型的并行计算效率，增加了Scaling up的难度。

为了解决这一问题，上海交通大学团队提出了 DriveTransformer（ICLR 2025）。该工作彻底抛弃了传统的级联范式，提出了一种完全并行的纯 Transformer 架构。

DriveTransformer 的核心创新在于任务并行化（Task Parallelism）与稀疏表示（Sparse Representation）：

1. 统一并行交互：检测、预测、建图和规划的所有 Query 不再按顺序执行，而是被统一放置在一个 Transformer 块中。它们在同一层级直接与原始传感器特征（Sensor Cross-Attention）交互，并相互之间进行自注意力交互（Task Self-Attention）。

2. 流式时序融合：抛弃了沉重的稠密 BEV 时序融合，采用轻量级的 Query 记忆队列（Memory Queues）传递历史信息，实现了高效的流式处理（Streaming Processing）。

这种高度统一且并行的架构，不仅极大地简化了端到端系统的设计，避免了误差累积，还展现出了卓越的训练稳定性。在 Bench2Drive 闭环仿真和 nuScenes 开环测试中，DriveTransformer 均取得了 SOTA 性能，并保持了较高的运行帧率。

核心亮点：通过引入多模态锚点与截断扩散过程，将去噪步数减少 10 倍，实现 45 FPS 的实时扩散生成规划。

近年来，扩散模型在机器人策略学习中展现出了强大的多模态动作生成能力。然而，将其直接应用于自动驾驶规划却面临着致命的挑战：扩散模型需要数十次迭代去噪，计算极其缓慢，根本无法满足自动驾驶实时性的要求。

DiffusionDrive（CVPR 2025）为这一难题提供了一个极其巧妙的解法：截断扩散（Truncated Diffusion）。

DiffusionDrive 放弃了从纯高斯噪声开始去噪的传统做法。相反，它首先利用一个轻量级的网络预测出几条粗略的、代表不同驾驶意图的“锚点轨迹”。然后，在这些锚点轨迹的基础上添加适量的噪声，构建一个锚点高斯分布。

扩散过程不再是从 TTT（纯噪声）开始，而是被截断，直接从中间的某个步骤开始去噪。这种“站在巨人肩膀上”的去噪方式，使得 DiffusionDrive 仅需 2 步去噪 就能生成高质量、多模态的驾驶轨迹，去噪步数比传统方法减少了 10 倍！

在 NAVSIM 数据集上，DiffusionDrive 创下了 88.1 PDMS 的新纪录，并在单张 RTX 4090 上实现了 45 FPS 的实时运行速度。它证明了，经过合理设计的扩散模型，完全可以成为复杂真实世界中高效且可扩展的自动驾驶规划器。

上述工作共同揭示了当前端到端研究的几条主线：

• 其一，感知与规划的联合优化仍是提升系统上限的核心手段；

• 其二，大语言模型所携带的开放世界知识正在成为处理长尾场景的重要补充；

• 其三，生成式世界模型为闭环训练和仿真评测提供了新的技术路径。

当然，端到端方案目前在可解释性、安全边界的形式化验证以及极端场景的泛化性上仍存在明显局限，距离大规模量产落地还需要在工程可靠性与系统安全性上持续投入。