中科院开源OneDrive:统一自动驾驶的多种范式,一个Transformer搞定全部数据集!

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内有20多门3D视觉系统课程、3DGS独家系列视频讲解、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎加入！

论文信息

标题：OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models

作者：Yiwei Zhang, Xuesong Chen, Jin Gao, Hanshi Wang, Fudong Ge, Weiming Hu, Shaoshuai Shi, Zhipeng Zhang

机构：State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA、School of Artificial Intelligence, University of Chinese Academy of Sciences、AutoLab, School of Artificial Intelligence, Shanghai Jiao Tong University、Voyager Research, Didi Chuxing、School of Information Science and Technology, ShanghaiTech University

原文链接：https://arxiv.org/abs/2604.17915

代码链接：https://github.com/Z1zyw/OneDrive

导读

视觉语言模型在自回归文本生成方面表现出色，但端到端的自动驾驶任务需要处理多种任务，这些任务涉及结构化输出以及不同的解码方式，比如自回归语言生成、物体检测以及轨迹预测等。为了解决这些问题，现有的系统通常采用独立的或级联式的解码器结构，但这会导致架构上的复杂性增加，同时也会限制模型的复用性。在这项研究中，我们提出了一个基于预训练视觉语言模型的统一自动驾驶框架。在该框架中，不同的解码方式被整合在同一个Transformer解码器中。实验表明，预训练的视觉语言模型具有很强的泛化能力，其应用范围远远超出了纯粹的语言建模领域。通过将视觉信息与结构化查询信息整合在同一个解码器中，结构化查询能够借助原有的注意力机制来利用视觉信息。文本输出和结构化输出共享相同的注意力机制，从而实现不同任务之间的高效协同优化。轨迹规划则通过在同一个解码器中引入结构化轨迹查询来实现。这种统一的架构使得规划过程能够与图像及感知信息共享预训练好的注意力机制。通过在端到端自动驾驶基准测试中的验证，该模型展现了出色的性能：在nuScenes开放环境测试中，其L2误差率为0.28，碰撞率为0.18；而在NAVSIM封闭环境测试中，其性能指标达到了86.8 PDMS，表现十分出色。该模型保留了多模态生成能力，同时高效的推理方式使其延迟降低了约40%。相关代码和模型已公开可供使用。

效果展示

(a)带有独立解码器的双系统设计;(b)Q-Former风格的级联解码;(c)我们统一的单解码器框架，可在同一Transformer中处理两者。

两种具有代表性的解码范式:(a)自回归解码器，(b)并行解码器。现有的端到端多任务自主驾驶模型通常会将不同类型的解码器以串联或并行的方式加以组织。

引言

视觉语言模型的最新突破凸显了它们卓越的多模态推理能力。这一成功自然而然地激发了人们为自动驾驶开发视觉语言动作模型的追求。然而，将这些基础模型集成到驾驶系统中通常需要对三维结构进行复杂修改，例如鸟瞰视图建模。这种与原生视觉语言模型的严重架构偏离，阻碍了利用大规模通用领域数据进行联合训练的可能性，从根本上限制了模型的可扩展性。反过来，尝试保留原始架构又暴露出一个关键的两难困境：当结构改动最小时，模型在各种异构驾驶任务上显著落后于领先方法。尽管先前的工作通过严重依赖点云输入来掩盖这一缺陷，但在纯视觉环境下其性能急剧下降。这种退化非常不可取，因为纯视觉环境天然地与原始视觉语言模型架构一致。此外，鉴于这些模型本质上被限制以文本形式输出信息，弥合纯文本生成与复杂驾驶输出之间的巨大差距仍然是一个艰巨的挑战。

那么，能否用一个预训练的多模态模型同时处理具有各种输出形式的端到端自动驾驶任务，同时保持连贯的文本生成并泛化到生成式建模范式？解决这个问题需要直面自动驾驶固有的复杂性，其中相互依赖的任务要求不同的输入和输出格式。感知和规划通常采用具有特定注意力机制的并行解码器来进行同步预测。相反，文本推理依赖于序列自回归解码。这种深刻的结构差距迫使传统方法使用孤立或级联的解码器。这种碎片化的设计严格阻碍了预训练权重的统一应用，并限制了任务间的信息流动。因此，设计一个既能协调这些不同模态又能保留原生视觉语言模型结构的单一架构，仍然是一个巨大的开放性挑战。

为了确定原生的预训练视觉语言模型是否真的能够克服这一挑战并支持多样的驾驶任务，我们进行了一项初步的诊断研究。我们借鉴了DETR和StreamPETR的思路，使用语言模型的前六层将预训练的视觉语言模型权重适配到一个并行解码器中。具体来说，我们冻结了视觉骨干网络，并将每个预训练的自注意力模块映射到并行解码器中对应的交叉注意力模块。对于前馈网络，我们比较了预训练初始化和随机初始化，同时为了完整性，对所有模块采用了完全随机的基线。如表1所示，注意力权重在不同任务间能够有效地迁移。相反，重用前馈权重带来的好处有限，有时甚至会导致严重的性能下降和训练不稳定。这些观察结果揭示出，为文本生成而严格优化的前馈网络缺乏异构下游任务所需的灵活性。然而，预训练用于对齐视觉和文本标记的注意力模块保留了显著的可迁移性。这一成功可能源于它们能够捕捉查询与视觉特征之间的基本对应模式。受这一关键见解的启发，我们探究了这种可迁移的注意力机制是否能够对更广泛的关系进行建模，从而最终构建一个统一的多任务解码器。

OneDrive是我们给出的明确答案。它是一个统一的多任务框架，巧妙地利用预训练的注意力机制，在单个Transformer解码器内支持异构的解码行为。具体来说，我们将视觉标记和结构化查询标记组织成一个统一的序列。这种安排允许查询标记通过语言模型的预训练因果注意力，深度依赖于视觉上下文。为了实现结构化预测，我们在浅层中增强了感知查询标记之间的专用注意力。这一修改增强了全面的感知能力，同时保持基础骨干注意力严格不变。此外，我们插入了任务特定的前馈网络来执行必要的特征变换。这种优雅的设计使得自回归文本生成与并行的感知和规划能够共享同一个注意力骨干。因此，我们的设计能够在不引入孤立Transformer分支的情况下，实现跨不同任务的稳定联合优化。而且，统一的序列和共享的注意力结构天然地促进了所有驾驶任务之间的无缝交互。

在端到端自动驾驶基准上的大量实验表明，我们的框架达到了最先进的性能，包括在nuScenes开环评估中0.28米的L2误差和0.18%的碰撞率，以及在NAVSIM闭环评估中具有竞争力的结果。完整模型保留了多模态生成能力，而仅转发早期层的截断推理模式可将面向规划部署的延迟降低约40%。

主要贡献

本文的主要贡献如下：

1. 我们证明，预训练的视觉语言模型因果注意力（原本用于捕捉文本-图像或文本-文本关系）可以通过训练来建模查询与视觉之间的关系，而为文本生成预训练的前馈网络则难以迁移。
2. 我们提出了OneDrive，一个用于多任务学习的统一架构，使得单个Transformer解码器能够同时执行自回归文本生成以及并行的感知和规划任务。
3. 在nuScenes和NAVSIM上的大量实验证明了我们方法的有效性，实现了最先进的性能。

方法

表1中的实验表明，将预训练的视觉语言模型适配到异构的驾驶结构和任务并非易事：注意力模块迁移良好，但前馈层往往会降低性能。这些发现凸显了为统一的多任务解码器进行仔细的架构和训练设计的必要性。

图3展示了OneDrive的整体架构。我们基于一个预训练的视觉语言模型，并将感知、规划和语言生成统一在一个Transformer解码器内。视觉标记、结构化查询标记和文本标记被连接成一个共享序列，并由预训练的因果注意力进行处理。为了适应异构的预测范式，我们引入了任务特定的适配，包括在结构化感知查询之间增加自注意力以及任务特定的前馈网络，同时保留原始的注意力骨干。

实验结果

nuScenes上的开环评估。如表2所示，在基于动作的规划器中，OneDrive在准确性和安全性方面均取得了最佳的整体性能，具有最低的平均L2误差和最低的平均碰撞率。与最强的先前基于动作的基线SOLVE-E2E和ColaVLA相比，我们的方法将L2误差降低到0.28米，并将碰撞率相对于ColaVLA降低了23%，表明轨迹预测更精确、更安全。尽管ColaVLA也避免了自回归解码，但它需要转发整个大语言模型并依赖于自定义的注意力掩码，这阻碍了使用诸如FlashAttention之类的优化实现。相比之下，OneDrive仅转发浅层的大语言模型层，且不引入自定义注意力掩码，从而实现更轻量且硬件效率更高的集成（见表7）。此外，OneDrive与近期基于文本的视觉语言模型规划器相比仍具有竞争力，同时避免了SOLVE-VLM的自回归文本生成和复杂的思维链。

NAVSIM上的闭环评估。表3展示了在NAVSIM导航测试基准上的性能比较，使用闭环指标进行评估，比较对象包括最先进的端到端驾驶方法以及在监督微调下的现有视觉语言动作模型。评估的重点不在于单纯的排行榜排名，而在于我们的统一建模策略如何增强基础视觉语言模型的闭环轨迹规划能力。为了提供公平的比较，我们额外增加了一个查询解码器基线，该基线采用了ReCogDrive中使用的基于查询的规划解码器。如表所示，虽然该基线已经取得了具有竞争力的性能，但我们的方法进一步将结果提升到86.8 PDMS，表明所提出的统一因果解码设计比传统的基于查询的规划头更有效。值得注意的是，我们的方法在实现这些提升的同时，将推理成本降低了约40%，因为它避免了重复转发整个大语言模型。这突显出所提出的设计不仅提高了闭环性能，还提高了计算效率，使其更适合实时自动驾驶场景。

总结 & 未来工作

在本文中，我们提出了OneDrive，一个统一的端到端自动驾驶框架，它在一个预训练的视觉语言模型解码器内协调了异构的解码行为。通过保留原始的因果注意力作为共享骨干，并将视觉和结构化查询标记组织在统一序列中，该框架实现了跨感知和规划任务的稳定联合优化，同时保留了多模态生成能力。在nuScenes和NAVSIM上的大量实验证明了其最先进的性能和更高的推理效率。我们希望OneDrive能够为视觉语言动作建模和端到端自动驾驶研究的进步做出贡献。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉方向论文辅导来啦！可辅导SCI期刊、CCF会议、本硕博毕设、核心期刊等。

添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。