当前位置：首页>自动驾驶>Uber自动驾驶最新突破!VLGA让AI“脑补”3D世界,碰撞率直降3倍

Uber自动驾驶最新突破!VLGA让AI“脑补”3D世界,碰撞率直降3倍

2026-08-03 01:11:37

龙哥推荐理由：
龙哥聊过理想汽车LinkVLA之后，Uber这次把几何专家直接写进架构里，让VLA模型不再是"纸上谈兵"。效果硬核，碰撞率降了3倍，这才是自动驾驶该有的空间感！

原论文信息如下：

论文标题:
VLGA: Vision-Language-Geometry-Action Models for Autonomous Driving

发表日期:
2026年6月

发表单位:
Uber AV Labs、弗吉尼亚大学

原文链接:
https://arxiv.org/pdf/2606.12396v1.pdf

项目链接:
https://yaojin17.github.io/VLGA

引言

想象一下，你正坐在一辆自动驾驶汽车的后座，它眼观六路、耳听八方，不仅能说“注意，前方有辆卡车在并线”，还能像顶级赛车手一样精准地规划出贴着卡车车尾、丝滑变道的路线。这背后，是“视觉-语言-动作”（VLA）模型在发力。但龙哥之前也聊过，这些模型在描述世界时头头是道，一旦要动真格地规划3D轨迹，往往就“路痴”了。它们能把“红绿灯”“行人”说得门清，但遇到“离这辆停着的车到底还有30厘米还是10厘米”这种要命的空间活儿，就有点手足无措了。

现有的路子无非三种。一种是靠稀疏感知，比如检测个3D框、车道线，信息太粗略，就像让盲人摸象，能摸出个轮廓但绝对画不出细节。另一种是搞稠密特征注入，把3D模型的特征强行喂给语言模型，结果语言模型既要管“阅读理解”又要管“几何建模”，脑子不够用，而且也没人保证它真会用上这些几何信息。最后一种干脆抛弃语言，只玩几何和动作，比如之前提过的VGA框架，但没了语言理解，遇到“前方施工请绕行”这种指令就歇菜了。所以问题来了：有没有一种方法，能让VLA模型既保留强大的语言推理能力，又拥有一颗专属的、能“脑补”出周围每一个点3D位置的空间大脑？

拿什么来拯救你，自动驾驶模型的“空间感”？

这个挠头的问题，现在有答案了。来自Uber AV Labs和弗吉尼亚大学的研究团队，提出了 VLGA（视觉-语言-几何-动作模型）。这个方案简洁而优雅：既然你的模型缺一个专业的“几何大脑”，那就在架构上给它新建一个，并且确保这个大脑拿到的任务是“把周围世界的3D结构重建出来”，而不是漫无目的地瞎学。

简单说，VLGA在经典的VLA模型基础上，新增了一个 几何专家。这个专家不是打酱油的，它有自己的专属参数，并通过一个“逐像素点图重建”目标，被强制要求学会理解每一个摄像头像素点对应的真实世界3D坐标。当这个几何专家和原来的理解（语言）、感知、动作专家协同工作时，结果令人惊喜。

VLA模型的几何之殇：说得好，但站不稳

为了让大家更直观地理解VLGA的进步，我们先看看VLA模型在三维空间感知上“瘸腿”的各种范式。下图生动地展示了现有方法的困境。

图1：将驾驶策略锚定在3D几何中的不同范式。 (a) 使用稀疏3D感知的VLA模型通过结构化3D监督（如3D框和车道线）理解世界，但缺乏稠密空间感知。(b) 基于注入的VLA模型向语言模型暴露稠密3D特征，但缺乏专门的几何处理能力。(c) 纯几何的驾驶策略提供稠密空间感知和专门的几何处理，但缺少语言推理。(d) VLGA通过引入一个参数隔离的几何专家并由稠密几何重建进行监督，保留了所有三种能力。

如图所示，以往的VLA模型不是“眼睛不好使”（稀疏感知），就是“脑袋不够用”（特征注入挤占语言模型资源），再不然就是“哑巴”（纯几何模型）。而VLGA的方案（图1d）集百家之长：它保留了强大的语言理解专家，同时新增一个专门的、参数独立的几何专家，并通过一个强大的监督信号（从 LiDAR 重建稠密3D点图）来确保这个专家真的学会了“空间思考”。这就像给一个能言善辩的将军配备了一个专属的、精准无比的3D沙盘。

方法概述

VLGA的核心架构依托于混合专家模型（MoT），它就像一个高效的协作团队，每个成员（专家）都有自己的专长。下图展示了这个四专家团队如何协同工作。

图2：VLGA架构。 一个基于掩码联合注意力的四专家混合Transformer：理解专家（U，语言/场景语义）、感知专家（P，稀疏的代理/地图/占用查询）、本论文新增的几何专家（G，稠密空间结构）和动作专家（A，运动规划）。A 关注 U、P 和 G，并根据自车状态输出轨迹。

核心原理推导

VLGA的公式化推导非常清晰。任务目标是从多视角图像、自车状态和导航指令中预测未来轨迹。通过对几何专家施加显式的稠密点图重建损失，整个模型被引导去学习一个更精确的3D空间表示。

核心的几何损失函数是逐像素的点图回归损失。在训练时，一个轻量级的解码器会根据几何专家的输出来预测每个像素点的3D坐标，并与从LiDAR获得的真实值进行比较。公式简洁，但效果拔群。

图：VLGA方法整体架构图。 展示了从多视角图像输入，到几何专家、感知专家等多个专家协同，再到输出轨迹的完整流程。

VLGA出招：专为自动驾驶打造的“第四专家”

研究团队设计的几何专家并非从零开始训练，而是巧妙复用了已有的预训练几何骨干网络（如DVGT-2）作为特征源。这样既保证了初始的几何能力，又降低了训练难度。

这个专家输出的不是抽象的向量，而是每个图像块对应的、在自车坐标系下的3D点云。这意味着，它理解的空间是“我”所在的空间，而不是一个泛泛的相机坐标系，这对于规划车辆自身的运动至关重要。

两阶段训练+点云重建：让几何专家上岗的正确方式

为了让这个几何专家顺利上岗，团队精心设计了一个两阶段训练策略。第一阶段是几何预热：冻结所有其他专家，只训练几何专家及其相关组件，并单独使用点图重建损失进行优化。这就像一个实习生在上岗前，先用海量3D数据把他的“空间感”练出来。

第二阶段是联合微调：解冻动作专家，加入动作规划损失，但保留点图重建损失（权重降低到0.1）作为辅助监督。这样，动作专家在学如何开车时，始终有一个“几何老师”在旁边指导和纠偏，保证它不会在关键空间决策上跑偏。

数据准备及实验设计

研究团队在自动驾驶领域最经典的两个基准上进行评估。开放环规划在nuScenes数据集上进行，评估模型在给定历史数据下预测未来轨迹的精确度，使用L2位移和碰撞率作为指标。而闭环驾驶在Bench2Drive模拟器（基于CARLA）中进行，评估模型在完整、动态的驾驶循环中的综合表现，包括驾驶分、成功率、效率和舒适度等。

效果说话：碰撞率降3倍，驾驶分创新高

实验部分在两个主流基准上进行：开放环规划在nuScenes数据集（6019个验证样本），闭环驾驶在Bench2Drive模拟器（220条路线）。先看开放环结果（表1），VLGA在不使用自车状态（without ego status）的设置下，以0.50m的平均L2位移和0.18%的3秒碰撞率在VLA方法中排名第一（15/16指标），碰撞率仅为最强VLA基线（0.59%）的三分之一。特别值得一提的是，即使与使用自车状态的DVGT-2（0.66m L2，0.47%碰撞）相比，VLGA的碰撞率依然低了2.5-3倍，说明提升来自几何流，而非模型容量。

表1：开放环规划结果（nuScenes验证集）。 L2位移和碰撞率均采用ST-P3和UniAD两种协议报告。VLGA-Large在无自车状态方法中平均L2最低（0.50m），3秒碰撞率仅0.18%，在16项指标中领先15项。

再看闭环驾驶结果（表2），VLGA在Bench2Drive上取得了79.08的驾驶分，比前SOTA（UniDriveVLA）高出0.71分，同时成功率和舒适度都有提升。在分技能的成功率上（表3），VLGA在Give Way和Emergency Brake这两个对空间精度要求极高的场景中表现突出，而在Overtaking和Traffic Sign这类更依赖反应控制和视觉语义的任务上与其他方法持平，这正印证了几何专家的优势集中在需要精确空间推理的地方。

表2：闭环驾驶结果（Bench2Drive）。 VLGA以79.08的驾驶分位居第一，超越UniDriveVLA（78.37）。

表3：分技能闭环成功率。 VLGA在Give Way和Emergency Brake上提升显著，平均成功率53.04%，超过UniDriveVLA（51.53%）。

消融实验（表4）清晰地验证了几何专家的每个组件都有贡献：仅添加几何专家（不含点图监督）使碰撞率从0.169%降至0.149%，再加上点图重建辅助监督进一步降至0.136%，相对下降8.7%。这证明几何专家虽然有用，但真正的魔力来自稠密重建的信号，它迫使几何流保持与任务相关的稠密空间信息。

表4：VLGA几何流组件的消融研究。 逐行添加组件，碰撞率从0.169%一步步降至0.136%。

定性对比（图3）更是直观：将预测的3秒轨迹投影到前视摄像头，VLGA（黄色）在转弯和接近周围车辆时紧贴真实轨迹（绿色），而基线UniDriveVLA（相同架构但没有几何专家）则出现明显的横向漂移。由于两者共享相同的视觉-语言和感知专家，这种差异完全归功于VLGA的稠密几何表示。

图3：定性规划对比。 左：基线UniDriveVLA（黄色）明显偏离真实轨迹（绿色）；右：VLGA轨迹与真实轨迹紧密贴合。几何专家让转弯和绕障时更加精准。

几何流可视化进一步展示了VLGA的能力：六视角环视输入经过几何专家预测出的稠密3D点图，清晰地捕捉了路面、车道线和周围障碍物的结构，预测轨迹（黄色）与真实轨迹（绿色）高度一致。

几何流可视化。 六视图输入、预测稠密点图（白/灰色）、真实轨迹（绿色）与VLGA预测轨迹（黄色）高度重合。

未来展望：从“看得见”到“规划得准”

VLGA虽然已经在开放环和闭环上取得了领先结果，但论文也坦诚指出了几个待解决的问题。首先，VLA模型本身的计算量依然很大——大视觉语言骨干在边缘设备上推理成本高，未来可以通过专门针对驾驶场景的蒸馏和量化来缓解。其次，当前的点图监督是单帧的，如果能扩展到多帧时间序列，引入时序一致性，可能会进一步提升长程几何推理的稳定性。

另外，几何专家目前使用固定的预训练骨干，未来也可以考虑端到端联合训练整个几何流。这些方向都是很自然的延伸。整体来看，VLGA证明了“明确的稠密几何监督”是让VLA策略从“描述三维世界”进化到“操作性地锚定在三维世界中”的有效途径。对于自动驾驶行业来说，这无疑是一个令人兴奋的信号：我们离开不依赖高精地图、真正具有空间理解能力的端到端系统，又近了一大步。

龙迷三问

下面是龙哥对大家可能的一些问题的解答：

VLGA与之前提到的UniDriveVLA、DVGT-2有什么区别？UniDriveVLA是一个三专家（理解、感知、动作）的VLA基线，没有专门的几何专家。DVGT-2是一个纯几何-动作模型（VGA），去掉了语言流。VLGA在UniDriveVLA基础上新增几何专家，并用稠密点图重建监督，获得了三者最优的平衡——既有语言推理，又有稠密几何，还有专用参数。

文章中的MoT（Mixture-of-Transformers）具体是什么？MoT是混合专家Transformer的一种实现，每个专家有独立的注意力参数，通过掩码联合注意力（masked joint attention）控制信息流。这样每个专家可以专注于自己的模态，同时又能与其他专家交换信息，避免参数冲突。

点图重建损失中的“逐像素点图”具体是怎么计算的？对于每个图像块（patch），几何专家输出一个特征，经过轻量解码器预测该块中心点在自车坐标系下的3D坐标。同时输出一个置信度logit，通过softplus函数转为不确定度b。损失使用L1距离除以b再加log(b)，相当于置信度加权回归：预测越准且不确定度越小，损失越低。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~