自动驾驶模型这两年有个明显的转向:从端到端的轨迹回归,转向让大模型先"看懂"场景再决定怎么开。逻辑很直接——纯粹的模仿学习容易在长尾场景翻车,因为它不理解为什么要这样开,只是在拟合人类司机的轨迹分布。加入视觉语言模型,等于给车装了一个能推理的大脑。
但这条路走到今天,暴露出一个绕不开的问题:语义和动作之间有一道鸿沟。VLM输出的是自然语言或者离散token,车要执行的却是连续的、受运动学约束的轨迹。两者不在一个空间里,硬凑常常凑不好。
这篇ICLR 2026在审的匿名投稿BridgEAD,就是冲着这道鸿沟去的。
图1:BridgEAD的整体流程。左边是模型输入——多视角图像经视觉编码器变成视觉token,自车状态和导航指令经文本tokenizer变成语言token;中间是大语言模型;右边分成两支,一支是语言头输出场景问答和驾驶决策,另一支是扩散规划器输出未来轨迹。
两条路线,两种妥协
在这篇论文之前,业内处理语义到动作的转换大致有两派。
一派是连续回归,直接让模型吐出轨迹坐标。问题是高维轨迹一旦直接回归,容易输出不符合运动学的结果,还容易模式坍塌——本该有多种合理走法,模型却只会输出一种。
另一派借鉴了RT-2和Gato的思路,把连续动作空间离散化成一套动作词表,用自回归的方式一个token一个token生成,这样和语言模型的生成范式天然对齐。ReCogDrive、AutoVLA、OpenDriveVLA都走的是这条路。但动作词表通常比较粗糙,很少考虑车辆的运动学先验,一样会生成物理上不可行的轨迹。
BridgEAD选了第三条路:不改VLM本身,接一个扩散式的生成规划器,专门负责把语义推理的结果翻译成轨迹。
架构上的取舍
BridgEAD的VLM backbone用的是InternVL3-2B,一个参数量不大、效率和性能比较均衡的开源模型。输入端整合了三类信息:六个摄像头(前、左前、右前、后、左后、右后)各自的四帧连续画面,采样频率2Hz;自车当前速度、加速度和过去六帧的历史轨迹;以及"左转""直行"这类高层导航指令。
这里有个设计值得留意:模型专门引入了一个"规划token",用来把整段驾驶场景的理解和推理结果汇聚起来,再交给下游的扩散规划器。这个token相当于语义空间和动作空间之间的接口。
规划器本身是几层Diffusion Transformer模块,输入是规划token加上一串加了噪声的动作序列,通过多步去噪还原出真实的未来轨迹。每个DiT模块里同时有自注意力和交叉注意力:自注意力保证轨迹内部的时间连贯性,交叉注意力则把视觉、语义、历史信息接入到轨迹生成过程里。
训练方式是监督微调,冻结视觉编码器,其余参数全部训练。损失函数是语言建模损失和轨迹扩散损失的加权和,语言损失的权重会随训练步数从1.0指数衰减到0.05——等于先让模型把语义学扎实,再逐渐把重心移到轨迹生成上。
评测覆盖了三套体系
这篇论文的另一个卖点是评测的完整性。此前很多VLA工作只在开环或者闭环里选一个测,很少两者都覆盖。BridgEAD同时在nuScenes(开环)、NAVSIM(非反应式仿真)、Bench2Drive(CARLA闭环仿真)三个基准上跑了完整实验。
在NAVSIM上,BridgEAD拿到86.5分的PDMS综合得分,比同样用纯视觉输入的Transfuser(用了摄像头加激光雷达)相对高出2.98%,比AutoVLA的监督微调版本高7.45%,和参数量是自己4倍的ReCogDrive(8B,89.6分)已经比较接近。
在Bench2Drive闭环仿真里,BridgEAD的驾驶分数76.52,成功率51.36%,在"合并车道"这项能力上拿到31.25分,是所有对比方法里最高的。不过这里也要说实话:舒适度得分只有7.82,明显低于AutoVLA的39.33和Orion的17.38——说明这套方案在保证安全和推进效率的同时,乘坐体验上是有代价的。成功率也没能超过AutoVLA的57.73%。
在nuScenes开环测试里,平均L2距离0.37米,平均碰撞率0.10%,是所有VLM类方法里碰撞率最低的一个。
语义理解能力上,BridgEAD在Chat-B2D基准拿到52.31的BLEU分数,和专门做VQA微调的ORION(52.49)基本持平;在OmniDrive-nuScenes上CIDEr拿到85.68分,比OmniDrive-Q高17.08,比OmniDrive-L高12.48,是这项指标里最高的。
图2:BridgEAD在NAVSIM上的问答示例。左边场景是信号灯路口左转,模型判断"保持速度、左转",理由是左转车道空着、没有对向来车;右边场景是停车让行标志前的直行转弯,模型判断"停车、右转",理由是识别到了停车标志、行人过街和前方车辆。
图3:nuScenes场景下的问答示例。模型先回答这是商业/工业区,再逐一列出影响驾驶的因素——具体到坐标位置的过街行人、停车标志、路锥——最后给出"保持低速直行"的决策,并且解释了每一步依据。
从这两组问答例子能看出,模型不是简单地把物体检测结果拼接输出,而是把感知结果串成了一条推理链,再落到具体动作上。这也是论文想强调的重点:可解释性不是锦上添花,而是能实际影响轨迹质量的。
轨迹生成方式的消融,结论很干脆
论文单独做了一组消融实验,对比了三种把语义转成轨迹的方式:论文提出的DiT扩散方法、把坐标数值直接以文本形式输出再解析的"文本数字法"、以及把轨迹离散成动作词表token再解码的"动作token法"。
结果差距不小。DiT在NAVSIM上86.50分,文本数字法81.70分,动作token法只有70.35分。放到Bench2Drive闭环里差距更明显:DiT驾驶分69.63,文本数字法39.90,动作token法22.93,成功率直接是0。论文的解释是,文本数字法依赖从生成文本里解析坐标,稳定性差;动作token法则受限于动作词表本身的表达能力。
需要指出的是,这组消融只在Bench2Drive的Route Dev10子集上做的评估,不是完整的220条测试路线,结论的稳健性打了一定折扣。
车企走的是更激进的路子
把BridgEAD放回产业界的坐标系里看,会发现学术界和量产车企对"语义-动作鸿沟"的态度并不一样。
特斯拉从FSD V12开始,走的是彻底的端到端纯视觉路线。八个摄像头的画面直接进模型,输出的就是转向、加速、刹车指令,中间没有语言层,也没有独立的规划模块。马斯克当年那句"V11有三十万行C++代码,V12里基本没有了",说的就是这个转变——不再是感知、预测、规划分模块运行,而是一张网从头学到尾。这条路线的好处是推理链条短、延迟低;代价是决策过程几乎是黑箱,出了问题很难定位是感知错了还是决策错了。
国内新势力的选择更接近BridgEAD的思路,但走得更远。小鹏第二代VLA干脆把"语言转译"这一环去掉了,视觉信号直接映射成动作指令,官方称之为"物理世界大模型",训练数据量级到了50PB、每版模型训练数据4万亿token。理想的MindVLA-o1则保留了语言层,走的是原生多模态统一训练的路子,希望语言理解和动作生成从一开始就在同一个模型里学出来,而不是像BridgEAD这样用一个独立的扩散模块去做"翻译"。
这么一比,BridgEAD的位置就清楚了:它是一个学术界的折中方案,用不改动VLM本身的方式换取工程上的可插拔性,代价是语义和动作之间始终隔着一层专门的翻译模块。工业界的两种主流做法——特斯拉式的彻底端到端、小鹏式的去语言层——本质上都是想把这层翻译"焊死"进同一个网络里,减少一次信息传递的损耗。哪种路线更对,现在下结论还早,但方向上的分歧已经很明显。
这篇论文没解决什么
整体看下来,BridgEAD的思路是清楚的:VLM负责懂场景,扩散模型负责翻译成可执行的轨迹,两边各司其职,谁也不用为了迁就对方而改变自己的表达方式。这也是它标榜"即插即用"的底气——VLM backbone可以随基础模型的进步随时替换,不需要重新设计整个系统。
但几个地方还是要客观说。第一,闭环成功率和舒适度都没有做到全面领先,尤其舒适度差距肉眼可见,说明扩散规划器生成的轨迹在平顺性上还有优化空间。第二,跟同样带强化微调的AutoVLA、ReCogDrive比,BridgEAD目前只用了监督微调,如果后续加上强化学习微调,这个对比关系可能会变化,论文本身也没有给出这方面的实验。
这些不是否定这篇工作,只是提醒一下:语义和动作的鸿沟,这篇论文缝上了一部分,但缝合处依然看得见针脚。