博世x清华 DiffVLA:面向自动驾驶的视觉语言引导扩散规划

本篇论文出发点：

端到端自动驾驶因“全可微、模块一体化优化”的优势，已成为研究热点，但现在端到端方法存在三个问题：

1.昂贵的bev计算：稠密bev计算开销大

2.动作多样性缺失，UniAD/VAD 回归单模态轨迹，忽略驾驶行为固有的多模态性与不确定性

3.复杂场景决策次优：在真实复杂场景中决策质量不佳

作者认为：扩散模型能建模多模态输出，VLM能提供高层驾驶决策常识，sparse表示能降低计算成本，三者各有优势但单独不足以同时解决上述三点。于是提出DiffVLA，把VLM高层引导+稀疏-稠密混合感知+截断扩散规划组合成一个框架。

本文主要贡献:

论文声明的三大组件：

1. VLM Guidance Module：基于Senna-VLM，输入多视角图像，输出高层驾驶指令（横向/纵向控制 one-hot 编码），与外部导航指令融合后作为扩散规划的语义引导。

2.Hybrid Perception Module：稀疏分支（Sparse4D-v3+SparseMEXT，输出3D框与地图矢量）+ 稠密分支（BEVDet式BEV投影，128×128网格、64×64m范围）。显式信息用于碰撞检测与可行驶区域检查，隐式信息用于轨迹扩散引导。

3.Diffusion-Based Planning Module：基于DiffusionDrive的截断扩散策略，k-means构造轨迹词表V，32个 anchor，缩短扩散schedule，并设计分层信息编码融合异构输入。

4.本文方法与相关方法对比

知识点介绍：

VLM解耦引导（Senna范式）VLM不直接输出精确数值轨迹，而是输出高层决策（横向：变道/转弯；纵向：加速/制动），再由端到端模型生成精确轨迹

本文方法介绍：

• 左侧多视角图像输入分两路上行：一路进Senna-VLM（ViT-L/14 +Driving Vision Adaptor + Vicuna-7B）产生高层指令；另一路进混合感知（稀疏 Sparse4D/SparseMEXT 出 3D 框+地图矢量；稠密BEVDet出BEV特征）。

• VLM指令与外部导航指令经command encoder融合，与稀疏显式引导 z_e、稠密隐式引导 z_i 一起作为条件，输入截断扩散轨迹解码器，输出 32 个 anchor 的预测轨迹与分类得分。

• 显式3D框/地图矢量另支路用于碰撞检测与可行驶域检查，对候选轨迹做后筛。

• 该图支撑论文"VLM+混合感知+扩散规划三模块协同"的核心主张，但图本身未体现训练阶段冻结策略与 2% 减速后处理。

总结：

1.好的点

a)工程整合度高，把稀疏感知、稠密感知、VLM引导、截断扩散四个方向拼成一个能跑通NAVSIM v2反应式评测的完整系统。

b)稀疏+稠密互补、显式信息用于碰撞检测/可行驶域检查的设计务实可解释。

2.不好的点

a)零消融、零基线对比，贡献无法归因——方法学不达标。

b)"全可微端到端"动机与"分模块分别训练"实现自相矛盾。

DiffVLA: Vision-Language Guided Diffusion Planning for Autonomous Driving

更多精彩内容，欢迎大家关注微信公众号“自动驾驶新视界”。