关注我,帮你了解自动驾驶最新动态!

自动驾驶大模型可以解释“前方有车、路口左转”,却可能在真正输出轨迹时压线。原因并不神秘:语言模型擅长抽象语义,但连续道路边界、车辆距离和转弯曲率,恰恰是压缩过程中最容易损失的信息。
S²-VLA 的思路是把“看懂场景”和“保留空间”分成两条通路。语义流负责理解意图,空间流绕过语言瓶颈,直接保留视觉编码器中的几何特征,再由双流规划器共同输出轨迹。
团队与论文信息
论文 S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving
团队 武汉理工大学机械与电子工程学院、智能交通系统研究中心及计算机学院
作者 Jianguo Yu、Rukang Wang 等;Duanfeng Chu 为通讯作者
状态 arXiv 预印本,NAVSIM 闭环规划评估
▍VLA 会推理,为什么还会压线?
传统端到端驾驶模型直接从图像预测轨迹,空间信息保留得较好,但缺少语言层面的常识和意图理解。
VLM 能补上语义,却输出离散 token。车辆控制需要连续坐标和高频动作,两者之间存在语义与物理鸿沟。
VLA 尝试把语义和动作统一到一个模型中,但深层语言表征会压缩视觉细节。如果规划头只读取高度抽象的语义 token,道路边界和障碍距离就可能变得模糊。论文把这种现象称为“空间表征塌缩”。

▍一条通路负责理解,一条通路负责测量
语义流从 VLM 多个层级提取特征,而不只依赖最后一层。较浅层保留局部视觉线索,较深层提供任务意图和场景关系,多尺度桥接把它们组合起来。
空间流则直接读取视觉编码器特征,并用 BEV 地图与交通参与者预测任务进行辅助监督。它被迫学习车道、边界、障碍位置和动态目标,而不是只记住纹理。
最后,双流规划适配器用级联注意力融合两类信息:语义决定“应该做什么”,空间约束决定“轨迹可以在哪里通过”。

▍真正有说服力的,是转弯和路口
定性结果显示,VLM 基线在高曲率转弯和交叉口更容易偏离车道中心。S²-VLA 生成的轨迹更贴合道路几何,并能避开车辆边界。


▍87.1 分,提升来自哪里?
在 NAVSIM navtest 闭环基准上,S²-VLA 的 PDMS 为 87.1,无碰撞率为 98.4%。论文强调,这一结果使用纯监督微调,没有依赖强化学习加成。
消融实验也给出清晰路径:加入多层语义特征后,PDMS 从 84.1 提升到 85.6;增加独立空间特征后继续提升;辅助感知任务再贡献 0.9 分,最终达到 87.1。

▍双流不是终点,计算和数据仍是限制
双流结构会增加模型和训练复杂度。空间辅助任务依赖 BEV 地图与目标标注,意味着训练数据仍需较强几何监督。
论文只在 NAVSIM 体系内评估,尚未展示真实车辆部署,也没有证明在极端天气、传感器失效或全新城市中同样有效。
但它提出了一个值得持续追踪的判断:自动驾驶大模型不能只追求更强语言推理,还要防止语言抽象吞掉控制真正需要的空间细节。会说清楚路况,与能把车稳稳开在路中间,仍然是两件事。
读者问题:自动驾驶 VLA 中,你认为更难补齐的是常识推理,还是精确空间感知?
如果你想持续看自动驾驶、机器人和具身智能论文的可读版拆解,可以关注本号。
▍往期精选
1. 自动驾驶大模型会说还不够:DriveTeach-VLA 教它先看对地方
2. 自动驾驶大模型不能只会反应:WCog-VLA 让它提前预判世界怎么变