当前位置:首页>自动驾驶>自动驾驶大模型会认路,却总压线?S²-VLA 把“看懂”和“看准”分开

自动驾驶大模型会认路,却总压线?S²-VLA 把“看懂”和“看准”分开

  • 2026-08-04 03:09:47
自动驾驶大模型会认路,却总压线?S²-VLA 把“看懂”和“看准”分开

关注我,帮你了解自动驾驶最新动态!

论文主题与核心冲突。

自动驾驶大模型可以解释“前方有车、路口左转”,却可能在真正输出轨迹时压线。原因并不神秘:语言模型擅长抽象语义,但连续道路边界、车辆距离和转弯曲率,恰恰是压缩过程中最容易损失的信息。

S²-VLA 的思路是把“看懂场景”和“保留空间”分成两条通路。语义流负责理解意图,空间流绕过语言瓶颈,直接保留视觉编码器中的几何特征,再由双流规划器共同输出轨迹。

团队与论文信息

论文 S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving

团队 武汉理工大学机械与电子工程学院、智能交通系统研究中心及计算机学院

作者 Jianguo Yu、Rukang Wang 等;Duanfeng Chu 为通讯作者

状态 arXiv 预印本,NAVSIM 闭环规划评估

▍VLA 会推理,为什么还会压线?

传统端到端驾驶模型直接从图像预测轨迹,空间信息保留得较好,但缺少语言层面的常识和意图理解。

VLM 能补上语义,却输出离散 token。车辆控制需要连续坐标和高频动作,两者之间存在语义与物理鸿沟。

VLA 尝试把语义和动作统一到一个模型中,但深层语言表征会压缩视觉细节。如果规划头只读取高度抽象的语义 token,道路边界和障碍距离就可能变得模糊。论文把这种现象称为“空间表征塌缩”。

S²-VLA 让空间特征绕开语言自回归瓶颈。

▍一条通路负责理解,一条通路负责测量

语义流从 VLM 多个层级提取特征,而不只依赖最后一层。较浅层保留局部视觉线索,较深层提供任务意图和场景关系,多尺度桥接把它们组合起来。

空间流则直接读取视觉编码器特征,并用 BEV 地图与交通参与者预测任务进行辅助监督。它被迫学习车道、边界、障碍位置和动态目标,而不是只记住纹理。

最后,双流规划适配器用级联注意力融合两类信息:语义决定“应该做什么”,空间约束决定“轨迹可以在哪里通过”。

两条信息流在输出轨迹前才完成融合。

▍真正有说服力的,是转弯和路口

定性结果显示,VLM 基线在高曲率转弯和交叉口更容易偏离车道中心。S²-VLA 生成的轨迹更贴合道路几何,并能避开车辆边界。

下排轨迹在弯道和交叉口更接近可行驶区域中心。
空间流主要改善高曲率和边界敏感场景。

▍87.1 分,提升来自哪里?

在 NAVSIM navtest 闭环基准上,S²-VLA 的 PDMS 为 87.1,无碰撞率为 98.4%。论文强调,这一结果使用纯监督微调,没有依赖强化学习加成。

消融实验也给出清晰路径:加入多层语义特征后,PDMS 从 84.1 提升到 85.6;增加独立空间特征后继续提升;辅助感知任务再贡献 0.9 分,最终达到 87.1。

最高无碰撞率与 PDMS 来自语义和几何的共同约束。

▍双流不是终点,计算和数据仍是限制

双流结构会增加模型和训练复杂度。空间辅助任务依赖 BEV 地图与目标标注,意味着训练数据仍需较强几何监督。

论文只在 NAVSIM 体系内评估,尚未展示真实车辆部署,也没有证明在极端天气、传感器失效或全新城市中同样有效。

但它提出了一个值得持续追踪的判断:自动驾驶大模型不能只追求更强语言推理,还要防止语言抽象吞掉控制真正需要的空间细节。会说清楚路况,与能把车稳稳开在路中间,仍然是两件事。

读者问题:自动驾驶 VLA 中,你认为更难补齐的是常识推理,还是精确空间感知?

如果你想持续看自动驾驶、机器人和具身智能论文的可读版拆解,可以关注本号。

▍往期精选

1. 自动驾驶大模型会说还不够:DriveTeach-VLA 教它先看对地方

2. 自动驾驶大模型不能只会反应:WCog-VLA 让它提前预判世界怎么变

3. 画面已经糊了,车还能看懂路吗?EventDrive 把事件相机接进驾驶大模型

4. 自动驾驶看不见的车,哪一辆才真危险?IROS 2026 让 VLM 学会盯住遮挡

最新文章

随机文章