当前位置：首页>自动驾驶>VLA+世界模型会是自动驾驶下一代技术路线吗?

VLA+世界模型会是自动驾驶下一代技术路线吗?

2026-04-17 23:18:51

最近看到在具身智能领域的融资情况可谓是风起云涌成为新的热门赛道。具身智能比自动驾驶想象空间很大，落地场景会比自动驾驶更为广泛。从算法来看，具身智能领域和自动驾驶有很多相通的技术。

基于VLA的模型架构近两年成为自动驾驶行业的热词和新方向，其中将世界模型和VLA结合的探索也是比较有意思的一个新范式。在这一范式中，VLA是作为一个agent，世界模型被引入作为未来预测器，通过融入丰富的物理先验，有效引导 VLA生成具备物理依据的动作。世界模型和VLA单拎出来难度也不小，将两者融合起来取长补短也是一种探索。

一般来说，实现VLA的路径主要有两条，引用元戎的这张图例。

一条是端到端VLA，也就是在单一模型中整合感知、推理和规划；

另外一条是双系统VLA，将慢速推理与快速安全关键执行分离，比较典型的就是理想推出的快慢双系统，VLM负责慢速、审慎的推理，借助一个拐杖也就是专用规划器负责快速、低延迟的执行，因为自动驾驶或者机器人执行的是组合式任务，这就要求智能体必须掌握层次化解决问题的能力，不止需要低级的运动控制技能，又需要高级的时序规划能力。

一句话总结VLA模型框架就是利用大规模视觉语言模型来理解复杂驾驶场景并生成可执行动作，本质上也是一个端到端的模式。

在VLA中，第一步模型的输入仍然是传感器物理世界感知的数据，VLM骨干作为系统的核心推理引擎，通常包含视觉编码器和LLM解码器，通过桥接网络或统一的多模态词元建模机制进行视觉和语言特征的对齐。

目前主要有两种使用方法。方法一是作为直接的动作生成，VLM直接通过其语言头或附加的小型头输出动作，可以完全实现端到端的映射；方法二是VLM作为高层推理模块，产生中间引导，例如文本解释结、构化潜在意图等，再由下游规划器转换为底层动作。这也就是慢思考和快执行架构，这种模式可以提高系统的可解释性，并允许规划器强制执行物理可行性和安全约束。当然，这个解释只是围绕输出的结果而解释，而不是做模型算法逻辑的解释，算法逻辑仍然是黑盒状态。

第二步模型的输出是将VLM的潜在表示转换为动作，在整个架构中有语言有执行轨迹，所以输出的动作内容有几类，一类是直接利用VLM的文本生成能力，在语言空间中产生动作，表示方法可以是语言描述驾驶动作也可以是离散化的动作词元，对应车辆中一系列空间路径点表示未来路径；一类是通过解码器和回归器直接预测连续值将车辆运动参数化，例如车车辆的转向角、预测动作轨迹点；一类是评估一组候选轨迹，并根据学习的成本函数选择最优轨迹；最后一类是通过概率生成模型合成动作，能捕捉未来分布的多模态性和不确定性。

理论上VLA模型在场景泛化中非常好，实际上在部署中也存在明显的短板。

短板一、LLM遗传给VLA的幻觉问题，可以通俗地理解为VLA在脑补一个场景。它虽然能理解指并执行动作，但其生成的动作指令往往缺乏物理依据，导致车辆跨过前车或车辆穿模等不符合现实物理规律的结果。它的表现有点像是语言上的巨人，行动上的矮子。说聪明吧，基本尝试犯错误，说智障吧，可以理解的场景更多了。为了优化或者解决这个问题，业内一方面是联合世界模型，让AI在行动前能脑补后果。另一方面，小鹏等厂商则在VLA架构内引入物理逻辑推理，直接根据物理规则而非特征匹配来决策。

短板二、规划的不可验证性，本质上来说虽然VLA可以输出语言解释但是VLA的规划能力是一个黑箱，导致出现这一问题的核心在于语言与物理世界的脱钩。LLM根据语义进行规划，但它所规划的抽象策略缺乏对具体物理约束的认知，这就有点想一套，做一套的风险。并且它们只优化最终的轨迹误差，而忽略了交通法规、道德准则和防御性驾驶原则等人类的价值偏好。例如，规划的路径虽没有碰撞，却可能因持续压迫其他车道车辆，造成交通冲突或引发其他交通参与者的路怒。

短板三、数据稀缺。VLA的能力高度依赖于海量、高质量的训练数据。真实驾驶场景中，引发事故的长尾数据比较稀缺。除此以外，VLA模型接收的是高维、稠密的视觉信息，但用于训练的监督信号却是低维、稀疏的驾驶动作，导致大量表征能力被浪费，难以学习复杂动态，数据增长带来的边际收益迅速递减。所以，为了弥补数据上问题，数据技术也会是一个关键，可能比模型更为重要，理想汽车发布的MindVLA-o1中很重要的一部分依赖项就是数据，去年CVPR收录的文章也是和数据相关。所以，随着VLA模型适配的普及，模型不再神秘，而数据技术将成为产品性能的制约因素，不谈数据只说模型纯属白扯。还有一点就是关于强化学习，这种方法可以让VLA实现自我进化，但它在现实世界中通过试错来学习最优驾驶策略，可能带来一定的不安全风险，比如为了学习如何安全并线而尝试危险的驾驶动作，这个成本太大了。

VLA的短板共同指向一个核心问题，它更像一个能够理解和执行特定任务的智能工具，而非一个真正理解物理世界运行规律的自主智能体。

这就回到一开始提到的那个问题中，为VLA引入世界模型的内核，让它从死记硬背答案转变为理解物理原理。这里需要再说明一下世界模型，在自动驾驶领域世界模型主要是预测不同自车动作下驾驶场景的演变，通过联合建模场景动态和自车运动，为学习安全、长时程的驾驶策略提供强大机制。

当前世界模型主要分为三类，一类是通过图像生成以自车动作为条件的未来帧，使智能体能够想象场景演变。主要利用扩散模型或自回归模型合成逼真、时序一致的视频。提供逼真的模拟，但对2D外观的依赖会限制显式的3D推理；另一类是基于特斯拉提出的占用网络，将驾驶场景表示为时空占据栅格，并预测其在不同动作下的演变。关注自由空间、障碍物和智能体的几何与语义，而非原始像素。提供物理世界的几何保真度和显式的自由空间推理，但这一类是需要依赖昂贵的3D标注；还有一类是直接在压缩的潜在空间中预测未来动态，避免像素级生成的计算开销。通过操作高层特征捕捉行为模式和长时程依赖，但通常需要2D/3D标注的辅助监督，理想在MindVLA-o1模型中也是利用了这一点。根据世界模型的特性将世界模型引入VLA中就可以看到几方面的作用。

第一是作为VLA中的拐杖规划器。将世界模型作为前向动力学模型，以显式未来观测或隐式特征的形式合成未来引导信号，从而为策略提供语义条件。这一点主要是弥补多模态大语言模型的缺乏物理预见的能力。世界模型作为规划器，确保动作基于预测的物理动力学，而非仅依赖语义关联。在视频生产领域已经有很多模型将世界模型规划引入用来完成高保真视频生成任务。主要是利用图像或者视频扩散模型合成像素级未来状态，随后由逆动力学模型生成动作，这就是AI生产的视频逐渐看似合理的重要原因。

基于前面有一篇文章分析了小鹏汽车在VJEPA框架中实现隐式建模，缓解像素合成中与动力学无关的视觉细节干扰。不重建图像，直接在隐空间预测未来状态以辅助动作推导。最终的形态将会是从基于LLM 的离散规划，向利用学习到的动力学完成复杂任务的主动规划器转变。

第二是世界模型作为基础模型中的动作模型，这个动作模型不是执行动作而是一种约束。主要采用生成建模近似未来观测与动作的联合分布，在给定上下文条件下预测视觉与控制的耦合动力学。世界动作模型在统一框架内融合图像预测与动作生成，融入环境动力学为策略提供物理依据。通过构建未来观测与动作的联合分布模型，确保动作在语义对齐的同时受物理约束，在长程任务中保持时空一致性。将环境隐射到动作进行联合建模，利用学习到的动力学强化动作生成的物理依据。推演到VLA中就是将V和A进行联合建模，缓解因为LLM带来的动作离散化带来的信息损失。

第三是通过联合生成器合成交错的观测到动作轨迹，构建可扩展数据引擎以支撑模仿学习，世界模型成为策略学习的可扩展数据引擎。

第四就是作为仿真器，这一点应用的比较多。可以说所有的仿真器在一定程度上都可以认为是构建的世界模型，仿真的核心也是构建一个世界模型，无论是克隆地球还是数字孪生地球，本质上都是在构建世界模型，而不仅仅是将物理世界一比一进行复制。世界模型作为虚拟仿真器，生成合成未来状态。结合外部奖励评估器，通过优化想象结果的期望回报实现策略提升。随着模型的进化，仿真逐渐成为智能体交互的第一虚拟环境，而世界模型仿真器支撑闭环策略提升与验证，从而实现克服强化学习中数据稀缺、操作风险等物理现实的约束。随着AI的深入以往一边实车测试一边优化的模式将成为历史，毕竟AI产品的基因就是不确定性的，可能同一个prompt每次跑出来的结果都不一样。

最后，写了这么表达的核心就是将世界模型融合进VLA架构中形成一个具身智能和自动驾驶的通用架构，从自动驾驶出发还是从具身智能出发殊途同归。

每个人都是生活实践者与行业观察者

欢迎转发并关注

汽车行业观察者联盟

感谢，每一次阅读都是作者前进的动力，每一次点赞都是加油站！

本文来自网友投稿或网络内容，如有侵犯您的权益请联系我们删除，联系邮箱：wyl860211@qq.com 。

VLA+世界模型会是自动驾驶下一代技术路线吗?

最新文章

热门文章

随机文章

VLA+世界模型会是自动驾驶下一代技术路线吗?

用奔驰轿车陪葬,违法了吗?

3月SUV销量巨变!探岳飙升第二,博越L、锋兰达谁更值

最新文章

热门文章

随机文章