一文讲清楚自动驾驶:VLA和世界模型WorldModel

近年来，智能驾驶技术正迎来范式级跃迁，端到端E2E（End-to-End）、VLA（Vision‑Language‑Action）、世界模型（World Model）等前沿概念接连涌现，成为行业最受瞩目的技术方向。其中，世界模型更是被视作智驾迈向真正通用智能的核心突破口，各大厂商纷纷基于此打造专属技术体系：小鹏推出世界基座模型，蔚来发布端到端世界模型（NIO World Model），华为则提出世界行为模型（WEWA：World Engine World Action）。与此同时，地平线、理想、元戎启行、Momenta等主流玩家也密集布局，一场围绕世界模型的技术竞赛，已然在智驾领域全面打响。

端到端（E2E）智能驾驶架构，彻底打破了传统模块化范式的桎梏，将感知、决策、控制等离散环节熔铸为一个统一的深度神经网络。它不再是由人工定义的子任务拼接而成的流水线，而是从原始传感器数据（如多视角图像、点云等）直接映射到车辆控制指令（如方向盘转角、油门、刹车）的端到端映射函数。

端到端优势：

1.）消除累积误差，提升鲁棒性

传统模块化架构中，感知模块的微小偏差会在后续的预测、规划环节被逐级放大，形成 “误差瀑布”。而端到端模型通过全局优化，直接学习从数据到动作的最优映射，从根本上规避了模块间的信息损耗与误差累积，在复杂、长尾的真实世界场景中展现出更强的鲁棒性与泛化能力。

2.）拥抱数据驱动，释放规模潜力

端到端架构摆脱了对人工规则和先验知识的依赖，其性能提升直接与数据规模和质量挂钩。随着大规模真实驾驶数据和仿真数据的涌入，模型能够自动发现并编码人类难以显式定义的复杂驾驶策略，从而实现 “数据越多，智能越强” 的正向循环，完美契合大模型时代的技术演进规律。

3.）简化系统复杂度，加速迭代效率

传统架构需要为每个子模块（如目标检测、轨迹预测）进行独立的设计、训练和调试，系统耦合度高，迭代成本巨大。端到端架构将整个驾驶系统抽象为一个统一的优化目标，极大简化了工程实现，使得算法迭代、模型更新和新场景适配的效率得到数量级提升。

4.）逼近人类直觉，实现类人驾驶

人类驾驶员并非通过分步推理来驾驶，而是依赖高度整合的视觉、运动直觉。端到端模型通过深度神经网络模拟这种直觉式决策，能够更自然地处理模糊、动态的交通场景，其行为更接近人类驾驶员的流畅与灵活，为实现真正的通用自动驾驶铺平了道路。

端到端模型虽然有上面这么多优势，但也有一个绕不过去的问题，就是中间逻辑是黑盒，这也是很多神经网络的特点，能力强、效率高，但可解释性弱，特别是在自动驾驶领域，对安全性要求非常高。端到端往往需要更多的错误复盘、控制和安全兜底方案，当然这部分世界模型WM会对VLA做补充，后面会有细讲。所以我们能够看到，我们想要的不是黑盒的端到端，而是一个可解释的端到端。

好，端到端的概念清楚之后，我们再看VLA和世界模型，其实这两个技术并不是对立、二选一的关系，反而可以相互补充、深度融合。从目前的落地情况来看，主流方案还是以VLA（或者说VA）为主，也就是Vision-Language-Action，视觉–语言–动作一体化模型。

但如果放到自动驾驶这种真实场景里就会发现，里面的 L（Language 语言）其实不是必需的。不少厂商就把VLA做了精简，直接优化成VA模型，只保留了Vision + Action，去掉不必要的语言分支，效率更高、结构更简单、部署更轻量化。

接下来，我们就重点介绍VLA和世界模型（World Model），搞清楚它们各自在自动驾驶里承担什么角色、如何相互配合、如何协同工作，最终在真实的自动驾驶场景里，一起实现更安全、更智能、更像人类的驾驶决策。

一. VLA

（一）技术思想

我们以2025年最新的VLA论文为切入点来详细介绍，因为是最新的VLA，所以会在原有的VLA基础上做很多改进，但就像我之前说的，技术是相互融合的，不是对立的，技术理念上经常是“你中有我，我中有你”，这才是理解技术演进和发展的正确姿势。

https://openaccess.thecvf.com/content/CVPR2025/papers/Renz_SimLingo_Vision-Only_Closed-Loop_Autonomous_Driving_with_Language-Action_Alignment_CVPR_2025_paper.pdf

图 1 SimLingo VLA Overview

该模型以单一视觉输入为基础，设计了驾驶模式（Driving mode）与梦境模式（Dreaming mode）两大核心工作流，实现“驾驶执行、语言理解、指令跟随” 的三位一体。

1.）共享输入层

• 核心输入

• 如上图1中间所示，核心输入包括前视相机场景图像（Scene）+ 导航条件（Navigational conditioning）。
• 导航双选机制
  支持GPS 目标点（传统自动驾驶导航）或高级语言指令（HLC）（自然语言交互），实现从 “坐标导航” 到 “语言导航” 的灵活切换。

2.）驾驶模式（Driving mode，上图1左侧）

聚焦真实道路闭环驾驶，同时具备可解释性与场景交互能力，输出分为两类：

• 动作输出
  预测车辆行驶的路径（Path）与速度（Speed）曲线，直接转化为转向、油门、刹车控制指令。
• 语言交互输出
  支持3类语言任务，解决传统端到端模型 “黑箱” 问题：
• 驾驶决策（Driving）：如“Predict the next action”（预测下一步动作）；
• 决策注释（Commentary）：如 “Explain what you are doing”（解释当前行为）；
• 视觉问答（VQA）：如“Is there an obstacle?”（判断场景障碍物）。

3.）梦境模式（Dreaming mode，上图1右侧）

这是最核心的创新设计，在不执行真实危险操作的前提下，验证模型对语言指令的执行能力，这其实很像世界模型了。

• 核心逻辑
  输入同一视觉场景 + 不同语言指令，模型仅在 “虚拟层面” 生成对应的路径与速度轨迹。
• 典型案例
  面对施工路段场景，输入 “Accelerate now”（立即加速）“Drive towards the cone”（驶向路锥）等指令，模型输出差异化的动作轨迹，证明其不会仅依赖视觉线索 “走捷径”，而是真正遵循语言指令调整行为。

（二）技术架构

图 2 SimLingo VLA 架构

如图2所示，该架构作为自动驾驶VLA（Vision-Language-Action）领域的里程碑式研究，核心价值在于提出了 “纯视觉、语言、动作强对齐” 的端到端驾驶范式，实现了语言理解与驾驶动作的因果对齐（解决了诸如嘴上说识别红灯，行动却加速这种不匹配现象）。

该架构同时验证了纯视觉VLA方案在工业级基准中的实用性与领先性，由于仅使用相机，摒弃激光雷达等昂贵传感器，大幅降低高阶自动驾驶的硬件部署成本，推动技术平民化。在CARLA Leaderboard 2.0、Bench2Drive基准达成 SOTA，斩获2024 CARLA挑战赛冠军。

如图2所示，这是一个典型的多模态融合大模型（视觉、语言、动作），也是现在主流的设计方式，就是一套模型，实现多任务统一输出，特别像柔性生产线的概念，即一条生产线同时生产出多种车型。

下面我们分别从输入层、融合层、推理层和输出层四个部分详细分解一下图2的技术架构。

1.）输入层：多模态感知处理

视觉输入：

• 原始输入为前视图像分块（Front view tiles），解决高分辨率图像编码的算力瓶颈；
• 前视图图像块（Front view tiles）首先进入InternViT-300M(ViT)进行特征提取。经ViT输出的高分辨率特征图，再经过Pixel Unshuffle (ρ)进行下采样，将空间维度的信息压缩到通道维度，从而减少视觉Token的数量，以复用448×448分辨率的预训练权重，兼顾精度与效率。视觉Transformer的ViT技术，可以参考我之前写的ViT到Swin：大模型从“看图说话”到“专业视觉”的进化。

• 导航条件二选一：GPS目标点（TP） 经MLP编码，或高级语言指令（HLC） 经LLM tokenizer (τ)编码；
• 全局语言提示（p_global）+ 梦境模式标记（Dreamer flag），共同构成模型的任务指令，实现驾驶、梦境模式的动态切换。

• 作为视觉特征与语言特征的跨模态桥梁，将InternViT输出的视觉Token与 LLM输出的语言Token进行交织融合；
• 解决传统VLA模型 “视觉与语言特征独立编码、融合不充分” 的问题，实现两类特征在同一表征空间的深度交互。

• 采用预训练pre-trained Qwen2-0.5B作为大语言模型基座，通过LoRA（低秩适配）进行轻量化微调；
• 既复用了大模型的语言理解能力，又避免了全量微调的高算力成本，适配自动驾驶的端侧、车端部署需求。

• 车端部署的算力约束
  自动驾驶系统对延迟和算力有严格要求，车规级芯片（如 Orin-X、Orin-N）的算力有限，大模型（如7B/14B）难以满足实时推理需求。0.5B级模型在算力和延迟上更具优势，是车端部署的现实选择。
• 任务复杂度的适配
  SimLingo的核心任务是语言-动作对齐，而非通用对话。它不需要处理复杂的多轮对话或长文本生成，0.5B模型的语言理解能力已足够支撑指令解析、VQA等常规任务。
• 数据与训练效率
  自动驾驶场景下的标注数据成本极高，小模型对数据量的需求更低，训练和微调速度更快，便于快速迭代和验证新算法（如Action Dreaming）。

• 几何路径路点（Geometric path waypoints, o_p）：20个路点，控制车辆横向轨迹；
• 时间速度路点（Temporal speed waypoints, o_w）：10个路点，控制车辆纵向速度；
• 轨迹与速度的解耦设计提升了横纵向控制的独立性与稳定性，解决了传统端到端模型 “轨迹与速度耦合导致的控制失准” 问题。

• 视觉看到：路面湿、反光、有水迹、轮胎溅水
• 动作输入：打方向盘、踩油门
• 实际结果：车身滑移、速度下降慢、偏移更大

https://arxiv.org/pdf/2403.02622v3

• 从 “被动响应” 到 “主动推演”
  传统自动驾驶系统是 “看到什么做什么”，而世界模型让智能体能够在 “脑海里” 预演未来，提前规避风险。
• 从 “统计拟合” 到 “物理理解”
  世界模型不仅学习数据中的统计规律，更要理解物体运动、碰撞、交互等底层物理规则，从而在长尾场景中做出更可靠的决策。
• 从 “数据饥渴” 到 “样本高效”
  通过在虚拟世界中预演，智能体可以用更少的真实数据学习到更通用的策略，大幅降低自动驾驶的训练成本。

本小节图片来源https://openvisuallab.github.io/archiver/worldmodel/

https://arxiv.org/pdf/2309.09777

• 解耦训练的巧思
  两阶段训练是 DriveDreame 的核心创新：先让Auto-DM “学规矩”（交通结构），再让ActionFormer “学交互”（动作与场景的联动），完美解决了传统世界模型 “一口吃不成胖子” 的训练难题。
• 多模态的深度融合
  区别于传统驾驶生成模型，DriveDreamer同时支持结构化输入（HDMap、3D框等）、文本输入（天气、时段控制）、动作输入（驾驶决策），实现了 “所见即所得、所控即所生” 的精准可控性。
• 与传统技术的差异化
• 对比视频扩散模型：DriveDreamer加入了自动驾驶专属的结构化交通约束，避免生成 “车辆穿墙、逆行” 等不合理内容；
• 对比传统世界模型：摆脱了VAE+LSTM的老旧范式，采用扩散模型提升生成质量，且基于真实数据训练，而非仿真环境。

• World Model
  DriveDreamer的Auto-DM就是一个自动驾驶场景下的世界模型，能够生成未来视频和预测驾驶策略。
• Actor
  DriveDreamer能够根据输入的驾驶动作，生成对应的未来场景，这正是 Actor 模块的功能体现。
• Perception
  DriveDreamer从真实世界的驾驶视频中学习，这对应了感知模块从现实中获取信息的过程。

• 输入

• 核心注意力层
• 时间注意力（Temporal-attention）
  确保生成视频帧间的时序一致性，避免跳帧或动作突变。
• 门控自注意力（Gated Self-attention）
  集成位置嵌入，处理物体间的空间关系，确保空间关系是合理的。
• 交叉注意力（Cross-attention）
  集成文本嵌入，实现风格可控。
• 输出
  去噪后的隐表示 z0。

• 视频解码器（Decoder）
  将去噪后的隐表示 z0 解码为生成视频（Generated Video）。
• 训练监督
  与真实视频（GT Video）的编码隐表示对比，计算噪声预测损失，优化模型参数。

ActionFormer的整体结构。初始结构条件H0（高精地图）和B0（3D边界框）首先被编码并展平为一维隐空间特征。这些隐特征随后被拼接，并通过自注意力（Self-Attention）和多层感知机（MLP）层处理，生成初始隐藏状态Hidden state。

在ActionFromer里面，Cross-Attention交叉注意力用于建立隐藏状态Hidden states和驾驶动作之间的关联，然后送给门控循环单元（GRUs）来处理，通过GRU不断地预测未来的隐藏状态Hidden states。这些预测出的隐藏状态会进一步与动作特征拼接，并被解码为未来的交通结构条件，最终输入至 Auto-DM 中。

• 世界模型 = 前瞻、预测、物理规律、环境推演
• VLA = 决策、动作生成、语言条件、驾驶风格

• VLA = 大脑、直觉、快速决策
• 世界模型 = 小脑、安全校验、物理可行性判断

云端世界引擎（World Engine，WE）

车端世界行为模型（World Action Model，WA）

欢迎关注、转发