当前位置:首页>自动驾驶>自动驾驶世界模型、VLM与VLA:算法原理、技术架构与演进全景深度调研报告

自动驾驶世界模型、VLM与VLA:算法原理、技术架构与演进全景深度调研报告

  • 2026-10-23 08:22:47
自动驾驶世界模型、VLM与VLA:算法原理、技术架构与演进全景深度调研报告

1. 摘要与核心发现

1.1 研究动机

自动驾驶系统正经历从模块化规则系统到数据驱动端到端模型的范式转换。2023-2026年间,大语言模型(LLM)与视觉基础模型的突破性进展,催生了三条紧密关联但又各有侧重的技术路线:世界模型(World Model)、视觉语言模型(VLM) 和视觉语言动作模型(VLA)。这三者在技术理念、实现路径和应用场景上既相互竞争又趋于融合,共同构成了下一代自动驾驶"基座模型"的核心技术版图。

1.2 核心发现

1.3 三者的定义边界

2. 发展轨迹:从端到端模仿学习到VLA

2.1 演进全景图

2.2 关键转折点分析

转折点1:GAIA-1的诞生 (2023.09)

Wayve发表了GAIA-1论文,首次将"世界模型"概念大规模应用于自动驾驶。其核心洞见是将驾驶建模为无监督序列预测问题——预测下一个图像token,类似于语言模型预测下一个词token。9B参数的规模、4700小时真实驾驶数据的训练、以及涌现出的3D几何理解能力,让行业看到了"驾驶基座模型"的可能性。

转折点2:DriveVLM量产部署 (2024)

DriveVLM由清华MARS Lab与理想汽车合作,成为首个部署到量产车的VLM智驾模型。其DriveVLM-Dual快慢双系统架构(VLM慢推理 ~1.5s + 传统3D感知快执行)证明了VLM可以在车端运行,nuScenes上L2误差0.40m的SOTA成绩也为VLM路线提供了强有力的学术支撑。

转折点3:OpenVLA开源生态 (2024.06)

OpenVLA以7B参数的开源模型,在29个机器人操作任务上超越RT-2-X(55B)达16.5%,且仅需单张RTX 4090即可6Hz推理。其架构范式(DINOv2+SigLIP双视觉编码器 + Llama-2-7B + 离散动作tokenization + LoRA微调仅1.4%参数)直接启发了后来的OpenDriveVLA等驾驶VLA模型。

转折点4:行业大分裂 (2025-2026)

华为车BU CEO靳玉志公开称VLA为"取巧方案",吉利CTO李传海、Momenta CEO曹旭东也质疑VLA路线。行业分裂为"世界模型+强化学习"(华为/蔚来/Waymo)与"VLA大模型"(理想/小鹏/元戎启行)两大阵营。这一辩论在2026年CVPR上被小鹏的"双支柱"论述和Waymo的Genie 3曝光所部分调和。

转折点5:基座模型共识 (2026.06-07)

CVPR 2026成为自动驾驶基座模型的"揭幕时刻":Waymo首次公开世界模型训练框架,小鹏发布72B物理世界基座模型,元戎启行发布40B三位一体VLA。行业共识形成:VLA与世界模型不是二选一,而是基座模型的两个互补支柱——VLA从人类驾驶行为中学习如何行动,世界模型学习预测行动之后世界如何变化。

3. 世界模型篇

3.1 GAIA-1/2 (Wayve)

3.1.1 概述

3.1.2 技术架构

GAIA-1是第一个大规模驾驶世界模型,其核心架构设计分为三个关键组件:

组件1:图像分词器 (VQ-VAE Image Tokenizer)

  • 基于全卷积2D U-Net的离散自编码器

  • 每帧下采样因子 D=16(例如288×512输入 → 18×32=576个离散token)

  • 码本大小:8,192

  • 训练中使用DINO余弦相似度蒸馏损失:引导压缩朝向语义表示而非仅高频像素重建

组件2:世界模型 (自回归Transformer, 6.5B)

将驾驶建模为无监督序列预测问题

  • 输入序列:[图像token₁, 图像token₂, ..., 文本token, 动作token, 图像tokenₙ]

  • 训练目标:因果掩码下预测下一个token(与LLM的next-token prediction完全一致)

  • 关键创新:文本和动作token作为"条件前缀"注入序列,实现可控生成

组件3:视频扩散解码器 (2.6B)

  • 接收世界模型输出的隐空间表示

  • 通过扩散过程生成高保真度、具有真实细节的视频帧

  • 负责将"语义理解"翻译为"像素级真实感"

3.1.3 训练范式

阶段1:图像分词器预训练    ├── VQ-VAE + DINO蒸馏损失    └── 目标:学习离散视觉码本阶段2:世界模型自回归训练    ├── 序列填充: [img₁, img₂, ..., text, action, imgₙ]    ├── 因果自注意力,预测下一个图像token    └── 目标:建模场景动态和可控性阶段3:视频扩散解码器训练    ├── 以世界模型隐状态为条件    ├── 扩散生成高保真视频帧    └── 目标:隐空间→像素空间解码

3.1.4 Emergent能力

GAIA-1展现出了超越显式训练目标的涌现行为:

  • 3D几何理解:模型从2D视频中隐式学习了道路起伏(pitch/roll)、速度颠簸等3D几何属性

  • 多未来预测:对同一场景输入,通过改变动作条件可生成不同的未来演化

  • OOD泛化:对训练分布外的场景(如不同城市、天气)具有鲁棒的生成能力

  • 场景动态理解:能合理模拟其他交通参与者的反应行为

  • Scaling Law:验证交叉熵随计算量(FLOPs)呈现幂律下降,表明继续扩大规模仍有显著收益

3.1.5 局限性与后续发展

  • 单视图限制:仅支持前视单相机,缺乏多相机环视一致性

  • 控制粒度不足:仅文本+动作条件,缺乏结构化交通约束

  • 数据集不公开:4700小时专有数据无法复现

GAIA-2(2024年发布,具体细节披露有限)据称在以下方面做了显著改进:

  • 扩展至多相机环视输入

  • 整合LiDAR/Radar等多模态传感器

  • 提升生成时长和时空一致性

3.2 DriveDreamer系列

3.2.1 DriveDreamer (ECCV 2024)

技术架构:

DriveDreamer的核心理念与GAIA-1截然不同:不通过压缩海量视频学习动态,而是通过结构化矢量表示显式建模道路场景的演化。

多阶段训练管线:

阶段1: AutoDM (自动驾驶扩散模型)    ├── Step 1: 训练图像扩散模型    ├── Step 2: 扩展为视频扩散模型    └── 条件注入: 通过cross-attention注入文本条件阶段2: 动作条件化    ├── 添加动作条件(action condition)    ├── ActionFormer (GRU-based RNN):    │   └── 在感知向量的隐空间中自回归预测未来道路结构特征    └── 目标: 建模世界模型的动态演化

ActionFormer——DriveDreamer的灵魂:

与GAIA-1或Genie通过海量数据学习隐式动态不同,DriveDreamer的动态建模由一个相对简单的RNN(GRU)完成,但其工作空间是结构化矢量表示(而非像素空间),这使得它可以实现"近像素级精确控制"。

感知向量(Perception Vectors):将道路结构、交通参与者、车道线等感知结果表示为向量化线框(Vectorized Wireframes),这些结构化约束确保了生成视频的交通合理性。

评估体系:

  • 图像/视频质量:FID=52.6, FVD=452.0(初始版本,后续大幅改进)

  • 感知增强:使用真实+虚拟混合数据训练的感知模型mAP提升

  • 开环规划(作者自评为"not very useful")

3.2.2 DriveDreamer-2 (AAAI 2025)

DriveDreamer-2是质的飞跃,引入了LLM进行增强可控性:

  • LLM解译用户查询:将自然语言查询转化为智能体轨迹

  • HD-Map生成:根据交通规则自动生成高精地图

  • 统一多视图模型:同时处理时域和空域一致性

  • 性能跃升:FVD=55.7(从452.0降至55.7), FID=11.2(从52.6降至11.2),成为nuScenes上2D驾驶视频生成世界模型的最佳成绩

3.2.3 DriveDreamer4D

后续扩展版,加入4D(3D空间+时间)建模能力,进一步提升了时空一致性和3D场景理解能力。

3.3 Drive-WM

属性            详情

发布时间 CVPR 2024

机构 中国科学院自动化研究所(CASIA)

核心贡献 首个实现一致性、可控的多视图视频生成的世界模型

关键创新 因子化联合多视图建模 (Factorized Joint Modeling)

3.3.1 核心突破:多视图一致性

在GAIA-1等单视图世界模型之后,Drive-WM解决了自动驾驶特有的环视多相机一致性问题——这是将世界模型从"前视"扩展到"环视"的关键技术突破。

因子化多视图建模:

锚点视图(Anchor Views) ←→ 插值视图(Interpolated Views)        │                           │        └──────── 联合条件生成 ──────┘                    │            跨相机几何一致性
  • 将6个环视相机分为参考(锚点)视图和拼接(插值)视图

  • 插值视图以相邻锚点视图为条件生成,确保跨相机一致性

  • 这是一个工程技巧——利用了自动驾驶多相机配置的特定几何关系,而非通用几何一致性解决方案

3.3.2 条件生成能力

支持多种条件信号组合:

  • 过去视频帧(context frames)

  • 文本描述

  • 动作指令

  • BEV布局图(3D目标框投影至2D图像空间)

3.3.3 树搜索规划

当前状态 → 采样N个候选动作 → 对每个动作:    ├── 生成未来视频帧    ├── 运行感知(检测/分割)    ├── 计算奖励:    │   ├── 地图奖励: 远离路缘 + 贴合中心线    │   └── 目标奖励: 远离其他车辆/行人    └── 选择最大奖励动作 → 进入下一步

3.3.4 局限性

  • 对外部条件信号的强依赖:视频质量重度依赖BEV布局图和3D目标框——这些本身就需要感知系统提供

  • 不学习隐式物理规律:与GAIA-1或Sora通过大规模训练学习物理规律不同,Drive-WM更像是"条件生成"而非"物理理解"

  • 非自回归生成:未来帧以初始帧和动作为条件,而非以之前生成的帧为条件(但时序自注意力提供了隐式帧间依赖)

3.4 OccWorld与占用世界模型

3.4.1 背景:从2D像素到3D占用

OccWorld系列代表世界模型的另一条重要分支:不预测像素,而预测3D空间占用(Occupancy)。这种范式更接近自动驾驶的底层需求——规划器需要的是3D空间的可行驶区域信息,而非高清视频。

3.4.2 OccWorld核心思想

  • 输入:历史占用网格序列 (3D Occupancy Grids)

  • 输出:未来占用网格预测

  • 优势:

    • 直接输出3D空间信息,无需2D→3D转换

    • 计算效率高(与像素生成相比)

    • 与下游规划器自然对接

3.4.3 变体与扩展

3.5 Epona (ICCV 2025)

3.5.1 关键突破

突破1:超长时域生成

Epona支持自回归视频生成长达2分钟以上(600+帧),相比此前扩散世界模型(如Vista的约15秒固定长度)是一个数量级的飞跃。这得益于其自回归架构设计,消除了固定长度窗口的限制。

突破2:无感知模块的端到端驾驶

Epona实现了仅使用前视相机、无任何感知模块(无3D目标框、无车道线检测、无HD Map)的轨迹规划,达到:

  • 1秒碰撞率 0.01%(nuScenes基准上最低)

  • NAVSIM PDMS聚合分数超越所有强端到端规划器

  • 涌现红绿灯停车行为:模型通过自监督未来预测隐式学会了在红灯时停车——未经过任何显式的红绿灯标注训练

突破3:视频生成质量

nuScenes上FVD=82.8,较此前最优扩散世界模型Vista(~89.5)提升7.4%

突破4:实时规划推理

在纯规划模式(关闭视频生成)下实现20Hz实时轨迹规划

大幅降低FLOPs(视频生成仅在训练或离线仿真时使用)

3.5.2 技术意义

Epona代表了从"为视频生成而训练世界模型"到"为驾驶而训练世界模型"的关键转变:世界模型的真正价值不在于生成好看视频,而在于通过自监督未来预测学习物理世界的运行规律,并将这种理解用于驾驶决策。

3.6 UniAD

3.6.1 技术架构:四大Transformer模块

统一Query接口:所有模块间通过可学习的Query进行信息传递,避免了传统模块化架构中的信息瓶颈。

两阶段训练:

  • 阶段1:联合训练TrackFormer + MapFormer + MotionFormer + OccFormer

  • 阶段2:固定感知模块,仅训练Planner

nuScenes全任务SOTA:

  • MOT (多目标跟踪): +6.5% AMOTA

  • 运动预测: -38.3% minADE

  • 占用预测: +4.0 IoU

  • 规划: -51.2% avg L2 error / -56.3% collision rate

3.6.2 UniAD v2.0

后续版本进一步改进了架构效率和多任务性能。

3.7 其他重要世界模型

3.7.1 Vista

基于Stable Video Diffusion的视频生成世界模型,在nuScenes上以FID=6.9达到动作条件视频生成的最佳FID成绩。采用新颖的损失函数设计实现高保真度、结构一致的视频生成。FID=6.9显著优于DriveDreamer(FID=52.6)、GenAD(FID=15.4)和Drive-WM(FID=15.8)。

3.7.2 DrivingGPT (ICCV 2025)

归类为基于图像的世界模型,使用VQ-VAE作为视觉tokenizer。最突出的成绩是在NAVSIM闭环基准上达到:

  • 导航完成率(NC) 98.9

  • PDMS分数 90.7

3.7.3 AD-L-JEPA

基于**JEPA(Joint Embedding Predictive Architecture)**的自监督LiDAR世界模型。核心创新:

  • 通过预测BEV嵌入来学习空间世界模型

  • 比先前SOTA快5倍的预训练速度

  • 避免使用生成式或对比学习机制

3.7.4 工业界世界模型布局 (2026)

4. VLM篇:视觉语言模型

4.1 DriveVLM & DriveVLM-Dual

4.1.1 Chain-of-Thought推理架构

DriveVLM的核心创新是将驾驶决策建模为三段式思维链(CoT):

元动作(Meta-Action)体系:

17类元动作被定义为短期驾驶决策策略的最小粒度,涵盖:

  • 速度控制:加速(ACCELERATE)、减速(DECELERATE)、保持(KEEP)、停止(STOP)、等待(WAIT)

  • 转向控制:左转(LEFT_TURN)、右转(RIGHT_TURN)、直行(STRAIGHT)

  • 变道控制:左变道(LEFT_LANE_CHANGE)、右变道(RIGHT_LANE_CHANGE)等

4.1.2 DriveVLM-Dual:快慢双系统

DriveVLM面临的核心矛盾:VLM推理延迟~1.5秒 vs 自动驾驶实时性需求(≥10Hz)。

解决方案——DriveVLM-Dual 双系统架构:

关键技术细节:

  • 传统感知的3D目标被反投影到2D图像空间与VLM的2D bbox匹配

  • 3D目标轨迹追踪结果传入VLM增强推理

  • 整体系统延迟由快速分支决定——慢速VLM只提供高层指导

  • 部署在理想Max量产车,双Orin-X平台

4.1.3 SUP-AD数据集

  • 100K+图像,1M+图像-文本对

  • 覆盖40+种场景类别

  • 构建方式:CLIP挖掘 + 人工标注

  • 关键帧选取策略:在驾驶操作前0.5-1秒选取关键帧

4.1.4 关键验证结论

  • SFT微调的Qwen-VL超越冻结的GPT-4V:领域微调对该任务至关重要

  • nuScenes上DriveVLM-Dual + VAD:L2误差减少0.64m,碰撞率降低51%(vs UniAD基线)

  • 448×448的输入分辨率对小物体(如交通灯)理解可能不足

4.1.5 DriveVLM-RL (2025)

后续工作将VLM定位为离线RL的奖励教师(Reward Teacher):

  • VLM评估驾驶行为的语义质量作为RL奖励信号

  • CARLA中碰撞率减少67%

4.2 DriveGPT-4

4.2.1 技术架构

动作Token化:受RT-2启发,将连续控制信号(速度、转向角)离散化为token,使LLM可以统一预测语言和控制。

与DriveVLM的关键区别:

  • DriveGPT-4输出单步底层控制信号(速度、转向角)

  • DriveVLM输出多步元动作序列+轨迹waypoints

4.2.2 历史定位

DriveGPT-4在VLA四阶段演化中被归类为Pre-VLA(第一阶段)——VLM作为被动解释器,能够描述场景但尚不具备完整的端到端控制能力。

4.3 GPT-4V/4o在自动驾驶中的应用

4.3.1 AutoDrive-QA基准评测

关键发现:

  • GPT-4V零样本在驾驶选择题上接近70%——展示了VLM作为驾驶基座的潜力

  • CODA-LM评测揭示GPT-4V无法处理严重路况边缘案例(corner cases)

  • 冻结VLM vs SFT微调的差距显著——领域特化训练不可或缺

4.3.2 OmniPredict

将VLM应用于行人行为预测:GPT-4o在行人穿越准确率上从GPT-4V的55%提升至67%(+12%),展示了VLM在多模态意图理解方面的独特优势。

4.4 LLaVA-Drive与SimLingo

4.4.1 LLaVA-Drive

基于LLaVA架构的驾驶特化VLM:

  • 扩展LLaVA的多模态对话能力到驾驶场景

  • 支持场景问答、风险识别、驾驶建议生成

  • 定位为驾驶辅助推理引擎而非直接控制器

4.4.2 SimLingo

在VLA四阶段分类中被归为端到端VLA(第三阶段):

  • 基于视觉语言对齐的端到端驾驶

  • 直接从传感器输入到控制信号,语言作为中间统一表示

5. VLA篇:视觉语言动作模型

5.1 RT-2与OpenVLA

5.1.1 RT-2 (Robotics Transformer 2, DeepMind, 2023)

RT-2是VLA范式的开创性工作,虽然主要面向通用机器人操作,但其架构范式直接启发了后来的驾驶VLA模型。

核心思想:

  • 将机器人动作token化为语言模型的词汇表

  • 在互联网规模的视觉语言数据上预训练,再在机器人数据上微调

  • 实现了从"拿起苹果"这样的自然语言指令到具体抓取动作的端到端映射

参数规模:5B → 55B (RT-2-X)

5.1.2 OpenVLA (Stanford/UC Berkeley, 2024.06)

OpenVLA是VLA领域的开源里程碑:

架构图示:

对驾驶VLA的核心启示:

OpenVLA确立了几个关键架构范式,被OpenDriveVLA等驾驶VLA沿袭:

  • 双视觉编码器(DINOv2自监督 + SigLIP图文对齐)获取互补视觉表示

  • 离散动作Token化 使LLM能够自然处理连续控制

  • LoRA高效微调 使大模型在有限数据下有效适应新领域

  • 开源生态降低了VLA研发门槛

5.2 OpenDriveVLA

5.2.1 技术架构

层次化视觉语言对齐:

三大查询模块:

  • Global Scene Query:全局场景上下文理解(天气、光照、道路类型)

  • Agent Query:交通参与者(车辆/行人/骑车人)状态与意图

  • Map Query:道路拓扑、车道连接关系、交通规则

5.2.2 四阶段训练策略

5.2.3 Benchmark表现

5.3 NoRD

5.3.1 核心洞察:推理的代价

NoRD对VLA的一个基本假设提出了挑战:中间文本推理(Chain-of-Thought)对驾驶VLA是否必要?

其核心发现是:

  • 自回归文本推理产生"自回归税":生成CoT token需要大量计算和延迟

  • 标准GRPO强化学习在数据高效、无推理设置下灾难性失败

  • 原因:困难度偏差(Difficulty Bias)——GRPO按组内奖励方差归一化,惩罚了来自困难高方差场景的学习信号

标准GRPO:+0.67% (PDMS: 76.66 → 77.18)  ← 几乎无效Dr.GRPO: +11.68% (PDMS: 76.66 → 85.62)  ← 量变到质变

5.3.2 Dr.GRPO:消除困难度偏差

Dr.GRPO的关键修改:移除组相对优势计算中的标准差分母

# 标准GRPOadvantage = (reward - group_mean) / group_std  # 困难场景被压低# Dr.GRPOadvantage = reward - group_mean  # 困难场景得到公平对待

这一看似微小的修改将强化学习的边际收益从+0.67%放大到+11.68%。

5.3.3 效率对比

输入:前/左/右RGB相机 + 过去轨迹 + 速度 + 加速度

输出:4秒未来轨迹 @ 10Hz (40步)

动作Token化:k-disc轨迹token,词汇量2048

5.3.4 产业意义

NoRD由Applied Intuition(仿真和数据闭环平台公司)发布,代表了企业级VLA落地的务实方向——在保证性能的前提下,最大化数据和推理效率。

5.4 DriveVLA与DriveMoE

5.4.1 DriveVLA

DriveVLA采用大VLA + 500M MoE(Mixture of Experts) 架构,代表了VLA的参数效率优化方向:

  • MoE架构在推理时仅激活部分专家,显著降低计算成本

  • 500M激活参数 vs 总参数量更大的稠密模型

  • 在保持性能的同时提升推理速度

5.4.2 DriveMoE

在VLA四阶段分类中被归为模块化VLA(第二阶段):

  • 使用MoE架构处理不同驾驶子任务

  • 每个专家负责特定场景类型或驾驶操作

  • 门控网络根据场景特征动态路由

5.5 EMMA

EMMA是Waymo基于其内部Gemini-VLM构建的端到端VLA模型,代表了L4头部企业在VLA方向上的探索。其多任务能力覆盖感知、预测和规划。

5.6 VLA四阶段演化

根据ICCV 2025 VLA综述(Jiang et al.),VLA在自动驾驶中的发展经历了四个清晰的阶段:

VLA的三项核心能力(相较此前范式):

  1. 长尾/罕见事件鲁棒推理:通过语义理解泛化到训练中未见过的场景

  2. 噪声容忍控制:在动态、部分遮挡场景下稳定输出

  3. 高层指令理解:能够解释"给救护车让路"这样的自发高层命令

6. 技术全景对比

6.1 世界模型全面对比

6.2 VLM/VLA模型全面对比

6.3 规划性能Benchmark排行榜

nuScenes 开环规划 (Open-Loop)

NAVSIM 闭环 (Closed-Loop)

CARLA 闭环

6.4 算力成本对比

算力优化路径:

  • 云端Teacher (32B/72B) → 蒸馏 → 车端Student (4B-7B) → 量化(INT8/FP8) → 车端部署

  • NVIDIA LiteVLM: FP16 214ms → FP8 163ms (3.2×加速,精度损失0.6618→0.6450)

7. 应用场景探索

7.1 场景矩阵

7.2 典型应用详析

7.2.1 数据生成与增强——世界模型的核心价值

世界模型在数据闭环中的角色日益演变为"超高级自动出题机":

  • 理想MindSim:在虚拟世界中生成千万倍于现实的极端场景(罕见天气、事故前兆、激进驾驶员行为),将这些"人造险境"喂给VLA模型做强化学习

  • Tesla世界模型专利:生成合成训练数据以强化拟人化驾驶能力

  • Waymo Genie 3路线:世界模型作为核心基础设施,统一仿真、数据生成和规划验证

7.2.2 快慢双系统——VLM的量产路径

DriveVLM-Dual的快慢架构成为VLM量产部署的事实标准范式:

慢系统(VLM推理, 1-1.5s) → 高层语义理解 + 粗粒度规划

    +

快系统(传统感知, ~0.1s) → 实时感知 + 细粒度轨迹精化

    ↓

安全执行层(规则兜底) → 碰撞避免 + 功能安全

这种架构已被理想汽车验证在双Orin-X平台上可行。

7.2.3 VLA端到端——下一代量产方向

NoRD和OpenDriveVLA代表了VLA的两条演进方向:

  • NoRD方向:去文本推理,极致效率(3× token减少, 60%数据节省)

  • OpenDriveVLA方向:层次化视觉对齐,追求SOTA精度

7.3 产业化里程碑

8. 落地挑战与瓶颈

8.1 挑战全景

8.2 关键挑战深度分析

8.2.1 VLM推理延迟——"VLA量产的第一堵墙"

自动驾驶实时性要求:

    ├── 高速场景: ≥ 20Hz

    ├── 城市低速: ≥ 10Hz

    └── 当前最优VLM: ~4.7 Hz (LiteVLM FP16) / ~6 Hz (FP8)

优化路径:

    ├── Token压缩: NVIDIA LiteVLM 3组件联合优化 (214ms↓)

    │   ├── 动态Patch选择: 平均12→3.5 patches (ViT延迟×3↓)

    │   ├── Token剪枝: 3214→858 visual tokens

    │   └── Eagle-2投机解码: 16.9→9.0ms

    ├── 量化: FP16→FP8 (214→163ms)

    ├── 蒸馏: 72B Teacher → 4B Student

    └── 架构创新: NoRD去推理范式 (3× token减少)

瓶颈本质: LPDDR5X内存带宽不足(计算反而不是瓶颈)

8.2.2 闭环性能鸿沟

CARLA Town05 Long基准揭示了一个关键矛盾:

  • VLA/VLM方法在开环语义理解(nuScenes L2, 碰撞率)上领先

  • 但在闭环精确控制上显著落后于传统方法

原因:VLM产生的是粗粒度决策(元动作/waypoints),而闭环驾驶需要毫秒级的精确轨迹控制。这是DriveVLM-Dual引入快速精化分支的根本动机。

8.2.3 幻觉——从语言模型继承的顽疾

GPT-Driver报告的碰撞率(0.44%)高于非LLM方法

GPT-4V在CODA-LM评测中无法处理严重路况边缘案例

语义推理可能不忠实于底层因果——模型可能给出"合理但错误"的解释

缓解策略包括:

  • DriveVLM的Quick-Slow双系统:快系统提供硬感知约束

  • RLHF离线和在线反馈

  • 世界模型驱动的场景回放验证

8.2.4 形式化安全验证

ICCV 2025 VLA综述明确指出:目前没有任何VLA模型提供形式化安全保证。

2026年6月通过的UN/WP.29 ADS GTR法规要求:

  • Safety Case论证(全生命周期安全管理)

  • 仿真-场地-路测多支柱验证

  • 系统功能安全(SOTIF)评估

9. 未来趋势与前瞻

9.1 趋势一:VLA + 世界模型融合 (2026-)

2025-2026年的行业争论(VLA vs 世界模型)正在被融合叙事取代:

融合路径:

  • VLA开始学习3D空间特征(3D ViT)

  • 世界模型开始压缩进实时芯片(NVIDIA Thor)

  • 世界模型生成数据喂给VLA做RL——虚实闭环

9.2 趋势二:基座模型统一 (2026-2030)

Waymo CVPR 2026传递的核心信号:驾驶正在变成基座模型问题。

基座模型三阶段训练 (Waymo范式):

预训练 (Pre-training)

    └── 基座: DeepMind Genie 3 通用世界模型

        具备: 长期时序预测、物理规律建模、场景演化

中期训练 (Mid-training)

    └── 注入Waymo专属传感器: 多相机、LiDAR、Radar、HD Map

        通用世界模型 → 自动驾驶世界模型

后训练 (Post-training)

    └── 云端Teacher(数百亿/千亿参数) → 蒸馏 → 车端Student

        RLHF / 闭环RL /  安全对齐

行业共识的形成:

  • 小鹏CVPR 2026: "只有能做基座模型的公司,才有可能真的做到L4"

  • Waymo: 全面借鉴LLM训练范式,自动驾驶从软件工程问题转变为基础模型问题

  • 理想/英伟达: 2028年基于VLA架构的L4时间表

9.3 趋势三:从"端到端"到"通用人工智能体" (2026-2030+)

通用驾驶智能体的特征:

  • 多模态输入统一:视觉 + LiDAR + 语言 + 触觉/力反馈

  • 世界理解:内化的物理常识、社会规范、交通规则

  • 推理与规划一体化:无需模块间转换

  • 持续学习:从每次驾驶中自我改进(RL+世界模型回放)

  • 安全可验证:形式化安全保证 + 可解释推理链

  • 跨具身迁移:驾驶→机器人→其他具身场景

9.4 趋势四:小型化与边缘部署 (2025-2028)

2025现状: 2B VLM在Thor上 ~4.7Hz (FP16) / ~6Hz (FP8)

2026目标: 3-7B VLM在Thor上 ~10Hz (通过量化+蒸馏+编译优化)

2028目标: 7-14B VLA在Thor/Orin-X上 ~20Hz

技术路径:

    ├── 蒸馏: 72B→32B→7B→4B→车端推理

    ├── 量化: FP16→FP8→INT8→INT4(探索中)

    ├── 编译: TensorRT + TensorRT-LLM 深度优化

    ├── 投机解码: Eagle-2 / Medusa 类方法

    ├── MoE: 稀疏激活降低计算量

    └── 专用硬件: NVIDIA Thor (2025) → Thor Next (?)

9.5 趋势五:法规与标准驱动

  • UN ADS GTR (2026.06):全球首个自动驾驶技术法规,由中国、欧盟、英国、美国、加拿大、日本联合主导

  • 影响:形式化安全论证将成为VLA/世界模型部署的必要条件

  • 多支柱验证:仿真→封闭场地→开放道路,世界模型在仿真支柱中扮演核心角色

9.6 产业化时间线预测

9.7 开放问题

  1. 闭环性能鸿沟:VLA如何获得传统方法级别的细粒度轨迹控制精度?

  2. 长时间一致性:如何保证Transformer在数分钟时间跨度上的场景理解与决策一致性?

  3. 安全形式化:如何为VLA/世界模型驱动的系统建立形式化安全保证?

  4. 持续学习:如何在不重新训练的情况下从每次驾驶中安全地学习改进?

  5. 验证扩展性:随着模型能力增长,如何扩展验证覆盖范围?世界模型自身如何验证?

  6. 数据-算力-性能的Scaling Law:驾驶领域的scaling law是否像语言模型一样可预测且持续?

10. 参考文献与来源

核心论文

综述论文

行业来源

数据集与基准

最新文章

随机文章