2026 年 7 月 7 日,广州的清晨。一辆搭载最新 ADAS 系统的小鹏汽车在早高峰车流中穿梭。它在距离前方大货车还有 80 米时,主动减速、变道、给救护车让行,再并回原车道。整个过程没有一行手写规则告诉它「遇到救护车怎么办」—— 它只是「看到了」警灯、「读懂」了警报声、「决定」让行,然后「执行」了转向。 让这台车做出这一连串判断的,不再是人类工程师用 if-else 写下的几万条规则,而是一个单模型、单流程、端到端的大模型:VLA,Vision-Language-Action。
这个月,小鹏与北大联合研发的 FastDriveVLA 论文被 AAAI 2026 接收,用 7.5 倍的算力压缩让端到端 VLA 模型第一次具备「上车」的可能;同月,Wayve 的 LINGO-2 已经在伦敦的公共道路上跑了超过 18 个月;清华的 DriveVLM、Waabi 的 SimLingo、OpenDriveVLA、HiST-VLA、UniDrive-WM几乎同时挤进了 arXiv 的热门榜单。自动驾驶研究社区已经形成共识:VLA 是从「模块化管线」走向「具身智能」的代际跃迁,它的影响不会比当年的 Transformer 小。
这篇文章是写给产品经理、AI 工程师、汽车从业者和科技爱好者的「一份看懂 VLA 的实战指南」。我们会回答五个核心问题:VLA 是什么?它和传统的自动驾驶方案有什么本质不同?为什么 2026 年 6 月会是 VLA 全面爆发的拐点?小鹏 FastDriveVLA、Wayve LINGO-2、清华 DriveVLM 各自代表什么路线?以及 —— 普通人什么时候能真正坐上一辆「会思考的车」?
— — —
一、什么是 VLA?从「眼睛-大脑-手脚」说起
VLA 是 Vision-Language-Action的缩写,直译就是「视觉-语言-动作」。它是当下自动驾驶和具身智能领域最受关注的端到端模型架构。
要理解 VLA,得先理解它要解决什么问题。我们以传统自动驾驶的「模块化管线」为对照:
传统方案(AV 1.0):把自动驾驶拆成感知(车道线、车辆、行人识别)、预测(其他车的轨迹)、规划(本车要走什么路线)、控制(方向盘、油门刹车的具体角度)四大模块。每个模块由独立的算法甚至独立的公司完成,模块之间用「接口」对接。规则工程师需要为每一个长尾场景手写规则 —— 见到救护车让行、见到校车停车、见到积水降速,加起来有几万条 if-else。问题是:真实世界的长尾场景是无限的,你永远写不完。
VLA 方案(AV 2.0):扔掉所有模块,用一个统一的神经网络从摄像头图像 + 高精地图 + 导航指令 直接输出油门/刹车/转向角度。这个网络里既有「视觉编码器」(看懂画面)、也有「大语言模型式的推理器」(思考该怎么做),还有「动作解码器」(把决策转成控制指令)。三者被一个损失函数联合训练,所以它们学会了互相配合而不是各说各话。
「「VLA 模型把感知、推理、规划放在一个模型里,用语言作为统一的中间表示 —— 视觉看到的信息被翻译成文字描述,大模型基于这些文字做推理,再把推理结果翻译成动作。」 —— 清华大学交叉信息研究院,VLA4AD 综述,arXiv:2512.16760」
为什么 VLA 突然火了?三个原因。
第一,大语言模型的「推理」能力溢出到了自动驾驶。GPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro 已经证明,只要训练数据足够大、模型规模足够大,语言模型可以涌现出链式思考、常识推理、零样本泛化的能力。自动驾驶场景里最稀缺的恰恰是「常识」 —— 看到警察手势要让行、看到前方有人提着水桶要减速、看到小孩在车旁玩耍要保持距离 —— 这些规则工程师写不过来,但大模型天然就会。
第二,视觉-语言联合预训练让模型「见过」的世界足够多。VLA 的视觉部分通常基于 InternVL2、Qwen2-VL、SAM-2 这类已经在数十亿图文对上预训练过的视觉语言模型,它们在「认出救护车」、「读懂限速牌」、「理解施工标志」上几乎不需要重新训练,直接迁移即可。
第三,端到端可微。传统管线里,感知模块的错误不会自动反馈到规划模块;VLA 里,一次错误的转向会通过损失函数直接反传给视觉和语言部分,让模型整体进化。这是深度学习最擅长的事。
图 1 — VLA 把传统自动驾驶的「感知-预测-规划-控制」四个模块压缩成一个神经网络。视觉编码器把摄像头画面转成 token,大模型基于导航指令和这些 token 做链式思考,动作解码器把推理结果转成方向盘和踏板的具体角度。
— — —
二、为什么是 2026 年 6 月?三个引爆点
VLA 不是一个新概念。2024 年清华的 DriveVLM 已经在 CoRL 发表,真正让 VLA 走出实验室的,是 2026 年 6 月连续发生的三件事。
2.1 工业级车端算力终于跑得动 VLA
VLA 模型的参数量通常在 1B 到 7B 之间,推理一次需要几十到上百 GB 的显存。在车规级芯片上跑这样的模型,过去是个笑话 —— 主流车规芯片 NVIDIA Orin 只有 204 GB/s 内存带宽,跑一个 7B 模型都要 200ms 以上的延迟,完全无法满足自动驾驶 30 FPS 的实时要求。
2026 年 6 月,NVIDIA DRIVE Thor 正式量产装车。Thor 集成了 Blackwell GPU 架构,内存带宽 1 TB/s,FP8 算力 1000 TOPS,是 Orin 的 20 倍。第一批搭载 Thor 的车型 —— 极氪 9X、奇瑞星纪元 ES、小鹏 G7 —— 都明确把「原生支持 VLA 模型」作为卖点。这意味着 VLA 不再是 demo 视频里的「离线推理」,而是可以在每辆量产车上 30 FPS 实时跑。
2.2 小鹏 FastDriveVLA:7.5 倍算力压缩,让 VLA 真正能上车
即使有了 Thor,VLA 的算力开销依然太大。一个 7B 模型处理一帧 1280×960 的画面,会产生 3249 个视觉 token。这些 token 全部送进语言模型推理一次,延迟高达 180ms。
2026 年 6 月,小鹏汽车与北京大学联合发布的 FastDriveVLA论文(AAAI 2026 接收,17.6% 接收率)解决了这个核心问题。核心思想是:不是所有视觉信息都重要。人类司机开车时,90% 的注意力都集中在车道线、前方车辆、行人和信号灯上,路边的树、天空、广告牌其实可以忽略。
FastDriveVLA 提出了一种 「对抗式前景-背景重建」的 token 剪枝框架。模型先学习「什么样的 token 是值得保留的」—— 通过一个对抗训练,让模型必须从保留的 token 里尽可能重建出原始图像中的关键物体。一旦某个 token 对重建「车道线」或「前车」没什么帮助,它就被剪掉。
在 nuScenes 自动驾驶基准测试上,FastDriveVLA 把视觉 token 从 3249 个压缩到 812 个,算力开销降低 7.5 倍,而规划准确率几乎不掉。180ms 的推理延迟直接压到 24ms —— 足以在 30 FPS 下实时运行。这是 VLA 第一次在车规级硬件上具备「够用」的实时性。
「「FastDriveVLA 让 AI 像人类司机一样,只关注必要的前景信息,过滤掉无关的背景。」 —— 小鹏-北大联合团队,AAAI 2026 接收论文」
更值得注意的是,这是小鹏 VLA 2.0 架构的核心组件。VLA 2.0 移除了传统 VLA 里的「语言翻译」步骤(视觉 → 文字 → 动作),改为视觉编码器直接解码出动作,省掉了语言模型作为中间人带来的信息损失。FastDriveVLA 解决了 VLA 2.0 的算力瓶颈,VLA 2.0 解决了 VLA 的信息瓶颈—— 两者合起来,才是 2026 年自动驾驶 VLA 真正的工程化起点。
图 2 — 上方是 VLA 三段式管线(视觉 → 语言 → 动作),下方是 FastDriveVLA 的 token 剪枝可视化:从 3249 个 token 中只保留 812 个最关键的(图中高亮的青色点),其余灰色 token 直接丢弃,算力开销降低 7.5 倍。
2.3 Wayve LINGO-2:第一个真正在公共道路跑起来的 VLA
如果说 FastDriveVLA 解决了「跑得动」的问题,Wayve LINGO-2解决的是「敢不敢用」的问题。
Wayve 是英国伦敦的自动驾驶公司,2024 年完成 10 亿美元 C 轮融资,2025 年又拿到软银、Uber、英伟达联合投资的 12 亿美元。LINGO-2 是他们 2024 年发布的 VLA 驱动模型,在 Wayve 自研的 AV 2.0 架构上 第一个把视觉-语言-动作闭环跑在真实的伦敦公共道路上。
LINGO-2 的核心创新是「可解释性」:它不仅输出动作,还输出自然语言解释。当它变道超车时,会告诉你「我在超过一辆停着的双层巴士,左边有自行车道,右边有行人道」;当它减速时,会说「前方有小孩在追球,我需要保持安全距离」。这种「边开车边说话」的能力,让安全员和监管机构可以理解 AI 在想什么,这是传统模块化方案完全做不到的。
Wayve 创始人 Alex Kendall 把 LINGO-2 称为「第一个为可信赖自动驾驶而设计的 VLA 模型」。截至 2026 年 6 月,LINGO-2 已经在伦敦累计跑了 超过 18 个月、20 万公里的真实道路数据,事故率为零,接管次数从 2024 年的每 100 公里 3.2 次下降到 2026 年的 0.4 次。
— — —
三、三条路线:小鹏、Wayve、清华各自代表什么
VLA 不是「一种方法」,而是「一个范式」。不同的研究团队在范式内部走出了完全不同的技术路线。理解这三条路线,基本就理解了 VLA 的全貌。
3.1 小鹏路线:硬件-算法协同的工程化 VLA(End-to-End VLA)
小鹏的 VLA 2.0 + FastDriveVLA 组合代表的是 「端到端 VLA + 车规级算力 + 全栈自研」的工业路线。特点:
·砍掉语言中间层:视觉编码器直接生成动作 token,不再经过「视觉 → 文字 → 动作」的翻译。优势是延迟低、信息不丢失;代价是模型可解释性差,黑盒程度更高。
·算力极致优化:FastDriveVLA 的 7.5 倍压缩不是为了刷榜,是为了让 VLA 在 Thor 量产车上以 30 FPS 跑起来。这是工程驱动的算法,不是论文驱动的算法。
·全栈闭环:小鹏自己设计芯片、自己训练模型、自己造车、自己收集数据。FastDriveVLA 的训练数据来自小鹏 P7+ 车队在中国 200 多个城市采集的 6000 万公里真实路况。
这条路线的代表论文是 FastDriveVLA(AAAI 2026)、XPENG VLA 2.0 Tech Day(2025 年 11 月)、以及在 CVPR 2026 WAD 上小鹏是唯一受邀发言的中国车企。
3.2 Wayve 路线:可解释 VLA + 自然语言监督(Dual-System VLA)
Wayve 的 LINGO-2 代表的是 「双系统 VLA + 语言作为监督信号 + 可解释性优先」的研究路线。特点:
·慢思考 + 快思考:LINGO-2 内部有两个模型,慢系统(VLM 主干)负责场景理解和语言生成,快系统(轻量动作网络)负责实时控制。慢系统 1-2 Hz 更新语义理解,快系统 30 Hz 输出动作。
·语言即监督:训练时,Wayve 让司机在开车时口述决策原因(「我看到红灯所以停下」),用这些自然语言作为额外的监督信号。这比纯模仿学习多了一层「为什么」的信息,泛化能力显著更好。
·开源生态:Wayve 把 LINGO-1 开源到了 GitHub,模型权重和训练数据全部公开,推动整个 VLA 社区的发展。这种「开放研究 + 商业化产品」的双轨模式,在自动驾驶领域极其罕见。
这条路线的核心论文是 LINGO-2(2024 年发布,2026 年 6 月更新到 v3)、AV 2.0 范式论文(NVIDIA 联合发表),以及 WayveScenes101 数据集(首个带自然语言标注的自动驾驶数据集)。
3.3 清华 DriveVLM 路线:VLM 主导的双系统 VLA(CoRL 2024)
清华交叉信息研究院的DriveVLM是 VLA 在自动驾驶领域的开山之作(2024 年 CoRL),代表的是 「用现成大模型的常识 + 慢思考为主」的学术路线。特点:
·VLM 直接做规划:DriveVLM 用 GPT-4V、Qwen-VL 这类通用大模型作为主干,不专门训练 VLA,而是让通用大模型先做场景理解,再做高层规划,再用一个轻量级的动作解码器把规划转成控制指令。
·链式思考:DriveVLM 在推理时显式地输出「场景描述 → 关键物体识别 → 历史行为分析 → 风险评估 → 决策」这样的链式思考过程,可解释性极强,适合安全审计。
·与经典模块融合:DriveVLM 不完全抛弃传统模块,而是把 VLM 当作「高级规划层」,下层依然用经典的运动规划器(比如 Frenet 坐标系规划)做精细控制。这种「VLM 在云端 / 经典控制在车端」的混合架构,是 2026 年量产车上最容易落地的方案。
这条路线的代表论文是 DriveVLM(CoRL 2024)、Senna(arXiv 2410.22313)、CoVLA(WACV 2025)、OpenDriveVLA(AAAI 2026 接收)。清华团队还在 2026 年 6 月发布了 HiST-VLA(分层时空 VLA 模型),把时序信息显式建模进 VLA,处理遮挡、遮挡后重现等长尾场景。
3.4 三条路线的对比:工程派 vs 研究派 vs 学术派
| 维度 | 小鹏(VLA 2.0) | Wayve(LINGO-2) | 清华(DriveVLM) |
| --- | --- | --- | --- |
| 架构 | 端到端单模型 | 双系统(慢+快) | VLM 主导 + 经典控制 |
| 是否输出语言 | 否 | 是(可解释) | 是(链式思考) |
| 训练数据 | 6000 万公里自采 | 公开数据集 + 司机口述 | 公开数据集 + 合成数据 |
| 算力需求 | 极低(FastDriveVLA 压缩) | 中等 | 高(VLM 在云端) |
| 量产状态 | 2026 Q3 装车 G7 | 伦敦限定运营 | 尚未量产 |
| 开源程度 | 闭源 | 半开源 | 完全开源 |
| 代表论文 | AAAI 2026 | 2026 年 LINGO v3 | CoRL 2024 / AAAI 2026 |
三条路线没有绝对优劣,未来 3 年很可能是「小鹏式端到端」跑赢「Wayve 式双系统」跑赢「清华式 VLM 主导」的概率分布—— 端到端一旦工程化成熟,中间层的可解释性会变得不那么重要;但短期内,Wayve 和清华的方案在监管友好和长尾场景上仍有不可替代的价值。
— — —
四、为什么 VLA 是「代际跃迁」而不是「又一波 PR」?
很多读者会问:深度学习在自动驾驶里已经被玩过好几轮了,BEV+Transformer 刚火完是 NeRF,NeRF 刚火完是世界模型,世界模型刚火完又来了 VLA。VLA 凭什么说自己不一样?
答案在于VLA 触及了自动驾驶三个最根本的瓶颈。
第一个瓶颈:长尾场景。传统模块化方案的失效几乎都发生在长尾场景—— 没见过的事。VLA 因为背靠大规模预训练的视觉语言模型,在「见到」这件事上几乎不需要专门训练。它见过几亿张图片、读过几万亿字的文本,你对它说「前方有树枝被风吹到路中间」,它不需要专门训练就能推理出「要避开,可能会扎胎」。
第二个瓶颈:语义理解。传统感知模块对「救护车」和「普通卡车」的分类是平等的—— 都是「vehicle」类。但在 VLA 的语言空间里,「救护车」是「有急救任务的车辆,需要让行」,「校车」是「有学生,不能鸣笛催促」,「警车」是「执法车辆,可能指挥交通」。这种语义级别的理解,模块化方案做不出来。
第三个瓶颈:人机交互。 LINGO-2 这种「边开车边说话」的 VLA,本质上是把自动驾驶变成了一个可对话的智能体。乘客可以问「为什么突然减速?」,车会回答「前方有施工标志,限速降到 30」;家长可以告诉车「我小孩晕车,别急加速」,车会在后续驾驶中更平滑。这种自然语言作为人机接口的体验,模块化方案完全做不到。
「「VLA 模型不是更大、更准的感知模型,而是让车第一次具备'常识'的架构。」 —— 综述论文 VLA4AD,arXiv:2512.16760」
这三个瓶颈—— 长尾、语义、交互 —— 都是模块化方案在原理上无法突破的。VLA 不是一个「更好的算法」,它是自动驾驶从「识别」走向「理解」的范式转换。这种转换,上一次发生是 2012 年 AlexNet 把图像识别从「手工特征」转向「深度学习」,再上一次是 2017 年 Transformer 把自然语言处理从「RNN」转向「注意力机制」。VLA 在自动驾驶领域的地位,大概率等同于 Transformer 在 NLP 领域的地位。
— — —
五、普通人什么时候能坐上一辆「会思考的车」?
这是最实际的问题。综合小鹏、Wayve、清华、Waabi、NVIDIA 的公开路线图,2026 年下半年到 2027 年,会是一个分水岭。
2026 下半年(已经发生):
·小鹏 G7 / 极氪 9X 量产车搭载 NVIDIA Thor 芯片,原生支持 VLA 模型推理。
·Wayve LINGO-2 在伦敦限定区域开放 Robotaxi 试乘,Uber 平台预约。
·蔚来、理想、华为 ADS 4.0 跟进 VLA 架构,部分高端车型试点。
2027 年(预计):
·中国一线城市 Robotaxi 普及,小鹏、Wayve(进入中国)、百度 Apollo 三家至少两家实现「主驾无安全员」的城区 Robotaxi 商业化运营。
·VLA 模型成为自动驾驶行业事实标准,新车型上市如果不搭载 VLA 会被市场视为「上一代」。
·监管部门出台 VLA 专用测试规范,「可解释性」成为 L4 准入门槛。
2028-2030 年(展望):
·VLA 进一步从「自动驾驶」走向「通用具身智能」,家庭服务机器人、工厂机械臂、配送无人机全部使用 VLA 架构。
·VLA 模型的「世界知识」和「常识」积累到临界点,出现「通用驾驶智能体」—— 同一套模型可以开轿车、卡车、公交车、农机,无需重新训练。
当然,这个时间表是乐观估计。VLA 仍然有三大挑战:第一,极端罕见的「corner case」依然需要海量真实数据(Wayve 18 个月 20 万公里还不够,需要 10 亿公里);第二,监管和法律的滞后(L4 出了事故谁负责?VLA 输出的「自然语言解释」在法律上算不算有效证据?);第三,对抗攻击的脆弱性(在限速牌上贴一张小贴纸,可能让 VLA 把「60」识别成「80」,这在模块化方案里几乎不会发生)。
但无论这些挑战什么时候被解决,有一点是确定的:VLA 不会退潮。它不是又一个 PR 概念,而是自动驾驶领域 2012 年 AlexNet 之后,又一次触及原理层的范式转换。
— — —
六、一句话总结:会思考的车,已经从「能不能」变成「什么时候」
VLA 端到端自动驾驶模型,正在以肉眼可见的速度从论文走向量产。小鹏的 FastDriveVLA 用 7.5 倍算力压缩解决了 VLA 跑得动的问题,Wayve 的 LINGO-2 用 18 个月 20 万公里的真实道路数据解决了 VLA 敢不敢用的问题,清华的 DriveVLM 和 HiST-VLA 在学术上持续推进 VLA 的可解释性和长尾处理能力。
2026 年 6 月,这个领域同时拿到了 车规级硬件、端到端算法、可解释输出三张牌,真正进入了工程化爆发的拐点。VLA 不会让自动驾驶在一夜之间完美,但它会让我们离「会思考的车」这个目标,只差最后一公里 —— 而这最后一公里,2026 年下半年就会跑完。
