当汽车开始“理解”世界
在2025年的上海车展上,一位观众对着一台搭载VLA(Vision-Language-Action,视觉-语言-动作)模型的展车说:“开去附近最热闹的火锅店,避开施工路段,到了在路边停下。”几秒后,车辆自行规划出最优路线,平稳汇入晚高峰的湍急车流。途中,它绕过了几处因临时施工而封路的街道——高精地图上并未标注这些变化——并在快到目的地时主动汇报:“前方店铺密集,人流较多,我会在100米外寻找合适停车点。”
这一幕,浓缩了自动驾驶技术范式的根本性转变:汽车不再仅仅“看见”世界,而是开始“理解”世界,并与人类自然交流。这正是VLA模型所代表的,从“感知智能”向“认知智能”的历史性跃迁。

一、定义与本质:VLA模型是什么?
VLA模型,即视觉-语言-动作模型,是一种将计算机视觉、自然语言处理与运动控制三大核心能力融合于一个端到端神经网络的全新架构。它被誉为“端到端自动驾驶2.0”方案。
它和传统方案的根本区别,在于架构哲学的不同。
传统自动驾驶采用清晰的模块化流水线:感知模块识别出车辆、行人、红绿灯;规划模块基于规则和地图计算出行驶路径;控制模块再将路径转化为方向盘转角和油门刹车指令。这种架构信息损耗大,各模块目标可能冲突,且极度依赖高精地图。
VLA模型则打破了这堵墙。它直接以原始传感器数据(如图像)和人类指令(语音或文本)为输入,经由一个统一的深度神经网络处理后,直接输出驾驶动作。其核心优势在于:**消除模块间信息损耗,实现“所见即所解,所解即所行”的流畅闭环**。就像人类的驾驶过程——我们不会将“看到一个皮球滚到路中间”与“预判可能有小孩追出来”割裂开来思考,VLA模型正在复现这种一体化的认知过程。
技术演进脉络(2022—2026)
这一技术路线在短短数年间已从实验室走向量产车:
- 2022年:谷歌DeepMind推出RT-1,首次在机器人领域验证了VLA范式的可行性。
- 2023年:DeepMind发布全球首个大规模的机器人控制VLA模型RT-2,展现了惊人的泛化能力。
- 2024年:理想汽车发布22亿参数的MindVLA模型,元戎启行宣布VLA量产计划,标志着竞争进入汽车赛道。
- 2025年:理想i8成为全球首款搭载VLA模型的量产车;小鹏汽车发布第二代VLA智驾系统报告;长城魏牌发布搭载VLA的Coffee Pilot Master。
- 2026年:理想发布下一代认知智能模型MindVLA-o1,将其定位从“自动驾驶模型”升级为“面向物理世界的通用智能体”;香港中文大学李鸿升团队则提出MindVLA-U1。
二、技术路线对决:VLA模型 vs. Waymo多传感器融合方案
如果说VLA是自动驾驶领域的新锐思想,那么以Waymo为代表的“多传感器融合+高精地图”方案便是长期屹立的主流派,两者代表了截然不同的技术信仰。
- Waymo方案:强感知,重地图的可靠性之王
Waymo的技术栈建立在冗余之上:激光雷达、毫米波雷达、高清摄像头等多类型传感器提供360度、厘米级的环境感知;再叠加预先绘制、精度可达厘米级的高精地图,构建出一个极其完备的数字孪生世界。其决策系统高度依赖规则和精确建模,像一位严谨的工程师,步步为营。这使得Waymo的方案可靠性极高,已在旧金山、凤凰城等地累积了超过2000万英里的无人驾驶行程,是L4级商业化运营的绝对标杆。但其代价是高昂的单车成本(仅激光雷达早期成本就高达7.5万美元)和对高精地图的重度依赖,导致扩展到新城需要漫长且昂贵的测绘周期。
- VLA方案:轻地图,重推理的泛化挑战者
VLA模型则选择了一条更轻量、更智能的道路。它摒弃对高精地图的绝对依赖,转而依靠模型的常识推理能力来应对瞬息万变的世界。其核心武器是语言,语言是人类数百万年积累的关于物理世界规律、社会常识和因果关系最浓缩的载体。当VLA模型理解“道路施工”的文字告示牌或交警的临时手势时,它调用的不再只是像素特征,而是深层次的语义理解。这赋予了它强大的零样本泛化能力,理论上,其在成都训练出的驾驶智慧,可以零成本地泛化到任何一个陌生城市。当然,它也需直面“端到端黑盒”带来的可解释性和安全验证难题。
核心维度对比
维度 | Waymo方案(多传感器融合) | VLA模型方案(端到端多模态) |
可靠性 | 极高,经过千万公里级严苛验证 | 快速迭代期,仍在积累长尾验证数据 |
系统成本 | 高昂,激光雷达等硬件和地图运维成本高 | 显著降低,可大幅削减甚至移除激光雷达和高精地图 |
泛化能力 | 地理围栏内泛化,扩展新城成本高 | 开放场景泛化,边际成本极低 |
人机交互 | 能力有限,指令通常需结构化 | 自然语言理解,能执行复杂、模糊指令 |
决策可解释性 | 部分可解释,可追溯到规则或模型失败点 | 思维链推理,能用语言解释其决策逻辑 |
三、视觉的进化:VLA模型 vs. 特斯拉纯视觉方案
如果说Waymo是“全副武装”的骑士,那么特斯拉便是“极简主义”的剑客,VLA模型则让这位剑客习得了“内功心法”,看透了事物的本质。
- 特斯拉纯视觉方案:模拟人眼的极致成本控制
特斯拉的FSD(完全自动驾驶能力)方案是纯粹视觉路线的坚定捍卫者,马斯克斥责激光雷达为“愚蠢的差事”。系统仅依靠8个摄像头,通过海量数据和神经网络,模拟人类驾驶员的视觉感知和反应。2026年5月,FSD监督版已在中国推出,其规模效应和成本优势无出其右。然而,纯视觉端到端模型面临“监督稀疏”难题:输入的视觉信息是高维且密集的,但输出的驾驶动作(方向盘角度、加减速)却是低维且稀疏的。这就像让学生看一整部电影,却只在影片结尾问一个问题,大量的学习信号被浪费了,导致模型在罕见的长尾场景中学习效率低下。
- VLA方案:注入常识与理解力的认知升级
VLA模型在特斯拉纯视觉的基础上,增加了“语言理解”这一关键维度。它不但“看到”,更能“理解”并“推理”。其核心突破之一,便是用语言这座桥梁来缓解“监督稀疏”难题。语言可以将稀疏的驾驶行为标注,转化为稠密的场景描述、意图推测和决策解释。例如,一次紧急避让,不再只有一个转向数据,而是变成:“因为前方卡车突然掉落货物,我猛打方向盘避开,然后立刻观察右侧后视镜,确认安全后变道。”这极大地增强了训练信号,让模型学得更快、更透彻。
核心维度对比
维度 | 特斯拉纯视觉方案 | VLA模型方案 |
感知与理解 | 视觉感知成熟 | 视觉感知+语义理解,双重优势 |
人机交互 | 触屏/简单语音指令 | 自然语言理解与复杂指令执行 |
泛化能力 | 面临“监督稀疏”难题 | 语言引导的常识推理,显著增强泛化能力 |
决策可解释性 | 纯视觉端到端是“黑盒” | 思维链推理,可用自然语言解释“为什么” |
核心哲学 | 让车像人一样看路 | 让车像人一样思考和行动 |
个人观点,仅供参考!内容有AI参与。