当前位置:首页>自动驾驶>世界模型系列229:体现式交互-自动驾驶

世界模型系列229:体现式交互-自动驾驶

  • 2026-08-25 18:11:56
世界模型系列229:体现式交互-自动驾驶

汽车到底是怎么从“看见道路”,进化到“理解交通、预测未来并和其他交通参与者博弈”的?

自动驾驶:汽车正在学会“理解世界”

如果说机器人导航解决的是:

“机器人怎么去到目的地?”

那么自动驾驶面对的问题更加复杂:

“汽车如何在一个所有人都在移动的世界里,理解环境、预测其他人的行为,并安全地做出决定?”

想象一下这样的场景:

你正在驾驶汽车。

前方是一辆公交车,右侧有一辆电动车,远处有行人准备过马路。

这时候,一辆车突然打开转向灯。

你不会等它真正转过来之后才做反应,而是会马上产生判断:

“它可能要变道。”

于是你提前减速,给它留出空间。

如果前方出现一个小孩,你甚至不会等小孩真正走到车道上,而是会提前减速、准备刹车。

这背后其实是一种非常复杂的能力:

观察 → 理解 → 预测 → 决策 → 行动 → 再观察。

这正是今天自动驾驶正在努力实现的能力。


一、自动驾驶已经不只是“看见道路”

早期的自动驾驶系统,可以理解成一套非常复杂的“规则机器”。

摄像头负责:看见。算法负责:识别。规划模块负责:计算路线。控制模块负责:踩油门、刹车和打方向盘。

例如:

摄像头发现前面有车 → 判断距离 → 计算安全距离 → 规划减速 → 控制刹车。

这种方式非常清晰,也比较容易进行工程验证。

但它存在一个天然问题:

现实世界太复杂,规则永远写不完。

比如:

  • 前面的车为什么突然减速?
  • 路边的人是不是准备横穿马路?
  • 一辆车打转向灯到底是真的要变道,还是忘记关了?
  • 前方施工区域应该怎么绕?
  • 遇到一个从来没有见过的特殊交通场景怎么办?

这些问题很难全部写成:

“如果 A,那么执行 B。”

于是,自动驾驶开始从“规则驱动”走向“数据驱动”。


二、自动驾驶正在建立自己的“世界模型”

人类开车的时候,并不是只看眼前一帧画面。

我们的大脑实际上一直在做一件事情:

预测未来。

例如看到一辆车正在靠近路口,我们的大脑会自动想象:

“它可能会继续直行。”

看到一个行人站在路边:

“他可能马上过马路。”

看到前方道路湿滑:

“刹车距离可能会变长。”

这就是一种非常朴素的世界模型(World Model)。

自动驾驶也正在尝试建立类似的能力。


世界模型到底是什么?

简单来说:

世界模型,就是让AI在“脑海里”模拟世界可能如何变化。

例如汽车准备向左转。

传统系统可能直接计算:

“左转需要多少方向盘角度?”

而世界模型希望进一步思考:

“如果我现在左转,会发生什么?”

于是系统可以在内部模拟:

向左转 → 对向车辆靠近 → 自己减速 → 行人继续移动 → 最终通过路口。

然后再比较:

左转、右转、减速等待

哪一种方案更加安全。

这就从:

“计算路径”

升级到了:

“预测未来,然后选择路径”。


三、自动驾驶世界模型,正在出现三种能力

目前,自动驾驶世界模型大致可以理解成三个方向。

① 第一种:生成“未来世界”

这类模型主要负责回答:

“如果继续这样行驶,未来会看到什么?”

例如 GAIA-1、GAIA-2 等系统,可以根据已有驾驶数据生成未来的交通场景。

甚至可以改变:

  • 天气;
  • 时间;
  • 道路环境;
  • 车辆行为。

这样就可以人为制造大量现实中很难采集的数据。

比如:

“如果突然下暴雨呢?”

“如果前方突然出现行人呢?”

“如果旁边车辆突然变道呢?”

现实世界很难为了训练AI故意制造这些危险情况。

但在虚拟世界里,可以反复测试。

这就是自动驾驶世界模型非常重要的价值:

把现实世界无法轻易采集的危险场景,搬到虚拟世界中训练。


② 第二种:预测“其他车辆会怎么做”

自动驾驶并不是只需要预测自己。

因为道路上还有很多“参与者”。

比如:

  • 汽车;
  • 卡车;
  • 摩托车;
  • 自行车;
  • 行人。

这些参与者都有自己的目标。

一辆车可能比较激进,另一辆车可能比较保守。

因此,系统不仅需要知道:

“我应该怎么走?”

还需要预测:

“别人接下来可能怎么走?”

TrafficBots 等研究,就是在尝试建立这样的多智能体交通模型。

可以简单理解成:

给道路上的每一个交通参与者建立一个“行为模型”。

然后模拟:

如果我减速,其他车可能怎么反应?

如果我变道,后车会不会加速?

如果行人继续向前走,我是否应该停车?

自动驾驶于是开始从单车决策,走向:

多智能体博弈。


四、从“自动驾驶”到“视觉-语言-动作”

另一个非常重要的变化,是大语言模型开始进入自动驾驶。

过去的自动驾驶系统非常擅长:识别道路。但是它并不擅长:理解复杂的人类意图。例如人类说:“前面有点堵,找个安全的地方绕过去。”

这句话并不是一个标准的机器指令。

它包含了:

道路理解 + 交通判断 + 风险评估 + 人类意图。

这也是视觉-语言-动作模型(VLA)开始受到关注的原因。


VLA想解决什么问题?

VLA可以简单理解成:

让AI同时理解“看到的东西”“人说的话”和“应该采取的动作”。

例如:

摄像头:

前方有施工区域。

语言:

“绕开前面的施工。”

AI:

理解施工区域 → 判断可行道路 → 规划绕行路线 → 输出驾驶动作。

这样,自动驾驶系统就不再只是:

“看到什么就处理什么。”

而开始具备:

视觉理解 + 语言理解 + 行动决策

的能力。

这也是自动驾驶向通用具身智能发展的重要一步。


五、但大模型“聪明”,并不意味着汽车真的能执行

这里有一个非常重要的问题。

假设大模型告诉汽车:

“向左转。”

这句话在人类看来很简单。

但汽车真正执行的时候,需要考虑:

  • 转弯半径;
  • 当前速度;
  • 路面摩擦;
  • 车辆尺寸;
  • 横向加速度;
  • 道路边界。

如果AI直接生成一个“看起来合理”的轨迹,却没有考虑这些物理约束,那么:

AI认为可行,不代表汽车真的能做到。

因此,目前一个非常重要的技术方向,就是:

让大模型负责高层理解,让物理模型负责底层约束。

例如一些VLA系统会把神经网络和车辆动力学模型结合起来。

可以把它理解成:

大模型:

“我想从这里绕过去。”

动力学模型:

“可以,但你不能这么急转弯。”

最终形成:

AI负责想办法,物理模型负责检查能不能做。

这实际上和前面我们讨论的机器人控制逻辑非常类似:

智能不能脱离物理世界。


六、特斯拉FSD走的是另一条路:让神经网络直接学会开车

如果说VLA代表了一种:

“大模型 + 结构化物理约束”

的路线,那么特斯拉FSD则代表了另一种非常激进的思路:

让神经网络直接从大量人类驾驶数据中学习驾驶行为。

以FSD V12为代表的端到端路线,进一步减少了传统系统中大量人工编写的规则和中间模块。

简单理解:

过去可能是:

摄像头 → 识别 → 地图 → 预测 → 规划 → 控制

而端到端系统更加接近:

摄像头 → 神经网络 → 驾驶动作

也就是说:

让AI直接学习人类驾驶员是怎么开车的。


为什么这种方法有吸引力?

因为人类驾驶员其实做了大量无法轻易写成规则的事情。

例如:

前车准备并线。

你可能会稍微让一下。

一个行人站在路边。

你会提前减速。

道路很窄。

你会自然地给旁边车辆留一点空间。

这些行为很难全部写成规则。

但如果拥有海量真实驾驶数据,神经网络可以从数据中学习这些模式。

因此,端到端自动驾驶实际上在尝试:

把大量人类驾驶经验压缩进神经网络。

这也是为什么自动驾驶被认为是目前空间智能和具身智能中数据规模最大、反馈最丰富的应用之一。


七、自动驾驶距离真正的“物理智能”还有多远?

虽然自动驾驶已经取得巨大进步,但它距离真正可靠的通用物理智能仍然存在几个重要挑战。

1. 现实世界的数据仍然不够

汽车可以“看”到大量道路。

但它很难主动尝试危险行为。

例如:

“如果我现在逆行,会发生什么?”

“如果我故意撞一下护栏,会发生什么?”

显然不可能真的让汽车这么做。

所以自动驾驶依然存在一个问题:

很多反事实经验无法从现实世界直接获得。

这也是为什么世界模型和仿真如此重要。


2. 虚拟世界和真实世界仍然有差距

我们可以建立非常漂亮的数字街区。

甚至可以利用3D Gaussian Splatting等技术,把真实道路重建到虚拟世界中。

但虚拟世界中的:

  • 光线;
  • 传感器;
  • 轮胎;
  • 摩擦;
  • 行人;
  • 车辆;
  • 多车博弈;

仍然很难做到和现实完全一致。

这就是著名的:

Sim-to-Real Gap——仿真到现实的鸿沟。


3. “聪明”与“实时”之间存在矛盾

大模型越复杂,通常推理能力越强。

但汽车不能等几秒钟再做决定。

高速行驶时,真正关键的问题可能是:

几十毫秒之后,汽车应该做什么?

因此自动驾驶最终必须同时满足两个条件:

足够聪明

足够快

这也是为什么未来自动驾驶很可能不是简单地:

“一个超级大模型解决所有问题。”

而是:

大模型负责理解和推理,专用模型负责预测,动力学模型负责约束,底层控制系统负责实时执行。


自动驾驶,其实是一场“AI学习如何与世界相处”的实验

回头看自动驾驶的发展,会发现它和我们前面讨论的物理感知、空间感知、动态估计、内在属性估计以及机器人交互其实是一条连续的技术路线。

最初:

汽车只需要看见道路。

后来:

汽车需要理解道路。

再后来:

汽车需要预测其他交通参与者。

现在:

汽车开始尝试模拟未来,并在虚拟世界中提前“想一遍”。

未来则可能进一步走向:

理解人类意图 → 预测世界变化 → 进行反事实推演 → 选择行动 → 与环境交互 → 根据反馈持续学习。

这已经不再只是传统意义上的“自动驾驶”。

它更像是一个巨大的物理智能实验场。

因为一辆汽车每天都在经历:

视觉感知、空间理解、动态预测、物理交互、社会博弈、决策控制和安全约束。

而这些能力,恰恰也是未来通用具身智能机器人必须掌握的能力。

所以,从 Physical AI 的整体技术体系来看,自动驾驶的真正价值可能并不只是让汽车自己开车。

它更重要的意义在于:

人类正在借助汽车这个高度复杂的物理智能体,训练AI如何观察世界、理解世界、预测世界,并最终安全地参与这个世界。

这或许也是自动驾驶成为空间智能乃至 Physical AI 最重要“试验场”之一的根本原因。

最新文章

随机文章