世界模型系列58:自动驾驶-神经驾驶模拟器

当自动驾驶开始“做梦”：神经驾驶模拟器正在改变什么？

如果你问今天的自动驾驶工程师一个最现实的问题：

你们最缺的是什么？

答案往往不是算法，也不是算力，而是——
足够多、足够危险、但又足够安全的数据。

你不能真的让车去反复撞行人、在暴雨中失控、在极限情况下测试“万一会发生什么”。

于是，一个越来越重要的角色登场了：
神经驾驶模拟器（Neural Driving Simulator）。

一、模拟器，正在从“画世界”变成“预测世界”

我们先看传统模拟器在做什么。

像 CARLA、Isaac Sim 这样的系统，本质是：

• 人工搭建 3D 场景

• 写清楚物理规则

• 用图形引擎渲染世界

• 让车在这个“数字沙盘”里跑

它们很严谨，但也很“工程”。

问题在于：
真实世界的复杂度，远远超过人类手工建模的能力。

神经驾驶模拟器，换了一种思路

它不再“设计世界”，而是：

从真实世界的视频中，学会世界是如何运转的。

像 GAIA、DriveDreamer 这类模型，吃进去的是海量真实驾驶视频，学到的是：

• 道路长什么样

• 车是怎么动的

• 行人什么时候会突然出现

• 不同动作会导致怎样的未来

从形式上看，它们非常像一个东西：

“带动作条件的视频生成模型”

你告诉它现在看到了什么、打算怎么开，它就会生成接下来几秒钟的世界会变成什么样。

这已经不是渲染，而是预测。

二、为什么自动驾驶突然这么需要“生成世界”

原因只有一个词：
长尾（Long Tail）。

自动驾驶真正难的，从来不是“正常开车”，而是：

• 行人突然横穿

• 非标准路口

• 极端天气

• 人类司机的不理性行为

这些场景，在真实世界中：

• 出现概率极低

• 收集成本极高

• 风险不可接受

而神经驾驶模拟器，第一次提供了一种可能性：

在不伤害任何人的情况下，反复测试最危险的情况。

无限数据工厂，真的开始成形

现在的一些系统，已经能做到非常“反直觉”的事情：

• 在保持其他环境不变的情况下

• 只改变“如果我刚才向左多打 5° 方向盘”

• 看看未来会不会发生碰撞

这叫反事实场景（Counterfactual）。

现实世界不能试，但 AI 的“梦里”可以。

三、从“看着像真的”，到“物理上站得住”

当然，生成视频并不等于理解世界。

早期视频模型的问题很明显：

• 看起来像真的

• 但车会突然漂移

• 物体尺寸前后不一致

• 物理规律偶尔“失忆”

而自动驾驶对这一点是零容忍的。

架构正在发生关键变化

最近一两年的趋势非常明确：

不再满足于生成 2D 像素，而是直接生成“世界结构”。

比如：

• 3D 占用网格（哪里是实体，哪里是空的）

• 4D 世界体（空间 + 时间）

• 明确区分静态环境和动态参与者

这类表示方式，对“会不会撞上”这种问题，比视频帧本身靠谱得多。

更激进的做法，甚至把动作和世界生成绑在一起：

不是“先想象，再规划”，
而是——
想象的时候，就已经被动作约束住了。

这一步，本质上是在逼近一个东西：

真正可执行的世界模型。

四、为什么这和 Tesla FSD V12 是同一条路

如果你把视角拉远，会发现一个有趣的共振：

• Tesla 在现实世界里做端到端驾驶

• 神经驾驶模拟器在虚拟世界里做端到端预测

两者都在追求同一件事：

让 AI 在行动前，先“看见未来”。

FSD V12 的“光子到控制”，背后依赖的正是对未来的隐式预测能力；
而神经驾驶模拟器，则把这种预测能力显式地做成了一个“可反复使用的世界”。

一个在现实中学，
一个在梦里练。

五、它还远不完美，但方向已经很清楚

必须承认，现在的神经驾驶模拟器仍然有硬伤：

• 偶尔违反物理规律

• 精细控制还不够

• 推理成本太高

• 很难直接上车实时跑

但它已经完成了一个非常重要的转变：

从“数据增强工具”，变成“智能系统的一部分”。

未来的自动驾驶，很可能不是：

• 车 + 一个策略网络

而是：

• 车

• 一个实时世界模型

• 一个能在脑中反复试错的“想象系统”

当车开始“在脑中开车”

如果说早期自动驾驶是在“写规则”，
中期是在“学映射”，
那么现在这一阶段，正在走向：

在脑中构建世界，再决定如何行动。

神经驾驶模拟器不是噱头，
它是自动驾驶走向真正智能的必经之路。

因为只有能想象未来的系统，
才配得上在现实世界中，
替人类做决定。