只靠驾驶数据,训不出真正的自动驾驶

最近，许华哲和王乃岩的一场访谈，自动驾驶之心很认真的学习了几遍，把一些感受分享给大家。

展开之前，先盘一下王乃岩老师的履历。王乃岩的特殊性在于，他完整经历过计算机视觉、深度学习框架、自动驾驶、大模型和具身智能几轮技术周期。从早年的目标追踪、MXNet，到图森未来，再到如今小米自动驾驶，他对 AI 的判断是长期站在模型、系统和工程落地的交叉处观察所得。

这场访谈里，他抛出了一句我们认为很值得讨论的内容：

放到当下的技术演进中看，这句话指向的并不是驾驶数据价值下降，而是自动驾驶正在从「驾驶行为学习」进入「物理世界理解」的新阶段。当然，也是当下行业的主流判断。

过去几年，行业围绕端到端、VLA、世界模型、闭环仿真和强化学习展开了大量讨论。表面看，这是不同公司的技术路线选择；放到更长周期里，它们都在回答同一个问题：

自动驾驶系统怎样从模仿人类开车，走向理解真实世界？

一、只靠驾驶数据，为什么不够

王乃岩说到了点子上，自动驾驶数据当然重要。

过去几年智能驾驶体验的提升，都离不开大规模真实道路数据。没有真实车辆持续跑在路上，没有影子模式、问题挖掘、数据回流和 OTA 迭代，今天的智能驾驶不可能走到这个阶段。

但驾驶数据记录的是人在驾驶任务里的行为结果，并不等于人类完整的世界知识。

人类开车之前，并不是直接坐到驾驶位上开始学习方向盘、刹车和油门。一个驾驶员在真正上路之前，已经在现实世界里生活了二三十年。他知道公交站意味着什么，知道行人站在路边可能会横穿，知道前车突然减速背后可能有遮挡，知道一个球滚到路面上，后面可能跟着一个孩子。

这些判断并不完全来自驾驶训练，而来自更长时间的物理世界经验。

这也是王乃岩这句话的价值所在。自动驾驶系统如果只学习驾驶数据，它学到的是人在某个场景下怎么开车，却未必学到人为什么这么开车。

公交站附近不适合随便并线，这并不是罕见长尾场景。北京、上海、广州这样的城市里，每天都会出现大量类似场景。

很多问题容易被归类为 corner case。换一个视角看，一部分问题并不稀有，只是模型没有把场景背后的结构理解清楚。

我们其实想表达的是，自动驾驶下一阶段的瓶颈，可能不只在于继续堆更多驾驶轨迹，系统能否理解这些轨迹背后的世界结构，可能更重要。

只模仿人类怎么开车，很难自然获得人类为什么这么开车的判断基础。

二、世界模型被推到前台，但它不只是视频生成

也正因为驾驶数据存在边界，世界模型开始被自动驾驶重新重视。

过去一年，无论是自动驾驶还是具身智能，世界模型都在快速升温。它可以生成未来场景，可以构造 corner case，可以服务仿真和闭环训练，也可以帮助模型在上路前先在数字世界里经历更多复杂情况。

王乃岩在访谈里对 world model 的判断是这样：

这句话还是很有自己思考的，世界模型 ≠ 生成模型。这个判断也是我们一直在输出的观点。

视频生成有价值。对自动驾驶而言，高保真、多视角、可控生成的未来视频，可以帮助系统扩展训练数据，补充长尾场景，降低真实道路试错成本。

小鹏的X-World、小米的一系列世界模型工作，还有理想，都在这条路上布局。

业内头部的公司，都在尝试落地世界模型。发布会的展示是一部分，实际的应用是另一部分。

但更深一层看，自动驾驶需要的 world model，不应停留在生成一段看起来合理的视频。

它应该理解当前世界状态，理解一个 action 会怎样改变未来状态，理解交通参与者之间的交互，理解道路结构、物理因果和时间演化。

比如，自车轻微加速之后，前车会不会被迫调整；旁车贴近车道线，是否意味着它可能变道；行人站在路边，是否存在横穿可能；公交车停靠，会如何改变后方车辆和旁侧车道的交通流。

这些问题的核心，只靠生成搞不定，本质上还是没有理解物理世界的规律。

所以自动驾驶需要的世界模型，关键还是在于让系统拥有对未来交通演化的内部推演能力。

三、理解、预测、改造世界，Physical AI 的三段式

王乃岩在访谈里还提出了一个更完整的 Physical AI 框架。

他认为，Physical AI 里有三个核心部分：

第一个，是理解世界。

第二个，是预测世界，或者说预知世界。

第三个，是改造世界。

这个理解也挺工程的，一步步来。

理解世界，对应的是感知、表征、多模态理解、3D 空间理解、运动理解和时序理解。自动驾驶面对的是一个连续变化的交通世界。道路结构、动态车辆、行人、交通灯、遮挡区域和社会规则，都需要被组织进系统内部的状态表示。

这也是表征问题始终重要的原因。

从早期图像特征，到 BEV、Occupancy，再到现在的多模态表征、3D foundation model 和运动表征，自动驾驶一直在寻找更适合真实道路场景的世界编码方式。表征越强，系统越容易把不同任务统一到同一个状态空间里。

理想今年在 GTC 2026 发布 MindVLA-o1 时，已经把 3D 空间理解、多模态思考、统一行为生成、闭环强化学习和软硬件协同放在同一个框架下讨论。

这类工作释放的信号在于，车企也在尝试构建面向物理世界的统一表征和行为生成系统。

预测世界，对应的是 world model。

自动驾驶不能只回答「我现在看到了什么」，还要回答「接下来会发生什么」。交通系统是动态的，自车的每一次动作都会影响未来状态，其他交通参与者也会不断反馈。世界模型的价值，就在于让系统在内部推演这些变化。

改造世界，对应的是规划、控制和强化学习。

车不是旁观者。它每一次转向、制动、加速，都会改变自身位置，也会影响周围车辆和行人的行为。自动驾驶最终要学习的，不只是预测一个未来，而是在不确定的未来中采取足够安全、足够舒适、足够高效的行动。

这也是闭环强化学习重新被重视的原因。

我们之前分享的 RAD-2、理想的ReflectDrive-2等等工作，都是在做这个事情。

用詹锟老师之前分享的一句话概括：自动驾驶正在从数据闭环走向训练闭环。

从 Physical AI 视角看，自动驾驶不是单纯的感知任务，也不是单纯的轨迹模仿任务。它需要一个系统在真实物理世界里持续完成理解、预测和行动。

四、行业正在汇向同一条主线

现在业内的趋势，已经比较清晰。

自动驾驶行业正在尝试把表征、世界模型、强化学习、VLA 和车端实时部署重新组织起来。

这也是我觉得王乃岩访谈里面比较核心的判断。

过去两年，我们很容易把问题简化成端到端路线之争。端到端是否代表终局，VLA 能否上车，世界模型是否会成为下一代范式。类似讨论确实有价值，但如果只停留在模型名字层面，容易忽略更关键的问题。

决定自动驾驶上限的，可能不是某一个模型形态，而是系统是否形成了理解世界、预测世界、改造世界的能力闭环。

王乃岩提到，Physical AI 最核心的闭环，是表征、世界模型和大规模强化学习。这句话放可以理解为一套新的能力分工：

表征负责理解世界，世界模型负责推演未来，强化学习负责在反馈中优化行动。

端到端仍然重要，驾驶数据仍然重要，车端部署、安全验证和工程成本也仍然重要。但当自动驾驶继续走向更高等级、更强泛化和更清晰责任边界，仅靠驾驶数据模仿已经不够。

回到开头的观点，再和大家强调一下：只靠驾驶数据，确实很难训出真正的自动驾驶。

驾驶数据是基础，但它需要和更强的世界表征、更接近本义的世界模型，以及能够在闭环反馈中优化行动的大规模强化学习结合起来。

自动驾驶真正进入 Physical AI 框架，可能正是从这一步开始的。