NVIDIA吴新宙:世界模型是自动驾驶最本质的一环

上周四，自动驾驶之心很荣幸参加了NVIDIA在北京线下举办的NVIDIA 2026 北京车展媒体会，现场分享的主讲人是NVIDIA全球副总裁吴新宙。主题为《迈向 L4 级自动驾驶之路，打造可规模化、安全的自动驾驶汽车与 Robotaxi》。

这场Workshop的信息量很大。

从车端计算、传感器架构、安全操作系统，到Alpamayo、DRIVE AV、Cosmos和Omniverse NuRec，NVIDIA这次几乎把它对辅助驾驶下一阶段的理解摊开聊了一遍。

最让自动驾驶之心印象深刻的，是结束前的一个回答。

我当时向吴新宙提问了一个问题：NVIDIA后续的Alpamayo 2.0会不会使用世界模型，以及NVIDIA如何思考世界模型和自动驾驶的结合。

他的回答很明确：世界模型是自动驾驶最本质的一环。而从自动驾驶之心了解的技术趋势来看，VLA和世界模型正在逐渐走向融合。

这个判断很重要。过去一年，自动驾驶行业对VLA、端到端和世界模型的讨论很多，但很多时候大家会把他们拆成几条互相竞争的路线，选了VLA就不能聊世界模型，讲世界模型就一定要脱离端到端。

NVIDIA这次给出的信号再次印证了我们之前的思考：VLA和世界模型并不是两条分叉的技术路线，在更高阶的辅助驾驶阶段，它们一定会深度融合。

01.

自动驾驶正在进入物理AI阶段

这次 Workshop 开头，NVIDIA 用了一张很有意思的图。它把过去十几年的 AI 发展，放在一条时间线上。

2012 年 AlexNet 之后，是感知 AI：典型代表是语音识别、推荐系统、医疗影像。随后是生成式 AI：覆盖数字营销、内容生成。再往后是代理式 AI：比如代码助手、客服、医疗护理。

到了下一阶段，NVIDIA 把辅助驾驶和通用机器人都放进了物理 AI 里面：物理 AI 的构建与安全部署，是未来十年的核心挑战。

自动驾驶过去很多年，本质上都在解决一个问题，车辆如何看见世界，以及如何把世界结构化。

Camera、Radar、Lidar，围绕感知网络、BEV、OCC、在线建图，再到后面的端到端、VLA，行业已经卷了很久。但到了 L2++、L3、L4 这个阶段，只看清楚已经不够了。

在一个非确定的环境下，感知前方车辆或障碍物并不算难；难的是如何判断交通参与者的意图，自车需不需要进行制动或者避让，以及当前动作之后整个交通场景会如何演化。

这就是物理 AI 和传统感知 AI 的分野。

• 感知 AI 是在回答，世界现在是什么样子。

• 物理 AI 要回答的是，世界接下来如何变化，车辆发生动作之后，世界又会怎么反应。

所以NVIDIA 把辅助驾驶和通用机器人放在同一个物理 AI 框架里，不是偶然。两者都不是静态识别任务，而是在连续时间里和真实世界互动。

02.

自动驾驶远没有到终局

NVIDIA给出了一个数据，很反直觉。

在全球出行经济数据里，乘用车是 15 亿辆，商用车和卡车是 2.8 亿辆，商用出租车是 1800 万辆，全球年度行驶里程是 13T，但自动驾驶里程只有 700M。

这个比例非常低，低到足以提醒我们：自动驾驶在全球出行系统里的真实渗透，仍然处在极早期。

粗略换算一下，自动驾驶里程在全球年度行驶里程里的占比，大约只有0.006%。

行业讨论自动驾驶已经很多年了，现在大家每天都在讨论端到端、VLA、城区 NOA、Robotaxi，但如果把视角拉到全球出行总量，自动驾驶仍然只是一个很小的变量。

真正的大规模应用，还远远没有被打开。

且自动驾驶并不是一个单点功能。未来会进入汽车、外卖、智慧城市、物流、农业、零售、医疗等大量物理世界场景。只要车和机器人开始真正进入开放环境，背后需要的就不只是一个更强的模型，而是一整套能够持续训练、验证、部署、回流的物理 AI 系统。

这也是这次 Workshop 里最值得关注的部分，NVIDIA 没有只讲一个模型。

03.

NVIDIA 的五层蛋糕，

真正想做的是自动驾驶生产系统

在NVIDIA的设计中，它把 DRIVE 全栈辅助驾驶平台拆成了「五层蛋糕」。

• 最底层是硬件 DRIVE Hyperion，也就是 ECU 和传感器架构。

• 往上是操作系统和平台软件 Halos OS，承担 Operating System 和 Safety Guardrails。

• 再往上是模型 Alpamayo，也就是当前推出的开放推理模型。

• 然后是应用 DRIVE AV，提供从辅助驾驶到全自动驾驶的软件栈。

• 最上面是基础设施 Cosmos and Omniverse NuRec，对应 Data、Tools、Pipelines。

这才是自动驾驶真正走向 L4 的工程问题。

所以 NVIDIA 的五层蛋糕，其实是在回答一个更底层的问题：辅助驾驶要从模型能力走向系统能力。

04.

Alpamayo 一直在升级

这篇文章里，自动驾驶之心最想重点聊的还是 Alpamayo。

去年十一月，我们就和大家分享过 Alpamayo 1.0。当时，我们判断 Alpamayo 是 NVIDIA 为辅助驾驶量产准备的车端推理 VLA 模型。

论文整体看下来，在工程上做的非常成熟，不是一个简单只在开放数据集上验证的VLA。

到了这次 Workshop，吴新宙分享了更多关于Alpamayo 1.5 的升级细节。

相比1.0的版本，1.5本次主要增加了导航功能，并且适配更多的传感器和配置。

从模型结构上看，是一个非常标准的推理型VLA。并且强调因果推理，即语言解释和自车轨迹的强耦合。

很多没实际参与过 VLA 模型训练的同学，可能不太理解这件事的难度。

以往大模型最大的诟病之一就是幻觉。放到自动驾驶里，幻觉和因果混淆都会非常危险。

这些情况，都需要模型在数据、训练层面下很大功夫。

当然，如果直接去除语言输出（Driving Decision和Causal Reasoning是文本输出），只保留自车轨迹的输出，模型在数据闭环和车端训练上都会更容易，但对用户来说未必是最优解。

所以 Alpamayo 真正难的地方，是让语言解释、驾驶决策和轨迹输出在同一个因果链里闭合。

而因果推理和世界模型的关系非常近。

理解物理世界的变化趋势，因果推理是其中的关键能力之一。模型需要知道一个事件为什么发生，一个动作会带来什么后果，当前场景里真正影响决策的因素是什么。

这些问题，已经超出了传统感知分类和简单轨迹拟合。这也是我理解中，吴新宙说世界模型是自动驾驶最本质的一环的原因。

VLA 解决的是从视觉、语言到动作的推理链路。世界模型补上的是场景演化、动作后果和物理反馈。

到了自动驾驶这里，这两件事迟早要合到一起。

05.

8万小时训练数据背后，是一套数据金字塔

Alpamayo 能走到这一步，数据规模肯定是绕不开的。

吴新宙分享了 Alpamayo 开放模型训练的数据结构：底层是 2000 万小时真实世界视频，往上是 2 亿视频片段，也就是精选优质视频，再往上是 370 万推理样本，最终沉淀到 8 万小时辅助驾驶训练数据和70 万因果链数据。

不要小看 8 万小时的数据。

如果只是按 15 秒一个 Clip 粗略折算，8 万小时大约对应 2000 万条 Clip。这个规模，已经超过绝大多数车端模型的训练数据量。

这里真正值得注意的，是 NVIDIA 已经把数据组织成了明显的金字塔结构。

底层的真实物理世界视频；中间是精选的视频片段，负责筛选质量和多样性；上层是推理样本和因果链数据，用于训练模型理解驾驶决策背后的原因。

最终，才沉淀为面向辅助驾驶训练的高质量数据。

06.

NuRec，NVIDIA闭环仿真的起点

讲完 Alpamayo，就必须拆解下NVIDIA的闭环仿真系统 — NuRec。

很多人看到 Omniverse NuRec，第一反应可能是 3DGS、场景重建、仿真渲染。但NuRec 的定位明显不止于此。

现场的分享中，Omniverse NuRec 是基于真实世界数据大规模生成 3D 仿真。它包括 NCore 数据格式，Fixer 去除重建伪影，Asset Harvester 从图像中生成 3D assets，还有 NuRec Container 和 AlpaSim 这样的工作流与开放仿真框架。

吴新宙也直接展示了 NuRec 如何助力 Alpamayo 开发。

一个旧金山道路实测场景，可以先被重建成道路事件，再插入摩托车、滑板车、锥桶等干扰资产，生成新的轨迹和新的道路事件。

这套闭环仿真系统，基本上覆盖了工程上考虑的所有元素。

再结合前面聊到的车端模型，真实数据采集、数据处理、训练集和测试集构建、仿真验证、部署车队、corner event 回流、数据再生成，这些环节在 Alpamayo 的量产落地图里已经连成了一个闭环。

这条链路跑起来之后，世界模型才真的有意义。

07.

NVIDIA 做 L4，拼的是物理AI基础设施

分享完技术细节之后，最后聊一下我对 NVIDIA L4 布局的看法。

在NVIDIA设想的路线中，2025 年L2++ 开始量产；2026 年进入 L2++ 点到点辅助驾驶；2027 年推进 L4 级无人驾驶出租车和 L4 级乘用车；2028 到 2030 年继续推进 L4。

这条路线和很多 Robotaxi 公司不太一样，反而给我们的感觉很务实。

从去年的Alpamayo开始，到后面的FastDriveCoT和最新的数据工作MOSAIC，NVIDIA还是很有自己做辅助驾驶工程应用的思考。

在技术人的视角中，吴新宙这句「世界模型是自动驾驶最本质的一环」，其实不止是依据单纯的技术思考，背后更是NVIDIA对下一代量产落地方向的判断。

整场分享最大的感受是，NVIDIA 对 L4 的理解不会只落在某一辆车或者某一个城市，它要做的是一套可以规模化复制的物理 AI 自动驾驶底座。

而这个愿景，现在就在我们脚下。