自动驾驶在仿真里自己跟自己较劲，这件事已经不新鲜了。
过去几年，自博弈训练出来的驾驶策略在各种模拟环境中表现惊人——变道果断、通过路口流畅、面对突发障碍也能从容应对。
但这里有一个长期被忽视的裂缝。
这些在仿真里呼风唤雨的策略，看到的从来不是真实摄像头画面。它们接收的是精确的向量化观察：所有车辆的三维坐标、精确的速度和朝向、甚至连被遮挡车辆的位置都一清二楚。这就像一个人闭着眼睛开车，但脑子里装着一份实时更新的上帝视角地图。
而真正的自动驾驶汽车，只能通过车身上的摄像头看世界。
树木会遮挡行人，公交车后面藏着横穿马路的外卖骑手，前车急刹时你看不到它前面的路况。这些都不在那份上帝地图里。
常见的补救办法是知识蒸馏：让一个看摄像头图片的学生模型，去模仿那个拥有上帝视角的老师模型。
听起来合理，但问题在于——老师做出的某些决策，学生用自己的视角根本无法验证其合理性。老师看到前面第三辆车正在减速于是提前变道，学生只看到前车的屁股。学生只能硬着头皮模仿，却不知道为什么。
来自多个研究机构的研究者们提出了一个更彻底的想法。
与其让摄像头模型去模仿一个拥有特权信息的老师，不如让自博弈从一开始就跑在摄像头视角里。
这就是 Pictura 的出发点。
特权信息的恶性依赖
自博弈在自动驾驶领域的发展路径，其实有些奇特。
最早期的工作证明了自博弈可以让智能体学会基本的驾驶行为——保持在车道内、避让障碍物、跟随前车。随着计算能力的提升，自博弈的规模越做越大，智能体之间的交互越来越复杂，涌现出了很多令人惊讶的驾驶策略。
但这些工作的一个共同点是：智能体使用了特权向量化观察作为输入。
在这种设定下，智能体接收的是仿真环境直接提供的结构化数据。每辆车的位置用一个坐标点表示，速度是一个三维向量，朝向是一个角度值。不会出现遮挡，不存在视角限制，没有感知噪声。
这种设定在学术研究中有其合理性。 它把感知问题暂时搁置，让研究重点聚焦在决策和规划上。
但在实际部署中，这个前提完全不成立。
真实世界的自动驾驶系统必须从摄像头和传感器中感知周围环境，然后才能做决策。感知本身就是一个充满不确定性的过程——远处物体检测不准、遮挡导致目标丢失、夜间成像质量下降。
于是，从特权策略到可部署策略之间，出现了表征鸿沟。
研究团队将特权策略蒸馏到摄像头输入的视觉策略中，试图搭一座桥跨过去。
但这座桥是从错误的一端建造的。
蒸馏出来的视觉策略，只能模仿特权策略的行为，却无法真正理解这些行为背后的视觉依据。当视觉信号模糊或缺失时，学生策略不知道该相信什么，不该相信什么。它学到的是一种条件反射式的行为模仿，而非基于视觉信息的推理。
Pictura：把自博弈搬进摄像头视角
解决这个问题的方法，在概念上出奇地简单。
不要从特权视角训练，直接从透视视角训练。
让每一个参与自博弈的智能体，都只能看到自己车身周围摄像头渲染出来的图像。被前车挡住的行人看不见，路口拐角后面的车辆也看不见，感知范围天然受限。
智能体必须学会在这种视觉不完整的条件下做决策。
但概念简单不等于实现简单。
在每一步仿真中，为每一个智能体渲染其自我中心视角的图像——这个计算量是惊人的。如果有 100 个智能体同时在场景中交互，每一步就需要渲染 100 张图像。按照常规仿真器的渲染速度，训练将被渲染时间完全吞没。
这就是为什么研究团队要开发 Pictura 这个全新的仿真平台。
Pictura 是一个完全 GPU 加速的多智能体驾驶仿真器。它的核心设计理念是把渲染和物理仿真全部放在 GPU 上完成，彻底消除 CPU-GPU 之间的数据传输瓶颈。
在单张 H100 上，Pictura 可以达到每秒 50 万智能体步的吞吐量，这相当于每秒渲染 200 万张图像。
这个规模让透视视角自博弈的大规模训练成为可能。
研究团队在 Pictura 中训练了一个名为 Alberti 的驾驶策略。Alberti 使用最基础的 PPO 强化学习算法，没有复杂的网络结构，没有辅助损失函数，没有行为克隆预训练。
它的输入只有透视视角摄像头图像，输出是油门、刹车和方向盘角度。
没有上帝视角，没有特权信息，没有蒸馏。
50 亿步与 3500 万公里
Alberti 的训练规模同样值得关注。
训练总共跨越 500 亿智能体步，相当于约 3500 万公里的驾驶里程。这是一个让策略可以在海量多样场景中反复试错的空间。
在这些步数里，Alberti 和其他 Alberti 实例一起出现在场景中。它们都在从自己的视角观察世界，都在做自己的驾驶决策。它们时而合作、时而竞争——路口让行时学会判断意图，汇入车流时学会寻找间隙，高速巡航时学会保持安全距离。
因为每一个智能体都只能看到自己周围的世界，它们之间的交互变得更接近真实驾驶。
一辆车要从辅路汇入主路。它看不到主路远处正在加速驶来的车，只能根据当前可见的车流间隙做判断。它可能需要试探性地探出一点车头来获得更好的视野。这些行为不是被编码进奖励函数的，而是从透视视角自博弈中自然涌现出来的。
这让 Alberti 学到了一些特权策略永远学不到的东西。
特权策略知道一切，所以它的行为是建立在完美信息之上的最优解。但在真实世界中，完美信息不存在，你必须在信息不完整的情况下做出合理的决策。Alberti 恰恰是在这种不确定性中成长起来的。
训练结束后，研究团队将 Alberti 与一个同规模特权向量化策略进行了对比。
Alberti 的驾驶表现非常接近其特权对应物。在某些场景下甚至表现更好。
零样本迁移的惊喜
一个更有说服力的实验来自零样本迁移。
研究团队将 Waymo Open Motion Dataset 中的道路布局重新导入 Pictura 进行渲染。Waymo 数据集包含大量来自真实世界的道路场景——复杂的十字路口、多车道高速公路、环形交叉路口等等。
在完全没见过的道路布局上，在从未接触过的场景结构中，Alberti 被直接部署上去。
结果出乎意料。
Alberti 的表现超越了特权向量化智能体。
这个结果是反直觉的。特权策略掌握了更完整的信息，为什么会在陌生场景中表现更差？
原因在于过拟合。特权策略在训练期间学会的是在已知场景中利用完美信息做最优决策。当场景变化、道路结构新颖时，它对向量化信息的依赖反而成为弱点——它没有学会在不确定性中做决策的能力。
而 Alberti 从训练的第一天起就活在不确定性中。它的视觉输入天然就是局部的、不完整的。面对新场景时，它不会假设自己知道一切，而是根据可见的信息逐步推理和行动。
这种泛化能力，恰恰是蒸馏方法无法赋予学生模型的。
从视觉输入到视觉策略
Pictura 和 Alberti 组合的意义，远不止于一个更好的驾驶策略。
它展示了一条端到端视觉驾驶的可行路径。
目前主流的自动驾驶系统通常采用模块化架构：感知模块把摄像头图像转换成检测框和跟踪轨迹，预测模块估计轨迹变化，规划模块生成驾驶动作。模块之间通过向量化接口传递信息。
这条流水线的每一步都在丢弃信息。摄像头图像中蕴含的丰富上下文——路面材质的变化暗示前方可能有施工区域，前车刹车灯亮起的时间模式暗示不同的制动意图，行人转头或手势暗示过马路的可能性——这些信号在经过检测框转换后大多消失殆尽。
Pictura 所坚持的透视视角训练，迫使智能体直接从图像像素中提取驾驶决策所需的全部信息。
这不只是一个工程选择，它指向一种不同的驾驶智能形态。
替代模块化流水线的，是一个统一的神经网络，它看图像，做决策，中间没有任何人工定义的接口。所有信息都在网络中流动、融合、转化。
当然，从仿真到真实世界之间还有很长的路要走。图像渲染质量、传感器噪声、天气变化、动态范围差距——这些都是仿真到现实的迁移需要面对的挑战。
但 Pictura 已经迈出了关键一步。
简单接口的潜力
值得回味的还有 Alberti 训练的技术简洁性。
没有复杂的多阶段训练，没有行为克隆预热，没有特权教师网络，没有辅助预测任务，没有课程学习，没有复杂的奖励塑形。
就是普通的 PPO 算法，配合海量的透视视角自博弈经验。
这种简洁性本身就是一种有力的论证。
当训练环境与部署环境的接口一致时，智能体不需要额外的辅助机制就能学到合理的行为。过去那些复杂的训练技巧，很多其实是在弥补训练环境和真实环境之间的差异。如果把这个差异从源头消除，简单的方法就能生效。
Pictura 追求的正是这种接口一致性。
训练时智能体看到的是摄像头图像，部署时看到的也是摄像头图像。中间的鸿沟消失了，连同填补鸿沟所需的各种技术补丁也一同消失了。
透视视角自博弈的未来
自动驾驶领域的仿真器和策略训练，长期被两条路线分割。
一条是高效率路线，用向量化特权信息做自博弈，训练快、效果好，但无法直接部署。另一条是可部署路线，用摄像头图像训练，但往往依赖模仿学习和蒸馏，缺乏自博弈带来的多智能体交互能力。
Pictura 和 Alberti 在这两条路线之间架起了一座真正的桥梁。
GPU 加速的大规模透视渲染让摄像头视角自博弈的效率逼近向量化方式，而直接在摄像头图像上训练的策略天然具有可部署性。
研究团队已经证明了这条路径的可行性。接下来的问题变成了：如何让 Pictura 中的渲染更接近真实摄像头，如何缩小仿真到现实的视觉差距，以及如何让在 Pictura 中学到的驾驶策略在真实车辆上也能稳定运行。
自博弈不再只是上帝视角的专属游戏。
在透视视角下，它变得更真实、更实用、更有说服力。
