你在自动驾驶新闻里，经常会看到 2D ViT、3D ViT、世界模型 这三个词。看起来像三套很玄的技术，实际上它们分工很清楚：一个负责看懂图像，一个负责看懂空间，一个负责预测未来。

如果把自动驾驶想成一个新手司机在学开车，这三样东西差不多就是它的三层脑子。先看见路上有什么，再搞清楚这些东西在三维空间里怎么摆，最后再提前猜一猜接下来几秒会发生什么。

所以这篇文章不讲术语堆砌，只讲一件事：这三个词到底在自动驾驶里各自干什么，为什么它们经常一起出现。

先说结论：它们不是一回事

如果只用一句话概括：

• 2D ViT，主要负责看懂一张张图片里“有什么”

• 3D ViT，主要负责看懂“这些东西在空间里在哪里”

• 世界模型，主要负责想清楚“接下来会怎么变”

它们不是谁替代谁，而是从“识别”走向“理解空间”，再走向“预测未来”的一条链路。

举个路口的例子。车开到红绿灯前，2D ViT 先识别出红灯、行人、前车；3D ViT 再判断行人在你前方几米、前车是在本车道还是隔壁车道；世界模型继续往前推演，如果你现在不减速，2 秒后会不会和行人或前车产生冲突。

2D ViT：先看懂图像里的“是什么”

ViT 的全称是 Vision Transformer，简单理解就是一种更擅长处理图像关系的视觉模型。前面的 2D，说的是它主要在二维图片上工作。

在自动驾驶里，车上有一圈摄像头，前后左右看到的都是图片。2D ViT 的任务，就是从这些图片里找出关键内容：

• 这是车还是人

• 这是红绿灯还是路灯

• 这是车道线还是地面反光

• 这块区域有没有障碍物

它的强项，是语义理解。也就是“这是什么”。

你可以把它想成一个特别会看图的人。照片一摆出来，它能比较快地告诉你：哪里是车、哪里是人、哪里是信号灯、哪里是路牌。

但它也有天然短板：它看到的是二维图像，图像里两个物体看起来差不多大，不代表它们真实距离一样远。所以 2D ViT 很擅长认东西，但不一定天然擅长判断精确空间关系。

这也是为什么它通常只是自动驾驶的第一层理解。

3D ViT：再看懂空间里的“在哪儿”

如果说 2D ViT 更像在看照片，那 3D ViT 更像是在看一个立体沙盘。

它关注的不只是“这是什么”，更重要的是“它在空间里到底在哪儿”。在自动驾驶里，这件事特别关键，因为开车本来就是一门空间学：

• 前车离我有多远

• 行人在左前方还是正前方

• 右边那辆车有没有压线

• 路口里面有没有一个我没直接看见的障碍物

所以 3D ViT 常常会处理更偏空间化的表示，比如 BEV（鸟瞰图）特征、点云、占据空间信息，或者多摄像头融合后的空间 tokens。

它的价值就在于，把一堆“看起来像”的图像信息，变成一张更接近真实路况的空间图。

你可以把它理解成：

• 2D ViT 更像回答“那是什么”

• 3D ViT 更像回答“它在哪儿”

这两个问题，在自动驾驶里缺一不可。

世界模型：不是看现在，而是先演一遍未来

如果说前两个模型主要在解决“看懂现在”，那世界模型做的事就更进一步：它想预测“接下来会发生什么”。

你可以把它理解成自动驾驶脑子里的一个小型模拟器。

它看到当前路况后，不只是输出识别结果，还会继续想：

• 这辆车会不会减速

• 这个行人是不是准备横穿马路

• 如果我现在加速、刹车或变道，周围环境会怎么变

• 未来 1 秒、3 秒、5 秒，场景会不会进入风险区

所以世界模型不是简单的“识别器”，而是一个偏动态预测的系统。它学的是环境怎么演化、动作怎么影响场景。

这对自动驾驶特别重要，因为真正难的，从来不只是“看见一个行人”，而是判断：

• 他会不会突然往前走

• 我现在该不该减速

• 如果我继续前进，会不会产生冲突

世界模型的意义就在这里。它让车不只是“看见世界”，而是开始“预演世界”。

为什么大家越来越重视世界模型？

因为行业慢慢发现，只把感知做强还不够。

传统自动驾驶系统常常像一条流水线：感知、预测、规划各做各的。这样当然能跑，但模块之间有时会有信息损耗。

世界模型吸引人的地方在于，它有机会把“看见、理解、预测”连得更紧。不是只给一个静态答案，而是把动态变化也纳进来。

这也是为什么很多人会说，世界模型可能是自动驾驶从“看得见”走向“想得明白”的关键一步。

它们在自动驾驶里怎么串起来？

如果把整条链路摊开，大致是这样的：

1. 摄像头先把路况拍下来

2. 2D ViT 先识别画面里的物体和语义

3. 3D ViT 再把这些信息放回空间里

4. 世界模型根据当前状态，推演未来变化

5. 规划和控制模块根据这些结果做决定

也就是说，2D ViT 不是终点，3D ViT 也不是终点，世界模型更不是终点。它们更像是自动驾驶系统里从“看”到“想”再到“做”的几个连续层次。

从普通人的角度理解，你只要记住一句话就够了：

• 2D ViT 负责看清楚

• 3D ViT 负责摆清楚

• 世界模型负责想明白接下来会怎样

这就是它们最核心的分工。

最后一句话

很多自动驾驶里的名词听上去很新，但拆开来看，其实就是三件事：看见、看懂空间、预测未来。

如果你愿意把这三个词记成一句话，那就是：2D ViT 看图，3D ViT 看空间，世界模型看未来。

你更想先继续看哪一个：2D ViT 的技术细节、3D ViT 的 BEV/occupancy 体系，还是世界模型在自动驾驶里到底怎么训练？