引言

最近读到 LeCun 的几个 posts，意识到其实行业内外对于“端到端自动驾驶”的认识往往处于正反两个极端。我也很想暂且放下技术层面本身的争辩，来从一个从业者的角度探讨一下，所谓端到端自动驾驶为什么在商业上获得了显著的成功──我这里成功的标准，是指类似 momenta 这种以此路线为核心商业模式的公司的近来发展。

在切入主线之前，我们不妨先来看看 LeCun 对当前智驾能力的评论：

他的讨论中抛出了一个非常关键的话题：llm 和自动驾驶。他直言不讳地指出，llm 并不能给自动驾驶任务带来真正的智能。而这，恰恰也是端到端自动驾驶领域过去一段时间里非常有意思的路线之争── VLA ──让我们的分析就从这里开始。

VLA 这一路线真正的含义

大概从 24 年下半年开始，很多公司都开始扎堆发布自己和 llm 结合的技术路线，似乎在那段时间看来，谁家要是没有做 VLM 或者 VLA 的技术路线，就是一种原罪式的落后。然而，这个路线费尽心思真正想告诉投资人和消费者的无他，其实只有一句话：

VLA for autonomous driving is LLM in mobile robots.

这个故事非常的 promising，以至于至今大热的具身智能同样讲述的也是这个故事──这是一个从消费者到研究者再到从业者都乐意买单的完美叙事。

消费者喜欢，是因为在日复一日看到原子弹爆炸级别的新闻之后建立了一种潜意识：大语言模型拥有一种神奇的力量，就像机器猫的口袋、就像孙悟空的七十二变，能幻化出无限的力量去解决一切黑盒问题；

研究者喜欢，是因为对于之前一直苦苦研究传统方法、两年三年才能憋出一篇文章的学者而言，大语言模型成为了那个最好用、最容易出效果的拐杖。从论文撰写到数据处理，甚至你能看到许多 llm x science 的论文泛滥，以至于今年 ICML 的投稿量都到达了一个离谱的巨大数量；

从业者喜欢，是因为比起之前智驾行业刀耕火种相比，与其集中开发天天去写 apollo 那种繁琐的 decider，倒不如我们大力出奇迹，收集收集场景然后美美 train 模型。

所有人都喜欢豆包大模型自己学会开车的故事，没有人会喜欢工程师在后台辛苦查 bug，需要基于轮胎力学去推导 mpc 的详细过程──于是，后者不可避免地被污名化为了 old-school 和 rule-based。

所谓 rule-based 的问题

谈到这个，是因为某公司的智驾在开源界最大的影响可能是开源了 opalla 这类早期系统，而这几乎成为了 learning 社区对非 learning 方案最大的攻击来源──

Opalla 这类架构的最大问题，甚至都不是 path speed decider 本身写得好不好，而是其不能从根本上考虑交互，比如那种先 prediction 后 planning 的割裂式模块设计──这就给后来的端到端留下了巨大的把柄。

但其实剥开包装看看，现在多数车上真正 work 的端到端模型，里面也没有什么高深的多模态。

如果写 decider 然后送 optimization 的过程要被戏称为 rule-based 的话，那么刚刚港股上市的某头部公司的 RL 方案本质上也还是 rule-based──人工 hack 的没有什么严谨数学结构的 reward 和 cost，和人工写的 decider 到底有什么本质差异呢？

当然，rule-based 和 model-based 曾经的局限，正是端到端取得商业成功最好的垫脚石，这成功给了消费者一种极强的心理暗示──前者方案是人工 hard code 的，显然没有所谓的智能或者泛化；而后者是基于（大）模型的，当我们喂进去足够多的知识的时候，就会有所谓的“涌现”。

这甚至在多个网络平台上，成为了很多新势力的端到端方案拥趸用来攻击某著名头部智驾方案供应商最大的由头。

所以总而言之，端到端在当下的成功，很大程度上是因为行业长期存在大量用劣化的 Opalla 架构来做智驾的案例──端到端不需要做到理论上的绝对最好，只需要在商业包装和体验上比友商过去的做法更好。

世界模型：银弹？

我们前面讲到，端到端需要足够多的知识，这正是最大的阳谋──

所谓端到端方案，并不是就不需要处理 if else 的逻辑，只是这部分逻辑前置了，前置到了消费者根本不会关注的数据模块。在这个模块中，需要大量的经验去对场景进行标签、对数据质量进行筛选、对数据特性进行分析以给到后续的所谓黑箱网络中进行学习。就拿日常修复端到端自动驾驶问题的实际工作来说，单单是设计一套闭环的算法验证评估流程，就需要投入巨大的心血去对海量的场景切片数据进行人肉过滤和打分，以此来纠正模型的偏离。

那么这个模仿学习的网络，模仿的到底是数据本身玄之又玄的涌现，还是数据处理模块给出的数据中的分布？

这种数据的魔法，才是头部智驾公司真正的不传之秘──换言之，网络的架构甚至参数量往往都是无关紧要的，本质上做的事情就是如何对一个数据集上的某种分布进行拟合──既然是拟合，当然是这个分布本身更加重要。

到这里聪明的读者会问一个问题，那么你这个从已有数据中学到的 policy 到底怎么泛化呢？端到端的论文会写很多花里胡哨的指标，其实他们真正提出的兜底方案就是所谓的 world model（世界模型）──

World model 简要而言就是车辆环境的交互建模，我们让车辆从这个虚拟建模中去交互和推理。

这是一个很好的故事，但是似乎这里面存在一个非常无解的蛋生鸡、鸡生蛋的问题：既然我们需要让车辆从世界模型里面学到交互的奥秘，那么这个世界模型本身是如何建模这种复杂交互的呢？

这个时候，没有良心的论文会顾左右而言他，有良心的论文会在附录里面如是说：

如果上帝创造的伊甸园里面本就没有那条蛇，亚当和夏娃可能永远都不会学会去偷吃禁果。

尾声：数据的资本游戏

端到端智驾很喜欢讲的一个名词就是 scalling，这背后的意思就是类似于资本市场的杠杆──如果能找寻到 scale 的方法，那么就拥有了点石成金的伟力。

不过智驾公司确实通过这个来营造了一个无形的壁垒，这个壁垒如今已经将很多中小规模的公司死死困在其中，进不是，退亦不是──这就是数据基建，也就是 llm 圈子里常说的 infra。

如果用自动驾驶感知所需的基建规模和能力作为 1 来参考，那么端到端自动驾驶所需的至少在十万到百万这个规模，而这就是可以用资本生生筑起的护城河──

今天我端了，而你根本没有这个基建，何谈追赶？

只是让人唏嘘的是，被粗暴的 rule-based 和 model-based 划分了阵营的 planning 团队明明有自己的银弹，行业多数却被裹挟着追赶 llm 的昨日故事而刻舟求剑。

L2 的智驾有很多条路，端到端当然可以，但是端到端却并不是唯一一条，甚至未必是可以通到 L4 的那条。

让我继续用 LeCun 的话语结束本文：

LLM is a fantastic tool but not the bitter lesson for autonomous driving.