自动驾驶中的传感器技术89——Sensor Fusion(12)

1. 特斯拉的视觉基础：HydraNet 与纯视觉方案（2020-2021）

特斯拉在自动驾驶领域的早期核心突破是建立了HydraNet（九头蛇网络）架构。

• 架构原理
  ：这是一种“多头单体”的神经网络结构。来自车辆8个摄像头的图像首先经过骨干网络（Backbone，类似ResNet）提取特征，然后通过Transformer架构进行多摄融合，并引入时间序列（视频队列）进行时序融合。最终，处理后的数据被分发给不同的“头（Heads）”，分别负责车道线检测、物体识别等特定任务。
• 纯视觉路线
  ：特斯拉在2021年决定移除毫米波雷达，全面转向“纯视觉”方案。马斯克认为雷达会引入噪音，而高精度的视觉神经网络足以像人类眼睛一样判断深度和速度。这一转变依赖于特斯拉庞大的车队数据和自动标注技术。

编辑

在2020至2021年间，特斯拉自动驾驶软件经历了一次底层代码的重构，其核心成果便是HydraNet（九头蛇网络）。这一架构的诞生，标志着特斯拉从依赖第三方（如Mobileye）或简单传感器融合，转向了深度定制的、以数据为中心的端到端视觉感知体系。

1.1 HydraNet架构原理：多头单体的高效解法

传统的自动驾驶感知往往为每个任务（如检测车道线、检测红绿灯、检测车辆）训练独立的神经网络。这种方式在车载计算资源有限的情况下极其低效，因为每个网络都要重复处理相同的图像数据。

特斯拉提出的HydraNet通过“共享主干，独立多头”的结构解决了这一瓶颈：

• 共享骨干网络（Shared Backbone）：
    车辆周身的8个摄像头（覆盖360度视野）采集到的原始图像，首先被送入一个巨大的共享神经网络（通常基于ResNet或更高效的RegNet变体）。这个“骨干”负责通用的特征提取，比如识别边缘、纹理和基本形状。这一步只进行一次，极大地节省了FSD芯片（NPU）的算力。

• 多摄融合与鸟瞰图转换（BEV Transform）：
    提取出的特征并非直接使用，而是通过Transformer架构进行空间融合。系统将8个不同角度、不同焦距的摄像头画面，投影到一个统一的3D向量空间（Vector Space），即我们常说的“上帝视角”或鸟瞰图（Bird's Eye View, BEV）。这解决了跨摄像头物体识别的难题（例如一辆大卡车横跨了两个摄像头的视野，在BEV下它就是一个完整的物体）。

• 时序融合（Temporal Fusion / Video Module）：
    这是HydraNet区别于传统单帧检测的关键。系统引入了一个“视频队列”或“特征队列”，缓存过去几秒钟的特征数据。通过3D CNN或RNN（循环神经网络），系统将当前时刻的特征与历史特征进行融合。

• 记忆能力
  ：即使路标被遮挡或车辆驶过路口，系统依然“记得”之前的限速牌或车道导向。
• 速度与深度估计
  ：通过对比物体在时间序列中的位置变化，神经网络可以直接计算出物体的速度和加速度，无需雷达介入。

• 独立任务头（Task-Specific Heads）：
    经过时空融合的“超级特征”最终被分发给多个独立的“头”。就像九头蛇一样，每个头专注于单一任务：一个头负责绘制车道线，一个头负责识别交通信号灯，另一个头负责检测动态障碍物。这种解耦设计使得开发团队可以单独微调“车道线”算法，而不会破坏“红绿灯”检测的稳定性。

1.2 纯视觉路线（Tesla Vision）：为何移除雷达？

2021年，特斯拉做出了行业内极具争议的决定：在量产车（Model 3/Y）上移除毫米波雷达，完全依赖摄像头进行自动驾驶（Tesla Vision）。这一决策基于第一性原理的深度思考：

• 传感器融合的“噪音”问题：
    在传统的“摄像头+雷达”方案中，当两者数据冲突时（例如摄像头看到路面上有个井盖是安全的，但雷达因为金属反射认为前方有障碍物），系统往往难以决策。为了安全，传统算法通常会赋予雷达更高权重，这导致了频繁的“幽灵刹车”（Phantom Braking）。

• 视觉的高带宽与语义优势：
    马斯克认为，人类驾驶员仅靠双眼（视觉）和大脑（神经网络）就能处理复杂的道路情况。雷达虽然能测距，但分辨率低、无语义信息（不知道障碍物是塑料袋还是石头）。特斯拉证明，经过海量数据训练的深层神经网络，完全可以通过视觉视差和时序分析，实现甚至超越雷达精度的深度估计（Depth Estimation）和速度测算。

• 数据引擎的胜利：
    纯视觉方案的成功落地，高度依赖特斯拉的数据引擎（Data Engine）。

• 影子模式（Shadow Mode）
  ：特斯拉利用百万辆量产车在后台运行新算法，并不实际控制车辆，而是对比算法预测与驾驶员实际操作的差异。
• 自动标注（Auto Labeling）
  ：利用服务器端的超级计算机（算力远超车载芯片），离线处理视频数据，生成高精度的“真值（Ground Truth）”，甚至利用更强的离线算法（如引入未来帧）来“教”车载网络如何判断距离。

通过这一阶段的进化，特斯拉不仅摆脱了对雷达硬件的依赖，降低了成本，更重要的是建立了一套能像人类一样通过视觉理解三维物理世界的感知框架，为后续的占用网络和端到端模型奠定了坚实基础。

2. 解决视觉缺陷：占用网络（Occupancy Networks，2022）

为了克服传统物体检测算法的局限性（如无法识别训练集中不存在的“长尾”物体、矩形框无法精确描述不规则障碍物、深度感知不稳定等），特斯拉引入了占用网络。

• 核心概念
  ：该网络不再执着于回答“这是什么物体”，而是回答“这个3D空间位置是否被占用”。它借鉴了机器人领域的占用栅格概念，将周围环境划分为微小的3D体素（Voxels）。
• 技术优势
  ：
• 体积占用
  ：能够识别不规则形状（如卡车伸出的吊臂）和未知障碍物。
• 占用流（Occupancy Flow）
  ：不仅能检测位置，还能预测每个体素的运动方向（光流估计），区分静止和动态物体。
• NeRFs验证
  ：利用神经辐射场（NeRFs）技术进行3D场景重建，用于离线验证占用网络的准确性。

编辑

编辑

2.1 传统检测的局限与占用网络的诞生

在占用网络出现之前，绝大多数自动驾驶系统（包括早期的特斯拉Autopilot）都依赖于有监督的物体检测。这种方法通常输出一个个2D或3D的矩形框（Bounding Box），并附带一个标签（如“汽车”、“行人”、“卡车”）。然而，这种**基于本体论（Ontology-based）**的方法面临三大挑战：

1. 长尾物体无法识别
   ：训练数据集不可能包含世界上所有的物体。如果路面上出现了一只袋鼠、翻倒的侧翻卡车，或者是被风吹起的塑料布，神经网络因为没“学”过这些类别，往往会视而不见，导致严重的碰撞事故。
2. 矩形框的几何误差
   ：现实中的物体往往不是规则的长方体。例如，一辆L型的大挂车，或者一辆伸出机械臂的工程车。如果强行用一个矩形框去包裹它，不仅不准确，还可能包含大量空白区域，导致系统误判车辆无法通过实际上可以通过的狭窄空间。
3. 静态与动态的模糊
   ：传统算法在判断静止障碍物（如路边护栏）和动态障碍物（如行驶车辆）时，往往需要复杂的后处理逻辑，容易出错。

占用网络的核心哲学是：不要问“这是什么”，而要问“这里有什么”。它不再试图给每个物体贴标签，而是将车辆周围的3D物理世界划分成无数个微小的立方体——体素（Voxels）。对于每一个体素，网络只需要回答一个二元问题：这个空间是被占用的（有东西），还是空闲的（可行驶）？

2.2 技术架构与核心优势

占用网络是一个极其高效且通用的3D感知系统，其技术优势体现在以下几个维度：

• 体积占用（Volumetric Occupancy）：通用的物理屏障检测
    占用网络输出的是一个密集的3D栅格地图。这意味着它能够精确地描绘出物体的几何轮廓，而不仅仅是一个粗糙的框。

• 应对不规则物体
  ：对于一辆由两节车厢组成的弯曲大巴，占用网络会生成两团连接的体素云，完美贴合车身曲率。对于卡车伸出的吊臂或突出的负载，网络也能将其识别为“不可通行的占用区域”。
• 应对未知障碍物
  ：即使是一块路面上的大石头或倒下的树木，虽然系统不知道它的名字叫“石头”或“树”，但系统知道“那个位置有物理实体”，车辆必须避让。这从根本上解决了长尾检测难题，极大提升了安全性。

• 占用流（Occupancy Flow）：赋予体素时间维度的感知
    仅仅知道空间被占用还不够，自动驾驶车辆还需要预测未来。特斯拉在占用网络中引入了光流（Optical Flow）的概念，升级为占用流。

• 网络不仅输出体素的占用状态，还为每个被占用的体素预测一个运动矢量（Motion Vector）。
• 这使得系统能够清晰地看到：路边的树木体素是静止的（速度为0），而旁边的公交车体素正在以30km/h的速度向左前方移动。
• 这种原生的运动预测能力，让系统能够极其稳健地处理遮挡问题。例如，当一辆车被路边灌木遮挡了一半，占用流依然能根据可见部分的运动矢量，推断出整辆车的运动轨迹。

• NeRFs验证与自动标注：数据引擎的闭环
    训练这样一个庞大的3D网络需要海量的3D真值数据（Ground Truth）。人工标注3D体素几乎是不可能的任务，因此特斯拉开发了基于神经辐射场（NeRFs, Neural Radiance Fields）的自动标注管线。

• 离线重建
  ：利用车载摄像头采集的视频序列，特斯拉在云端服务器上使用NeRFs技术进行全场景的3D重建。NeRFs能够通过2D图像反推出极其逼真的3D场景几何结构和纹理。
• 自我监督
  ：这个重建出来的3D场景被视为“标准答案”。系统将车载占用网络的实时输出与NeRFs生成的精细3D模型进行比对，计算损失函数（Loss），从而反向传播优化网络参数。
• 这种方法让特斯拉能够利用数百万辆车的行驶数据进行自我监督学习，无需人工介入即可不断提升感知精度。

通过占用网络，特斯拉成功构建了一个能够理解复杂几何形状、具备通用障碍物检测能力，且拥有原生时间预测属性的感知底座，为后续彻底移除人工规则代码、走向端到端自动驾驶扫清了最大的感知障碍。

3. 终极形态：迈向“端到端”学习（2023及以后）

特斯拉FSD的最新演进方向（如FSD v12）是从模块化架构彻底转向端到端（End-to-End）深度学习。

• 架构转变
  ：
• 过去（模块化）
  ：感知模块使用神经网络（HydraNet + 占用网络），但规划（Planning）模块仍依赖人工编写的代码规则（如蒙特卡洛树搜索、成本函数、交通规则逻辑）。
• 现在（端到端）
  ：消除规划模块中的人为规则代码（C++），将感知和规划合并为一个巨大的神经网络。
• 训练逻辑
  ：系统不再通过“红灯停、绿灯行”的硬代码来驾驶，而是通过输入数百万小时的人类驾驶视频，让神经网络通过模仿学习（Imitation Learning）掌握驾驶策略。整个系统进行联合优化，从图像输入直接映射到车辆控制输出。

3.1 架构的范式转移：从“规则堆砌”到“神经网络原生”

在FSD v12之前（即v11及更早版本），特斯拉采用的是经典的模块化流水线架构。这是一种“分而治之”的工程思路：

• 感知层（Perception）
  ：由HydraNet和占用网络负责，将摄像头图像转化为结构化的数据（如车道线位置、障碍物坐标、交通灯状态）。这部分已经高度神经网络化。
• 规划与控制层（Planning & Control）
  ：然而，这一层在过去依然是传统的“代码世界”。工程师们编写了超过30万行C++代码来实现驾驶逻辑。
• 例如：if (红灯) { 停车 } else if (绿灯 && 前方无车) { 加速 }。
• 为了处理路口博弈，还需要引入蒙特卡洛树搜索（MCTS）来模拟各种可能路径，并设计复杂的人工成本函数（Cost Function）来打分。
• 痛点
  ：这种方式虽然逻辑透明，但非常脆弱。现实世界有无穷无尽的“Corner Cases”（边缘场景），比如一个手势模糊的交警、一个倒在路中间的雪糕筒、或者一种从未见过的复杂环岛。工程师不可能为每一种情况都预先写好代码规则（if-else），导致系统在面对未知场景时经常“卡死”或行为怪异。

端到端架构则彻底颠覆了这一逻辑。特斯拉消除了规划模块中几乎所有的人工规则代码（C++），将感知、预测、规划、控制这几个原本割裂的模块，全部通过一个巨大的神经网络打通。

• 光子进，控制出（Photons In, Controls Out）
  ：现在，原始的摄像头视频流（光子）直接作为神经网络的输入，网络经过内部数亿个参数的复杂运算，直接输出车辆的方向盘转角、油门力度和刹车指令（控制）。
• 黑盒化
  ：中间不再生成人类可读的“车道线”或“红绿灯状态”等中间结果（或者说这些特征隐含在网络的中间层中），整个驾驶决策过程完全由神经网络内部的权重决定。

3.2 训练逻辑：模仿学习与视频预训练

端到端架构的核心不再是“写代码”，而是“喂数据”。特斯拉构建了一个规模空前的训练管线，让AI像人类一样学习驾驶。

• 模仿学习（Imitation Learning）：
    特斯拉利用其遍布全球的车队，收集了数百万小时的人类高质量驾驶视频。这些视频包含了人类司机在面对各种复杂路况时的真实操作（如丝滑的变道、礼让行人、绕过路障）。

• 数据筛选
  ：并非所有数据都是有用的。特斯拉的数据引擎会自动筛选出“老司机”的驾驶片段，剔除急刹车、违章或危险驾驶的样本。
• 行为克隆
  ：神经网络被训练去预测下一帧人类司机会做什么。如果网络预测要直行，而视频中的人类司机左转了，系统就会产生一个“误差（Loss）”，并通过反向传播调整网络参数，直到它的决策与人类老司机高度一致。

• 联合优化与全局视野：
    在传统架构中，感知团队优化感知的指标（如检测率），规划团队优化规划的指标（如平顺性），两者往往存在目标不一致（Misalignment）。端到端架构实现了全链路的联合优化。

• 网络会自动学习哪些视觉特征对驾驶最重要。例如，它可能会发现路边一个微小的手势比红绿灯更重要（如果是交警指挥的话），这是传统规则代码很难捕捉到的微妙逻辑。
• 涌现能力（Emergent Behavior）
  ：最令人惊叹的是，系统展现出了未被显式编程的智能行为。例如，它学会了在积水路段减速、在狭窄道路会车时主动折叠后视镜、甚至看懂了其他司机的眼神交流。这些都不是工程师写代码教的，而是网络从海量视频数据中自己“悟”出来的。

通过端到端架构，特斯拉FSD v12不仅大幅减少了代码量（据称减少了数十万行），更重要的是获得了类似人类的直觉和泛化能力，使得自动驾驶在复杂城市环境中的表现更加丝滑、拟人，并具备了向L4/L5级自动驾驶进化的潜力。

4. 行业视角：四大支柱 vs. 端到端

编辑

编辑

编辑

在更广泛的自动驾驶行业中，存在两种主流的软件架构理念：

• 四大支柱架构（4 Pillars）
  ：
• 流程
  ：感知（Perception）→ 定位（Localization）→ 规划（Planning）→ 控制（Control）。
• 特点
  ：模块化、线性处理。这是Waymo、百度Apollo等大多数传统自动驾驶公司采用的方案。它稳健、易于调试，适合需要高安全性和可解释性的场景。
• 端到端架构（End-to-End）
  ：
• 流程
  ：传感器输入 → 深度学习模型（黑盒） → 驾驶操作输出。
• 特点
  ：由英伟达在2016年率先提出，Comma.ai和Wayve等公司是主要探索者。真正的端到端难度极高，目前多为混合模式。它潜力巨大，能处理复杂边缘场景，但需要海量数据和算力支持，且可解释性较差（黑盒）。

总结：特斯拉的技术演进是一条从“规则驱动”向“数据驱动”不断深化的道路。从最初的HydraNet视觉感知，到用占用网络理解3D物理世界，最终通过端到端大模型消除人工规则，特斯拉正在试图用海量数据暴力破解自动驾驶的通用性难题。

Ref：

https://www.thinkautonomous.ai/blog/tesla-end-to-end-deep-learning/

https://www.thinkautonomous.ai/blog/occupancy-networks/

https://www.thinkautonomous.ai/blog/autonomous-vehicle-architecture/