一、BEV已经跟不上真实路况，端到端智驾必须拥抱Occupancy

二、零基础读懂Occupancy：3种三维空间表征，看懂技术底层区别

1. 稠密Voxel纯体素方案

2. BEV鸟瞰表征

3. TPV三视角表征（行业折中最优解）

三、八大主流Occupancy算法全拆解，覆盖学术研究到量产落地

（一）高精度学术路线：TPVFormer / SurroundOcc / FB-OCC

• 输入：车辆 6 路环视 RGB 相机图像；

• 图像主干网络：提取多尺度 2D 图像特征；

• 2D→TPV 升维：交叉注意力自适应将图像特征映射至俯视、纵向、横向三个正交平面；

• 跨视图混合注意力：实现三张 TPV 平面之间特征互通、信息互补；

• 特征融合：叠加三个平面投影特征；

• 轻量化预测头：输出全空间稠密语义体素占用结果。

• 首创 TPV 三平面空间表征，解决 BEV 丢失高度、纯 Voxel 算力过高的双重痛点；

• 跨视图混合注意力机制，让三个正交平面互相交换三维几何信息；

• 弱监督训练方案：仅使用稀疏激光雷达点云标签训练，无需海量稠密 3D 标注，即可预测完整稠密场景。

• 多帧激光点云时序拼接，静态建筑、动态物体分开处理；

• 泊松曲面重建，离散点云生成连续三维网格模型；

• 网格体素化，通过最近邻匹配给每一个体素分配语义类别，生成稠密占用真值。

• 环视多相机输入，骨干网络提取多尺度图像特征；

• 多组 2D-3D 空间注意力，分 3 档分辨率完成 2D 图像到 3D 体素空间映射；

• 多尺度 3D 卷积 + 反卷积解码器，粗到细逐级上采样重建完整场景；

• 输出全场景稠密语义占用预测，使用离线生成的稠密真值做监督训练。

• 一套完整稠密占用真值生成管线，把单帧稀疏激光点云转化无缺失完整 3D 标注，大幅提升模型训练精度；

• 多尺度分层 2D-3D 跨视图注意力，相比传统 BEV 注意力完整保留三维空间信息；

• 粗到细多分辨率 3D 解码，兼顾远距离大范围感知与近处障碍物细节还原。

3. FB-OCC：融合两种视图变换，弥补单一方案缺陷

完整架构 & 推理流程

• 多相机图像输入，图像骨干提取基础视觉特征；

• 前置联合预训练分支：分支 1 输出 2D 像素语义掩码；分支 2 深度网络预测逐像素深度分布图；

  

• 双视图变换分支并行： 

- F-VTM 前向投影分支：基于深度分布做 LSS 式 2D 升维；

- B-VTM 反向投影分支：基于 BEVFormer 注意力范式反向映射特征；

• 两路特征融合输入多级 3D UNet 解码器；

• 解码器分层上采样（50×50→100×10→200×20），每一层单独施加损失约束；

• 最终输出稠密 3D 语义占用结果。

核心创新点

• 双视图变换融合架构（F-VTM+B-VTM），互补两种主流升维方案各自缺陷；

• 深度 + 语义联合预训练，提前学习图像几何与语义信息，提升 2D 转 3D 精准度；

• 分层多级 3D UNet 解码器，粗分辨率先定位物体，高分辨率细化障碍物边缘，预测细节更细腻。

（二）量产轻量化路线：FlashOcc & Panoptic-FlashOcc

• 环视图像→图像编码器提取 2D 视觉特征；

• 视图变换模块，将图像特征统一映射至 BEV 平面；

• BEV 编码器（纯 2D ResNet）完成俯视特征增强；

• 核心 Channel-to-Height 轻量化插件：把 BEV 通道维度映射为三维高度维度，一步还原完整 3D 体素空间；
  

• 输出稠密语义占用预测；

• 可选时序融合模块：拼接历史帧 BEV 特征，提升夜间、雨天感知稳定性。

• 提出即插即用 Channel-to-Height 插件，全程移除算力消耗巨大的 3D 卷积，仅使用 2D 算子完成 3D 占用重建；

• 显存占用降低 60% 以上，推理速度提升 2~3 倍，适配车载低算力芯片实时运行；

• 模块化设计，可无缝替换传统 3D Conv 占用预测头，兼容市面上绝大多数 BEV 基线模型。

• 复用 FlashOcc 全套轻量化 BEV 生成、语义占用预测主干；

• 新增双分支预测头：中心热图头、实例中心回归头；

• 语义占用输出完整场景体素分类结果；

• 实例分支输出每个物体三维中心坐标、实例热力图；

• 实例中心匹配 + 最近邻分配算法，将语义体素绑定对应实例 ID；

• 输出全景占用结果，区分同类物体不同个体（多辆车、多行人）。

• 基于 FlashOcc 轻量化底座拓展全景能力，不额外增加大量算力开销；

• 双实例预测头精准定位物体三维中心点，解决语义占用无法区分实例的短板；

• 无复杂 3D 算子，保留量产上车轻量化优势，是当前车企迭代主流方案。

（三）极致稀疏建模路线：SparseOcc

• 多相机图像输入，图像骨干提取 2D 图像特征；

• 稀疏体素解码器：粗到细三层结构，逐级上采样，仅重建场景内存在物体的有效稀疏体素；

• 稀疏体素嵌入编码，提取有效物体三维特征；

• Mask Transformer 分支：生成 N 组稀疏查询向量，依次经过自注意力、掩码稀疏采样、自适应混合层；

• 查询特征与稀疏体素特征融合，分类头输出体素占用掩码、语义类别；

• 替换查询向量即可切换语义占用 / 全景占用两种任务。

• 全稀疏架构：无稠密 3D 网格、无稀疏转稠密、无全局稠密注意力，仅计算有效物体体素，大幅减少无效算力消耗；

• 粗到细三层稀疏解码器，逐步细化场景几何轮廓；

• Mask Transformer 稀疏查询机制，不用遍历全空间网格，推理效率大幅提升，适配超长距离高速智驾。

（四）低成本无标注训练路线：RenderOcc & SelfOcc

• 多相机图像输入，2D-to-3D 网络生成三维体素特征场；

• 网络预测每个体素两大参数：密度 σ、语义分类 S，构建语义密度场；

• 体渲染模块：将 3D 密度场沿相机光线投射，渲染出 2D 像素级语义图、深度图；

• 加权射线采样：提取相邻帧有效光线补充监督样本，过滤噪声射线；

• 损失计算：渲染出的 2D 语义、深度图与现成 2D 标签做匹配，仅用 2D 像素损失完成训练；

• 推理阶段直接输出 3D 语义占用预测。

• 全新 2D 渲染监督训练范式，彻底摆脱昂贵稠密 3D 激光真值依赖，仅用低成本 2D 分割、深度图训练；

• 语义密度场 + 体渲染机制，搭建 3D 空间与 2D 图像的监督桥梁；

• 加权射线采样策略，优化监督光线质量，提升模型训练收敛速度与精度。

• 车载连续视频帧输入，图像骨干提取时序图像特征；

• 沿用 TPV/BEV 类 2D→3D 映射模块，构建三维场景表征；

• 新视角图像渲染分支：基于重建的 3D 空间反向投影生成相邻帧相机画面；

• 自监督损失：渲染图像与真实车载视频画面做像素匹配约束；

• 推理输出完整 3D 占用预测；

• 外接离线 2D 分割模型时，可拓展输出自监督语义占用。

• 纯自监督训练框架，全程不需要激光雷达、3D 真值、人工语义标注，仅依靠车辆行驶视频训练；

• 时序视频一致性约束，模型自主学习物体三维空间位置，甚至推理车辆被遮挡的背面空间；

• 适配无激光雷达低成本纯视觉车型研发，大幅降低车企数据采集与标注成本。

四、八大Occupancy算法横向对比表，一眼看清核心差异

• 追求极致精度、实验室研发：优先 TPVFormer、SurroundOcc、FB-OCC，代价是算力高、标注成本贵；

• 新车量产落地、车载芯片部署：FlashOcc/Panoptic-FlashOcc，唯一无 3D 卷积的轻量化方案；

• 商用车远距离感知、减少无效计算：SparseOcc 全稀疏架构；

• 缺少激光雷达、控制标注成本：RenderOcc、SelfOcc，前者靠 2D 标签，后者纯视频自监督。

五、落地现状：Occupancy量产车型实测，当下行业核心痛点

1. 真实量产落地情况

2. 当前无法回避的行业痛点

• 算力矛盾
  高精度稠密 Occupancy 算力消耗大，低端车载芯片难以承载；轻量化方案会小幅牺牲远处物体感知精度；
• 标注成本难题
  高质量稠密 3D 激光真值采集、标注人力成本极高，百万级数据标注投入成为车企门槛；
• 极端环境鲁棒性不足
  暴雨、大雾、夜间逆光场景，纯视觉 Occupancy 容易出现体素预测空洞；
• 时序融合难度高
  动态行人、非机动车快速移动时，多帧体素融合容易出现残影、错位。

六、未来趋势：Occupancy+多模态大模型，打通完整端到端自动驾驶

1. Occupancy作为端到端智驾统一输入

2. 多模态车载大模型与Occupancy深度融合

• Occupancy负责精准还原物理三维空间，看清道路、障碍物几何结构；

• 多模态大模型负责语义理解、逻辑推理，识别临时路牌、施工标语、特殊交通场景；

3. 技术迭代方向

七、互动留言