自动驾驶遇上坏天气,LiDAR和4D雷达该谁主导?-自动驾驶多模态感知的新范式

一、文章所属的研究方向

这篇论文属于自动驾驶鲁棒感知与多模态3D目标检测方向，具体聚焦在恶劣天气下的LiDAR-4D Radar融合检测。论文关注的核心问题是：在雨、雾、雪等环境中，不同传感器的可靠性会动态变化，传统“固定融合”方法通常只学习一个共享融合表示，难以根据天气变化自适应地调整对LiDAR或4D Radar的依赖，因此在复杂环境下鲁棒性和可解释性都受到限制。作者据此提出，应当把多模态感知从“特征融合”进一步提升为“条件驱动的表示选择”问题。

从图1可以直观看到，作者将已有LiDAR-4D Radar融合方法概括为“单一共享融合表示”，而其方法则显式维护多个分支，并根据天气条件动态调整分支权重，这也是本文最核心的研究定位。图1很适合在阅读原文时作为总览入口。

二、主要研究方法或创新点

1. 提出“天气条件驱动的分支路由”框架

论文最大的创新，是把LiDAR-Radar融合检测重构为一个Weather-Conditioned Branch Routing问题。不同于传统方法直接融合出单一路径，作者显式保留了三条并行表示分支：

• LiDAR-only branch
  ：纯LiDAR分支
• Radar-only branch
  ：纯4D Radar分支
• Fusion branch
  ：带条件调制的融合分支

随后，模型通过一个分支路由器，根据当前场景的天气条件，为三条分支预测自适应权重，再进行软聚合，输出最终BEV特征用于3D检测。也就是说，模型不是“先固定融合再检测”，而是“先判断当前场景更适合哪种表示，再决定各分支贡献多少”。这一点从图2的整体框架图中表现得非常清楚。

2. 构建天气条件表征：视觉 + 文本 + 传感器上下文

为了让路由器知道“现在是什么天气、该偏向哪类分支”，作者设计了一个condition token（条件token）。

它由三部分信息构成：

• 视觉条件信息
  ：使用前视相机图像，经一个预训练天气分类网络提取视觉token；
• 语义天气信息
  ：借助冻结的CLIP文本编码器，将“A {weather} driving scene”这类天气文本提示编码成语义token；
• 传感器上下文信息
  ：再把LiDAR与Radar的全局特征做池化后输入MLP，对条件token进一步修正。

这样得到的条件token，不是简单的天气标签，而是一个融合了图像外观、天气语义先验、当前传感器观测状态的连续表示，更适合做数据驱动的路由决策。论文中这一部分主要对应方法章节3.1与3.2，图2也给出了很清晰的流程示意。

3. 设计条件调制的融合分支

在三条分支里，最有技术含量的是Fusion branch。它并不是简单把LiDAR和Radar特征拼接，而是在每一层中，让LiDAR体素去检索附近的Radar体素，通过KNN注意力聚合Radar上下文；随后再由条件token生成门控，对Radar信息注入强度进行调制。

这意味着：

• 在天气较好时，模型可以更保守地保留LiDAR几何优势；
• 在天气恶化时，模型可以更积极地吸收4D Radar信息。

这种“天气条件控制的跨模态注入”比统一的固定融合更灵活，也更符合传感器物理特性。

4. 用天气监督避免“分支塌缩”

作者指出，如果只靠检测损失训练，路由器容易出现branch collapse（分支塌缩）：模型过早偏向某一个强势分支，特别是融合分支，导致学不到真正有区分度的天气偏好。为此，论文加入了三类关键训练约束：

• 辅助天气分类损失
  ：强迫condition token保留天气判别信息；
• 天气多样性正则项
  ：鼓励不同天气类别对应不同的分支偏好分布；
• 分支熵正则与权重下界
  ：防止训练早期路由过于极端，保证三条分支都保持活性。

这部分非常重要，因为它解释了本文为什么不只是“加一个router”，而是把路由可学习性和天气可分性也一起设计进来了。

三、实验结果

1. 在K-Radar上取得最优结果

论文在K-Radar数据集上进行实验，评估对象为Sedan类别，指标为AP3D与APBEV。结果显示，本文方法相较此前强基线3D-LRF*取得了明显提升。

表1：与现有方法对比

根据表1：

• 在 IoU=0.3 下，作者方法达到
• APBEV 81.2
• AP3D 76.8
• 在 IoU=0.5 下，达到
• APBEV 71.5
• AP3D 43.5

相较3D-LRF*：

• IoU=0.3 时
• APBEV：80.0 → 81.2（+1.2）
• AP3D：70.4 → 76.8（+6.4）
• IoU=0.5 时
• APBEV：64.1 → 71.5（+7.4）
• AP3D：30.0 → 43.5（+13.5）

这说明本文的提升尤其体现在更严格IoU阈值下的精确定位能力。

2. 恶劣天气下提升更明显

表1中最值得注意的是不同天气条件下的结果。作者方法在overcast、fog、light snow、heavy snow等条件下都比3D-LRF*更强，尤其在IoU=0.5时提升非常明显：

• Overcast
  ：AP3D从 40.0 提升到 63.3
• Fog
  ：AP3D从 32.3 提升到 63.4
• Light Snow
  ：AP3D从 52.8 提升到 66.8
• Heavy Snow
  ：AP3D从 24.5 提升到 33.7

这说明本文方法并不是在“平均意义上更强”，而是在最关键的恶劣天气鲁棒性方面确实做出了有效提升。

3. 消融实验验证了各模块必要性

表2：关键模块消融

作者做了非常清晰的消融实验：

• 去掉branch routing，只保留fusion branch
   后，IoU=0.5下性能从
• 71.5 / 43.5
   下降到 54.8 / 22.0
• 去掉天气监督（Laux 和 Ldiv）
   后，下降到
• 70.7 / 43.0
• 只去掉多样性正则 Ldiv
   后，下降更明显：
• 64.8 / 30.2

这表明：

1. 提升并不只是因为“多加了一条融合分支”；
2. 真正有效的是天气驱动的分支选择机制；
3. 其中Ldiv（天气多样性约束）作用尤其关键。

4. 路由器结构上，简单MLP最好

表3比较了三种路由器：

• Transformer router
• Cross-attention router
• MLP router（本文）

结果表明，最简单的MLP反而效果最好。在IoU@0.5下：

• Transformer：48.17 / 27.31
• Cross-attention：56.8 / 33.9
• MLP：71.5 / 43.5

这说明：对于“由天气token映射到分支权重”这件事，轻量、直接的映射比复杂交互更稳定、更有效。

5. 定性分析展示了很强的可解释性

图3非常值得看。它展示了不同天气下，模型对三条分支权重的变化：

• Normal
  ：LiDAR 37.9%，Fusion 49.5%，Radar 12.6%
• Rain
  ：Fusion升到 60.7%
• Heavy Snow
  ：LiDAR降到 17.3%，Fusion为 62.1%，Radar升到 20.6%

这说明模型确实学会了一个符合直觉的规律：

• 天气正常时，更依赖LiDAR几何与融合分支；
• 天气变差时，逐渐提升对Radar相关分支的依赖；
• 在重雪等严重退化场景下，会明显压低纯LiDAR分支权重。

这也是本文区别于一般“性能提升型论文”的地方：它不仅更准，而且更能解释为什么这样决策。

四、总结

这篇论文的核心价值在于：它没有继续沿着“设计更复杂的统一融合骨干”这条常规路径前进，而是提出了一个更符合真实自动驾驶场景的思路——显式保留多种表示，再依据天气动态选择。这种做法带来了三方面收益：

1. 鲁棒性更强
   ：在恶劣天气下检测性能明显提升；
2. 定位更准
   ：特别是在严格IoU=0.5下优势显著；
3. 可解释性更好
   ：能清楚看到模型何时更依赖LiDAR、何时更依赖Radar。

如果从研究趋势看，这篇工作有点像把“Mixture-of-Experts / 动态路由”的思想引入到多模态3D检测里，而且结合了天气监督，使得“动态选择”不再停留在概念层面，而真正落到了自动驾驶恶劣天气感知任务上。整体上，这是一篇思路清楚、实验扎实、可解释性强的论文。