（加EarthAi微信交流群+商务合作，请备注：姓名-行业-单位）

AW-MoE：面向鲁棒多模态3D目标检测的全天候混合专家框架

研究背景与核心挑战

自动驾驶系统中的三维目标检测技术在面对恶劣天气时面临严峻考验。现有方法通常将所有天气样本混合训练，忽视了不同天气场景间存在的数据分布差异，导致模型在各种恶劣条件下出现性能冲突。具体而言，当模型在特定天气条件下微调优化时，该天气下的检测性能会提升，但在其他天气条件下性能却会显著下降。此外，由于恶劣天气数据采集成本高昂，现实数据集中正常天气样本远多于恶劣天气样本，这种不平衡分布进一步加剧了模型对恶劣天气的适应性不足。

传统基于点云特征的路由（Point-cloud Feature-based Routing, PFR）存在明显局限：点云在恶劣天气下呈现模糊的类间几何畸变，且户外环境的高度动态性导致同类天气在不同场景下产生巨大的分布偏移，使得精确区分天气条件变得困难。

方法框架与创新设计

本文提出**AW-MoE（Adverse-Weather Mixture of Experts）**框架，首次将混合专家（MoE）机制引入恶劣天气下的3D目标检测任务。该框架通过多分支架构扩展单分支检测器，每个分支专门针对特定天气条件进行优化。

统一双模态数据增强（UDMA）

针对LiDAR与4D Radar融合缺乏有效数据增强的问题，提出统一双模态增强策略。该模块对两种模态进行同步增强（包括翻转、旋转、缩放和真值采样），保持跨模态一致性。特别地，**天气特定真值采样（WSGTS）**机制确保仅从与当前场景天气匹配的数据中采样真值框，避免因跨天气混合导致的几何与反射特性失配，从而维护场景真实性。

图像引导天气感知路由（IWR）

突破传统点云路由的局限，利用相机图像在天气区分上的天然优势。图像具有鲜明的视觉特征（如正常天气的清晰视野、雨天的挡风玻璃水滴与镜面反射、雪天的雪花积累），且对场景变化具有强鲁棒性。IWR模块通过轻量级图像天气分类器实现近99%的天气分类准确率，基于分类结果将特征路由至最相关的天气特定专家（WSE）。

天气特定专家（WSE）

每个WSE由天气特定主干网络、特征融合模块和检测头组成。针对不同天气条件下LiDAR与4D Radar的质量差异，各专家学习适应性的特征融合策略，并以针对特定天气场景优化的敏感度回归三维边界框。通过Top-K机制选择最相关的专家处理输入数据，确保在各种天气条件下均能获得最优检测性能。

三模态扩展（AW-MoE-LRC）

为进一步利用图像丰富的语义信息，提出AW-MoE-LRC变体。采用LiDAR引导的Lift-Splat-Shoot架构，将稀疏LiDAR点云投影至图像平面生成稀疏深度图，引导深度网络预测，将2D图像特征提升至3D视锥特征，并通过几何变换与BEV池化映射至鸟瞰图空间，实现相机、LiDAR与4D Radar的三模态特征融合。

训练策略与优化机制

针对恶劣天气样本稀缺导致的训练困难，提出四阶段训练策略：首先使用全天气数据预训练单一专家分支；随后冻结共享主干，将预训练参数复制至所有专家分支；最后启用IWR进行端到端训练，仅更新被选中的专家参数。

置信度加权损失函数根据IWR生成的路由概率动态调整各专家的损失权重，避免低相关度样本对特定专家优化的干扰。置信度加权后处理则在推理阶段基于路由概率对多专家预测的边界框进行加权聚合，确保最终检测结果的空间一致性。

实验验证与性能分析

在真实世界K-Radar数据集（包含正常、多云、雾、雨、雨夹雪、小雪、大雪七种天气条件）上的实验表明：

与现有方法的对比

AW-MoE在恶劣天气下较当前最优方法（L4DR）提升约15%的检测性能。具体而言，在雾天条件下AP3D（IoU=0.3）提升10%，雨天（IoU=0.5）提升12.5%，雨夹雪（IoU=0.3）提升12.8%，雪天条件下提升约15%。同时，AW-MoE对正常天气性能无负面影响，实现了真正意义上的全天候鲁棒检测。

框架泛化能力验证

将AW-MoE扩展至RTNH和InterFusion等不同基线检测器，均获得显著提升（超过15%）。值得注意的是，集成AW-MoE后，原本性能较弱的模型（如InterFusion）能够超越当前SOTA方法，验证了该框架的强兼容性与通用性。

消融实验关键发现

• • 路由机制对比：图像引导路由（IWR）较点云特征路由（PFR）在雾天检测精度提升超过70个百分点，证明了图像在天气感知上的优越性。
• • 训练策略影响：采用本文提出的分阶段训练策略较直接端到端训练，在雾天条件下AP3D（IoU=0.5）提升21.4%，有效缓解了恶劣天气样本不足的问题。
• • Top-K选择：K=1时在保持近99%路由准确率的同时实现最佳计算效率，仅在天气条件模糊时K=2展现出轻微优势。

计算效率与可视化

AW-MoE在引入多分支结构的同时保持了极高的计算效率。实验显示，相比基线模型，AW-MoE仅带来可忽略的推理延迟（FPS下降<1.5Hz）和参数量增加。可视化结果表明，AW-MoE显著减少了恶劣天气下的漏检现象，并生成了与真值框对齐更精确的高质量三维边界框。

总结与展望

AW-MoE通过创新的混合专家架构有效解决了单分支检测器在面对跨天气数据分布差异时的性能冲突问题。图像引导的天气感知路由机制充分利用了相机图像在天气分类上的独特优势，实现了精确的专家选择。该框架不仅为恶劣天气下的3D目标检测提供了有效解决方案，更展现了向各类检测算法扩展的强 scalability，为自动驾驶系统在全天候条件下的可靠感知奠定了技术基础。

本文解读如有偏差欢迎联系小编，感谢！