Armor推荐理由 雨雾天相机退化，4D 雷达更稳，这是常识。可很多人忽略一点：原始雷达点里混着地面杂波、几何偏差和跨帧抖动，直接融进去，坏数据会被时序模块反复放大。RFusion4D 没有忙着堆传感器，而是先在 RF 信号域给每个雷达点估可信度、修几何，再让置信度约束跨模态和跨时间融合。雨雾中相对纯相机，定位误差（ATE）降了 44.59%。这套"先判断值不值得信"的思路，比单纯多接一个雷达更耐想。
原论文信息
论文标题： Robust Fusion of 4-D Radar and Camera for All-Weather Perception in Autonomous Driving
发表日期： 2026年6月（IEEE Open Journal of Intelligent Transportation Systems）
发表单位： 清华大学车辆与运载学院、上海海事大学交通运输学院、上海几何感知与学习有限公司
期刊： IEEE Open Journal of Intelligent Transportation Systems
原文链接：https://ieeexplore.ieee.org/abstract/document/11578084[1]
开源代码： 未确认（论文未明确公开）
通讯作者： Mingyue Lei，上海海事大学
雨雾天，雷达的数据就一定靠谱吗？
自动驾驶感知圈有个默认脚本：晴天靠相机，雨雾雪靠雷达。4D 成像雷达不怕暗、不怕雨，确实比相机稳。可只要真把原始雷达点云塞进融合网络，老司机都会皱眉。
为什么不能直接信任雷达？点云自带脏数据。 地面杂波、多径反射混进点云，低矮目标常被压在噪声里。几何有偏差。 雷达点高度和距离本身带系统误差，单帧还不稳，抖来抖去。坏数据会滚雪球。 时序融合若一视同仁，错误雷达信息会在历史帧里反复被引用，越积越歪。
现有路线都在这件事上栽过：
📷 相机主导融合： 晴天猛，雨雾里图像退化，检测框直接飘，ATE 暴涨。📡 原始雷达点云直融： 不筛可信度，把杂波和抖动当真目标，跨帧放大错误。⚙️ 点云域后处理去噪： 只在几何层修，没碰 RF 信号本身的可靠性，漏了源头。速度和精度之外，"该信谁"这件事，旧方法普遍没认真回答。融合不是谁的数据都收，而是先判断这颗雷达点值不值得信，这张滤网才是 RFusion4D 的骨架。
图1：雨雾下雷达点的麻烦。杂波、几何偏差和单帧抖动同时出现，直接融合会吃坏数据。
化繁为简的妙招：从直接融合到先验可信
RFusion4D 的核心判断是：融合不是谁的数据都收，而是先判断这颗雷达点值不值得信。 它没在融合末端打补丁，而是把可靠性学习前移到 RF 信号域。
在源头给点打可信度。 方法吃雷达的空间、频谱、时间三类特征，直接输出每点的噪声置信度和几何状态偏移。这一步在信号还没变成点云前就介入，比点云后处理更靠前。
关键洞察：可信度要进时序，不能只进单帧。 论文把置信度当成时序注意力的偏置：低质量历史雷达信息自动降权，不会在跨帧里"越滚越大"。这正好堵住坏数据雪球那个洞。
BEV 融合降本。 相机与 4D 雷达在 BEV（鸟瞰图）空间融合，用 deformable attention 只挑相关位置算，避免全局注意力把算力烧光。
去噪与融合的两段接力
整个框架是两段接力，前一段输出的可信度贯穿后一段。
RF 信号域可靠性学习。 输入雷达的空间、频谱、时间特征，网络输出每点的噪声置信度与几何偏移，顺手把地面杂波和低矮目标高度修正。这一步的计算随雷达通道和频谱分辨率增长，是卷积与注意力开销，不在瓶颈位。
可靠性引导的融合。 BEV 空间里相机与雷达融合，置信度同时约束跨模态权重和时序注意力偏置。低置信度点当前帧少说话，历史帧里也别让它占主导，最终输出稳定检测与定位。
图2：总体架构。信号域先估可信度、修几何，再进 BEV 跨模态跨时间融合。
精度账：雨雾里 ATE 降 44.59%
融合不是谁的数据都收，而是先判断这颗雷达点值不值得信，先把这张滤网摆上，再看数据规模。数据规模很硬：上海高速驾驶场景，训练集 200 万帧，一般天气评测 4,500 帧，雨雾评测 8,000 帧，11 个相机、5 个 4D 成像雷达，LiDAR 负责训练和标注。
恶劣天气相对 Camera-only，RFusion4D 的 mean AP 提升 10.44%，mean ATE（平均定位误差）降低 44.59%。一般天气下 mean AP 提升 33.62%、mean ATE 降低 29.86%。
🔧 工程可行性翻译： ATE 降 44.59% 意味着检测框不只是"有没有目标"，位置也明显更准，这对高速驾驶比单纯 AP 上涨更关键，直接关系刹停距离判断。时序模块在恶劣天气把 ATE 再降 21.78%、AVE 降 11.56%；RF 信号域去噪单独贡献恶劣天气 AP +6.41%、一般天气 AP +9.30%。框架跑 15 fps，已具在线感知形态，但论文没给具体算力平台、功耗和显存，不能直接映射量产 ECU。
图3：雨雾时序对比。RFusion4D 的检测框比纯相机稳得多，位置跳变更小。
雨雾高速上的真实考验
这不是合成玩具，是真实上海高速路线，整车多传感器配置：前向雷达 300 m、120°×30°，水平角分辨率 1°、俯仰 1.75°，6Tx8Rx、7.5 W；角雷达 170 m、160°×40°、4Tx4Rx、3.5 W。
RF 信号域去噪的直观作用见图 7：地面杂波被去掉，低矮目标高度被修正，点云干净一截。这说明"先验可信"不是只在指标上好看，也在点云层面真把脏数据削了。
边界要讲清。cyclist、tricycle、pedestrian 这类弱势类别 AP 仍偏低，雷达融合没把它们彻底救活；部分车辆类别 ASE（尺度误差）反而变差；去噪可能让边界点更稀疏。这些数据覆盖雨雾，没覆盖雪、冰雹，不能泛化为"所有天气都验过"。
图4：信号域去噪效果。杂波消退、低矮目标高度回正，点云质量直接改善。
从堆传感器到会挑数据
RFusion4D 最值得记的，不是又接了一个雷达，而是它把"该信谁"做成了一套可学习的机制：全天候感知的进化，未必靠更多传感器，而靠更会判断每个传感器此刻值不值得信。
这条思路能外溢到任何多模态融合任务，比如激光雷达与相机在扬尘、逆光下的融合，只要把"可靠性"作为一等公民塞进融合。下一关是补齐弱势类别、覆盖雪冰天气，以及把 15 fps 背后真实的算力与功耗摊开。或许自动驾驶感知的下一站，不是传感器越多越好，而是越会挑越好。
Armor三问
雨雾里雷达相对相机更稳，这个"稳"的物理来源是什么，又在哪里会破？ 雷达用射频回波测距测速，不受可见光衰减影响，这是它抗雨雾的物理基础。破点在信号本身：地面杂波、多径和低掠射角目标会在 RF 域产生伪像，所以"更稳"是统计意义上的，单点仍可能脏。RFusion4D 正是在这个破点前插了一道可靠性判断。
为什么可信度必须进时序，只在单帧用不够？ 单帧置信度只解决"这一帧该信多少"，可自动驾驶感知靠多帧累积才能稳。若不进时序，上一帧的脏雷达点仍会在历史里被反复引用，错误跨帧放大。把置信度当注意力偏置，等于让低质量历史自动闭嘴，雪球才滚不起来。
第一个愿意为它买单的角色会是谁？ 不是算法团队，而是做量产智驾、被雨雾误刹和幽灵刹车困扰的车厂与 Tier1。它们要的是恶劣天气里定位别飘、别误判。落地缺口在弱势类别 AP、雪冰天气覆盖，以及 15 fps 对应的真实算力功耗未公开。
Armor测评
学术/科研价值： ★★★★☆ 论文把"多模态融合"重新定义为"可靠性引导的融合"，把可信度学习从点云后处理前移到 RF 信号域，并让置信度贯穿跨模态与跨时间，视角统一且有递进，不是简单堆传感器。复现基础待定：代码和数据公开状态未确认，但 200 万帧训练、雨雾 8,000 帧评测的规模给足了实验锚点。它给全天候融合指出了一条"会挑数据"的路径。
工业/工程价值： ★★★★☆ 真实上海高速、整车 5 雷达 11 相机配置、雨雾 8,000 帧评测，工程证据很强；ATE 在恶劣天气降 44.59%、时序模块再降 21.78%，收益可量化。短板在系统侧：15 fps 未给具体算力平台、功耗和显存，弱势类别 AP 仍低、部分车辆 ASE 变差，雪冰天气未覆盖。工业价值明确，只差部署指标闭环。
商业/产品价值： ★★★☆☆ 这个方法的价值用一句话就能说清：让智驾在雨雾里少误刹、定位更准。最快能落地的付费角色是受恶劣天气幽灵刹车困扰的车厂和智驾 Tier1，它们最肯为稳定感知买单。但代码数据未公开、弱势类别和雪冰覆盖待补、真实算力未摊开，产品集成前还差验证。
可能的问题： cyclist、tricycle、pedestrian 的 AP 仍偏低，弱势类别未被彻底救活；部分车辆类别 ASE 变差，去噪可能让边界点更稀疏；数据覆盖雨雾，未覆盖雪、冰雹等天气，不能泛化为所有天气均验证；信号域模块依赖雷达硬件能否提供频谱特征；15 fps 的具体计算平台、功耗和显存未给出；代码和数据是否公开未确认。
主要参考文献
W. Liang, M. Lei, T. Wang, and B. Cheng. (2026). Robust Fusion of 4-D Radar and Camera for All-Weather Perception in Autonomous Driving. IEEE Open Journal of Intelligent Transportation Systems. DOI: 10.1109/OJITS.2026.3706683.
本文仅代表个人理解及观点，不构成任何论文审核或项目落地推荐意见，具体以相关组织评审结果为准。论文内容如有理解偏差，以原文为准。欢迎就论文内容交流探讨，理性发言哦～
对 4D 雷达与自动驾驶全天候感知感兴趣的朋友，欢迎关注Armor知道公众号！
[1] https://ieeexplore.ieee.org/abstract/document/11578084：https://ieeexplore.ieee.org/abstract/document/11578084
