TIP 2025 | 自动驾驶 国防新助力!红外 - 可见光精准对齐,多模态感知再升级

论文信息

题目：Harmonized Domain Enabled Alternate Search for Infrared and Visible Image Alignment

基于协调域的红外与可见光图像交替搜索对齐方法

作者：Zhiying Jiang、Zengxi Zhang、Jinyuan Liu

源码：https://github.com/Jzy2017/HR4IR

为何需要跨模态图像对齐？

红外图像擅长捕捉物体的热辐射特征，在夜间或恶劣天气下表现稳定；可见光图像则富含纹理细节，但易受光照条件影响。当两种传感器协同工作时，因安装位置差异和光谱特性不同，必然产生空间错位：

• 自动驾驶场景中，未配准的图像会导致融合结果出现重影，影响障碍物检测精度
• 安防监控系统中，空间偏移可能造成目标追踪丢失
• 军事侦察任务中，几何不一致会误导目标定位

传统方法要么依赖手工设计的相似性度量（如互信息），要么通过风格转换生成伪图像后再配准，均难以平衡跨模态差异和几何保真度。

四大技术创新点

该研究通过四项关键突破，构建了高精度的跨模态配准框架：

1. 模态不变表示空间：不同于单向风格转换，采用可逆神经网络(INNs)建立双向映射，在保留红外图像结构特征和可见光纹理细节的同时，构建统一协调域
2. 变形矩阵对齐机制：放弃传统逐像素变形场，改用矩阵变换模型全局几何关系，更适合处理传感器位移导致的整体偏移
3. 分层渐进式回归：从1/8尺度到1/2尺度逐步细化变形估计，实现从粗到精的精准校正
4. 交替相关搜索策略：结合1D与2D搜索的高效匹配机制，在降低计算量的同时提升对应点查找精度

方法框架深度解析

整体工作流程

方法整体分为三个核心模块：

1. 模态不变表示模块：将红外(IR)和可见光(VIS)图像转换至协调域，生成多尺度特征
2. 分层变形回归模块：在1/8、1/4、1/2三种尺度上逐级优化变形矩阵
3. 交替相关搜索模块：通过局部相关性计算实现高效特征匹配

模态不变表示的奥秘

采用含六个双边可逆块的UNet架构，实现：

• 正向转换：将可见光图像编码为潜在变量z，保留纹理特征
• 反向转换：以红外图像为条件，重采样z重建可见光细节
• 损失函数设计：结合重建损失、结构一致性损失和对抗损失，确保转换过程的无损性与真实性

上图清晰展示了可逆转换的优越性：左列输入可见光图像经正向转换得到中间列的红外风格图像，再经反向转换可精确恢复右列的可见光细节，证明协调域能够有效保留跨模态信息。

分层变形估计机制

创新的三级回归策略：

1. 初始阶段：在1/8尺度特征上估计初始变形矩阵H3
2. 中间阶段：将H3应用于1/4尺度特征，优化得到H2
3. 精细阶段：基于H2处理1/2尺度特征，最终输出H1

每个阶段均通过交替相关搜索优化匹配精度，多尺度监督损失确保各阶段预测结果均向真实值收敛。

高效特征匹配策略

传统全局相关性计算复杂度高，该方法提出：

• 局部相关性：在限定窗口内计算特征相似度，降低计算量
• 交替搜索：先进行水平方向1D搜索，再通过扩展网格进行2D搜索
• 迭代细化：每次搜索后更新估计值，逐步提升匹配精度

AIV数据集：填补评估空白

针对现有数据集缺乏未配准标注的问题，作者构建了包含3315对图像的AIV数据集：

• 合成数据：3210对（源自RoadScene、TNO和MSIS数据集）
• 真实数据：105对（双传感器系统实拍，经严格手动标注）
• 关键特性：每对图像均包含精确的变形矩阵真实值，支持定量评估

实验结果：全面超越现有方法

定性对比

左列显示未配准的原始图像对，中间列对比主流方法的对齐结果，右列为本方法输出。通过颜色标记的错位区域可见，本方法在处理复杂场景时能有效校正几何偏移。

误差图中，场景越清晰表示对齐效果越差。本方法处理后的误差图呈现均匀噪声分布，证明实现了像素级精准对齐。

定量优势

在RMSE（越低越好）、NCC（越高越好）等关键指标上，该方法全面领先DASC、RIFT等10种主流算法：

• AIV-Road数据集：RMSE降低23.7%，NCC提升15.2%
• AIV-TNO数据集：MI指标达到0.89，显著高于次优方法的0.76
• 真实数据集：在复杂环境下仍保持92.3%的特征匹配准确率

消融实验验证

对比实验证明：

• 模态不变表示模块使对齐精度提升19.4%
• 交替相关搜索比全局搜索节省67%内存，同时提升匹配精度
• 多尺度监督加速收敛，使ACE（角点误差）降低41%

下游应用价值

对齐后的图像显著提升下游任务性能：

• 语义分割：mIoU平均提升8.3%
• 目标检测：AP50指标提高11.7%
• 尤其在低光照、复杂背景场景中表现突出

总结与展望

该研究通过构建模态不变协调域和分层对齐机制，有效解决了红外与可见光图像的跨模态配准难题。AIV数据集的发布为该领域提供了标准化评估基准。未来研究可聚焦于：

1. 减少对配对训练数据的依赖
2. 拓展至大视差场景的处理能力
3. 提升实时性以满足车载系统需求

这项工作不仅推动了多模态图像配准技术的发展，更为自动驾驶、智能监控等实际应用提供了关键技术支撑。