顶刊论文|让自动驾驶在黑夜中＂看清＂世界,张永生教授团队最新成果深度解读

深夜的城乡道路上，一辆自动驾驶汽车正平稳行驶。突然，一个行人从暗处走出——传统摄像头因光线不足难以识别，但融合了热成像技术的感知系统却能立即做出反应。

这就是信息工程大学张永生教授团队最新发表在国际遥感领域顶级期刊《国际摄影测量与遥感学会 摄影测量与遥感杂志》（ISPRS Journal of Photogrammetry and Remote Sensing）的英文论文《RTPSeg：面向自动驾驶的RGB-热成像图像辅助激光雷达点云语义分割多模态数据集  》要解决的现实问题！

🌟 为什么我们需要"三只眼睛"看世界？

现有技术的局限

目前的自动驾驶感知系统主要依赖两种"眼睛"：

• LiDAR（激光雷达）：精确的"尺子"，能测量距离但缺乏色彩和纹理

• RGB摄像头：出色的"彩色相机"，但在夜晚或强光下容易"失明"

热成像的独特价值

热成像相机如同"夜视仪"，能捕捉物体散发的热量信号，不受光照影响。

论文中的图表清晰显示：在背光或夜间条件下，当RGB图像细节丢失时，热成像依然能勾勒出车辆和行人的清晰轮廓。

🚀 RTPSeg：首个"三位一体"的多模态数据集

数据采集的"装备秀"

研究团队在深圳部署了移动测量车，搭载了令人羡慕的传感器阵列：

传感器天团包括：

• RGB相机：1920×1080分辨率，好比专业单反

• 热成像相机：1280×1024分辨率，能检测0.05°C的温度变化

• 128线LiDAR：精度高达3厘米，每秒扫描10次

• IMU：100Hz高频姿态记录

数据规模的"震撼数字"

• 覆盖范围：22公里采集路线，相当于绕标准操场55圈

• 数据量：248.7万个标注点，比北京人口还多

• 场景多样性：白天+夜间，城市+乡村，堪比现实世界"全息投影"

🔧 RTPSegNet：智能的"信息融合大师"

模型设计的"精妙构思"

想象三个专家各自分析同一场景：

• LiDAR专家专注几何形状

• RGB专家擅长颜色纹理

• 热成像专家专攻温度特征

RTPSegNet的创新在于建立了自适应门控融合机制，就像一位聪明的总指挥，根据环境条件动态调整三位专家的"发言权"：白天多听RGB专家的，夜晚重视热成像专家。

训练策略的"知识传承"

最巧妙的是知识蒸馏技术：让简单的LiDAR分支在学习阶段"偷师"多模态融合的成果，最终部署时只需轻量化的LiDAR网络就能达到融合效果。这好比学生得到了老师的真传，出师后能独当一面！

📊 实验结果：数字会说话

性能提升的"实锤证据"

在混合场景测试中，RTPSegNet展现了显著优势：

• 基础版（仅LiDAR）：mIoU为66.72% - 相当于百分制考试得66.7分

• 增强版（三模态融合）：mIoU提升至70.07% - 多模态带来了3.35分的显著提升

热成像的"高光时刻"

在夜间场景中，热成像的贡献尤为突出：

• RGB+LiDAR：61.88% mIoU

• 热成像+LiDAR：61.92% mIoU

• 三模态融合：63.05% mIoU

这表明在黑暗环境中，热成像确实起到了"雪中送炭"的作用。

🌈 实际效果：从"模糊"到"清晰"的转变

可视化对比

论文中的对比图生动展示了改进效果：

在真实场景中，RTPSegNet成功纠正了多种错误：

• 远处车辆误识别：将卡车正确识别为轿车

• 遮挡物体识别：在部分遮挡情况下仍能识别行人

• 夜间小物体检测：成功识别出暗处的交通标志

💡 行业影响：开启感知新纪元

对测绘行业的启示

1. 多传感器融合成为趋势：单一传感器时代正在终结

2. 全天候作业能力：打破光照条件限制，实现24小时连续测量

3. 自动化标注技术：半自动标注工具大幅提升效率

未来发展方向

研究团队计划进一步丰富数据集，增加雨雪雾等恶劣天气场景，让自动驾驶系统真正具备"全地形、全天气"感知能力。

🎯 总结：为什么RTPSeg值得关注？

RTPSeg不仅是技术上的突破，更是研究思路的创新：

• 填补空白：首个同时提供RGB+热成像+LiDAR的数据集

• 贴近实际：覆盖真实驾驶中的各种挑战性场景

• 实用性强：训练阶段用多模态，部署阶段仅需LiDAR

• 开源共享：数据集和代码完全开放，促进学术进步

想象一下未来：测绘车辆配备热成像系统，能够在夜间、隧道、地下空间等传统难以作业的环境中高效工作，真正实现"无盲区"测量。这就是RTPSeg为我们描绘的技术蓝图！

数据集已开源在：https://github.com/ssssyf/RTPSeg

详情请见原文

Sun Y ,Dai C ,Li W , et al.RTPSeg: A multi-modality dataset for LiDAR point cloud semantic segmentation assisted with RGB-thermal images in autonomous driving[J].ISPRS Journal of Photogrammetry and Remote Sensing,2026,23325-38.DOI:10.1016/J.ISPRSJPRS.2026.01.008.

https://doi.org/10.1016/j.isprsjprs.2026.01.008