论文推荐丨东北大学唐传茵等:自动驾驶背后的＂火眼金睛＂

智能驾驶汽车使用多种传感器感知环境。相机提供丰富的图像信息，但在低光照环境和识别某些反光物体时效果不佳。与相机相比，激光雷达是一种能够提供距离和三维信息的传感器。然而，激光雷达存在成本高、对天气环境敏感以及对某些表面的反射率较低等问题。2D激光雷达更少的数据量以及更低的价格，使其优势更为突出。利用多个传感器之间的互补性，可以进一步提高自动驾驶系统对于各种复杂场景的适应能力[1-2]。

Bijelic 等[3]提出了一种适应性深度多模态融合网络，实现了在复杂天气条件下实时、准确的目标检测。Mendez 等[4]提出了一种面向网络边缘的目标检测模型，在保持高精度的同时降低了内存消耗。Song 等[5]提出了快速反应的YOLO模型(MS-YOLO)，有效提高了在光线不足条件下的检测率和远距离小目标的检测准确性。

上述工作，主要针对传感器融合方法进行研究，但并未充分利用不同传感器的优势来增强算法在不利环境下的感知能力。为了解决不利天气下单一传感器固有的缺点，本文提出了基于模糊理论的动态权重融合方案，通过不同的天气和光照度动态分配融合权重，实现最佳的检测效果。设计4种场景的实验，提出模糊动态权重融合方法，以期降低不利天气下自动驾驶车辆环境感知的漏检数量，提高感知能力。

针对相机和2D激光雷达传感器在低光照、雨、雪天气等恶劣环境下感知困难、目标检测精度低且存在漏检等问题，本文采用图像和2D激光雷达点云融合的目标检测方案，提出一种基于模糊理论的动态权重传感器融合方法。该方法通过识别不同的天气和光照条件，动态分配融合权重以实现最佳的检测效果，有效弥补了单一传感器在不利天气下的性能缺陷。

本文结合动态区域Transformer图像筛选算法改进，利用智能小车平台采集数据制作3567张自建图像数据集微调算法模型，提升不同天气下目标检测性能，最终改进的BiFormer-YOLO算法精度达0.921。通过4种典型不利天气场景实验验证，融合方法相较于单一图像算法精度提升0.028，有效降低了漏检数量，显著提高了自动驾驶车辆在复杂环境下的环境感知能力。

1）改进的 BiFormer-YOLO 算法性能优异，基于自建 3567 张图像数据集微调后，精度达 0.921，相较于 YOLOv3、YOLOv5 等传统算法，在精度、召回率和帧率上均有明显优势，能有效减少不利天气和低光照环境对目标检测的干扰。

2）提出的基于模糊理论的动态权重传感器融合方法可行有效，可通过识别天气和光照条件，动态分配 2D 激光雷达与相机的融合权重，实现两种传感器优势互补，弥补单一传感器在不利天气下的感知缺陷。

3）4 种典型不利天气场景（夜晚晴天对向来车、雨天阴暗、雪天阴暗、夜晚雪天十字路口）实验验证，融合方法相较于单一图像算法精度提升 0.028，能有效降低漏检数量，显著提高自动驾驶车辆在复杂环境下的环境感知能力，可满足实时目标检测需求。

［1］ Xiang C， Feng C， Xie X P， et al. Multi-sensor fusion and cooperative perception for autonomous driving： a review ［J］. IEEE Intelligent Transportation Systems Magazine， 2023，15（5）：36-58. 

［2］ Liu Z， Cai Y F， Wang H， et al. Robust target recognition and tracking of self-driving cars with radar and camera information fusion under severe weather conditions［J］. IEEE Transactions on Intelligent Transportation Systems，2022，23（7）：6640-6653. 

［3］ Bijelic M， Gruber T， Mannan F， et al. Seeing through fog without seeing fog： deep multimodal sensor fusion in unseen adverse weather［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle，2020：11679-11689. 

［4］ Mendez J， Molina M， Rodriguez N， et al. Camera-LiDAR multi-level sensor fusion for target detection at the network edge［J］. Sensors，2021，21（12）：3992. 

［5］ Song Y Y， Xie Z Y， Wang X W， et al. MS-YOLO： object detection based on YOLOv5 optimized fusion millimeter-wave radar and machine vision［J］. IEEE Sensors Journal， 2022，22（15）：15435-15447.