当前位置:首页>自动驾驶>【2026】基于深度神经网络的自动驾驶道路施工检测系统

【2026】基于深度神经网络的自动驾驶道路施工检测系统

  • 2026-11-05 02:41:33
【2026】基于深度神经网络的自动驾驶道路施工检测系统

基于深度神经网络的自动驾驶道路施工检测系统

论文基本信息

项目
内容
中文论文名
基于深度神经网络的自动驾驶道路施工检测
英文论文名
Deep Neural Network Based Roadwork Detection for Autonomous Driving
论文链接
https://arxiv.org/abs/2604.02282
作者团队
Sebastian Wullrich, Nicolai Steinke, Daniel Goehring
发表时间
2026年4月2日
研究领域
机器人学、计算机视觉
DOI
10.48550/arXiv.2604.02282

1. 摘要分析

1.1 核心研究问题

道路施工区域对自动驾驶车辆和人类驾驶员都构成了重大挑战,原因在于其高度动态性和异构性特征。传统的驾驶员辅助系统和自动驾驶系统往往在这类复杂环境中失效,因此亟需一种可靠、实时的道路施工检测与定位解决方案。

1.2 研究方案概述

本文提出了一个实时检测系统,其核心创新在于将YOLO神经网络与LiDAR数据进行融合。该系统具有三大核心能力:

目标检测
:在车辆行驶过程中识别单个道路施工物体
区域聚合
:将检测到的物体合并为连贯的施工区域
坐标记录
:在世界坐标系中记录施工区域的轮廓

1.3 数据策略

预训练
:使用适配后的美国数据集(ROADWork)
微调
:使用在德国柏林采集的新数据集进行精细调整
原型车辆
:AutoNOMOS Labs的"MadeInGermany"自动驾驶测试车

1.4 性能指标

系统在真实道路施工区域的评估中展现了优于0.5米的定位精度,这一结果证明了该方案在实际应用中的可行性。

2. 研究现状分析

2.1 数据集现状

道路施工物体在主流数据集(如BDD100k和Mapillary)中严重缺失,仅标注了常见的交通锥等元素。ROADWork数据集虽然填补了这一空白,但稀有配置仍然稀缺。

现有数据集对比:

数据集
特点
局限性
BDD100k
大规模驾驶数据
道路施工物体标注不足
Mapillary
街景语义理解数据集
仅标注通用元素如交通锥
ROADWork
专门针对道路施工
稀有场景配置仍不足

2.2 检测方法现状

主要技术路线:

Mask R-CNN方法:ROADWork数据集使用该方法进行像素级定位,但处理速度仅约5 fps,无法满足实时性要求

ResNet + U-Net方法:Sundharam等人采用像素级分割策略,可能实现实时处理,目标是为高级驾驶辅助系统(ADAS)集成

深度CNN分类器:Abodo等人通过主动学习方法高效标注道路施工场景

贝叶斯网络方法:Kunz和Schreier融合车载传感器的不确定线索,无需地图先验即可检测高速公路施工区域

相机 + SVM方法:Seo等人使用AdaBoost橙色像素检测器和SVM识别道路施工标志

EfficientDet + LiDAR方法:Shi和Rajkumar提出的三阶段流程,结合EfficientDet-D0图像检测与3D LiDAR关键点

2.3 现有方法的局限性

大多数方法仅依赖相机,限制了精确边界定位能力。Shi和Rajkumar的方法虽然结合了LiDAR,但存在以下问题:

平坦道路假设
:在坡道或不平坦地形上边界会失真
检测范围有限
:最远仅27米,在50 km/h以上速度时安全性存疑
运行时未知
:实际部署可行性不明

3. 研究创新点

3.1 传感器融合架构创新

本文采用更快的YOLO网络(YOLO11m)配合低分辨率Ibeo LUX LiDAR传感器,实现了:

更远的检测距离
:至少50米
更强的鲁棒性
:更好地处理坡道或不平坦路面
更低的硬件成本
:简化且经济高效的硬件配置

3.2 数据集本地化创新

数据集适应方法:

策略
内容
美国数据集适配
从ROADWork数据集中筛选德国相关类别,重新标注
德国数据集创建
从"MadeInGermany"测试车采集新数据
背景图像优化
通过rosbag文件分析,将背景图像比例从10%提升至60%以上

3.3 检测阈值自适应创新

系统根据车辆速度动态调整检测阈值:

50 km/h:阈值5
80 km/h:阈值3
100 km/h:阈值2

这种自适应机制确保了在高速行驶时也能可靠检测施工物体。

3.4 目标匹配策略创新

当多个候选物体IoU超过50%时,选择LiDAR轮廓线最接近CNN边界框底部的候选物,而非简单选择IoU最高的物体,提高了匹配准确性。

4. 数据集详细分析

4.1 ROADWork数据集(美国)

原始数据集特征:

超过7,000张高分辨率图像
超过5,000个标注的道路施工区域
涵盖15种常见施工物体类别
采集自多个美国城市

适配后数据集:

仅保留符合德国标准的类别
最终约4,200张图像
约27,500个标注实例
交通锥占比过高(68%)

德国道路施工物体类别:

类别
说明
Barrier(护栏)
用于围挡施工区域的障碍物
Traffic Cone(交通锥)
临时标志设备
Vertical Panel pass left(左通行标志牌)
指示向左绕行的垂直面板
Vertical Panel pass right(右通行标志牌)
指示向右绕行的垂直面板

4.2 AutoNOMOS Labs数据集(德国)

数据采集:

从"MadeInGermany"原型车测试驾驶中生成
仅保留显示道路施工的帧(优先多角度)
最终包含2,000张图像
超过10,500个标注实例

类别分布特点:

交通锥实例仅89个(因德国道路施工很少使用交通锥)
添加了视觉相似的非施工物体图像以减少误报

4.3 数据集对比分析

特征
ROADWork (适配版)
AutoNOMOS Labs
图像数量
~4,200
2,000
实例数量
~27,500
~10,500
交通锥比例
68%
<1%
地理来源
美国多城市
德国柏林
主要应用
预训练
微调

5. 算法系统架构

5.1 系统数据流架构

系统三大输出:

可视化输出
:在相机图像上标注道路施工区域(通过组合多个CNN预测的边界框获得)
文本摘要
:指示是否存在施工区域及其数量和尺寸
地理坐标
:以全球UTM坐标记录的施工区域多边形

系统三大输入:

图像数据
:来自相机,用于YOLO CNN预测
障碍物轮廓线
:来自LUX LiDAR传感器,用于定位和跟踪
车辆里程计数据
:用于计算速度

5.2 技术基础设施

硬件配置:

组件
规格
相机
自定义RCCB相机,Onsemi AR0220传感器,1820×940像素,约20 fps
低分辨率LiDAR
6个Ibeo LUX传感器,每传感器8线,探测距离200 m,精度~10 cm
高精度LiDAR(真值)
Velodyne Alpha Prime 128线,360°点云,探测距离245 m
计算平台
Intel Core i9-9900K + NVIDIA RTX 2080,CUDA 12.8,Ubuntu 24.04

5.3 里程计处理模块

动态阈值调整公式:

阈值限制规则:

T(v) < 2 → 使用阈值2
2 ≤ T(v) ≤ 5 → 使用阈值T(v)
T(v) > 5 → 使用阈值5

5.4 LiDAR处理模块

关键处理步骤:

将障碍物轮廓点从机器人坐标系转换到相机坐标系
投影到图像像素坐标
基于1.60 m标准高度估计上轮廓
转换为局部世界坐标系

轮廓构建策略:

由于LUX LiDAR扫描模式低平,无法直接测量障碍物高度
通过标准高度假设创建完整轮廓框
长物体(如护栏)超出相机视野时,在图像边界插值新点

5.5 相机处理模块

CNN-LiDAR融合检测:

仅当收到新LiDAR数据时处理相机帧
YOLO11m CNN以高置信度阈值检测施工物体
通过IoU匹配CNN边界框与LiDAR轮廓框
对象跟踪器维护当前检测到的施工物体字典

物体分组阈值:

纵向分离
阈值
标志牌-标志牌
12 m
护栏-护栏
2 m
护栏-其他物体
6 m
横向分离1.5 m

6. 实验结果与图表分析

6.1 YOLO模型评估

6.1.1 背景图像优化效果

通过将背景图像比例从10%提升至60%以上:

误报减少超过80%
漏报减少25%
网络更好地聚焦于实际施工物体

6.1.2 6折交叉验证结果

混淆矩阵分析:

性能指标(采用高置信度阈值后):

指标
护栏
交通锥
左通行标志牌
右通行标志牌
准确率
88.5±1.5%
100%
91.6±1.0%
97.4±0.4%
精确率
99.0±0.5%
100%
99.2±0.3%
98.9±0.5%
召回率
76.3±3.0%
95.0±11.2%
74.5±3.1%
88.0±1.6%
F1分数
86.1±2.0%
97.1±6.6%
85.0±2.0%
93.1±1.0%

关键发现:

精确率接近100%,几乎完全消除误报
召回率保持在75%以上(除交通锥外)
大多数漏报涉及远处物体(接近后会检测到)

6.1.3 误报与漏报分析

误报示例分析:

大多数误报发生在真实的施工场景内。例如上图显示在大护栏内部预测了一个小护栏。真正的误报极少(仅2个),且都在图像边缘。

漏报示例分析:

大多数漏报涉及远处物体,一旦车辆接近,这些物体就会被检测到。

6.2 系统测量精度评估

6.2.1 真值建立方法

由于Geoportal Berlin数据不够精确,研究团队使用Velodyne Alpha Prime 3D点云手动建立真值:

沿每个识别的边缘选择10个点(相同水平位置,不同高度)
使用垂直对齐样本的均值作为该边缘的真值
减少局部点云不规则性的影响

6.2.2 精度评估结果

基于近100次测试测量:

平均欧几里得距离
:0.32米
标准差
:0.14米
系统精度
:达到分米级

6.2.3 LUX与Velodyne对比分析

发现LUX传感器轮廓经常比点云宽或稍微靠前,可能是因为LUX传感器测量更接近地面,捕获了施工物体的支撑底座。

6.2.4 系统测量与真值对比

红色(系统测量)有时比蓝色(真值)延伸得更进入街道,可能是因为支撑底座的存在。这表明系统实际精度可能更好。

6.3 Geoportal Berlin应用评估

发现问题:

11个评估的施工区域中,9个在Geoportal Berlin有记录
但没有一个条目与实测位置匹配
施工区域被记录在距离实际位置约半条街的地方
有时代表范围过大,将整条高速公路标记为施工区域

实际案例:

某施工区域在2024年11月就被检测到,但Geoportal直到2025年4月下旬才注册
证明了官方数据的不准确性

6.4 系统性能评估

处理速度优化措施:

提前终止循环
预计算变换
跳过无关对象

性能指标:

场景
处理时间
频率
复杂场景(>10个物体/帧)
~100 ms
10 Hz
平均处理时间
35 ms
28.5 Hz
无对象检测时
~20 ms
50 Hz
系统输出速率
~91 ms
~11 fps

瓶颈分析:

主要瓶颈是道路施工字典管理
输出速率受LiDAR更新频率约束(约13 fps)
11 fps已足够满足实时检测需求

6.5 施工区域测量方法

测量定义:

长度
:第一个点与所有其他点之间的最大欧几里得距离
深度
:从该轴线的最大正交距离

红色区域展示了车辆通过时利用检测到的施工物体进行的当前尺寸测量(从下往上移动,靠右通行)。灰色区域表示未检测到的部分,代表实际施工区域的全部范围。

6.6 最终输出形状对比

两种输出形式:

原始多边形
:行驶期间捕获的未改变版本
平滑版本
:使用凸包算法的优化版本

平滑版本更好地逼近真实世界的施工区域形状,但牺牲了一些细节。

6.7 系统局限性分析

三大局限性:

交通锥检测受限
:LUX LiDAR因物体尺寸小而难以检测,只能在锥非常靠近时检测
无法处理曲线
:有时错误地将街道对面两侧的面板合并(见上图)
测量不完整
:无法捕获施工区域的全部范围,因终点的物体可能被其他物体遮挡

7. 结论与展望

7.1 主要贡献

高精确定位:系统能够以至少0.5米(可能接近0.1米)的精度检测、定位和测量道路施工区域

数据集贡献:成功适配了美国道路施工数据集并创建了新的德国数据集

实时性能:通过YOLO11m与LiDAR融合,在适度硬件上实现了实时处理

数据质量验证:证明了Geoportal Berlin数据的不足,展示了自动化检测系统的价值

7.2 应用前景

交通管理
:帮助城市当局持续监控道路施工区域,及时更新地图
自动驾驶
:使自动驾驶车辆能够更安全地导航施工区域
安全提升
:减少拥堵、减缓交通,并有助于防止追尾碰撞甚至挽救生命

7.3 未来改进方向

利用后方LiDAR传感器和后向相机检测隐藏区域
引入加权算法利用标志牌的显示方向来正确分组
改进传感器配置以更好地检测交通锥

8. 论文总结

本文提出的道路施工检测系统代表了自动驾驶感知领域的重要进展。通过巧妙地融合深度学习目标检测(YOLO11m)与LiDAR传感器数据,系统在保持实时性能的同时实现了精确的施工区域定位。

核心优势总结:

方面
成果
检测精度
< 0.5 m(可能接近 0.1 m)
处理速度
~11 fps(实时可用)
检测范围
≥ 50 m
误报率
≈ 0%(高置信度阈值下)
数据集
美国适配版 + 德国新采集版

该研究不仅展示了技术可行性,还揭示了官方地理数据质量的问题,为后续研究和实际部署提供了宝贵的经验和方向。

最新文章

随机文章