矿区自动驾驶必读:北科大团队首推露天矿山道路语义分割数据集MRSS与TrRoad-Net

各位读者朋友，大家好！欢迎来到本期文献精读分享。

今天我们要给大家分享的，是由北京科技大学团队发表在人工智能与工程应用领域知名 Top 期刊《Engineering Applications of Artificial Intelligence》上的重磅研究成果——《Passable area segmentation for open-pit mine road from vehicle perspective》（车载视角下的露天矿山道路可通行区域分割。文章的通讯作者是北京科技大学机械工程学院的孟宇教授。他的主要研究方向为智能车辆自动驾驶技术、计算机视觉与多模态目标识别。文章的第一作者是北京科技大学机械工程学院的博士研究生郑超。主要研究方向为车载智能视觉感知、小样本目标学习、无边界语义分割与点云处理。

该工作针对矿用车临近悬崖、无清晰路缘等极端场景下的安全感知痛点，‘双管齐下’提出了首个开源的车载视角像素级矿路数据集 MRSS，并配套设计了高精度的 TrRoad-Net 分割算法。下面，让我们一同走近这项研究，探讨其背后的学术探索与工业落地价值。

一、 矿区感知痛点：无车道线与悬崖危机

在露天矿山中，主力车辆通常是宽体矿用车。由于矿卡摄像头部署位置较高、视野极广，道路图像往往呈现出大面积的低频特征（如质地单一、无明显车道线的沙石路面）。

更为致命的是，矿区道路往往建在崇山峻岭之中，道路两侧极易出现巨大的落差，甚至是临河或绝壁悬崖。一旦感知算法对路缘识别出现丝毫偏差，就会对自动驾驶矿车造成极大的安全隐患。

图1：高落差、临边坡的露天矿区真实环境

因此，感知系统在关注路面整体低频特征的同时，必须高度聚焦路面边缘细节的“高频特征”。然而，目前已有的公开道路数据集（如KITTI、ORFD、RUGD等）要么属于规整的城市道路，要么纹理与矿区大相径庭，无法直接应用于露天矿山场景。

二、 填补空白：MRSS 矿区道路分割数据集

为了解决矿区缺少像素级精细标注数据集的燃眉之急，研究团队使用宽体车作为采集平台，在运行环境下拍摄了数以百计的视频并进行了精密标注，构建了MRSS（Mine Road Scapes Segmentation）数据集。

图2：研究团队所采用的真实大型矿用宽体车数据采集平台

MRSS 数据集核心特点：

• 📍规模充沛：包含3939张高清图像（分辨率达 1920×1080），其中2641张用于训练，1298张用于测试。

• ☀️ 多时段覆盖：覆盖白天、黄昏等不同光照时段。

• 🛠️ 复杂工况：包含多车交叉会车、落石覆盖路面、多路口汇合以及平行分叉路等多样化、极具挑战性的矿区行车工况。

图3：MRSS 与 KITTI ROAD、ORFD、RUGD 等主流数据集的参数对比

图 4：MRSS 数据集在不同光照、不同地貌矿区的精细分割标注示例

三、核心设计：结合Transformer与CNN 的TrRoad-Net

针对露天矿道狭长、边界模糊的几何特征，研究团队设计了全新的 TrRoad-Net 网络架构。通过引入卷积机制，使原本由于自注意力计算而容易导致边界模糊的 Transformer 重新具备了极佳的局部位置感知能力。

图 5：TrRoad-Net 整体的“编码器-双解码器”架构

图 6：新型多头卷积自注意力与残差注意力池化的示意图

在整体架构上，TrRoad-Net 采用了先进的‘对称式编码-双解码器（Encoder-Decoder）’拓扑，通过多尺度特征的分层提取与自适应对齐，实现了对矿道可通行区域的高精度重建。在特征编码阶段，输入图像经分幅后送入级联堆叠的 ResMCS 骨干网络中；其核心计算单元——多头卷积自注意力（MCS）模块，首先利用二轴深度可分离卷积（DWConv）建立相邻像素的空间局部约束，并引入自适应注意力池化（Attention pooling）对自注意力尺度进行压缩以削减运算开销，同时配合像素重组（PixelShuffle）层将注意力重组的高频细节补偿回特征空间，从而在源头保留了精准的位置先验；而在特征解码阶段，网络采用了主、辅双分支设计：主分支利用空洞空间金字塔池化（ASPP）在多个膨胀率下捕获多尺度的感受野信息，并通过跳跃连接（Skip connection）将早期的浅层高分辨率特征级联对齐；辅分支则基于轻量化全卷积网络（FCN）计算辅助损失（Auxiliary loss），对网络权重进行多目标约束与联合优化。这一‘微观局部重构与宏观尺度融合’的多级级联机制，使 TrRoad-Net 具备了优异的高低频特征均衡学习能力，在各类复杂的矿区工况下均表现出较强的感知鲁棒性。

四、实验评估与可视化效果对比

为了验证模型的优越性，研究团队将 TrRoad-Net（包含三个不同体量的版本：s、b、l）与当下的主流 CNN 及 Transformer 架构进行了全方位评估。

图 7：不同算法在精度、召回率、F1和IoU等五个指标上的定量对比

实验定量分析显示，高精版 TrRoad-l 取得了较高的 IoU 表现，达到了 93.62%；而轻量化版本 TrRoad-s 在大幅度削减参数量的同时，其推理速度在嵌入式设备上能够达到 30.76 FPS 的优异水平，极具工程实用价值。

图 8：TrRoad-Net 与其他先进方法在道路边缘、障碍物绕行场景下的定性视觉对比

🏁 总结与未来展望

北京科技大学团队提出的 MRSS 数据集与 TrRoad-Net 分割网络，为非结构化露天矿区下的自动驾驶可通行区域感知搭建了高效、实用的模型样板。 未来，团队将着重扩充数据集以覆盖雨雪、大雾等极端恶劣天气下的工况，并致力于视觉与激光雷达（LiDAR）的多模态数据融合技术的研究，为保障矿山智能化、安全、常态化安全运营提供更有力的支持！

论文链接：

https://doi.org/10.1016/j.engappai.2023.107610

代码开源：

https://github.com/miniflash/trroad

文献开源，感兴趣的可以自己下载阅读全文，希望分享的文章对您有帮助，谢谢大家！