自动驾驶汽车如何检测石头这样的小障碍物?

最近有一位小伙伴留言，想让我聊聊自动驾驶汽车对于石头这样的小障碍物，是使用什么视觉任务检测的。在直接回答“如何检测”之前，其实要思考一个更根本的问题，对于一个像石头这样的小障碍物，自动驾驶汽车真的要检测吗？如果要检测，是如何检测的？

自动驾驶视觉系统都在看什么？

自动驾驶汽车要“看见”周围环境，是靠一系列传感器来完成的，其中最核心的一个就是摄像头。摄像头采集到实时图像之后，自动驾驶中的视觉感知系统会将原始图像变成机器可以理解的“环境模型”。

这个环境模型中会包括前方有没有车辆、有没有行人、车道线在哪里、交通标志是什么，甚至还有路面上的障碍物等很多信息。视觉感知是整个自动驾驶系统的基础任务之一，没有它，后续的决策和控制都无从谈起。

在自动驾驶的视觉感知体系里，有两个非常基础且核心的任务，即目标检测（ObjectDetection）和语义分割（SemanticSegmentation）。目标检测就是在图像里找到如汽车、人、摩托车这样的目标并给出它们的位置。语义分割则是把图像里每个像素分配到类别标签上，比如“这是道路，这是人行道，这是障碍物”这样的标记。

简单理解这两个概念，目标检测回答的是“这里有没有一个物体？它在哪里？是什么？”；而语义分割回答的是“这块区域属于什么类别”。这两类任务结合起来，就是视觉感知要做的基本工作。

什么是异常物体？

小伙伴所提及的石头这样的小障碍物，其实可以归类为异常物体。所谓“异常物体”，其实就是那些在训练集中不常出现、类别不明确，但可能对车辆安全构成威胁的物体。这类物体在视觉上可能大小、形状都很不规则，有时候颜色还和地面、阴影特别接近，这给机器识别带来很大挑战。

在日常驾驶中，最常见的障碍物就是其他车辆、行人、自行车、摩托车等一目了然的大物体。视觉系统会把这些定义为主要目标类别，在训练数据里反复学习它们的特征。

但是真实路并不是理想状态，在行驶过程中，还可能会遇到如掉落的货物、轮胎碎片、塑料袋、甚至石头这样的异常物体。这些物体不是标准的目标类别，也不一定在我们训练数据里有大量样本出现。但如果车辆高速行驶碰上这样的物体，可能造成轮胎爆胎、控制失误等安全风险。因此，对这些异常物体进行精准识别，是非常有必要的。

因为视觉感知系统主要是从数据里学特征，像石头这种偶尔才出现的场景，没有足够的例子能让系统学会判断它就是个障碍物。有时候，石头在视觉上会和路面、阴影、裂缝这些东西非常相似，对于模型来说，它很难从单张图像里判断这块石头有没有危险、离车多远、应不应该规避。对这类情况的检测和处理就成为自动驾驶感知的一大难题。

视觉任务怎么检测这些异常物体？

既然石头这样的异常物体不属于常规类别，自动驾驶视觉系统还能检测它吗？答案是，能检测，但不是简单地把它归为某类物体，而是通过多种视觉任务和策略来识别风险。

现阶段，自动驾驶已使用深度学习模型来进行视觉感知，它们在图像上学习不同物体的形状、纹理、边界等特征。像是YOLO、SSD、FasterR-CNN这些主流物体检测模型，可以在图像中找到各种目标并给出置信度和位置框。对于不属于已知类别的目标，这类模型可能不会输出如“石头”这样的明确标签，但会给出一个“未知物体/障碍物”的检测结果，以提示自动驾驶系统有一个值得注意的物体在前方。

语义分割或实例分割也是识别异常物体的主要手段，它会把图像分成如“路面”“非道路”“障碍物”等标签。只要模型在训练时学会了把“正常路面”与“路面上的异常区域”区分开来，即便它没有见过“石头”这种具体类别，也会把视觉上突兀、不属于路面的那一块像素标记为“非路面/障碍物”。像素级的标注会让系统发现道路上异常的区域，并把这些区域当作潜在障碍物上报给后续的决策与控制模块。

还有一类专门针对小型异常物体检测的视觉任务，被称为小目标检测，其主要解决的是体积很小、距离较远、外形又不规则的物体识别问题。由于这些目标在图像中只占很少的像素，传统目标检测模型很容易把它们当成噪声而忽略。为了解决这个问题，可通过引入激光雷达等其他传感器的信息，用三维点云提供的空间位置和高度线索，去约束和引导视觉模型关注那些“看起来不起眼、但在空间上确实存在”的区域。这样一来，视觉模型不再只依赖外观特征，而是可以结合真实的三维结构信息，对小障碍物的识别会更加稳定，也更不容易漏检。

最后的话

自动驾驶视觉系统里涉及如目标检测、语义分割等很多不同的视觉任务，这些都是把摄像头捕捉的图像转化为对环境的理解。对于如石头这样不常见的路面物体，它们往往没有标准类别标签，但视觉系统仍然可以通过广泛训练、优化模型和结合其他传感器等方法，把它们识别为潜在障碍物。检测这些物体的目的只有一个，那就是让自动驾驶汽车行驶得更安全、更可靠。

行业社群