当前位置：首页>自动驾驶>自动驾驶系统中的推理技术综述:开放挑战与新兴范式

自动驾驶系统中的推理技术综述:开放挑战与新兴范式

2026-03-16 23:27:22

高等级自动驾驶（Autonomous Driving, AD）的发展重心正从“以感知为中心”的局限性转向一个更本质的瓶颈，即缺乏鲁棒且具泛化能力的推理能力。尽管现有的 AD 系统能够应对结构化环境，但在需要类人判断的长尾场景和复杂社交交互中表现欠缺。与此同时，大语言模型与多模态大模型（LLMs 和 MLLMs）的出现，为将强大的认知引擎集成至 AD 系统提供了变革性契机，使其能够超越简单的模式匹配，实现真正的认知理解。然而，目前极度缺乏指导此类集成的系统性框架。

为填补这一空白，本文对该新兴领域进行了全面综述，并主张将推理地位从模块化组件提升为系统的认知核心。具体而言，我们首先提出了一种新颖的认知分层 (Cognitive Hierarchy) 架构，根据认知与交互的复杂度对单一的驾驶任务进行解构。在此基础上，我们进一步推导并系统化了七大核心推理挑战，例如“响应性与推理间的权衡”以及“社交博弈推理”等。此外，我们从双重维度对前沿技术进行了综述：一是分析构建智能体的以系统为中心的方法，二是探讨其验证过程中的以评估为中心的实践。

我们的分析揭示了一个清晰的趋势，即开发整体化且可解释的“玻璃盒”智能体。最后，我们指出大模型推理的高延迟、审慎特性与车辆控制毫秒级、安全至上的需求之间存在根本性且尚未解决的矛盾。展望未来，主要目标是通过开发可验证的神经符号架构、不确定性下的鲁棒推理以及针对隐式社交协商的可扩展模型，来弥合“符号到物理”的鸿沟。

1. 引言

“眼中所见，皆为心之所备。”——罗伯逊·戴维斯 (1952)

自动驾驶（Autonomous Driving, AD）旨在构建一个更安全、更高效、更普惠的交通系统 (Muhammad et al., 2020)。当前，自动驾驶系统的主要瓶颈正从感知与控制系统的物理局限，转向鲁棒且具泛化能力的推理能力的缺失。这一挑战在需要复杂情境理解和常识的场景中尤为突出，例如应对临时交通管制 (Ghosh et al., 2024) 或补偿感知系统的性能衰减 (Matos et al., 2025)。然而，将推理能力集成至 AD 系统中仍是一个尚未充分探索的领域 (Plebe et al., 2024)。为弥合这一鸿沟，本文全面审视了将大语言模型与多模态模型（LLMs 和 MLLMs）作为“认知引擎”的集成方案，以解决 AD 系统中的推理缺陷。

对于 AD 系统而言，核心且亟待解决的挑战是实现从感知到推理的跨越，特别是针对大规模现实世界的部署 (Chen et al., 2021)。正如 Waymo 和 Cruise 所报告的，AD 面临的更深层次挑战在于缺乏高级推理能力，表现为“规划偏差”和“预测偏差” (Boggs et al., 2020)。随着硬件的发展，瓶颈已不再在于感知能力，而在于缺乏统一的推理框架 (Chen et al., 2021; Mahmood & Szabolcsi, 2025; Xu & Sankar, 2024)。因此，当前 AD 的首要目标是开发一种内聚的认知架构，使这些独立组件之间能够实现高级推理。

所幸，LLMs 和 MLLMs 展现出了卓越的推理能力，为解决 AD 推理瓶颈提供了极具前景的方案。通过大规模数据的预训练，这些模型表现出强大的涌现推理能力 (Webb, 2023; Yin et al., 2024)，并能进一步利用丰富的常识库进行复杂的情境评估 (Zhang et al., 2024a; Wei et al., 2024b)。尽管其内部机制与人类认知有本质不同，但它们能有效模拟审慎的思维过程，从而弥补 AD 的推理短板 (Xu et al., 2025b)。如图 1 所示，推理能力使 AD 系统能够在挑战性场景中做出恰当反应。例如，当球滚向街道时，具备此类推理能力的系统可以推断出可能会有孩子随后跑出，从而促使车辆预先减速。这种具备概率性、情境感知特征的推理能力，对于应对现实环境固有的不可预测性至关重要；其作为新型认知架构的巨大潜力，正是本文进行系统性综述的动力所在。

为了系统分析推理在自动驾驶中的核心作用，并为后续讨论奠定清晰基础，本综述做出以下主要贡献：

阐明 AD 的核心推理缺陷：我们系统地将“推理集成”定位为下一代自主系统的核心且未决挑战。不同于泛化的“AI 在驾驶中应用”的综述，我们专门阐述了为何基于 LLM 的推理对于克服已记录的现实失败案例（如错误处理新型施工区域或误读人类社交信号）至关重要，从而为本综述奠定专注的研究基石。
提出新型驾驶认知分层架构：我们提出了一个新的概念框架，根据认知与交互复杂度对单一的驾驶任务进行解构。该层级结构包含三个不同的水平：（1）感觉运动层（车辆-环境），（2）自我中心推理层（车辆-智能体），以及（3）社会认知层（车辆-社会）。该框架为分析各层所需的推理能力提供了规范的方法论。
构建核心推理挑战的新分类法：基于认知分层，我们推导并系统化了阻碍基于 LLM 的推理在 AD 中部署的七大关键挑战。我们的框架允许分析这些挑战（如“响应性-推理权衡”、“社交博弈”）在不同认知层级中的优先级分布，为研究界提供了结构化的问域空间。
前沿技术的双重维度分类与分析：我们通过对“智能体”及其“验证”进行区分，对当前研究进行了结构化分析。我们从两个互补视角探索该领域：（1）以系统为中心的方法和（2）以评估为中心的实践。我们的分析揭示了向整体化、可解释的“玻璃盒”智能体演进的清晰趋势，但同时也指出了在验证其实时安全性与社会合规性方面存在的关键短板。

本综述的详细结构如下（总结见图 2）：第 2 节提供了 LLMs 和 MLLMs 中推理范式的初步概念；第 3 节介绍了用于解构自动驾驶任务的新型认知分层架构；基于该框架，第 4 节详述了必须解决的七大核心推理挑战；随后，我们从两个视角对前沿技术进行全面综述：第 5 节调研以系统为中心的方法，分析当前的架构与方法论；第 6 节评述以评估为中心的实践，涵盖关键基准测试与数据集；最后，第 7 节总结主要发现并提出极具前景的未来研究方向。