论文分享 | 端到端自动驾驶:从技术演进到未来挑战

端 到 端 自 动 驾 驶（End-to-end autonomous  driving， E2E AD），作为深度神经网络驱动的一体化解决方案，通过联合优化感知、预测、决策、规划与控制等核心任务，克服了传统模块化架构中由于模块独立优化而导致的信息损失及系统协同难题，这种方法近年来受到学术界与工业界的广泛关注。其核心优势在于减少模块间的依赖，实现全局性能的显著提升。但现阶段端到端方法仍然面临以下挑战：对大规模数据依赖、缺乏可解释性以及复杂动态场景下的适应性不足。

本文重点探讨了大模型在端到端方法中的应用潜力与发展方向，并系统总结其在感知、决策等关键任务中面临的技术挑战。贡献如下：

（1）提出演进式分类框架，系统回顾从传统模块化到显式端到端、隐式端到端再到大模型驱动的端到端技术演进，梳理各阶段的代表性方法、训练范式和工程实践，归纳出统一的分类与对比框架。

（2）首次全面梳理大模型在端到端自动驾驶中的应用：围绕 XLM、VLA 和世界模型三大技术路线，深入分析其架构设计、能力边界与典型实例，尤其关注新近涌现的视觉链式思维和动作世界模型等方法。

（3）整理并评估适用于端到端自动驾驶的主流数据集与相关评估准则，并且针对当前端到端自动驾驶的关键技术瓶颈，提出未来研究方向与挑战。

论文部分图表如下：

更多内容可点击文末“阅读原文”