当前位置：首页>自动驾驶>LLM 与自动驾驶的路线和未来走向

LLM 与自动驾驶的路线和未来走向

2026-03-24 18:12:44

自从2024年7月份，理想发布基于LLM的快慢双系统架构之后，似乎引领了一条自动驾驶技术路线。那就是试图通过LLM实现从感知到决策的一体化，将视觉、雷达等传感器数据对齐到语言空间，直接输出控制信号或规划路径，减少了级联误差，并且LLM还可以通过思维链输出文本形式的推理过程，一定程度上可以提高模型的可解释性。

这不仅便于工程师调试，也更容易获得监管机构和乘客的信任。为什么说是一定程度，因为解释和决策并不全是一一对应的关系。更重要的是LLM在AI的其他垂直应用领域的应用效果可谓是势如破竹，甚至有人认为LLM将是通往AGI的自由之路。

LLM最初在自然语言处理领域实现变革性突破，如今正推动自动驾驶领域的创新。双向Transformer模型开创了自然语言处理领域基础模型的先河，基于Transformer 架构实现语义理解。该预训练模型可在特定数据集上微调，在多项任务中达到最优性能。随后，OpenAI 的生成式预训练Transformer（GPT）系列（包括 GPT-4）凭借海量数据训练展现出强大的自然语言处理能力。后续GPT模型基于千亿参数、万亿词级网络数据训练，在翻译、文本摘要、问答等多项自然语言处理任务中表现优异，还具备单样本 / 少样本推理能力，可从上下文快速学习新技能。

所以，越来越多研究者将LLM的推理、理解与上下文学习能力应用于解决自动驾驶领域的难题。当前总结起来看，LLM在自动驾驶方案中主要应用在以下几个方面：

第一、推理和规划

因为自动驾驶的决策过程与人类推理高度相似，需要解读环境信息以做出合理的驾驶决策，反过来自动驾驶也需要通过和人类驾驶员的操作作为一个参照实现技术的市场普及教育。LLM通过多样化网络数据训练，吸收了来自网络论坛、官方政府网站等多种渠道的驾驶相关常识知识，能够支撑自动驾驶所需的精细化决策。

将LLM应用于自动驾驶的一种主流方法是向模型输入驾驶环境的详细文本描述，引导模型输出驾驶决策或控制指令。该流程通常包含完整的提示信息，涵盖交通参与者状态（坐标、速度、历史轨迹）、自车状态（速度、加速度）、地图信息（交通灯、车道信息、规划路线）。为提升交互理解能力，还可引导LLM在输出结果的同时给出推理依据。

例如，有篇论文提出的GPT-Driver架构，不仅推荐车辆动作，还解释动作背后的逻辑，提升自动驾驶决策的透明度与可解释性。该方法增强了自动驾驶决策的可解释性。类似地，通过接收-推理-响应的方案实现引导LLM智能体评估车道占用情况、判断潜在动作的安全性，深化算法模型对动态驾驶场景的理解。总之，这些方法既利用LLM理解复杂场景的固有能力，又借助其推理能力模拟类人决策过程。通过融合详细环境描述与精心设计的提示词，LLM在自动驾驶规划与推理环节发挥重要作用，输出贴近人类判断与专业经验的决策。

第二、预测

预测模块负责预判交通参与者的未来轨迹、意图及其与自车的交互。传统基于深度学习的模型基于交通场景的栅格化或矢量图像编码空间信息，但在高度交互场景中精准预测仍具挑战，需要推理与语义信息支持（如路权、车辆转向灯、行人手势等）。场景的文本表示可提供更丰富的语义上下文，更好地发挥LLM的推理能力与预训练中的常识知识。有的研究方案中探索LLM在轨迹预测中的能力，将场景表示转化为文本提示，使用BERT模型生成文本编码，与图像编码融合后解码得到轨迹预测。其中有一种是利用预训练LLM生成行人轨迹预测的运动线索。基于提示词与行人坐标，LLM可识别行人运动模式（直线运动、曲线运动、静止等）。

还有一种基于文本指令与描述的新型运动预测方法。输入文本指令与投影到文本空间的场景编码后，LLM解码输出驾驶决策描述与隐层token，生成多模态轨迹。此外还有一些将可行性分类任务，将预测轨迹与可行指令对齐、过滤不可行轨迹，提升安全性。

第三、用户交互与个性化

自动驾驶车辆应该具备友好的用户体验，能够响应乘客或远程操作员的指令。当前Robotaxi远程辅助界面仅能执行有限的预设指令，而LLM的理解与交互能力，让自动驾驶车辆理解人类自由格式指令成为可能，从而更好地控制车辆、满足用户个性化需求。基于LLM的规划器可以适配个性化指令，输出不同速度与风险等级的动作。还可以利用LLM的推理能力，提供分步规则以响应用户指令。

第四、仿真与测试

LLM可从现有文本数据中总结提取知识并生成新内容，支持仿真与测试，这一点在实际应用中见到的比较少。可以通过问答方式从事故报告中提取关键信息，生成多样化场景代码用于仿真测试。也可利用智能体将自然语言描述的交通规则转化为领域特定语言，用于生成测试场景。

基于应用领域，形成三类比较常见的基于LLM的自动驾驶算法架构。

第一类、LLM作为数据的解释器角色，也就是VLM。

在这种架构中，LLM/VLM并不直接参与控制，而是作为感知模块的后处理增强器。它将感知到的障碍物、车道线、交通信号转换为文本描述，利用LLM的语义理解能力判断场景风险，优势可以辅助系统或者外部人员理解场景，瓶颈是文本化过程会丢失时空连续性和精确的几何信息。

第二类、LLM作为系统的决策器的角色，也就是VLA。该架构将感知特征与文本指令对齐后，直接通过一个动作解码器输出控制信号，如转向角、加速度。这就可以实现感知与决策的完全一体化，理论上可以学习到人类驾驶中的隐含逻辑。问题在于动作输出的平滑度、实时性以及多模态数据的联合训练难度极高。其中输出的平滑性就涉及到离散的语言输出和连续的控制信号之间的矛盾，所以模型的后端必须串联一个平滑算法，协调两者之间的矛盾，所以又引入一个新的延迟和参数调优问题，增加了系统的复杂性。这也是VLA被世界模型派诟病的一个关键点，世界模型派认为自动驾驶的模型对物理世界的预测与规划，而非语言推理输出一个解释。自动驾驶是硬实时系统，而LLM是计算密集型、延迟不可预测的模型。

第三类、混合双脑架构，因为纯LLM控制的不稳定性，平衡一下实时性和推理能力，传统的CNN或Transformer规划器，负责毫秒级的避障和基础轨迹跟踪。LLM负责复杂的场景理解、高难度交互博弈、全局路径重规划以及异常情况下的兜底决策。这就是理想汽车的快慢双系统。

然而，在自动驾驶领域随着LLM和决策控制的结合深度，行业逐渐发现LLM在自动驾驶领域的存在一些先天的瓶颈。在时延方面，自动驾驶要求毫秒级的端到端响应，LLM存在较高的推理延迟。尽管通过模型量化、稀疏注意力等技术有所缓解，但LLM在生成每个Token时的自回归机制，使其在处理连续视频流时，难以稳定达到传统CNN或Transformer检测头那样的实时帧率。还有LLM固有的幻觉问题在自动驾驶领域是致命的。模型可能会突发奇想出道路上并不存在的障碍物，对于自动驾驶系统来说，任何一次基于幻觉的错误决策都可能导致严重事故。如何确保模型严格忠实于传感器输入，而非过度依赖先验知识，不仅是自动驾驶领域的难题也是整个LLM的挑战，并且对传感器的感知输入也是要求很高，环境输入的微小误差可能导致驾驶决策错误，引发严重事故。LLM虽然具备思维的推理能力，但是存在误差和不确定性无法实现最优决策，这也是新型的电车难题。

传统自动驾驶模型本质上是拟合训练集的分布。对于数据集中出现极少的场景，例如路上散落了纸箱而并非标准障碍物、前方车辆装载的钢管伸出车尾好心的还会绑个红色塑料袋，有司机啥标识都没有，针对这种人眼就很难分辨的场景，传统模型极易漏检或误分类。

LLM引入了物理世界常识，即便未在训练数据中见过纸箱掉落的精确轨迹，LLM通过预训练阶段的文本知识能推断出散落物可能引发变道或刹车，且材质轻可能被风吹动。这种基于逻辑而非统计的泛化能力，也是解决自动驾驶长尾问题的一个方法。驾驶任务是一个高度社会化的活动。人类驾驶员依赖眼神、手势、车身姿态进行决策的博弈。传统模型将其他交通参与者视为带有轨迹预测的质点，难以理解其社会意图。而LLM具备多模态思维链能力。例如，当路口有行人站在路边但未迈步，LLM可以结合行人的头部朝向、手机持有状态，综合判断其是否有穿越意图。这种对潜意识的解读，可以减少无谓的幽灵刹车或抢行风险。

LLM就像一杯巨大的奶茶，只要把吸管插进去总能喝到点什么，小的创新点也可以取得不同的效果，问题就在于一直喝不到珍珠，光喝茶和水也不对劲。特斯拉、小鹏等逐渐开始剥离车端模型对LLM的依赖。特斯拉更新了FSD后，从效果表现以及芯片和Grok的融合趋势说明了一个问题，特斯拉的FSD车端没有跑LLM模型，而是将LLM的推理能力与底层控制在云端融合，车端让模型直接从视觉输入输出控制信号，同时保留语言交互能力，为下一步将FSD和Gork进行融合在云端，统一成一个座舱和智驾底层交互的多模态基础模型。

当然，前几天国内车企已经有宣传不仅把智驾和座舱两个模型融合起来了而且已经搭载预售车型上了，不得不说宣传确实很领先，实际融合到什么程度有待观察。

《圣经》创世纪中有写：那时，全地只有一种语言、一样的话语。人们在示拿地定居，商议建城与通天塔，要 “传扬我们的名，免得分散全地”。上帝见人类同心、语言统一，担心 “以后所要做的一切，就没有可以拦阻他们的了”，于是变乱他们的语言，使彼此听不懂。工程停工，人类被分散到各地；那城叫巴别，希伯来语意为 “变乱”。

同一词在两种语境中意义对立，也隐喻了语言的多义性与文化冲突。

哲学和科学统一，对于自动驾驶系统也是类似。

每个人都是生活实践者与行业观察者

欢迎转发并关注

汽车行业观察者联盟

感谢，每一次阅读都是作者前进的动力，每一次点赞都是加油站！

本文来自网友投稿或网络内容，如有侵犯您的权益请联系我们删除，联系邮箱：wyl860211@qq.com 。

LLM 与自动驾驶的路线和未来走向

最新文章

热门文章

随机文章

LLM 与自动驾驶的路线和未来走向

奇瑞造了一台好车!高颜值SUV只卖9.98W,油耗5.19L还喝92油,家用太香了!

新能源家用SUV新秀:马自达EZ-60与日产NX8的双轨争锋

最新文章

热门文章

随机文章