告别“AI味”驾驶:基于大语言模型的自动驾驶交互式决策研究

标题: Large Language Model based Interactive Decision-Making for Autonomous Driving（基于大语言模型的自动驾驶交互式决策）

作者：Xinwei DONG, Jiyang LI, Jiabin XIE, Yang YI, Tianshang JIA, Shiyu FANG, Ye TIAN, Peng HANG

出版年份： 2026.4.26

期刊名称：arXiv preprint (arXiv:2604.23513v1)

扫描上方二维码获取原文

自动驾驶汽车是未来交通发展的核心技术之一。然而，在混合交通场景中，现有自动驾驶系统往往表现出保守或缺乏主动协商的行为，这不仅导致通行效率下降，更引发了公众对自动驾驶安全性与可靠性的质疑。那么，能否基于大语言模型（Large Language Model, LLM）的交互式决策，来帮助自动驾驶汽车真正理解并融入人类驾驶员的社交行为？一项发表于2026年的研究，探索了基于LLM的交互式决策框架，在无信号灯交叉口等高冲突场景中，提升自动驾驶车辆的场景理解与意图交互能力。这项研究为实现更安全、更高效、更具社交智能的自动驾驶系统提供了新的解决思路。

中国及全球范围内，网联自动驾驶汽车（CAV）的渗透率正稳步提升。在可预见的未来，交通环境将是人类驾驶车辆（HDV）与CAV混行的状态。

然而，现有自动驾驶系统在混合交通环境中的决策能力仍显不足，常表现为保守、被动的驾驶行为，引发事故和公众信任危机。

现有决策方法（规则式、博弈论、机器学习）在复杂场景下存在明显局限：无法有效处理人类驾驶行为的不可预测性、计算负担随参与者数量快速增长、缺乏可解释性和意图协商能力。

因此，缺乏一个集成的机制，能够将复杂交通场景抽象为结构化的语义表示，显式地对多智能体意图进行建模和推理，并通过自然语言将决策与外部人机交互系统（eHMI）相连接，形成完整的闭环交互流程。

图1 基于LLM的交互式自动驾驶框架

为了加强复杂混合交通中的决策能力，研究团队将基于对象-过程-方法论（OPM）的场景理解与LLM驱动的交互式决策模块集成。如图1所示，该流程包含四个阶段：

• 场景理解：基于OPM进行语义场景建模，将感知数据抽象为"对象—过程—关系"结构化语义图。

• 行为决策：由LLM驱动，结合意图解析、安全/效率约束以及决策树修正，生成最优行为策略。

• 轨迹规划：通过蒙特卡洛采样生成候选轨迹，并基于安全与效率约束进行评分，以选择最优的可执行轨迹。

• 意图交互：将最终决策转化为自然语言描述，并通过eHMI广播给周围交通参与者，完成从感知到行动再到语言交互的闭环。

图2 将场景原始信息映射到结构化语义图

• 实验平台： 同济大学集群驾驶模拟器（基于SILAB软件）。

• 实验场景： 主要场景为无信号灯交叉口（强交互场景，自动驾驶车左转、人类驾驶车直行），并辅以匝道汇入场景以验证泛化能力。

• 对比模型： 智能驾驶员模型（IDM，基于规则）、博弈论模型（GT）、本研究的LLM模型。

• 实验变量： 三种初始速度（6, 8, 10 m/s），每种速度条件下重复30次实验。

• 评估指标：平均速度（效率）、平均加加速度（舒适度）、平均冲突持续时间（安全）。

图3 驾驶模拟系统

图4展示了三种决策模型在不同初始速度条件下的关键性能指标对比，具体分析如下：

• 效率（平均速度）： LLM模型表现最优，其平均速度高于IDM和GT模型。

• 舒适性（平均加加速度）： IDM模型表现最差，波动大；GT模型表现最佳；LLM模型介于两者之间，但显著优于IDM，在可接受范围内。

• 安全性（平均冲突持续时间）： LLM模型表现最佳，在中高速场景下，冲突持续时间比IDM缩短约35%，比GT模型缩短约10%。

图4 三种自动驾驶决策模型在不同初始速度条件下的比较: (a) 各模型的平均速度; (b) 不同型号的平均加加速度; (c) 各模型的平均冲突持续时间

为验证OPM语义结构化表示的有效性，研究团队在保持其他条件不变的情况下，比较了三种输入格式：OPM（对象-过程-关系表示）、Raw（直接输入非结构化数值或感知数据）以及Simple（轻量级的字段组织，未显式建模语义关系）。结果如图5所示。

图5 OPM与其他方法的比较: (a) 准确性比较; (b) 延迟比较; (c) 推理步骤的比较

• 准确性：OPM方法（72.2%）远高于Raw（60.0%）和Simple（48.9%），表明结构化语义表示能显著提升模型理解准确性。

• 推理延迟：OPM方法（3.88 s）低于Raw（6.59 s），但仍高于实时驾驶要求，表明当前框架主要用于概念验证。。

• 推理步骤：OPM方法（2.8步）低于Raw（6.6步），说明结构化输入能有效减少LLM的无效推理，提升决策效率。

为直观展示性能差异，图6展示了在初始速度6 m/s下，三种模型在特定时刻的决策结果对比：

• IDM模型：决策过于保守，在交叉口陷入僵局，导致减速和冲突，效率低。

• GT模型：决策过于激进，强行加速通过路口，迫使人类驾驶员急刹车，安全风险高，交互体验差。

• LLM模型：通过eHMI与人类驾驶员分享决策意图，进行意图协商，在不大幅牺牲效率的前提下实现了安全决策。

图6 初始速度6m/s时CAV决策模型的比较: (a)IDM下的实时车辆位置; (b) GT 下的实时车辆位置; (c) LLM 下的实时车辆位置

在匝道汇入场景中，LLM模型在通行效率上显著优于IDM，并与GT模型表现相当，证明其在不同交互密集型场景中同样具备有效性。

图7 OPM与其他模型的汇入场景结果比较: (a) 实验场景; (b) 各模型的平均速度

图8 图灵测试实验方案

研究团队使用两个在线连接的SILAB模拟器，通过其集群驾驶功能构建双盲图灵测试环境。22名志愿者参与，在完全不知道交互对象是真人还是LLM模型的条件下进行判断。

问卷结果分析如下：

• 准确率： 整体准确率为0.57，接近随机猜测水平，表明模型生成的交互行为与人类驾驶员难以区分。

• 置信度： 受试者平均置信度为3.6/5，表明他们无法确定交互对象是机器还是人类。

• 行为自然度： LLM模型得分为3.9/5，人类驾驶员为4.1/5，存在小幅差异，表明该方案在行为自然性方面表现出色，具备接近人类行为的能力。

图9 图灵测试混淆矩阵

• 成功验证了LLM驱动的交互式决策框架在复杂混合交通场景中的可行性和优势。

• OPM语义场景建模有效提升了LLM的推理效率和准确性。

• LLM的意图解析和决策修正能力，使得自动驾驶车能做出更接近人类的、安全且高效的交互决策。

• 语言化eHMI交互增强了系统的透明度和与人类驾驶员的协调能力。

为自动驾驶决策提供从单一的感知-决策-控制闭环，转向包含语言交互的开放式主动协作框架。

语义理解和意图推理证明了在高冲突场景中，结构化语义表示和意图推理比纯数值优化方法更有效。

图灵测试验证了模型在行为自然度上逼近人类，有助于提升公众对自动驾驶的接受度。

• 实时性不足： 当前推理延迟（约3.88 s）远高于实时驾驶需求，该框架目前主要作为概念验证，而非低延迟的部署方案。

• 场景泛化性有限： 主要验证了无保护左转和匝道汇入场景，在更广泛的真实世界场景中的表现尚需验证。

• 未进行实车测试： 所有实验均在模拟器中进行，其在实际道路环境中的鲁棒性与有效性有待实地验证。

本研究的成功实施，离不开高性能驾驶模拟器平台的支持：

• SILAB驾驶仿真软件：可实现无信号交叉口左转与直行冲突等动态、随机性的人车博弈仿真，具备测试风险低、场景可重复复现的显著优势。

• SIMLAB紧凑型驾驶模拟器：固定基座驾驶模拟器 + 三联屏显示系统 + 驾驶仿真软件，用于搭建自动驾驶场景、发出接管指令、记录驾驶行为。

从被动响应到主动交互与协商——LLM驱动的交互式决策框架为自动驾驶汽车在复杂人机混合环境中的行为提供了新路径。这项研究通过结构化语义建模和LLM的推理能力，提高了自动驾驶的安全性、效率和行为人类相似度，为未来打造更智能、更可信赖的自动驾驶系统奠定了坚实基础。

作为本论文研究设备的供应商，赢富集团子公司赢富仪器和科驰智能为该研究提供了包括驾驶模拟器和驾驶模拟软件等关键科研设备与技术保障。

多年来，我们始终致力于通过尖端设备和全方位技术支持服务全国科研工作者，以“一站式”仪器及服务解决方案赋能中国汽车驾驶研究事业。我们也将持续为更多高校和科研机构的创新探索提供优质产品与可靠服务，助力推动智能汽车、人因工程、脑机交互等前沿领域的深度融合与发展。