TRC | 面向自动驾驶多智能体轨迹预测的协同联邦逆强化学习方法

要点速览：自动驾驶场景下的多智能体轨迹预测是保障行车安全与实现智能协同决策的核心技术，然而动态复杂的城市交通环境、强耦合的多智能体交互行为，以及数据异构分布与隐私合规约束，给预测模型的大规模协同训练与持续迭代带来了严峻挑战。现有集中式训练方法难以适配数据本地化的现实需求，普通联邦学习方法在非独立同分布数据与动态客户端接入场景下易出现奖励漂移、性能退化与泛化能力不足等问题。该研究提出多智能体协同逆强化增量联邦学习框架，通过奖励对齐机制、参数冻结增量聚合策略与语义地图增强的时序编解码结构，在数据不出本地的隐私保护前提下，有效提升异构多智能体环境下轨迹预测的精度与鲁棒性，为自动驾驶车队分布式协同训练、智能交通系统安全决策提供了重要的理论支撑与技术路径。

标题：Collaborative federated inverse reinforcement learning for multi-agent trajectory prediction in autonomous driving

作者：Bin Wang; Lihong Zhong; Wentao Cui; Zhao Tian; Wei She; Wei Liu

隶属：a 郑州大学计算机与人工智能学院，中国郑州 450000；b 郑州大学网络空间安全学院，中国郑州 450000；c 河南省网络密码技术重点实验室，中国郑州 450000；d 郑州市区块链与数据智能重点实验室，中国郑州 450000

关键词：轨迹预测；逆强化学习；增量联邦学习；参数冻结；多智能体

DOI：https://doi.org/10.1016/j.trc.2026.105752

Github: None

• 该研究以自动驾驶场景下的多智能体轨迹预测为研究对象，针对异构交通数据分布、数据隐私约束与动态客户端接入带来的模型训练不稳定、泛化能力不足等问题，提出一种多智能体协同逆强化增量联邦学习框架。

• 框架融合最大熵逆强化学习与增量联邦学习，通过基于二次欧氏代理与低秩奇异值分解的KL散度机制实现跨智能体奖励对齐，采用高层参数冻结的增量聚合策略降低异构数据干扰，构建语义地图条件的门控循环单元编解码结构捕捉时序依赖与场景上下文。

• 研究在Lyft Level 5与nuScenes数据集上开展对比实验与消融验证，结果表明该方法在预测精度、安全性与鲁棒性上均优于现有主流方法，可为隐私约束下的分布式自动驾驶预测系统研发提供理论与方法支撑。

• 问题建模与相关研究梳理。将多智能体轨迹预测建模为条件概率分布估计问题，定义智能体历史运动观测、邻域交互轨迹与局部语义地图三类输入形式，设定多候选轨迹的预测输出以刻画行为多模态性，引入隐变量表征潜在驾驶意图，采用变分推断构建证据下界作为模型优化目标。系统梳理轨迹预测领域的物理动力学模型、统计算法、联邦学习框架、多智能体交互建模与逆强化学习等方向的研究进展，明确现有方法在异构数据协同、隐私保护与动态客户端训练稳定性方面的核心局限。
• MAC-IRIFL整体框架与奖励对齐机制。提出多智能体协同逆强化增量联邦学习框架，包含增量联邦学习、本地编解码训练与本地逆强化学习三大核心模块。采用最大熵逆强化学习从专家轨迹中推理隐性驾驶奖励函数，将意图推理与轨迹生成过程解耦；设计基于KL散度的奖励对齐机制，引入二次欧氏代理函数降低联邦通信开销，通过低秩奇异值分解提取全局奖励模板，在保留个体驾驶风格差异的同时提升跨智能体对候选轨迹的评价一致性。
• 增量联邦聚合与参数冻结策略。针对动态接入客户端导致的表征漂移与策略更新不稳定问题，提出部分参数冻结的增量联邦聚合方案，将网络划分为底层特征提取层与高层决策层，仅同步高层决策与奖励网络参数，本地特征提取器保持专属化训练。服务器端按客户端样本量加权聚合共享参数并下发，客户端冻结共享参数并仅更新本地私有参数，有效降低非独立同分布数据与新接入智能体对全局模型的干扰，保障分布式训练过程的稳定性。
• 本地轨迹预测编解码模型构建。构建基于门控循环单元的语义地图条件编解码结构，编码器从历史轨迹序列中提取时序运动特征，融合邻域智能体交互信息与语义地图场景上下文特征，输入解码器逐点生成未来轨迹。选用门控循环单元以缓解长序列梯度消失问题，兼具更高的参数效率与训练稳定性，适配非独立同分布数据下的联邦训练需求，同时为下游逆强化学习模块提供紧凑的状态-动作特征表示。
• 实验设计与多维度验证分析。基于PyTorch框架实现算法，在Lyft Level 5与nuScenes两个公开自动驾驶数据集上开展实验，设置400轮联邦通信、每轮10次本地训练的配置。选取最小平均位移误差、最小终点位移误差、5秒漏检率与驶离道路率作为评价指标，与17种主流基线模型进行横向对比，通过消融实验逐一验证各模块的有效性，分析不同客户端数量下的性能变化趋势与算法计算效率，并结合典型城市场景进行定性可视化验证。

• 核心研究发现表明，所提出的多智能体协同逆强化增量联邦学习框架在两个公开数据集上均取得了优于现有主流方法的性能表现，在Lyft5数据集上相较最优多智能体基线MTR++，最小平均位移误差与最小终点位移误差分别降低8.3%与22.2%，同时显著降低了漏检率与驶离道路率，且模型训练方差更小、鲁棒性更强。

• 奖励对齐、参数冻结与增量接入模块均对性能提升有正向贡献，逆强化学习与联邦学习的协同增益远高于单一模块的效果。该框架支持原始轨迹数据本地留存，无需集中收集原始数据即可实现协同训练，可直接应用于大规模自动驾驶车队的分布式模型迭代，适配异构交通环境与动态客户端接入场景，能够为自动驾驶决策系统提供更精准可靠的轨迹预测支撑，同时也可推广至其他分布式多智能体协同预测任务。

• 学术层面，首次将最大熵逆强化学习与增量联邦学习深度融合，构建了奖励层协同的多智能体轨迹预测新范式，揭示了奖励对齐在异构分布式训练中的作用机制，拓展了联邦学习在智能交通预测领域的理论研究维度。
• 技术层面，提出了基于二次欧氏代理与低秩奇异值分解的KL散度奖励对齐方法，设计了高层参数冻结的增量联邦聚合策略，在降低通信开销的同时有效缓解了非独立同分布数据与动态客户端接入导致的模型漂移问题。
• 应用层面，构建了完整的隐私保护型多智能体轨迹预测技术框架，在真实自动驾驶数据集上验证了精度与鲁棒性优势，可为车路协同、大规模车队分布式模型训练等工程场景提供可落地的技术方案。