COMMTR | 让自动驾驶学会“翻阅记忆”:同济团队提出轨迹预测方法KEPT

在智能网联汽车快速发展的背景下，如何让自动驾驶系统在复杂城市路况下“看得清、想得明、走得稳”，是业界和学界共同关注的核心问题。其中，几秒钟内的短时轨迹预测直接关系到车辆能否提前规避风险、平顺通过路口，被视为保障行车安全的关键一环。

针对现有视觉语言模型在场景理解不足、轨迹预测不够可信等瓶颈，同济大学汽车与能源学院高炳钊教授、德州大学奥斯汀分校焦峻峰副教授、Christian Claudel副教授、武汉科技大学严运兵教授、清华大学王建强教授及同济大学陈虹教授的联合团队提出了一套面向自动驾驶的知识增强轨迹预测框架KEPT(Knowledge-Enhanced Prediction of Trajectories)。

该研究以“让大模型真正读懂行车视频”为目标，设计了一条从原始前向行车画面到未来3秒规划轨迹的端到端技术路线。团队首先提出时域–频域–空间联合的视频编码器TFSF，将基于快速傅里叶变换的频域注意力与多尺度视觉特征融合，再通过短时序Transformer捕捉车辆运动趋势，实现对7帧连续画面的紧凑表征；随后构建大规模向量数据库，利用k-means聚类和HNSW索引，从过往驾驶片段中检索与当前场景最相似的“经验样本”，连同真实轨迹一起作为“先验知识”喂给视觉语言模型。在生成阶段，研究团队为模型精心设计了“链式思维”提示词，引导其在显式安全约束下，对比当前与参考场景的异同，给出格式统一、物理合理的未来轨迹。

为了让大模型既“看得懂”又“规划得稳”，论文还提出三阶段精调范式：第一阶段通过多任务视觉问答，强化模型对车辆类别、尺寸、距离等空间语义的对齐；第二阶段在环视相机和动力学特征上训练轨迹回归头，强调轨迹的平滑性和避免急剧转弯、碰撞等约束；第三阶段则回到连续前向画面，实现真正意义上的端到端轨迹预测。评估结果显示，在公开nuScenes数据集上，KEPT在多项开环误差和碰撞指标上均优于现有基线方法，且在检索策略、Top-K选择、视觉编码器和大模型骨干等方面的大量消融实验，系统验证了各模块设计的有效性。研究表明，借助检索增强和精调策略，视觉语言模型可以在相对有限的数据量下，仍然实现可靠、可解释的短时规划能力。

KEPT的核心思想，是把“大模型+检索”的通用范式真正落地到车辆规划任务中，“不只是让模型会描述场景，更要能给出满足安全约束的具体轨迹”。未来，团队将进一步面向更长时间尺度和更复杂交通参与者的交互场景，扩展轨迹预测能力，并探索与整车控制、能量管理等模块的深度耦合，推动视觉语言模型在自动驾驶应用中的工程化落地。