上海交通大学智能网联电动汽车创新中心卢俊国团队在智能驾驶领域顶刊IEEE Transactions on Intelligent Transportation Systems(T-ITS)上发表题为"A Planning-Oriented Autonomous Driving Framework: from Image to Trajectory with Intent-Aware Prediction"的研究论文。文章主要探讨了面向自动驾驶规划任务的模块化端到端框架，提出了一种从鸟瞰图图像直接生成可执行自车轨迹的规划导向方法，为复杂交互交通场景下的意图感知预测、安全轨迹生成与真实部署提供了新的技术路径。本文第一作者是上海交通大学自动化与感知学院2022级直博生康弘毅，通讯作者是卢俊国教授。
自动驾驶是智能交通系统的重要组成部分，其核心目标之一是在复杂交通环境中生成安全、稳定且可执行的自车轨迹。轨迹生成质量正逐渐成为衡量自动驾驶智能化水平的重要指标，因此，面向规划的系统框架需要将轨迹生成置于核心位置，并促使上游表征更好地服务于下游规划任务。
传统模块化自动驾驶系统通常将感知、预测、决策和规划等环节独立设计，具有较好的可解释性和可维护性，但不同模块之间容易产生误差传递，且整体协调优化能力有限。与之相对，端到端方法能够利用大规模数据直接学习从传感输入到驾驶策略或轨迹输出的映射，但其内部过程缺乏透明度，难以显式加入物理可行性、安全约束和一致性检查。
基于此，论文认为，有必要构建一种兼顾端到端学习能力与模块化结构优势的规划导向框架，使系统既能充分利用数据驱动方法的表达能力，又能保留可解释、可调试和可部署的工程特性。
论文从传统模块化自动驾驶、端到端自动驾驶以及模块化端到端框架三个方向总结了现有研究。
传统模块化方法长期占据自动驾驶系统主流，通过将感知、预测、行为决策和运动规划分别建模，实现清晰的任务分解和模块级调试，但这种细粒度拆分也带来了较高的工程复杂度、误差累积以及跨模块联合优化不足等问题。
端到端自动驾驶方法则尝试直接从传感器输入生成轨迹或控制指令，能够减少人工设计中间任务的依赖，并在大规模数据和深度神经网络支持下取得进展。然而这类方法往往缺乏可解释的中间输出，使错误诊断、安全验证和约束施加更加困难。
近年来，模块化端到端框架试图结合两者优势，通过共享BEV表征、向量化场景元素或分阶段任务结构提升系统可解释性与学习效率。但现有方法仍可能存在计算开销较大、依赖高精地图或多任务监督、预测噪声影响下游规划等问题。因此，论文提出采用一种结构化解耦的规划导向设计，将周围智能体预测以显式轨迹形式输出，并让规划器基于这些几何信息生成和修正自车轨迹，从而增强解释性、鲁棒性与部署可行性。
图1 三类自动驾驶范式对比：本文方法采用意图感知预测、目标条件轨迹生成与几何后处理的模块化端到端框架；传统模块化方法依赖显式检测、预测和高清地图；传统端到端方法则由单体网络直接生成轨迹或控制指令。
为了综合解决上述问题，论文提出了一种融合意图感知预测的面向规划自动驾驶框架，实现从BEV图像到可执行自车轨迹的生成。整体框架由三个连续阶段组成：多智能体意图感知预测、目标条件约束下的自车轨迹生成，以及几何后处理轨迹优化。该设计并非追求完全黑箱式端到端，而是在关键环节保留结构化模块和显式中间结果，使预测、规划和安全约束能够被分别观察、调试和优化。
首先，在周围交通参与者预测阶段，论文将道路结构和动态智能体统一表示为图结构。道路车道线、人行横道等场景元素被向量化为折线结构，车辆、行人等交通参与者则以历史轨迹和状态信息构成拓扑图。随后，模型通过双分支图卷积网络分别提取地图结构特征和智能体交互特征，并将融合后的场景信息输入序列注意力网络，生成周围交通参与者的多模态未来轨迹。该模块把道路结构、动态交互和行为意图统一纳入预测流程，为后续自车轨迹规划提供结构化、可解释的交互信息，如图2所示:
图2 周边交通参与者轨迹预测框架。模型将向量化道路折线与交通参与者拓扑图作为输入，通过图注意力卷积、池化和特征融合建模地图-智能体交互，并利用序列注意力网络解码未来轨迹。
在此基础上，论文进一步引入意图感知机制，为预测模块提供高层行为先验。对于车辆，如图3所示，方法根据其与车道边界的横向距离变化及时间趋势判断其是否具有变道意图；当车辆持续接近车道边界且预计在短时间内越过边界时，系统将其识别为具有变道倾向，否则默认为直行。对于行人，如图4所示，方法结合其与人行横道的位置关系和运动方向，判断其是否为可能穿越道路的目标行人，并进一步生成对应的过街意图。通过这种轻量化规则先验，模型能够在不依赖复杂博弈或高精地图推理的情况下获得更稳定的交互理解。
图3 车辆意图估计示意图。方法从几何域和时间域共同刻画车辆靠近车道边界的趋势，据此判断其直行或变道意图。
图4 行人意图估计示意图。方法根据行人与人行横道的空间关系和运动方向区分目标行人与非目标行人，并为目标行人生成相应过街意图。
其次，在自车轨迹生成阶段，论文采用基于模仿学习的目标条件规划器，如图5所示。该模块以BEV格式环境图像、周边交通参与者预测轨迹以及目标点为输入，通过图像编码器提取BEV环境特征，并将目标点编码为二维热力图特征。随后，目标特征作为查询向量与BEV图像特征进行交叉注意力融合，使模型能够在生成轨迹时同时考虑环境结构和终点约束。解码阶段采用Transformer-EMKF结构，先利用Transformer建模轨迹序列的长期依赖，再结合EM-KF提升轨迹稳定性和物理可解释性。
图5 自车轨迹生成框架。模型以带预测轨迹的周边交通信息、BEV 场景图像和目标点为输入，通过图像编码、目标编码、自注意力和交叉注意力实现目标导向的特征融合，并利用Transformer-EMKF解码器逐步生成自车未来轨迹。
最后，考虑到纯数据驱动生成的初始轨迹可能在局部安全性和平滑性上仍存在不足，论文设计了轻量化几何后处理模块，如图6所示。该模块显式利用前一阶段预测得到的周边交通参与者未来轨迹，将其视为动态障碍物约束，并围绕初始自车轨迹进行安全避障修正。后处理过程通过避障偏移、路径连接、冗余点裁剪和曲线拟合等步骤，最终得到更平滑、满足曲率约束且具备严格障碍物间距的可执行轨迹。该模块使系统在保留学习型规划器全局意图的同时，进一步增强了局部安全性和工程可部署性。
图6 几何后处理规划器流程。该模块根据障碍物位置计算横向避让偏移，连接偏移点形成修正路径，删除冗余点以减少轨迹抖动，并通过曲线拟合生成平滑、满足约束的可执行轨迹。
最后的实验结果表明，所提框架在闭环仿真中取得了较为均衡的规划表现，在不同交通交互场景下均能保持较低碰撞风险和较好的轨迹质量。得益于模块化端到端设计，预测轨迹等中间结果可以被直接可视化与分析；从图7可以看出，周边交通参与者的预测轨迹整体符合其历史运动趋势，为后续规划提供了可解释的交互信息。闭环规划结果中，自车轨迹与专家示范轨迹保持一致，并在后处理作用下呈现更平滑、安全的轨迹形态，如图8所示。此外，论文还在港口混合交通场景中的智能引导车平台上进行了初步部署，展示了直线行驶、障碍物感知变道和轨迹执行等行为，验证了框架在真实工业环境中的可行性，如图9所示。
图7 周边交通参与者预测轨迹可视化。预测轨迹整体延续历史运动趋势，为后续规划提供可解释的中间信息。
图8 闭环规划结果可视化。自车规划轨迹与专家示范轨迹整体一致，并呈现较好的平滑性与安全性。
图9 真实场景部署结果。框架在港口混合交通环境中的智能引导车平台上完成初步验证。
论文链接：
https://ieeexplore.ieee.org/document/11456434
康弘毅，上海交通大学自动化与感知学院2022级博士研究生。研究方向：自动驾驶，多模态感知，决策规划。
韦溟，上海交通大学电子信息与电气工程学院自动化系2021级博士研究生。研究方向：自动驾驶，三维目标检测。
张庆昊，上海交通大学自动化与感知学院副研究员，近年来发表/录用高水平学术论文40余篇，以第一作者出版英文专著1部，申请/授权国家发明专利7项，主持国家自然科学基金青年项目、工信部重点专项课题、中国博士后基金面上项目等科研项目5项，荣获2024年度上海市自动化学会自然科学二等奖、2021年度上海市自动化学会“最佳博士学位论文”等学术奖励，现任Applied and Computational Mathematics (ACM)期刊编委、《无人系统技术》期刊青年编委，曾担任2024第四届国际自主无人系统大会分会场主席。研究方向：无人系统与智能机器人、分数阶鲁棒控制与应用、广义系统等。
朱震，上海交通大学自动化与感知学院博士后。研究方向：鲁棒控制理论，多模态感知。
王亚飞，上海交通大学机械与动力工程学院教授，入选国家高层次青年人才、交通运输部青年拔尖人才。主持科技部重点研发计划课题、国家自然科学基金和企事业单位合作项目40余项，发表中英文论文100余篇，授权国内外发明专利30余项，参与制定国家标准4项。现任IEEE Vehicular Technology Magazine副主编、ASME Journal of Dynamic Systems, Measurement, and Control副主编、《汽车工程学报》青年编委、《汽车工程》青年编委、《中国公路学报》青年编委、中国汽车工程学会青委会副秘书长等职。研究方向：特种车辆无人驾驶建图与规划，车路协同感知定位。
卢俊国，上海交通大学自动化与感知学院长聘教授、博导，中国自动化学会“分数阶系统与控制专业委员会"副主任，航空电子综合与体系集成全国重点实验室、系统控制与信息处理教育部重点实验室骨干成员。连续10年入选爱思唯尔(Elsevier)中国高被引学者，连续6年入选全球前2%顶尖科学家榜单。近年发表期刊学术论文100余篇，在Scopus上引用超过5900余次，H指数为36；ESl (Essential Science Indicators)高被引论文4篇、热点论文1篇。现任SCI收录国际期刊Sensors编委，International Journal of Systems, Control and Communications编委，曾任 SCl 收录国际期刊International Journal of Bifurcation and Chaos的Guest Associate Editor等。主持国家自然科学基金5项，长三角科技创新共同体联合攻关重点任务课题1项，上海市自然科学基金1项等纵向科研项目;承担(参与)J科技委重点项目1项，国家科技部国际热核聚变实验堆(ITER)计划专项课题1项，国家自然科学基金重点项目2项，国家863计划重点课题1项等纵向科研项目。主持上海交大——龙马环卫城市智能服务机器人联合实验室项目1项(1500万)等重要产学研合作项目。研究方向：具身智能机器人，无人驾驶，足式（仿人双足，四足）机器人，分数阶系统与控制。
