1. 论文概述
VeteranAD 是复旦大学大数据学院在 AAAI 2026 上发表的一篇端到端自动驾驶框架,创新性地提出了“感知嵌入规划(Perception-in-Plan)范式,打破了传统感知-规划顺序执行的局限。将感知与规划紧密耦合。通过多模态锚定轨迹作为规划先验,引导感知模块收集相关信息;采用自回归策略逐步生成轨迹,确保每一步都进行针对性感知。该方法在NAVSIM和Bench2Drive数据集上均达到了最先进的性能。

图 1:VeteranAD 整体架构图
2. 核心创新点
2.1 Perception-in-Plan 范式
将感知与规划紧密耦合,而非顺序执行。通过将规划目标引导感知,实现感知结果为规划服务。
2.2 Multi-Modal Anchored Trajectories
引入多模态锚定轨迹作为规划先验,引导感知模块沿着这些轨迹收集交通元素信息。
2.3 Autoregressive Trajectory Prediction
采用自回归策略,在每一步预测未来轨迹同时聚焦相关区域进行针对性感知。
3. 代码架构解析
3.1 核心模块组成
·PadModel (pad_model.py:核心模型,整合所有组件
·Traj_refiner (traj_refiner.py):轨迹精细化模块
·Decoder (decoder.py):感知解码器
·Scorer (score_module/scorer.py):评分模块
·ResNet34 Encoder:图像特征编码器
3.2 仓库目录结构
VeteranAD/ ├── navsim/# 主要代码 │├── agents/ ││└── pad/# 核心实现 │├── planning/# 规划模块 │└── visualization/# 可视化 ├── Bench2Drive/# Bench2Drive 支持 ├── Bench2DriveZoo/# 模型库 └── assets/# 资源文件
4. 主要逻辑分析
4.1 前向传播流程
1. 图像特征提取:使用 ResNet34/ImgEncoder 提取相机图像特征
2. BEV 特征生成:通过 Lift-Splat-Shoot 方法将图像特征投影到鸟瞰图
3. 初始轨迹提议:生成多模态锚定轨迹作为规划先验
4. 自回归精细化:通过 Traj_refiner 迭代精细化轨迹,同时进行针对性感知
5. 评分与选择:通过 Scorer 对轨迹进行评价,选择最优轨迹
4.2 关键机制
Position-guided Cross-Attention:轨迹点引导的空间交叉注意力
GridSampleCrossBEVAttention:从 BEV 特征中采样轨迹点特征
Autoregressive Refinement:迭代精细化轨迹
5. 实验与评估
5.1 测试数据集
NAVSIM:用于评估框架
Bench2Drive:CARLA 闭环仿真基准
5.2 性能指标
PDMS (Planning-driven Driving Metric Suite):综合评分体系
NC (No Collision)、DAC (Driving Along Corridor)、EP (Efficient Progress)、TTC (Time To Collision)、Comfort
6. 如何学习与使用
6.1 资源地址
论文地址:https://arxiv.org/pdf/2508.11488
代码仓库:https://github.com/LogosRoboticsGroup/VeteranAD
6.2 安装步骤
1.克隆仓库:git clone https://github.com/LogosRoboticsGroup/VeteranAD
2.创建环境:conda create -n VeteranAD python=3.8
3.安装依赖:pip install torch==2.1.0 ...
4.安装 nuplan-devkit 和项目
5.下载数据
6.训练和评估