辞旧迎新，知识续航！「龙哥读论文」陪你跨年，知识星球会员优惠券限时限量放送！🐉 「龙哥读论文」知识星球：让你看论文像刷视频一样简单！公众号每日8篇拆解不够看？星球无上限更AI领域论文、资讯、招聘、招博、开源代码，一站式干货，每日2分钟刷完即赚！👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～
龙哥推荐理由：
这篇论文瞄准了端到端自动驾驶中世界模型的两个核心痛点：对静态场景的冗余建模，以及预测的未来场景与规划轨迹之间缺乏深度交互。它提出的“时序残差”概念非常巧妙，让模型能像老司机一样，只关注路上会动的车和人，而不是把整条街的每一块砖都琢磨一遍。这种“抓大放小”的思路，不仅提升了效率，更关键的是让规划结果更安全、更精准。在两大权威数据集上刷榜的表现，也证明了其方法的有效性，非常值得一读！
原论文信息如下：
论文标题:
RESWORLD: TEMPORAL RESIDUAL WORLD MODEL FOR END-TO-END AUTONOMOUS DRIVING
发表日期:
2026年02月
发表单位:
北京航空航天大学（虚拟现实技术与系统国家重点实验室）、中关村实验室、北京经纬恒润科技股份有限公司、北京航空航天大学杭州创新研究院
原文链接:
https://arxiv.org/pdf/2602.10884v1.pdf
开源代码链接:
https://github.com/mengtan00/ResWorld.git
想象一下，一个老司机开车时，他脑子里想的绝对不是“左边有棵树，右边有栋楼，前头有个红绿灯杆子”。他想的是：“前面那辆白车有点慢，我得找机会变道；右边有辆电动车想挤进来，我得防着点。”
但现在的很多自动驾驶“世界模型”（World Model），却像个刚拿到驾照的学员，恨不得把整条街的每一块砖、每一片叶子都建模预测一遍。这不仅是“杀鸡用牛刀”，更是巨大的计算浪费，因为道路、建筑这些静态物体在未来几秒内根本不会动！🤨
来自北京航空航天大学等机构的研究团队，最近就提交了一份“老司机养成计划”——ResWorld。他们提出的时序残差世界模型（Temporal Residual World Model, TR-World），核心思想就一句话：让模型只关注路上“会动”的东西。凭借这个巧妙的设计，ResWorld在nuScenes和NAVSIM两大权威自动驾驶数据集上刷榜成功，把一堆需要额外感知任务辅助的模型都给比下去了。
今天，龙哥就带你一起看看，这个能让世界模型“轻装上阵”的ResWorld，到底有什么过人之处。🚗
告别冗余建模：ResWorld如何让世界模型“轻装上阵”？
要理解ResWorld的巧妙，我们先看看传统的端到端自动驾驶世界模型是怎么“记流水账”的。
这类模型通常会把多摄像头拍摄的当前画面，转换成一个鸟瞰图特征（Bird‘s-Eye-View Feature, BEV Feature）。然后，它们会把整个BEV特征——包含静止的马路、建筑，和移动的车辆、行人——一股脑儿地塞给世界模型，让它去预测未来几秒钟的BEV特征会是什么样子。
图1：常规世界模型框架与ResWorld框架对比。不同于对整个场景建模并隐式优化轨迹的常规世界模型，ResWorld使用时序残差来代表动态物体进行精确建模。同时，先验轨迹通过与预测的未来BEV特征进行显式交互来修正。
问题来了：楼会跑吗？马路会飞吗？显然不会。花费大量算力去预测这些静态物体未来的位置，纯属“冗余建模”。更重要的是，这种“胡子眉毛一把抓”的方式，会分散模型对真正关键的动态物体（车、人）的注意力，导致预测不准。
ResWorld团队灵机一动：“我们不挪地图，只挪地图上的棋子！”
他们的核心洞察是：如果始终以当前时刻的车辆坐标系来描绘未来，那么静态场景（地图）就相当于背景板，未来和现在一模一样，根本不需要预测！需要预测的，只是在这个固定背景板上，各个“棋子”（动态物体）会怎么移动。
这样一来，模型的计算负担大大减轻，可以“轻装上阵”，把所有的“脑力”都用在刀刃上——精准预测动态物体的未来轨迹。这个“只关注变化”的思路，就是整个ResWorld框架的基石。
时序残差：不依赖检测，如何精准捕捉动态物体？
思路很美好，但怎么让模型自动区分出哪些是“棋子”（动态物体），哪些是“棋盘”（静态场景）呢？传统方法需要依赖额外的目标检测（Detection）和跟踪（Tracking）模块，这就违背了端到端模型简洁高效的初衷。
ResWorld的答案是：时序残差（Temporal Residual）。这是一个非常优雅的数学工具。
简单来说，模型会获取当前时刻和过去几帧的BEV特征，并把它们都对齐到当前时刻的坐标系下。然后，它用一个统一的注意力图，从每一帧的BEV特征里，提取出一组稀疏的场景查询（Sparse Scene Queries）。你可以把这理解为从每一帧的“全景照片”里，挑出最重要的N个“兴趣点”来代表这一帧。
最关键的一步来了：计算相邻两帧之间，同一个“兴趣点”的变化。
（公式：获取第i帧的稀疏场景查询。其中SA是由融合BEV特征生成的注意力图，用于强调动态物体区域。）
如果这个“兴趣点”对应的是建筑物，那么它在相邻帧里几乎不变，差值（残差）就接近于零。如果它对应的是正在行驶的汽车，那么它在相邻帧里的位置信息肯定变了，差值（残差）就会很大。
这个差值，就是“时序残差”。它天然地过滤掉了静态信息，只保留了场景中的动态变化部分。 无需任何检测框，模型就自动抓住了那些“会动的东西”。
接下来，专门为动态物体设计的时序残差世界模型（TR-World）登场了。它只接收这些“时序残差”作为输入，通过自注意力等操作，学习动态物体的运动模式，并预测它们在未来时刻的分布。
图3：时序残差世界模型（TR-World）的结构。（公式：对时序残差进行自注意力操作并跨时间戳累加，得到动态物体的未来表示。）
最后，把这个预测出的“动态物体未来分布图”，叠加到当前时刻包含了完整静态信息的BEV特征上，就得到了最终预测的未来BEV特征。（公式：将动态物体的未来表示融合到当前BEV特征中，得到未来BEV特征。）
整个过程就像画漫画：先画好不变的背景（静态BEV特征），再根据脚本把人物和汽车贴到未来的位置上（时序残差预测的动态分布）。高效又精准！
未来引导优化：如何让预测的未来场景“反哺”当前规划？
费了这么大劲预测出未来的场景（BEV特征），如果只是用来当个“练习题”提升模型整体理解能力，那就太浪费了。ResWorld的第二个核心创新点就在于：让预测的未来，直接指导现在的决策。
1. 先验轨迹预测：模型先基于当前和历史融合的BEV特征，生成一条初始的未来轨迹，称为“先验轨迹（Prior Trajectory）”。这就像老司机根据当前路况，本能地规划出一条大概路线。
2. 未来引导轨迹优化：然后，神奇的事情发生了。模型通过一个叫做“未来引导轨迹优化（Future-Guided Trajectory Refinement, FGTR）”的模块，让代表未来轨迹的点（Waypoint Queries）去“查看”一下预测的未来BEV特征。图2：ResWorld的整体框架。多视角图像被转换为BEV特征，用于预测先验轨迹。同时，BEV特征用于计算时序残差，随后由时序残差世界模型处理以预测动态物体的未来分布。未来引导轨迹优化模块进一步利用预测的未来BEV特征来优化规划结果。
具体怎么“查看”？用的是可变形注意力（Deformable Attention）。简单理解，就是以先验轨迹上的每个未来位置作为“锚点”，去未来的场景特征图里抓取周围的信息。
（公式：以先验轨迹为参考点，让路径点查询与未来BEV特征进行可变形注意力交互。）
这个操作让模型能“预见”未来：“如果我按现在这条路线走，3秒后会不会撞到那辆预测要变道的车？会不会开到施工区域里？”
一旦发现风险，FGTR模块就能即时修正先验轨迹，生成一条更安全、更合理的最终轨迹（Final Trajectory）。这实现了预测模块与规划模块的深度、显式交互，让“未来洞察”实实在在地服务于“当下决策”。
双重监督妙用：FGTR模块如何巧妙防止模型崩溃？
世界模型有个著名的顽疾：模型崩溃（Model Collapse）。意思是模型“偷懒”，把各种不同的输入场景都映射成同一个平淡无奇的未来输出。反正损失函数只管最终轨迹准不准，又不管我预测的未来场景丰不丰富！这样预测出的未来BEV特征就失去了意义，FGTR模块也就无从谈起了。
传统的解决办法是用真实的未来数据去监督预测的未来BEV特征。但这又带来一个新问题：我该用未来哪个时刻的真实数据来监督？用1秒后的？那模型可能就只学会预测1秒后的动态物体位置，忽略了2秒、3秒后的。这反而限制了模型的长期预测能力。
ResWorld的FGTR模块，提供了一个极其巧妙的“双重隐式监督”方案，完美解决了这个两难问题：
1. 空间监督： FGTR模块要求未来的BEV特征，必须能提供在先验轨迹各点周围的有效信息，才能帮助优化轨迹。这迫使世界模型不能预测一个模糊的、哪儿都一样的特征图，而必须在与规划相关的关键空间位置上，做出清晰、准确的预测。
2. 时序监督： 路径点查询本身就代表了不同的未来时刻（1秒后、2秒后…）。与它们的成功交互，要求未来的BEV特征必须包含跨时间的信息，即动态物体在不同未来时刻的连贯位置。这鼓励模型学习完整的运动规律，而不是某个单一时刻的快照。
这种监督是稀疏的（只关注轨迹点附近）、任务驱动的（以提升规划精度为目标），因此不会过度约束模型，反而能引导它生成对决策最有用的、包含丰富时空信息的未来场景表征。论文中的对比图也清晰展示了，加入FGTR模块后，预测的未来BEV特征在空间分布上确实更加多样和清晰。图4：未来引导轨迹优化（FGTR）模块对缓解世界模型崩溃的效果。第一行展示了使用真实未来数据监督的未来BEV特征，而第二行是由配备了FGTR模块的世界模型预测的特征。第二行的BEV特征在空间分布上表现出更多的多样性。实验霸榜：ResWorld在两大权威数据集上表现如何？
光说不练假把式。ResWorld在自动驾驶领域最权威的两个评测集上接受了检验：nuScenes（开环评测）和NAVSIM（闭环评测）。
L2误差：预测的轨迹与人类驾驶员真实轨迹之间的平均距离误差（越小越好）。
碰撞率（Collision Rate）：执行预测轨迹时发生碰撞的比例（越小越好）。
下表是与众多SOTA方法的对比。ResWorld有两个配置：一个不使用自车状态（更纯粹），一个使用自车状态（性能更强）。可以看到，即便在不使用任何辅助感知任务（如检测、跟踪、地图分割）的情况下，ResWorld的性能已经全面超越了需要这些任务辅助的模型，如UniAD、VAD等，也超越了其他依赖世界模型的方法如SSR、LAW。表1：在nuScenes数据集上与最先进方法的对比。*表示使用官方模型和代码评估的指标。◇表示在规划模块中使用自车状态（遵循BEVPlanner++）。‡表示按VAD相同方式计算的平均指标。
当使用自车状态时，ResWorld更是达到了新的SOTA水平，L2平均误差和碰撞率都是最低的，显著超越了BEVPlanner++等强劲对手。这证明了其框架强大的场景理解能力，不会因为过度依赖自车状态而过拟合。
在更贴近真实驾驶、挑战性更高的NAVSIM闭环评测中，ResWorld同样表现出色。这里使用综合性指标预测驾驶员模型评分（PDMS）来评估，它综合了无责碰撞、可行驶区域合规、碰撞时间、舒适度、行驶进度等多个维度。表2：在NAVSIM navtest划分上与最先进方法的对比。⋆表示利用历史帧来获取场景表示的时序残差。
ResWorld在PDMS上达到了88.3%，超越了需要感知任务辅助的DiffusionDrive、Hydra-MDP等方法，也超越了其他世界模型方法如World4Drive和LAW，再次登顶。这充分证明了其在复杂、闭环场景下的综合规划能力。
为了验证各个模块的有效性，论文进行了详细的消融实验。下表清晰地表明，时序残差世界模型（TR-World）和未来引导轨迹优化（FGTR）模块，每一个都对最终性能有明确提升，二者结合效果最佳。表3：对各个提出组件的消融研究。“TR-World”和FGTR分别表示时序残差世界模型和未来引导轨迹优化。
另一项关键消融实验验证了不对未来BEV特征进行真实数据监督的优越性。如表4所示，无论对于常规世界模型还是TR-World，不使用未来监督（第二行和第四行）都能获得更好的规划精度，尤其是碰撞率显著降低。这证实了FGTR提供的隐式监督比直接的像素级监督更有利于规划任务。表4：时序残差世界模型的消融研究。“未来监督”表示利用真实未来数据来监督世界模型预测的未来BEV特征。
最后，可视化结果直观展示了ResWorld规划的安全性。在下图示例中，基线方法规划的轨迹（红色虚线）会导致碰撞，而ResWorld修正后的最终轨迹（蓝色实线）成功避开了障碍物。图5：规划结果的可视化。BEV平面上的物体边界框和车道线使用标注进行渲染。绿色框表示自车。虚线圆圈围起来的区域表示将发生碰撞的位置。龙迷三问
这篇论文解决的核心问题是什么？这篇论文主要解决了端到端自动驾驶中世界模型的两个核心痛点：1) 对静态场景的冗余建模，浪费算力且分散对动态物体的注意力；2) 预测的未来场景与规划轨迹之间缺乏深度、显式的交互，导致预测结果无法有效服务于规划，且易引发模型崩溃。
“时序残差”具体是怎么计算出来的？简单概括分三步：1) 获取当前及过去几帧的BEV特征，并统一到当前坐标系；2) 用一个从融合特征生成的注意力图，分别从每一帧BEV特征中提取一组“稀疏场景查询”；3) 将相邻两帧之间、同一位置的场景查询向量相减，得到的差值就是“时序残差”。静态部分相减接近零，动态部分相减则有明显数值，从而实现了动态物体的无监督提取。
BEV特征和世界模型在自动驾驶中是什么角色？BEV（鸟瞰图）特征是将车辆周围多摄像头拍摄的2D图像，通过几何或深度学习模型“抬升”并融合成一个从天空俯视的3D场景特征图，它提供了统一的、利于规划的空间表示。世界模型在这里是一个能够根据当前和历史观察，预测未来场景状态（未来BEV特征）的模型。它扮演了“想象力”或“模拟器”的角色，通过预测未来帮助模型更好地理解当下场景的演变规律，从而做出更优规划。
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~龙哥点评
论文创新性分数：★★★★✰ (4.5星)
将“时序残差”概念引入自动驾驶世界模型，以区分动静态物体，并设计“未来引导”的显式交互机制防止模型崩溃，思路清晰且新颖，具有很好的启发性。实验合理度：★★★★★ (5星)
在nuScenes和NAVSIM两大权威数据集上进行了全面、公平的开环与闭环对比，超越了众多依赖感知任务的SOTA模型。消融实验设计严谨，清晰地证明了每个模块（TR-World， FGTR）的贡献，结论可靠。学术研究价值：★★★★★ (5星)
为端到端自动驾驶世界模型的研究提供了一个非常优雅且高效的范式转变：从“全场景建模”到“专注动态变化”。其提出的“时序残差提取”和“任务驱动的隐式监督”思想，对未来如何设计更高效、更鲁棒的世界模型有很高的参考价值。稳定性：★★★✰☆ (3.5星)
在标准数据集上表现出色，但其稳定性严重依赖于BEV特征生成的几何质量（论文中特意选用GeoBEV）以及时序对齐的准确性。在实际道路的极端天气、严重遮挡等复杂情况下，BEV特征质量下降可能影响时序残差提取和后续预测的稳定性。适应性以及泛化能力：★★★★☆ (4星)
方法本身不依赖特定场景的先验或额外感知模块，理论上适应各种驾驶环境。但“专注动态”的前提是能稳定提取动态信息，对于动态物体极少或极多的特殊场景（如拥堵停车场），其优势可能不那么明显，但仍能工作。硬件需求及成本：★★★✰☆ (3.5星)
相比需要运行多个大型感知模型（检测、跟踪、分割）的传统方案，ResWorld的计算成本更低。但它本身仍包含BEV生成、时序建模、注意力交互等多个模块，对算力仍有较高要求，难以在低端车载芯片上实时运行，属于研究级/高端车规级方案。复现难度：★★★★☆ (4星)
论文方法描述清晰，代码已在GitHub开源，提供了在nuScenes上的实现，复现路径明确。但由于涉及多帧BEV对齐、时序残差计算等细节，对工程实现能力有一定要求。产品化成熟度：★★★☆☆ (3星)
目前仍属于前沿学术研究，在封闭数据集上验证有效。要产品化落地，还需要经过大规模真实路测、极端场景Corner Case处理、系统稳定性与实时性深度优化、与车辆控制链深度融合等一系列漫长而严格的工程验证。可能的问题：论文未充分探讨当时序残差提取失败（如剧烈抖动导致BEV对齐失败）时，系统的退化表现和应对机制。此外，FGTR模块的隐式监督虽然巧妙，但其对世界模型训练的动态影响和收敛性分析可以更深入。[1] Zhang, J., Fu, Z., Xu, Z., Dai, W., Liu, Q., & Wang, Y. (2026). RESWORLD: TEMPORAL RESIDUAL WORLD MODEL FOR END-TO-END AUTONOMOUS DRIVING. arXiv preprint arXiv:2602.10884v1. （本论文）[2] Caesar, H., et al. (2020). nuScenes: A multimodal dataset for autonomous driving. CVPR.[3] Dauner, D., et al. (2024). NAVSIM: Data-Driven Non-Reactive Benchmark for Autonomous Navigation. IROS.[4] Li, Y., & Cui, Z. (2025). SSR: Sparse Scene Representation for End-to-End Autonomous Driving. CVPR.[5] Hu, Y., et al. (2023). Planning-oriented Autonomous Driving. CVPR (UniAD).*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击左下角的“阅读原文”，查看更多原论文细节哦！
🚗 想和更多自动驾驶、机器人领域的小伙伴一起“规划”未来吗？欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 自动驾驶+北京+北航+龙哥），根据格式备注，可更快被通过且邀请进群。
10个月宝宝每天需要喝多少奶粉？
