DEFT-RLVR:延迟暴露轨迹,让自动驾驶 VLM 推理更忠实

Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs

这篇来自北京航空航天大学团队的工作，抓的是 VLA 模型 CoT 标注流程里一个隐蔽的坑：教师模型只要提前看到真实未来轨迹，推理就会变成对答案的合理化。他们在 100 个强因果场景上做了受控实验，把“给不给 GT 轨迹”作为唯一变量，结果严重幻觉率从 29% 翻到 50%。为了不让轨迹继续污染推理，他们提出了 AD-MCQ 基准和 DEFT-RLVR 训练框架：先让模型基于场景证据做决策，再在候选轨迹里做验证，把轨迹从推理前提变成决策后目标。这工作值得一读，因为它把“可验证推理”从数学题搬到了驾驶决策上，而且通用视觉能力不降反升。

一个令人不安的发现：给教师看真实轨迹，反而教坏了模型

现在的自动驾驶 VLA 模型，通常用一个小动作专家管几何预测，让 VLM 负责高层推理。为了教 VLM 推理，主流做法是拿真实日志轨迹当条件，让教师模型生成 CoT。听起来合理：轨迹是标准答案，模型照着答案讲道理总没错吧？

但心理学的锚定效应在这里起了作用。教师一旦看到“未来 5 秒实际走了哪条路”，它就不再从场景证据里推因果，而是反过来合理化这个已知结果。更糟的是，这种反向推理会诱发幻觉——模型会凭空编造场景里不存在的证据来支撑那个结果。

图1: 示例 CoT 虚构强制转弯标志；GT 暴露导致因果忠实度和偏好下降、严重幻觉上升。

上面这个案例很典型：场景里根本没有强制转弯标志，但 GT 条件化的 CoT 愣是编了一个出来。在 100 个强因果场景（包括硬刹车、运动停车、急转弯）上，人类评分结果如下：

暴露 GT 后，严重幻觉率几乎翻倍，人类在成对比较里只有 24% 优先选 GT 条件化的推理。这说明轨迹条件化注入的不是知识，而是幻觉。

图2: 人类评分：GT 暴露在 GND、NO-HALL、SPEC、COH 及总分 CFS 上全面低于因果规划。

这个发现指向一个很明确的方向：要让推理忠实，就不能在推理前把未来轨迹给模型看。但问题来了——如果完全不看轨迹，怎么让模型学会规划？这就需要把轨迹决策变成一个可验证的形式。

AD-MCQ：把轨迹规划变成可验证的选择题

开放式的轨迹生成对 VLM 太难了：既要高层决策，又要精确的连续几何，还要低层动力学。与其让模型直接吐坐标，不如把规划变成选择题——给定一组场景相关的候选轨迹，模型选一个。这就是 AD-MCQ。

候选轨迹怎么来？不能随便生成，得保证选项有意义。他们把大量真实日志轨迹用 K-means 聚成代码本，每条轨迹被量化为最近的原型。这里有公式：

意思很直白：一条连续轨迹 P，在代码本里找离它最近的原型 c_k，用这个原型的索引代表它。这样连续的未来轨迹就变成了离散的选项索引。

但光有代码本还不够，还要构造有区分度的干扰项。他们定义了轨迹原型之间的相似度：

其中 d_ij 是两个原型轨迹的平均位移误差。ρ 越大代表两条轨迹越像。构造题目时，先找到真实轨迹的原型作为正确项，再从相似度处于某个区间的原型里抽干扰项，确保干扰项不是显然错误，也不是几乎重复。代码本规模 K=8192 在重建误差和利用率之间取得平衡——太大有 18% 的原型在样本外用不上，太小又区分不了细微的速度和横向差异。

图3: AD-MCQ 将显式轨迹选择变为可验证决策；DEFT-RLVR 延迟候选暴露并联合优化两阶段。

图4: 轨迹代码本规模实验：K=8192 在重建误差与利用率间取得平衡。

如上图所示，AD-MCQ 把连续轨迹生成换成了显式选择，每个选项保留了刹车时机、速度剖面、横向几何的区别。模型不需要输出坐标，只需要选 A-F，正确性可以精确验证。

DEFT-RLVR：先计划、后匹配的两阶段强化学习

选择题本身能验证，但有个新坑：如果把候选轨迹和场景一起给模型，模型会盯着选项比较，而不是从场景推因果。这等于把原来的 GT 锚定换成了候选集锚定。DEFT-RLVR 的做法是延迟暴露——第一轮只给场景，让模型先做出完整的高层决策；第二轮才放出候选轨迹，让模型把已定的决策匹配到具体轨迹上。

两轮用同一条 rollout 联合优化，奖励设计是重点。如果只奖励选对答案，模型可能瞎猜或走捷径。他们加了一道门控：只有答案正确时，才对第一轮的推理做 rubric 评分。最终奖励是：

R_MCQ 是选项是否选对，R_RUB 是推理轨迹满足预设评分标准的加权比例。选错了，过程分直接归零；选对了，才用 rubric 细看推理是否忠实。这个设计的微妙之处在于，rubric 是离线按场景生成的，在线评分器只看到文本推理，看不到图像、候选轨迹和正确答案，所以它没法靠视觉线索或答案偷懒。

实验验证：推理提升与通用能力保持的双赢

主结果在 Qwen3-VL-8B 和 Qwen3.5-4B 两个基座上验证。下表摘自 Table 2（简化），只保留 Qwen3-VL-8B 的关键行：

这张表比较不同训练方式在 AD 推理准确率、因果忠实度、高层决策一致性以及通用视觉能力上的表现。先看训练无关的 DEFT，仅靠延迟暴露就把准确率从 28.1% 拉到 56.6%。加上 RLVR 后，DEFT-RLVR 达到 77.9%，比同样用正确性奖励的 JEFT+RLVR 高 16.8 个百分点，CFS 和 HLD 也全面领先。更意外的是通用视觉平均不降反升，从 54.81% 涨到 56.09%。对比之下，蒸馏变体虽然 AD 指标更高，但通用能力掉到 50% 左右——这正是 SFT 模仿外部教师响应的代价。RLVR 因为只调整当前策略采样出的 token 概率，对预训练分布扰动更小。

冷启动实验也说明了为什么不能先 SFT 再 RL。下图中，冷启动 SFT 虽然提升了 Dev 准确率，但四个通用能力组从第一轮起就持续下降。

图5: 冷启动 SFT 提升 Dev 准确率，但四个通用能力组从第一轮起持续下降。

所以 DEFT-RLVR 直接从原始 Base 模型开始，不经过 SFT 冷启动。训练动态显示，JEFT 策略漂移最大且准确率最低，而 DEFT-RLVR 在保持高准确率的同时响应更短、熵更低。

图6: RLVR 训练动态：JEFT 策略漂移最大且准确率最低；DEFT-RLVR 准确率最高且响应更短、熵更低。

跨域测试（nuScenes 500 场景）上，DEFT-RLVR 相比无训练 DEFT 把 ACC 从 39.6% 提升到 49.5%，CFS 和 HLD 也提升，说明学到的是可迁移的场景到决策推理，而不是记忆源域视觉特征。

为什么不做直接轨迹生成？

你可能会问：既然有轨迹代码本，为什么不直接让模型预测轨迹 token？他们做了对照实验，发现两个瓶颈。第一，即使 SFT 已经过拟合，域内和域外的轨迹预测 ADE 仍然远高于代码本重建下限 0.279m，说明误差主要来自 token 生成，而不是量化。

图7: 直接轨迹令牌生成：即使过拟合，ADE 仍远高于代码本重建下限 0.279m。

图8: 直接轨迹令牌监督严重降低通用视觉能力，加入 CoT 也无法阻止退化。

第二，直接轨迹 token 监督会严重破坏通用视觉能力，加入 CoT 也只是延缓遗忘。原因很直接：让 VLM 在原有词表里内化 8192 个轨迹 token，会大幅扰动预训练分布。AD-MCQ 把生成外化成选择，正好绕开这两个坑。

鲁棒性与可扩展性：换个候选集还灵吗？

最后一个问题是，DEFT-RLVR 的增益是不是只对特定干扰项构造有效？他们固定场景和正确轨迹，重新采样干扰项，遍历 5 种候选数量（2/4/6/8/10）和 4 种相似度上界（0.50/0.70/0.85/0.95），共 20 种配置。结果 DEFT-RLVR 在全部 20 个配置下都优于无训练 DEFT，增益从 4.4% 到 24.8% 不等。

图9: 20 种候选集配置下 DEFT-RLVR 均优于训练免费 DEFT，增益随构造迁移。

这说明学到的能力不是记住某一种干扰项几何，而是真正的场景到决策推理。当然，候选越相似、选项越多，任务越难，这也让 AD-MCQ 的难度可控，后续研究可以按需调节。

我个人觉得这篇工作的价值在于把“延迟满足”用在了推理训练上：答案应该用来验证，而不是用来引导。局限也很明显——AD-MCQ 的候选集毕竟来自代码本，长尾极端轨迹还是会被量化误差抹平；另外 rubric 依赖离线生成的质量，如果场景本身有歧义，评分标准也可能有偏。但作为把可验证推理引入驾驶决策的一步，这个方向值得跟。

论文原文: https://arxiv.org/abs/2608.01755