当前主流的自动驾驶 VLA 模型通常由一个大的视觉语言模型加一个小得多的动作专家组成：动作专家负责几何层面的轨迹预测，高层推理和决策则落在 VLM 上，因此 VLM 的驾驶推理质量直接决定了下游规划的上限。为了增强这项能力，不少工作用思维链监督来训练 VLM，而这些标注流水线有一个几乎成为惯例的做法：把日志中记录的真实未来轨迹一并喂给教师模型，再让它写出推理过程。
问题就出在这里。教师拿到了答案再去写理由，它做的是为一个已知结果补一套说辞，而非从场景证据推断决策。这与认知心理学里的锚定效应对应：先给出的信息会不成比例地左右后续判断。
北京航空航天大学、卓驭科技、浙江大学和上海交通大学的《Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs》先用一组对照实验证实了这种轨迹锚定偏差，随后提出两件配套的东西：AD-MCQ 把规划改写成在若干条显式候选轨迹中做选择，使决策变得可精确验证；DEFT-RLVR 把候选轨迹的暴露推迟到策略已经根据场景作出决策之后，让轨迹从推理的前提变成推理的验证目标。
轨迹锚定偏差
图 1：暴露真实轨迹会诱发事后合理化。图中的思维链凭空造出一块场景里并不存在的强制转向标志；汇总结果显示因果忠实度和人类偏好都更低，严重幻觉更多。
对照实验做得相当克制。100 个强因果场景（70 个来自 Waymo，30 个来自内部数据），挑选标准是记录下来的未来轨迹明显偏离匀速外推，涵盖急刹、由动到停和急转弯。两组用同一个教师模型 Qwen3.5-397B-A17B，同样的 12 帧视觉输入、自车状态与导航文本，逐字节相同的系统提示词，温度取 0 并关闭思考模式。唯一的干预是一段连续的文本块，内含 10 个自车坐标系下的真实未来路点：因果规划组不含这段，真实轨迹组把它插在共享的推理指令之前。两组都仍然要求教师从场景推断并给出一个高层驾驶决策，真实轨迹组的提示词并没有要求教师去论证某个已知动作、复述动作标签或在候选中挑选。
结果是清晰的。人工评分下，真实轨迹组在场景落地（GND）、无幻觉（NO-HALL）、具体性（SPEC）、因果连贯（COH）四个维度以及汇总的因果忠实度（CFS）上全面低于因果规划组。严重幻觉的发生率从 29.0% 升到 50.0%，成对比较的胜出率则从 60.5% 掉到 24.0%。图 1 中的例子很典型：模型编造了一块场景中并不存在的强制转向标志，用来解释它已经看到的那条转弯轨迹。
这类被污染的思维链恰恰会成为后续训练的监督信号。作者由此确立了一条原则：把轨迹保留为可验证的目标，同时把它排除在因果推理的前提之外，模型必须先从场景推断出计划，再把计划落到一条具体的未来轨迹上。
AD-MCQ：把规划改写成对显式候选轨迹的选择
图 2：左侧为 AD-MCQ 的构造，真实轨迹量化到最近原型后再按相似度检索 5 个干扰项，解码成 6 条路点候选并随机打乱；右侧为 DEFT-RLVR，第一轮仅凭场景规划并给出高层决策，第二轮才揭示候选并完成匹配。
去掉真实轨迹之后，一个直接的替代方案是让模型自己生成轨迹，但开放式的轨迹合成把高层决策与精确的连续几何、底层动力学纠缠在一起，与语言模型的能力并不匹配。AD-MCQ 的做法是把规划变成从一个小的、场景专属的候选集中挑一条未来轨迹。与粗粒度的元动作不同，这些候选保留了刹车时机、速度剖面和横向几何上的区别，每个答案都对应一份具体的显式计划。
候选来自一个轨迹码本。一条记录下来的未来被表示成自车坐标系下 5 秒、2 Hz 采样的轨迹， 个路点，展平成 20 维向量；对 条这样的轨迹做 K-means 得到码本 ，每个原型代表一套完整的速度与横向运动剖面。码本规模的取舍在附录里做了扫描：增大 会平滑地降低重建误差，大致遵循 ， 每翻一倍样本内 ADE 降低约 15%，但越细的码本越会把原型分配给稀疏运动，在留出轨迹上收不回来。最终取 、，此时重建 ADE 约 0.279 米。
两个原型之间的距离和相似度定义为
其中 和 取自整个码本 对原型的 ADE 极值，而非某个数据划分或候选池的统计量，因此相似度矩阵可以预计算一次并在所有场景上复用。对每个场景，真实轨迹先映射到最近的码本条目作为正确答案，再从相似度落在 区间的困难负例池中取干扰项，凑齐 个候选后随机打乱，最后把候选索引解码成路点序列展示给模型。模型只需选出一个选项，由确定性验证器判定对错。
值得注意的是，码本在这里只用来检索文本形式的路点候选。它把连续的未来映射到一个有限的运动词表，从而支持受控的困难负例构造，同时不牺牲显式几何；量化过程始终在 VLM 之外，不需要改动模型词表，也不需要自回归地生成稠密坐标。
数据集从 Waymo Open E2E 和内部驾驶语料的 514,781 对场景与轨迹中构造，视觉输入为前左、前、前右三路相机各 4 帧、2 Hz 采样。三个划分场景互不重叠：训练集 5,000 个场景按自然分布采样、干扰项随机；开发集 100 个场景（55 个由动到停、30 个急刹、15 个急转弯）和测试集 500 个场景（250 个直行/刹车/停车、125 个左转、125 个右转）则偏向因果困难的长尾操作，并使用结构化干扰项。
DEFT：把候选轨迹的暴露推迟到决策之后
AD-MCQ 让轨迹级决策变得可验证，但如果在推理之前就把候选亮出来，锚定只是换了个来源：策略会转而去比较候选之间的相对优劣，同样是在走捷径。DEFT 的做法是把交互拆成两轮。
第一轮只给场景上下文 ，也就是多视角历史帧、自车历史与当前运动状态、导航指令，提示词要求模型从场景证据出发做因果推理，并在看到任何候选之前给出一个完整的高层决策：
第二轮才揭示打乱后的候选集 。这一轮的提示词把上一轮记录的决策视为具有约束力，候选几何只用来找出该决策最接近的显式实现：
解析出的选项与真实答案比对即可完成精确验证。作为对照，论文同时定义了 JEFT，即在同样的提示词下把场景上下文和候选轨迹一起给出的联合暴露设置。两种设置使用相同的采样参数和 24,576 的总 token 预算，DEFT 每轮上限 12,000。
尽管 DEFT 在交互上分开了决策形成与轨迹落地，优化时两轮被当作一次 rollout 联合处理。对每道题采样 条两轮轨迹，把完整序列拼成 ，一次前向计算重要性采样所需的 token 似然，并对提示词 token 做掩码，使策略目标只作用在两轮生成的 token 上。两轮共享同一个 rollout 奖励及其组内归一化优势，用 GRPO 更新。
规则化的过程奖励
AD-MCQ 提供的结果奖励是一个精确的指示函数，答案正确即为 1。但这个信号无法区分有依据的推理和事后合理化：蒙对的和靠捷径答对的会拿到同样的奖励。
为此，论文只对答案正确的 rollout 追加过程奖励。做法是先离线为每道题生成一份实例专属的评分细则：用一个视觉语言细则生成器在固定提示词下读取场景 ，产出一组原子化、带正权重的判据 ，这些判据显式编码了生成器核实过的场景证据，并在该题的所有 rollout 上复用。训练时把第一轮的推理轨迹归一化后异步提交给一个纯文本评分器，它逐条判断推理是否满足各项判据，输出一个 0/1 向量 ，规则奖励取加权比例：
相乘的形式意味着轨迹正确与否决定这条 rollout 是否有资格获得过程监督。整条链路上，真实轨迹从未直接提供给细则生成器、策略模型或评分器；评分器也拿不到视觉输入、候选选项和真实轨迹，只依据预先定义的判据评估文本推理。这样做除了避免泄漏，效率也高得多：省去大量视觉 token 后，评分器的注意力不会被图像稀释。
实验结果
图 3：Qwen3-VL-8B-Instruct 上各 RLVR 变体的训练动态。候选可见的 JEFT 策略漂移最大且准确率最低；延迟暴露显著改善准确率；带规则监督的 DEFT-RLVR 后期表现最强，同时响应更短、熵更低。
基座模型用 Qwen3-VL-8B-Instruct 和 Qwen3.5-4B。仅在推理阶段改变暴露顺序就有很大差别：相比训练无关的 JEFT，DEFT 把 AD-MCQ-500 的准确率从 28.1% 提到 56.6%（Qwen3-VL-8B），从 34.0% 提到 65.6%（Qwen3.5-4B）。在同样只用答案正确性作为奖励的 RLVR 下，DEFT 相对配对的 JEFT 消融在两个基座上分别高出 15.3 和 6.7 个百分点。图 3 的训练曲线给出了对应的过程证据：候选可见的 JEFT 变体策略漂移最大，准确率却最低。
加上规则监督后，Qwen3-VL-8B 的准确率进一步到 77.9%，CFS 0.658、HLD 0.501；Qwen3.5-4B 到 82.2%，CFS 0.822、HLD 0.582。相比只用正确性奖励的版本，规则监督在两个基座上都同时改善了推理质量和决策一致性，而且响应更短、熵更低，说明探索更受控也更有产出。
蒸馏路线的对比同样支持信息顺序这一解释。在等量数据下，DEFT 蒸馏（完整交互）把准确率从 JEFT 蒸馏的 64.0% 提到 82.4%，CFS 提高 0.289、HLD 提高 0.111。只模仿第一轮计划的变体准确率为 68.2%，混合两种目标的变体最高，达到 84.1%、CFS 0.934、HLD 0.627。第二轮的轨迹落地因此不只是为强化学习提供一个精确奖励，候选之间的细粒度分辨本身也在改善推理质量。
泛化方面，在 500 个 nuScenes 场景组成的域外测试上，两条候选落地的训练路线都明显超过训练无关的 DEFT：DEFT-RLVR 把准确率从 39.6% 提到 49.5%，CFS 提高 0.114、HLD 提高 0.073；混合目标蒸馏的整体成绩最好（55.8%、0.655、0.370）。
通用视觉能力这一侧的结论则区分了两条路线。用 12 个视觉语言基准、覆盖基础视觉感知、具身空间推理、3D 与多视角推理、指代表达空间定位四组能力来测，蒸馏会用通用能力换取驾驶专精：JEFT 蒸馏把 Qwen3-VL-8B 的通用均值从 54.81% 拉到 49.80%，等量数据的 DEFT 蒸馏变体保住 50.98% 到 51.80%。强化学习路线相反，DEFT-RLVR 把通用均值从 54.81% 提到 56.09%（Qwen3-VL-8B）、从 52.56% 提到 53.24%（Qwen3.5-4B）。作者的解释是策略梯度只是在对应上下文下增减每个被采样 token 的概率，比 SFT 的稠密教师模仿更细粒度；同时因果推理过程本身也在调用与通用基准共享的视觉空间推理能力。
顺带一提，论文测过是否该先做冷启动 SFT 再进强化学习：冷启动确实提高了开发集准确率，但四组通用能力从第一个 epoch 起就全线下滑，且从这样一个已经偏移的策略出发还会把 KL 正则锚在错误的位置上。因此 DEFT-RLVR 直接从未经修改的基座模型开始训练。
候选选择相对于直接生成轨迹 token 的取舍
图 4：(a)(b) SFT 已经开始过拟合，分布内与分布外的轨迹预测 ADE 仍远高于码本 0.279 米的重建下限，说明误差主要来自 token 推断而非轨迹量化；(c) 直接的 token 监督还会大幅损害通用视觉能力，加入思维链也挡不住这一退化。
既然已经有了码本，为什么不干脆让 VLM 直接生成轨迹 token？论文做了这个诊断实验：用同一套码本对 Qwen3-VL-8B-Instruct 做 SFT，分别在有和没有轨迹条件思维链的设置下预测轨迹 token。结果是两个瓶颈同时出现。一是精度，即便 SFT 已经开始过拟合，分布内和分布外的预测 ADE 都仍显著高于码本 0.279 米的重建下限，主要误差源是 token 推断而非量化本身。二是通用能力，直接的 token 监督会大幅拉低通用视觉基准，加入思维链也无法阻止。两个失败有共同的成因：训练迫使 VLM 把一个庞大的轨迹 token 词表内化进原有词表，明显扰动了预训练的 token 分布。AD-MCQ 只用码本检索候选路点，把生成外化成在场景相关的显式轨迹间做选择，因此两个瓶颈都绕开了。
候选集的构造方式是否会决定结论？作者固定场景和正确轨迹，在 5 种候选数量和 4 档困难负例相似度上限的组合上重新采样干扰项，共 20 种配置，DEFT-RLVR 在全部 20 种下都优于训练无关的 DEFT。也就是说，在某一种固定 MCQ 配置下学到的能力可以迁移到新的候选构造，而不依赖某种特定的干扰项几何。同时，高度相似的未来轨迹和更大的候选集仍然是最困难的区域，AD-MCQ 因此也提供了一个通过选项构造来调节难度的实验范式。
成本方面，实例专属细则离线生成、线上只保留纯文本评分这一设计是划算的：相比只用正确性奖励，DEFT-RLVR 每步总耗时只从 424.5 秒增加到 426.5 秒，多出 0.5%；相比在线由场景条件 VLM 打分的变体，耗时从 724.4 秒降到 426.5 秒，快 41.1%，同时推理质量还更高。
相关链接
- 原始论文：https://arxiv.org/abs/2608.01755
- GitHub：https://github.com/hzx122/DEFT-RLVR
- 模型权重：https://huggingface.co/hzxllll/DEFT-RLVR-model-HF
- 数据集：https://huggingface.co/datasets/hzxllll/AD-MCQ
