26年2月来自阿里高德、港科大、港中文和西安交大的论文“MindDriver: Introducing Progressive Multimodal Reasoning for Autonomous Driving”。
视觉-语言模型（VLM）展现出强大的推理能力，在端到端自动驾驶系统中具有广阔的应用前景。作为VLM广泛应用的推理策略，思维链（CoT）正面临着严峻的挑战。现有的文本CoT在文本语义空间和轨迹物理空间之间存在着巨大的鸿沟。尽管最近的研究利用未来图像代替文本作为CoT过程，但它缺乏清晰的、面向规划的目标指导，难以生成能够准确反映场景演变的图像。为了解决这些问题，提出MindDriver，一个渐进式多模态推理框架，它使VLM能够模仿人类的渐进式思维，从而实现自动驾驶。MindDriver实现语义理解、语义空间到物理空间的想象以及物理空间轨迹规划。为了在MindDriver中实现推理过程的一致性，开发一个反馈引导的自动数据标注流程，用于生成一致性的多模态推理训练数据。此外，开发一种渐进式强化微调方法，通过渐进式的高级奖励学习来优化对齐效果。
这个渐进式多模态推理方法，能够从文本语义出发，经由中间想象场景图像，最终平滑地推导出物理轨迹。如图所示，该方法包含三个关键组成部分：（1）语义理解：通过文本推理提取高层次的驾驶洞察，用于理解场景、进行逻辑决策等；（2）视觉想象：利用文本推理作为指导，生成未来场景图像，从而连接语义空间和物理空间；（3）物理轨迹预测：利用想象的场景图像预测实际的物理轨迹。这种端到端的思维方式确保推理的渐进性和平滑性，从而实现高效且可解释的自主驾驶规划。
为了确保 MindDriver 中推理的一致性，提出一种反馈引导的自动标注流程和渐进式强化微调的训练后策略，分别保证训练数据的严格一致性和训练过程的一致性。
渐进式多模态推理框架
MindDriver 沿用之前的研究 [27, 58]，采用摄像头图像和文本提示作为输入，并通过统一的文本推理和视觉生成模型执行提出的渐进式多模态推理。
模型输入。MindDriver 接收时间视觉输入、高级驾驶指令、自车状态和语言指令，以执行驾驶推理和轨迹规划。视觉输入包括来自六个环视RGB摄像头的当前图像，以及作为历史视频的四个最近的前视帧，以便在不产生大量计算开销的情况下捕捉场景动态。此外，参考之前的研究[44, 58]，还添加了高级驾驶指令（例如，左转、右转）和车辆自身状态（即当前速度和加速度）。最后，利用语言指令将这些输入结构化为大语言模型（LLM）可以轻松解释的提示格式。
渐进式多模态推理。大多数先前的基于VLM的方法都侧重于文本推理[68]，但存在文本语义空间和轨迹物理空间之间的空间错位问题。虽然最近的研究[58]尝试通过使用图像推理而非文本作为中间媒介来解决这个问题，利用图像中固有的语义和物理信息，但它缺乏清晰的、面向规划的目标指导，导致模型无法确定优先处理哪些对象。为了解决这些问题，受人类感知-想象-行动机制的启发，提出一种渐进式多模态推理方法，该方法能够从文本理解出发，通过中间的未来图像，最终平滑地推导出物理轨迹。如图所示，方法首先利用LLM的世界知识进行语义文本推理，分析场景、潜在风险和动作。然后，在文本推理中面向规划的分析指导下，方法构建未来世界场景，其中包含每个关键对象的分析运动趋势和物理场景细节。最后，基于构建的图像，方法预测最终的未来轨迹，并将图像中的物理细节与实际的物理轨迹输出进行连贯的映射。这种端到端的分析确保了渐进且平滑的推理过程，从而实现高效且可解释的自动驾驶规划。
统一的文本推理和视觉生成。为了支持提出的渐进式多模态推理生成方法（受近期工作[42, 49]的启发），将文本推理和视觉生成统一到一个大语言模型（LLM）中。参照[58]，将VQ-VAE[41]的视觉码本扩展到大语言模型的词汇表，从而使MindDriver能够生成离散的视觉token。对于视觉生成，用VQ-VAE的token化器将图像编码为离散索引，并使用LLM中共享的预测头来监督每个位置的两种模态的token预测。因此，MindDriver采用通用的语言建模目标，以自回归的方式直接最大化每个多模态序列的似然性。在推理过程中，VQ-VAE解码器（去token化器）将视觉token映射回图像像素。
反馈引导的数据自动标注
为了生成合理且对齐的渐进式多模态推理训练数据，提出一种视频上下文文本推理格式和一个反馈引导的自动标注流程。文本推理数据与未来场景图像和轨迹融合，生成完整的推理数据。最后，对合成的推理数据进行监督式微调（上图右），使MindDriver具备初始的渐进式多模态推理能力。
视频上下文文本推理格式。没有使用现有的公开自动驾驶文本推理数据，因为它们大多是图像上下文的[27, 38]，从单帧摄像头图像生成CoT。静态输入缺乏物体的运动趋势，即使对于人类来说，也可能导致错误的决策。尽管 AutoVLA [68] 采用基于视频的 CoT，但它仅使用三个前视图进行轨迹规划，而忽略后视图，这增加来自后方环境的风险。为了克服这些局限性，受人类驾驶逻辑的启发，设计一种视频上下文文本推理方法，如图所示。该方法包括场景分析、潜在风险评估、行为推理和动作决策。场景分析和潜风险评估基于现有的摄像头图像和历史视频进行，能够更好地捕捉每个运动物体的动态特性。动作决策输出高级驾驶决策，包括方向和速度调整。
反馈引导的自动标注流程。开发一个用于高质量渐进式多模态推理数据标注的通用流程。如图所示，该流程包含三个过滤步骤，用于从不同方面控制数据质量，并采用反馈引导的重标注策略来迭代优化过滤后的样本。给定当前摄像头、历史视频、驾驶指令和指示等输入，功能强大的 MLLM Qwen2.5-VL-72B [1] 首先生成原始文本 CoT。然后，基于规则的格式过滤器检查结构完整性。接下来，决策过滤器通过将生成的动作与从 GT 轨迹中得出的 GT 决策进行比较来检查正确性。最后，逻辑过滤器评估推理的合理性。没有重用 Qwen2.5-VL-72B，而是采用更先进的文本 LLM Qwen3-235B-A22B-Instruct [52] 来进行稳健的逻辑验证并克服自检偏差 [55]。如果任何过滤器失败，则会返回错误反馈作为上下文信息，以改进重标注。反馈包括：(1) 格式不匹配，(2) 与真实场景 (GT) 决策不符的错误决策，以及 (3) 由 Qwen3 总结的逻辑错误。这些反馈与原始 CoT 结合，作为下一次迭代的输入上下文。之后，将文本 CoT 与真实场景的未来场景图像和轨迹连接起来，并使用特殊token（<think>、<dream>、<answer>）来区分它们，从而创建多模态推理数据。
渐进式强化微调
标准 SFT 在训练多模态推理数据时存在局限性，因为它缺乏同样重要的token级监督。在多模态推理中，统一的token权重可能会使模型倾向于生成流畅的文本，而不是保持对文本和视觉信息的平衡理解。为了增强 MindDriver 的推理能力，引入一种渐进式强化微调的后训练方案，包括使用不同奖励的两阶段学习，旨在优化任务级行为而非词元似然度。该过程逐步改进模型的预期图像和规划轨迹。
第一阶段：预期语义一致的图像。与 GT 图像相比，该阶段提高模型基于先前文本推理生成语义一致图像的能力。优先考虑与 GT 图像的语义一致性，而不是优化像素级保真度，因为文本 CoT 提供语义指导并突出显示关键实体的大致位置，这对后续决策至关重要。为了实现这一点，采用 CLIP [31] 相似度来捕获预测图像和 GT 图像之间的高级语义对齐，从而鼓励模型预期图像中的关键对象（例如，交通信号灯、行人）保持在语义正确的位置。
第二阶段：预测精确轨迹。在第一阶段增强的未来图像想象能力的基础上，第二阶段将模型与轨迹规划目标相匹配。与将轨迹预测视为token预测的SFT不同，本阶段使用L2几何距离来规范轨迹，从而提供一种更精确的监督式轨迹规划方法。
与[68]类似，采用GRPO算法[34]，该算法能够稳定训练过程并提高收敛效率。给定一个场景输入查询q，其中包含传感器图像、自车状态和驾驶指令，从旧策略π_θ_old中采样得到一组G个候选输出O = {o_1,o_2,...,o_G}。然后，使用归一化的组相对优势A_i对当前策略π_θ进行优化。
采用 Qwen2.5-VL-3B [1] 作为基础视觉-语言模型 (VLM)。在 SFT 阶段，用 1 × 10⁻⁴ 的学习率和 32 的批大小，分别训练 12 个 epoch（nuSences）和 6 个 epoch（Bench2Drive）。将 MoVQGAN [61] 的视觉码本扩展到 LLM 词汇表，并使用其去token化器将 LLM 预测的视觉token映射到像素空间。在渐进式 RFT 阶段，用 3 × 10⁻⁶ 的学习率和 16 的批大小，分别训练 700 步（第一阶段）和 500 步（第二阶段）（nuSences），以及 1400 步（第一阶段）和 1000 步（第二阶段）（Bench2Drive）。所有实验均在 16 块 Nvidia H20 显卡上运行。
