拿下顶会稳了!自动驾驶多模态 VLA 堪称王炸,BLEU-4 达 58.84,CIDEr 提升近 5 倍!

关注【沃的顶会】，第一时间接收顶会顶刊前沿技术

当前自动驾驶 VLA 普遍存在虚实域割裂、时序建模弱、长尾小样本泛化差等问题，CoC-VLA、CoVLA-Agent 与通用 VLA4AD 框架均采用 VLM + 多模态融合范式：以视觉语言模型为主干，双分支分离视觉、语言异质特征，通过跨注意力融合，搭配两阶段迁移学习缓解标注不足。

三者训练逻辑一致，但针对不同任务设计差异化双分支结构。CoC-VLA 设仿真 / 真实师生 VLM 双分支，用判别器做对抗域对齐；CoVLA-Agent 并行图像、车况嵌入分支，融合多模态输出描述与轨迹；通用 VLA4AD 依靠视觉编码器、LLM 双分支，实现环视图像与驾驶指令对齐。

三项工作分别对应跨域迁移、数据集基线、通用自动驾驶规划场景，验证了该范式的普适性。其依靠 VLM 长时序建模能力，用双分支解耦多模态特征，结合分阶段训练解决域偏移、样本稀缺难题，为各类自动驾驶视觉 - 语言 - 动作任务提供通用方案。

CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving

●  文章解析

针对自动驾驶 VLA 模型缺少大规模多模态标注数据集痛点，构建真实路测 CoVLA 数据集，设计自动化标注流水线，并搭建 CoVLA-Agent 基线模型完成轨迹与场景文本联合预测评测。

●  创新点

1. 构建含万段真实驾驶视频的大规模 CoVLA 数据集，同步提供图像、文本描述、未来轨迹三类完备标注。

2. 提出融合规则模板与 VideoLLaMA2 的自动化 caption 流水线，兼顾标注效率与内容丰富度。

3. 搭建 CoVLA-Agent 基线 VLA 模型，同步完成场景文本生成与车辆轨迹预测双任务。

●  研究方法

1. 多车采集东京全域多工况原始传感数据，采用逆权重采样平衡极端驾驶样本分布。

2. 卡尔曼滤波融合 GNSS/IMU 生成真值轨迹，专用模型检测信号灯、前车关键目标。

3. 双任务联合训练基线模型，以 ADE、FDE 指标量化轨迹预测精度并分析文本误差影响。

●研究结论

1. CoVLA 数据集规模与多模态完备度优于现有同类自动驾驶图文轨迹数据集。

2. 真值文本输入可显著降低 ADE、FDE，场景描述误差会大幅恶化轨迹预测效果。

3. 该数据集可有效支撑 VLA 模型训练，能处理城市、高速等多样化复杂驾驶场景。

A Survey on Vision-Language-Action Models for Autonomous Driving

●  文章解析

本文首份自动驾驶 VLA 全面综述，梳理四代技术演进路线，统一模型架构范式，汇总主流数据集与评测方案，归纳鲁棒性、实时性等核心挑战并指明五大未来研究方向。

●  创新点

1. 首次完整梳理自动驾驶 VLA 四阶段演进脉络，清晰区分四类模型架构范式。

2. 标准化 VLA4AD 通用组件框架，系统对比 20 余个代表性模型优劣。

3. 整合全部公开 VLA 驾驶数据集与评测体系，统一多维度评价标准。

●  研究方法

1. 系统归纳模块化、端到端、推理增强三类 VLA 主流网络结构。

2. 分类梳理模仿学习、强化学习、多阶段预微调三大训练范式。

3. 从闭环、开环、语言、鲁棒四大维度搭建综合评测体系。

●研究结论

1. VLA 模型已从单纯场景解释进化为具备长时推理的统一驾驶智能体。

2. 当前 VLA 存在实时性差、模态对齐不足、仿真实域鸿沟等关键瓶颈。

3. 未来需构建驾驶基础大模型、融合神经符号安全机制与统一评测基准。

CoC-VLA: Delving into Adversarial Domain Transfer for Explainable Autonomous Driving Via Chain-of-Causality Visual-Language-Action Model

●  文章解析

针对仿真与实车数据域鸿沟、时序推理低效问题，提出 CoC-VLA 对抗迁移框架，搭建师生 VLM + 判别器结构，设计因果链时序推理模块，通过两阶段对抗训练将仿真长尾能力迁移至实车模型。

●  创新点

1. 提出师生 VLM + 判别器对抗域迁移框架，实现仿真长尾驾驶能力向实车模型迁移。

2. 设计 CoC 因果链文本适配器，精简时序 Token，构建连贯感知 - 规划因果推理链路。

3. 设计双步反向传播对抗优化策略，稳定训练过程、缓解模型收敛震荡。

●  研究方法

1. 构建 CoC-VLA 主干，基于 LLaVA 改造，新增时序缓存与因果推理输出模块。

2. 搭建两阶段对抗训练流程：先冻结模型训判别器，再固定判别器更新学生模型。

3. 基于 CARLA 仿真、nuScenes 实车数据集，从开环、闭环多维度完成消融与对比实验。

●研究结论

1. CoC-VLA 相较主流基线大幅降低轨迹 ADE 与碰撞率，长尾场景泛化能力显著提升。

2. 因果链时序模块可精简输入 Token，同时稳定模型长时序规划推理效果。

3. 对抗迁移方案有效缩小仿真 - 实车域偏移，仅单帧时序缓存即可平衡精度与算力。

细读 CoC-VLA、CoVLA-Agent、VLA4AD 综述三篇核心文献可见，VLM 主干 + 双分支多模态融合、两阶段迁移学习、跨注意力对齐在域自适应自动驾驶、大规模 VLA 建模、通用自动驾驶规划中效果突出，但仅依靠三篇材料难以构建完整技术体系，缺少细分方案横向对照，难以挖掘可落地创新点。

为此小沃整理该方向十余篇前沿顶会论文，覆盖虚实域迁移、时序因果推理、轨迹规划三大核心赛道，后台回复【VLA+自动驾驶 】即可免费获取，快速梳理技术演进脉络、横向对比主流模型、高效挖掘研究创新思路。