导读

破解自动驾驶场景测试“真实性不足、多样性欠缺、分析割裂”的行业痛点！传统场景生成依赖规则或单一数据驱动，难以覆盖罕见边缘案例；场景分析多局限于单一模态，缺乏跨模态推理能力。慕尼黑工业大学、斯坦福大学等机构联合发布权威综述，系统梳理五大类基础模型（LLM/VLM/MLLM/DM/WM） 在自动驾驶场景生成与分析中的应用，构建统一分类体系，整合348篇研究、主流数据集/模拟器及评估指标，填补现有综述在“场景生成-分析一体化”的覆盖空白，为工业界落地与学术界研究提供全景式参考。

📷图1. 本调查对自动驾驶中用于场景生成和场景分析的大型语言模型（LLMs）、视觉语言模型（VLMs）、多模态大型语言模型（MLLMs）、决策模型（DMs）和世界模型（WMs）中的现有基础模型（FMs）进行了批判性分析。

推荐理由

1 业务背景与技术背景

1.0 业务背景：自动驾驶场景测试的核心痛点

场景化测试是自动驾驶安全验证的关键，但传统方案面临三重瓶颈：

• 痛点1：场景多样性不足——真实数据中罕见边缘案例（如极端天气碰撞）占比低，规则生成场景缺乏真实物理规律；
• 痛点2：跨模态融合弱——传感器数据（图像/LiDAR）与文本、地图等模态割裂，难以支撑复杂场景推理；
• 痛点3：生成-分析脱节——生成模型仅能合成场景，分析模型仅能解读场景，缺乏一体化框架，测试效率低。

本文针对性解决：以基础模型为核心，打通“多模态输入-场景生成-跨模态分析”全链路，实现场景的“高保真生成+深度解读”双重目标。

1.1 技术背景：现有综述局限与本文突破

2 核心概念：关键定义与技术体系（补充完整）

3 核心内容：模型架构与关键设计

📷 图3. 应用于自动驾驶场景生成和分析的基础模型（FMs）概述以及本综述的相应结构。

📷图4. 自动驾驶中的驾驶场景示例：用于基于场景测试的数据集和模拟。源自这些场景的传感器数据，如相机图像、视频和激光雷达点云，可用于评估感知算法。同时，特定于模拟器的场景格式支持对规划和控制模块进行严格测试。

上行（从左到右）：Waymo Open motion 数据集；Argoverse 行车记录仪视频；NuPlan 多相机视图及地图叠加层

下行（从左到右）：CommonRoad 运动规划场景；CARLA 模拟城市场景；SUMO 大规模交通场景。

3.1 整体技术框架（基础模型适配自动驾驶的通用架构）

3.2 五类基础模型的核心技术与应用详解（深化细节）

3.2.1 大型语言模型（LLM）：场景的“语义引擎”

• 发展基础：基于Transformer架构，自监督预训练（掩码语言建模/自回归生成），核心适配技术的具体实现与案例：
• 提示工程：
• Contextual Prompting：在ADAS测试场景中，注入“UNECE R157法规”“城市道路限速50km/h”等领域语境（如Text2Scenario）；
• Chain-of-Thought：LLMScenario中，拆解“生成雨天高速多车碰撞场景”为“1. 设定高速道路拓扑；2. 定义3辆车辆初始位置；3. 模拟第2辆车紧急制动；4. 计算碰撞时序”多步推理；
• In-Context Learning：ChatScene中嵌入2个“文本描述→CARLA脚本”的少样本案例，让GPT-4快速适配DSL生成；
• RAG：ChatSUMO构建OSM地图库+SUMO配置代码库，检索相似城市道路布局生成适配脚本；
• Self-Consistency：LLMScenario对同一输入生成5个场景脚本，筛选3个一致度最高的输出，降低幻觉率30%。
• 微调技术：
• Full Fine-Tuning（FFT）：对Llama 3.1-8B全参数微调（175M参数），适配Waymo轨迹数据，需8×A100 GPU，训练epoch=100；
• PEFT-LoRA：ProSim中对Llama 3.1-8B注入低秩矩阵（秩=8），仅训练37.7M参数（占比0.79%），推理速度提升2.3倍，性能损失＜1.2%。
• 场景生成应用（6大类别+具体案例）：
• 安全关键场景：
• LLMScenario（HighD数据集+GPT-4）：用ICL注入3个碰撞案例，CoT分步生成轨迹，SC优化一致性，生成场景的碰撞率达89%，真实度评分4.2/5（人类标注）；
• ChatScene（CARLA+GPT-4）：RAG检索Scenic代码片段，将“高速路货车急刹导致后车追尾”转化为可执行脚本，编译成功率92%。
• 真实场景复刻：
• LCTGen（Waymo Open+GPT-4）：将NHTSA crash报告转化为YAML描述，匹配Waymo地图，生成场景与真实事故的轨迹相似度（MMD）=0.03；
• Chat2Scenario（HighD+GPT-4）：CoT解析数据集轨迹，生成Esmini兼容脚本，场景复现准确率87%。
• ADAS测试场景：
• TARGET（CARLA+GPT-4）：多阶段提示拆解交通规则，生成车道保持测试脚本，覆盖8类常见违规场景（如压线、偏离车道）；
• LeGEND（LGSVL+GPT-4）：将NHTSA报告抽象为功能场景，两阶段生成逻辑DSL，多目标搜索优化场景多样性，覆盖12类边缘案例。
• 场景分析应用（具体任务+评估结果）：
• 视觉问答（QA）：Chen et al.用GPT-3.5生成10k+ QA对，涵盖“前车距离”“交通灯状态”等感知问题，准确率达83%；
• 场景理解：SenseRAG（DLR UT数据集）用VLM生成文本描述，GPT-4通过SQL查询推理交通流状态，轨迹预测误差降低15%；
• 场景评估：Gao et al.（CommonRoad数据集）将场景数据转化为自然语言，GPT-4o评估安全临界性，风险等级判定准确率86%。

3.2.2 视觉语言模型（VLM）：跨模态的“桥梁”

图5. 预训练的视觉语言模型（VLMs）同时使用文本描述和视觉输入来完成两项任务：（1）利用文本提示和场景图像生成场景；（2）通过图像理解和用于风险评估的文本推理进行场景分析。

• 发展基础：ViT视觉编码器（输入224×224图像，patch=16×16）+ LLM骨干（如LLaMA-7B），核心模态对齐模块细节：
• Q-Former：BLIP-2中用12层Transformer生成128个可学习查询，通过交叉注意力对齐CLIP特征与LLM输入空间，参数仅2.5M；
• 交叉注意力：Flamingo中用 gated cross-attention重采样图像token，将可变长度视觉特征转化为512维固定向量，推理延迟增加＜5ms；
• MLP投影：NuScenes-MQA中用3层MLP（隐藏层=2048）将ViT特征（768维）映射为OPT模型兼容的1024维特征，对齐损失降低42%；
• Prior Tokenizer：Reason2Drive中融合Faster R-CNN区域特征与物体语义，生成“类别+位置+属性”的结构化token，VQA准确率提升19%。
• 场景生成应用（具体案例+技术参数）：
• 安全关键场景：CurricuVLM（Waymo Open+LLaVA+GPT-4o）：VLM分析BEV图像识别薄弱行为，DenseTNT生成轨迹，RL选择场景，生成场景的安全临界性评分达4.7/5，较基线提升28%；
• 图像数据集生成：WEDGE（DALL-E2）：ICL注入8类极端天气图像，生成16类场景（暴雨/暴雪/沙尘），标注2D bounding box，用于微调YOLOv8，检测AP提升9.3个百分点；
• ADAS测试场景：TRACE（nuScenes+GPT-4o）：从碰撞草图提取道路类型/环境，结合nuScenes轨迹生成MetaDrive脚本，测试ADAS算法的故障发现率提升32%。
• 场景分析应用（核心任务+实验结果）：
• 视觉问答（VQA）：
• DriveLMM-o1（nuScenes+InternVL2.5-8B）：LoRA微调，融合LiDAR点云，3D定位类问题准确率达78.5%，较零样本提升21个百分点；
• AutoDrive-QA（多数据集）：将开放式QA转化为选择题，添加领域错误干扰项，GPT-4o的推理准确率达76%。
• 风险评估：
• INSIGHT（BDD100K+Qwen2-VL-7B）：LoRA微调，定位危险区域并生成描述，hazard检测召回率82%，较CLIP提升18个百分点；
• LKAlert（OpenLKA+Qwen2.5-VL）：融合车道分割掩码，预测LKA失效，准确率达89%，延迟35ms（边缘设备Jetson Xavier NX）。

3.2.3 多模态大语言模型（MLLM）：全感知的“中枢”

图6. 多模态大语言模型在自动驾驶中的适配技术概述。编码器从特定模态的输入中提取特征。FProjectors是可训练模块，能将特征映射到大语言模型的嵌入空间，以实现跨模态对齐。大语言模型作为推理核心，可根据可用资源和任务，通过微调技术设为冻结状态或可训练状态。

• 发展基础：多模态编码器（ViT/BEVFormer/VoxelNet）+ 模态对齐模块 + LLM骨干，核心适配技术细节：
• 模态对齐模块：
• ST-Adapter：NuInstruct中用2层时序适配器（隐藏层=512），处理多视图视频序列，参数仅512K，时序建模误差降低23%；
• BEV-Injection：BEV-InMLLM中用融合Transformer将BEV特征（1024维）注入Video-LLaMA，空间推理准确率提升17%；
• Q-Former：InternDrive中用16层Q-Former提取nuScenes多视图特征，与InternVL-1.5对齐，场景理解F1值达81%。
• 多模态微调：
• PEFT-MA：VLAAD中仅训练Q-Former与投影层，LLaMA-2-7B冻结，训练数据为BDD-X视频+QA对，显存占用降低60%；
• FFT：TUMTraffic-Qwen对Qwen2-0.5B全微调，处理 roadside视频，时空推理准确率达72%，需4×A100 GPU。
• 场景生成应用（具体案例+技术流程）：
• 安全关键场景：AutoScenario（NHTSA+GPT-4o）：
1. 解析多模态 crash 数据（文本+图像+GPS）；
2. CoT生成结构化场景描述；
3. 生成SUMO道路网络+CARLA智能体行为；
4. 帧级相似度校验（阈值=0.85），场景与真实事故的几何一致性达86%。
• ADAS测试场景：LEADE（HDD数据集+GPT-4V）：
1. 提取视频关键帧，ICL注入2个测试案例；
2. CoT生成抽象场景；
3. 转化为LGSVL脚本；
4. 双分支搜索语义等效场景，Apollo ADAS栈的行为差异检测率达79%。
• 场景分析应用（核心任务+数据集适配）：
• 视觉问答（VQA）：
• LiDAR-LLM（nuScenes+Llama2-7B）：Voxel encoder提取BEV特征，MLP投影至语言空间，3D caption准确率达74%；
• DVBench（SHRP2数据集+14个MLLM）：生成11类安全关键QA，Qwen2-VL-7B全微调后准确率达71%，较零样本提升24个百分点。
• 风险评估：
• AccidentGPT（DeepAccident+GPT-4V）：零-shot场景caption，GPT-4评估风险，事故预防建议准确率达80%；
• ScVLM（nuScenes+VideoLLaMA2）：提取FPV视频特征，LLaMA 3.1-8B生成安全事件描述，危险事件识别召回率83%。

3.2.4 扩散模型（DM）：高保真“生成器”

图7. 扩散模型

• 发展基础：前向加噪（T=1000步，噪声方差线性递增）+ 反向去噪（U-Net/DiT骨干），核心优化方向：
• 可控性技术：
• 梯度引导：CTG用STL编码交通规则，梯度引导轨迹采样，规则合规率达91%；CCDiff用MDP梯度生成碰撞场景，碰撞率提升至85%；
• 架构条件：Pronovost et al.将agent速度/密度编码为token，跨注意力融合，场景可控性评分4.3/5；
• 偏好优化（PO）：Yu et al.对DM生成的2条轨迹评分，更新模型偏好，人类满意度提升37%。
• 效率优化：
• LDM：在 latent 空间（64×64）操作，计算量减少75%，nuScenes图像生成FID=8.36；
• DiT：用Transformer替代U-Net，全局上下文建模，轨迹生成的mADE=0.8m（较U-Net降低22%）。
• 场景生成应用（4大类型+技术细节）：
• 交通流生成：
• DiffScene（nuScenes+DDPM）：定义3类可微目标（安全关键/功能/约束），生成轨迹的mFDE=1.2m，较基线降低18%；
• SceneDiffuser（WOMD+DiT）：轨迹生成为3D张量（A×T×D），支持agent注入，场景编辑耗时＜0.5s/个。
• 静态交通元素：
• DiffRoad（OSM+DDPM）：Road-UNet架构生成3D道路，平滑度评分4.1/5，无重叠路段；
• SceneControl（Argoverse2+DDPM）：引导采样控制agent速度，车道 adherence 达93%。
• 图像生成：
• Text2Street（nuScenes+LDM）：三阶段DM生成BEV道路→物体布局→相机视图，图像FID=11.2，较DALL-E2提升27%；
• BEVControl（nuScenes+LDM）：控制器-协调器机制确保多视图一致性，物体位置误差＜2px。
• 视频生成：
• Panacea（nuScenes+LDM）：4D注意力（ intra-view/cross-view/cross-frame），视频FVD=98，时序一致性提升32%；
• DrivingDiffusion（nuScenes+LDM）：多阶段生成初始帧→短序列→长序列，滑动窗口优化，长视频（5s）漂移率＜5%。

3.2.5 世界模型（WM）：动态场景的“模拟器”

图8. 世界模型的训练、测试和梦境阶段概述。在训练/测试阶段（顶部），zt是输入（例如图像）的潜在表示，是对下一时间步潜在表示的预测，并且h是编码过去信息的隐藏状态。在梦境阶段（底部），模型以自回归的方式生成未来的潜在变量：由初始化，然后递归地反馈作为未来预测器的输入，该预测器计算下一个值。

• 发展基础：编码器-预测器架构，核心进化与技术细节：
• 架构演进：
• 早期：VAE编码器（压缩图像至256维 latent）+ LSTM预测器（捕捉时序依赖），如GAIA-1，视频生成FVD=120；
• 现代：Latent Diffusion编码器 + Transformer预测器，如GAIA-2，FVD=89，多视图一致性提升40%；
• 混合架构：DriveDreamer融合LLM+DM，Auto-DMs学习交通约束，视频预测准确率达87%。
• “梦境生成”机制：
• 初始化： 从训练集 latent 分布采样；
• 自回归生成：， 为控制动作，生成步数=200，场景多样性（统计分布差异）=0.04。
• 场景生成应用（3大类别+核心创新）：
• 视觉生成：
• GAIA-2（In-house数据集+LDM）：条件输入ego动力学+agent配置，生成1080P多相机视频，时空一致性评分4.5/5，支持英/美/德道路场景；
• DriveDreamer-2（nuScenes+SVD）：LLM转化用户查询为轨迹，统一多视图模型，生成“车辆突然切入”等罕见场景，真实度达4.3/5。
• 3D占用生成：
• OccSora（nuScenes+DiT）：4D场景tokenizer，轨迹提示生成4D占用，mIoU=68%，较Occ3D提升12个百分点；
• DOME（nuScenes+Latent DiT）：连续VAE tokenizer，捕捉精细几何，占用预测的Chamfer距离=0.02m。
• 多模态生成：
• HoloDrive（nuScenes+Transformer）：BEV-Camera双向转化，图像与LiDAR点云的一致性达89%；
• GEM（BDD+SVD）：时空Transformer融合多传感器，深度预测误差＜0.3m。

图9. 关于AD和WM的研究可大致分为两大功能的示意图：主体运动的未来预测和未来场景生成。

3.3 关键支撑资源：数据集、模拟器与评估指标

3.3.1 核心数据集（详细属性+应用案例）

3.3.2 主流模拟器（技术参数+适配模型）

3.3.3 核心评估指标（计算方式+适用场景）

4 实验结果：资源与基准挑战（补充完整）

4.1 数据集与模拟器应用分布

• 场景生成热门组合及性能：
• nuScenes + CARLA：32%研究采用，VLM生成场景的FID=11.2，LLM脚本编译成功率92%；
• Waymo Open + MetaDrive：21%研究采用，WM生成轨迹的mADE=0.8m，场景复现准确率87%；
• 场景分析热门组合及性能：
• nuInteract + GPT-4V：27%研究采用，VQA准确率78.5%，风险评估F1=0.83；
• DRAMA + LLaVA：18%研究采用，场景caption准确率82%，因果推理误差降低15%。

4.2 Benchmark挑战现状

• 现有挑战覆盖能力及缺口：
• 感知解读：MMBench中VLM的自动驾驶场景准确率76%，缺口在于极端天气感知（如暴雨场景准确率仅62%）；
• 预测规划：Waymo Open Challenge中DM的轨迹预测mFDE=1.2m，缺口在于多agent交互预测；
• 生成评估：Text-to-Image Leaderboard中DM的FID=8.36，缺口在于3D几何一致性评估。

5 挑战与未来方向（依论文结论）

5.1 核心挑战

1. 真实性与边缘案例平衡：生成场景的物理一致性（如车辆惯性）评分仅3.7/5，超小目标（＜10px）生成模糊率达45%；
2. 多模态数据稀缺：LiDAR+文本标注数据集仅占现有数据集的12%，RADAR模态融合研究不足5%；
3. 标准化评估缺失：无统一的“真实性-可控性-安全性”综合指标，不同研究的FID计算基准差异达15%；
4. 安全鲁棒性不足：LLM生成场景的幻觉率达18%，DM生成轨迹存在物理违规（如穿墙）占比7%；
5. 计算成本高昂：DM训练需16×A100 GPU（10天），LLM-PEFT推理需2×A10 GPU，边缘设备部署延迟＞50ms；
6. 工业转化困难：学术方法与ISO 21448标准适配率仅65%，仿真-实车迁移误差达20%。

5.2 未来方向

1. 提升真实性：融合物理引擎（如BeamNG）与数据驱动模型，约束车辆动力学，物理一致性评分目标≥4.5/5；
2. 捕获罕见事件：构建“事故案例库+因果推理”，生成极端边缘案例（如结冰路面+急刹），覆盖度提升至95%；
3. 构建多模态数据集：整合LiDAR/RADAR/文本/地图，规模目标达10M场景，标注覆盖率≥90%；
4. 标准化评估体系：开发“场景质量综合指标（SQI）”，涵盖真实性（30%）、可控性（25%）、安全性（35%）、效率（10%）；
5. 降低计算成本：模型蒸馏（如WM蒸馏至MobileNet规模），推理延迟降至＜10ms，边缘设备适配率≥80%；
6. 安全数据飞轮：生成场景→测试AD算法→反馈优化生成，闭环迭代提升场景有效性，故障发现率提升40%；
7. regulatory合规：对齐UNECE R157等标准，生成场景的合规率≥95%，支持安全认证文档自动生成。

7 总结

核心价值

1. 全景式覆盖：首次系统梳理五类基础模型的技术细节、适配方案、应用案例，补充348篇研究的关键实验数据，填补领域空白；
2. 资源一体化：整合数据集/模拟器/评估指标的具体参数、适配模型及性能阈值，提供可直接复用的工具链清单；
3. 落地导向：明确学术与工业的技术鸿沟（如仿真-实车迁移误差），提出标准化、低成本的落地路径；
4. 开源支撑：维护含论文、代码、数据集的公开仓库，持续更新最新研究，为后续工作提供基础。

总结金句

👉 “这篇综述以‘模型为骨、任务为脉、资源为翼’，构建了基础模型赋能自动驾驶场景的完整知识体系，不仅拆解了每类模型的技术细节与实验结果，更明确了从学术研究到工业落地的关键路径，为自动驾驶安全验证提供了‘高保真生成+深度分析’的一体化解决方案。”

8 原论文信息

• 论文题目：Foundation Models in Autonomous Driving: A Survey on Scenario Generation and Scenario Analysis
• 作者：Yuan Gao 等（慕尼黑工业大学、斯坦福大学、奥迪、戴姆勒等机构联合团队）
• 发表状态：arXiv preprint（2025年11月），cs.RO领域，arXiv链接：https://arxiv.org/pdf/2506.11526v2
• 核心资源：
• 开源仓库：https://github.com/TUM-AVS/FM-for-Scenario-Generation-Analysis（含348篇论文清单）；
• 覆盖范围：5类基础模型、93篇场景生成研究、56篇场景分析研究、58个数据集、21个模拟器；
• 关键数据：
• 模型性能：LLM脚本编译成功率92%，VLM场景生成FID=11.2，DM轨迹生成mFDE=1.2m，WM视频生成FVD=89；
• 落地指标：边缘设备推理延迟＜50ms（WM），工业标准适配率65%，场景复现准确率87%。