一、核心算法原理

AutoScenario 的核心逻辑是 **“把真实世界的复杂信息翻译成模拟器能读懂的测试场景”**，整个过程像一条 “多步骤流水线”，靠多模态大模型（能处理文字、图片、视频的 AI）和仿真工具配合完成，具体分 4 步走：

1. 第一步：统一 “语言”—— 把多源信息转成文字描述

不管输入的是文字（比如测试需求、事故报告）、图片（道路实拍）还是视频（行车记录仪画面），先让 AI（多模态大模型）把它们变成统一格式的文字说明。

• 比如输入一张施工路段的照片，AI 会提取关键信息：“道路类型：双向两车道，左侧有施工锥（3 个），一辆白色轿车停在施工区边缘，天气晴朗”；
• 输入事故报告，AI 会按 “道路 + 静态物体 + 车辆 / 行人 + 天气” 四个维度重组信息，避免遗漏风险点（比如 “交叉口无红绿灯，电动车闯红灯横穿，货车右转”）；
• 处理视频时，AI 会逐帧分析，结合深度地图计算车辆距离，确保描述里的 “车距 5 米”“道路转弯半径 12 米” 等数据准确。

2. 第二步：拆分 “零件”—— 生成场景核心组件

有了统一的文字描述后，AI 会调用专门的 “组件生成器”，把场景拆成三个关键部分，就像搭积木前准备好零件：

• 道路网络：生成真实的道路结构（比如十字路口、分叉路），输出成仿真工具能识别的格式（XML 文件），还能通过 GPS 获取真实道路数据（比如某条街道的车道宽度、转弯角度）；
• 动态主体：安排车辆、行人、自行车等 “移动元素”，指定它们的速度、位置（比如 “红色轿车在左转车道，速度 30km/h”“行人从人行道冲出”），还会用数据驱动模型模拟人类的真实行为（比如司机突然变道、行人犹豫不前）；
• 静态物体：添加交通标志、施工锥、护栏等不动的元素，确保场景细节贴合现实（比如施工区必须有警示标志）。

3. 第三步：组装 “场景”—— 调用仿真工具落地

AI 会直接生成代码，控制两款主流仿真工具（SUMO 负责交通流、CARLA 负责 3D 可视化），把前面的 “零件” 组装成可运行的测试场景：

• SUMO 负责计算车辆排队、红绿灯切换等宏观交通逻辑；
• CARLA 负责渲染 3D 画面（比如车辆外观、道路纹理、天气效果），让场景看起来和真实道路一模一样；
• 最后通过 “数字孪生工具” 确保所有风险点（比如 “电动车闯红灯”“施工占道”）都准确还原到仿真场景中。

4. 第四步：确保 “靠谱”—— 对齐与优化

整个过程中，AI 会通过 “文本嵌入比对” 检查生成的场景是否符合原始输入（比如图片里有 3 个施工锥，场景里就不能多也不能少），还会用 “思维链（CoT）” 推理纠正错误（比如避免出现 “车道没有宽度”“转弯半径不符合物理规律” 等问题）。

二、主要应用场景

AutoScenario 本质是 “自动驾驶的虚拟测试场”，核心用途是生成 “罕见但危险” 的测试场景（比如突发闯红灯、施工占道、路口混行），具体应用有 3 类：

1. 自动驾驶系统安全性测试

这是最核心的应用。传统测试很难遇到 “行人突然冲出施工区”“两车在无信号路口抢行” 这类罕见危险场景，而 AutoScenario 能批量生成这些场景，测试自动驾驶汽车（AV）的应对能力 —— 比如能否及时刹车、避让，从而发现系统漏洞。

2. 基于多源数据的场景复现

• 输入事故报告（比如 NHTSA 的官方 crash 记录），能复现事故发生前的关键瞬间（比如 “货车右转时电动车横穿”），帮助工程师分析事故原因；
• 输入真实道路的图片 / 视频（比如某条事故高发的十字路口），能生成和现实一致的场景，用于针对性优化自动驾驶算法。

3. 定制化测试需求落地

开发者只需用简单文字描述需求（比如 “测试自动驾驶在分叉路的转弯性能，要有其他车辆占道干扰”），AI 就能生成符合要求的场景，无需手动编写复杂代码，大大降低测试门槛。

三、待改进的优化点

虽然 AutoScenario 表现出色，但仍有 3 个关键方向需要优化：

1. 复杂场景的识别与还原能力不足

• 问题：面对 “高楼密集的十字路口”“多车道混行 + 施工占道” 这类复杂场景时，AI 容易提取错误信息（比如漏看某个车道、误判车辆距离）；
• 优化方向：增强 AI 对复杂环境的解析能力，比如结合更多道路拓扑知识（比如十字路口必然有红绿灯），或引入更精准的图像分割技术，避免遗漏关键元素。

2. 3D 可视化的真实感有待提升

• 问题：目前 CARLA 生成的 3D 场景虽然能满足测试需求，但在 “车辆细节纹理”“天气光影效果”“行人动作自然度” 等方面，和真实世界还有差距；
• 优化方向：结合 3D 高斯 splatting（3DGS）或扩散模型，提升场景的照片级真实感，让测试结果更贴近实际道路情况。

3. 动态交互的灵活性不足

• 问题：目前场景中车辆、行人的行为主要靠 “数据驱动模型” 预设，虽然贴近人类行为，但缺乏 “突发随机动作”（比如行人突然停下捡东西、车辆临时变道避让障碍物）；
• 优化方向：增强 AI 对动态元素交互逻辑的推理能力，比如让行人的动作更不可预测，或支持多辆车、多个行人的复杂互动（比如路口多方向同时抢行），让测试更严苛。

4. 小概率错误的规避

• 问题：偶尔会出现代码格式错误（比如 XML 标签写错）、仿真工具兼容性问题（比如 CARLA 无法识别某些车辆模型），导致场景运行失败；
• 优化方向：增加 “代码校验模块”，自动检查 AI 生成的代码是否符合仿真工具的语法要求，同时扩大模型的 “工具知识储备”，避免出现兼容性错误。

===========================================

******------------------------华丽的分割线----------------------******

===========================================

以下是文章正文部分详细内容介绍：

基于多模态大语言模型的自动驾驶真实极端场景生成方法

为保障自动驾驶系统的安全性与可靠性，极端场景在仿真环境中探究系统在罕见、高难度工况下的表现具有关键作用。然而现有方法往往难以满足多样化的测试需求，也无法有效适配那些高度贴合现实的新型高风险场景。针对这一难题，我们提出了 AutoScenario 框架 —— 一款基于多模态大语言模型的真实极端场景生成工具。该框架将多源真实世界中的安全关键数据转换为文本表征，依托大语言模型丰富的通用知识与先进的推理能力，实现关键风险因素的泛化提取；同时整合城市交通仿真工具 SUMO 与自动驾驶仿真平台 CARLA 的功能，简化并执行大语言模型生成的代码。实验结果表明，AutoScenario 能够生成贴合实际、具有测试挑战性的场景，且可精准匹配特定的测试需求或文本描述。此外，我们还验证了该框架可基于包含危险工况的多模态真实世界数据，生成多样化、创新性的测试场景，借助大语言模型强大的泛化能力，有效模拟各类极端场景。

1 引言

当前，安全性仍是自动驾驶车辆在公共道路大规模落地的核心障碍。提前发现并测试极端场景，有助于保障自动驾驶车辆的安全，加快技术研发周期。但随着自动驾驶性能的不断提升，其技术突破的难度也日益加大，原因在于极端场景的出现频率更低、表现形式也更为多样 [28]。因此，界定并识别最具测试价值的极端场景，对于自动驾驶技术的进一步提升至关重要。

学界已针对该问题开展了大量研究。例如，CODA [23] 从大规模自动驾驶数据集中精心挖掘极端场景 [5,17,30]，但该方法过度依赖自动驾驶车辆采集的真实行驶数据，不仅成本高昂，数据覆盖范围也存在局限；同时，重放预采集数据的方式无法与被测自动驾驶车辆产生动态交互，大幅降低了测试效果。另一方面，研究人员也探索了多种安全关键场景的合成方法，包括基于规则 [4,34] 和基于数据驱动的技术 [10,36,42]。但这类方法因依赖既定场景的初始条件，生成的场景多样性不足；此外，通过预设规则或对抗学习生成的场景往往缺乏现实性，因施加的扰动可能偏离符合现实的行为模式，进而降低测试过程的有效性。

与此同时，基于抽象需求实现灵活场景生成的有效控制机制，其研发进展较为缓慢。这一机制的研发至关重要，因为开发者对场景的构思往往较为宏观，而仿真实验却需要道路几何结构、车辆精准定位等精细化配置。若能通过语言描述实现场景生成的可控性，将成为衔接这一鸿沟的自然解决方案，让基于场景的测试更具实用性，同时加快自动驾驶系统的性能评估进程。

然而，构建这类基于文本条件的生成机制存在诸多挑战：不仅需要对静态环境要素和智能体行为进行全面建模，还需将自然的叙事语言映射为精细化的配置参数。以海量互联网数据为训练基础的大语言模型和视觉 - 语言模型的兴起，为解决该问题提供了可行思路 —— 这类模型已被证实具备卓越的学习、推理和复杂问题求解能力，其应用领域覆盖医疗、教育、金融、工程等多个行业 [7,19,22,27]，展现出显著的技术优势。

受上述技术进展的启发，同时为满足真实、多样化安全关键场景的测试需求，我们研发了 AutoScenario 框架。如图 1 所示，这是一套具备高度可控性的全自动化流程框架。该框架通过提示词工程，整合开源交通仿真工具 SUMO [29]、由虚幻引擎驱动且拥有高保真数字资产的开源仿真平台 CARLA [13,14]，以及数据驱动的深度学习模型，生成高度还原现实环境、包含各类核心要素的多样化场景。

本研究的主要贡献如下：

1. 提出 AutoScenario 框架，实现安全关键场景生成流程的自动化，同时为场景生成提供高度的可控性；
2. 高效利用多模态真实世界极端场景数据，在保留关键风险因素的前提下，提升生成场景的现实性；
3. 借助大语言模型的推理能力和通用知识实现场景的泛化生成，并结合仿真工具提升生成场景的稳定性与现实性。

2 相关研究

2.1 安全关键驾驶场景生成

安全问题是自动驾驶车辆大规模落地的首要阻碍，学界已投入大量精力通过测试识别并消除系统中的不安全因素 [15,49,50]。基于场景的测试方法已被证实，能有效评估自动驾驶车辆在极端场景下的表现 [31]。但由于现实世界的物理环境和交通状况具有固有的复杂性，生成贴合实际、合理的极端场景仍是一项重大挑战。有研究尝试通过重放真实场景采集的行驶数据解决场景现实性问题，但该方法无法与被测自动驾驶车辆产生真实的动态交互。

目前，生成高挑战性极端场景的方法主要分为两大类：数据驱动生成法和知识驱动生成法。数据驱动模型依托已采集的数据集提取信息 [25,38,47]，例如 NeuralNDE [46] 采用结合安全映射的 Transformer 网络生成符合现实的智能体行为，实现了与真实行为分布的层面匹配；STRVE [35] 学习基于图结构的条件变分自编码器作为交通先验模型，优化各智能体的行为以诱导其与基于规则的自动驾驶规划器发生碰撞；RealGen [12] 则采用编解码架构和基于检索的上下文学习方法，合成真实的交通场景。但这类方法仅能基于现有数据集生成场景，无法针对特定测试目标，生成可控的定制化场景。

知识驱动生成法是另一类研究方向，该方法将外部知识融入场景生成过程，也是机器学习领域的发展趋势。Klischat 和 Althoff [20] 采用进化算法，通过操控周边车辆缩小自动驾驶车辆的可行驶区域；Shiroshita 等人 [37] 强调场景中行为多样性和高驾驶操作难度的重要性，在其强化学习方法中设计了专用的策略集选择器，以平衡这两个要素；Ding 等人 [11] 将领域知识以一阶逻辑的形式构建为树状结构，实现了语义对抗生成（SAG）。但这类知识驱动方法生成的场景，普遍存在现实性不足的问题。

2.2 基于大语言模型的场景生成

自问世以来，多模态大语言模型已在自动驾驶系统中得到广泛应用 [8,9,41,45]，尤其是在生成多样化、真实的测试场景方面，成为自动驾驶测试与评估的关键技术 [6,24,26]。例如，ChatScene [48] 基于大语言模型，从已有的 Scenic 场景库 [16] 中生成测试场景；ChatSim [44] 借助外部数字资产，生成照片级真实的 3D 驾驶仿真场景。但这两种方法的场景多样性均存在局限：ChatScene 受限于固定的场景库，而 ChatSim 仅能修改现有场景，无法从零开始创建新场景。

大语言模型也被应用于极端场景的生成研究：CRITICAL [40] 利用大语言模型更新场景配置，优化自动驾驶训练用的关键场景，但该方法仅在高速公路场景中完成验证 [21]，无法适配不同的交通状况和道路布局；LEADE [39] 将大语言模型与自适应遗传算法结合，实现安全关键场景的搜索，但该方法假设背景车辆和行人严格遵守交通规则，可能忽略由交通参与者异常行为引发的安全关键场景；CTG++[51] 利用大语言模型将用户查询转换为损失函数，引导扩散模型生成符合查询要求的轨迹，但该方法仅能在预设道路地图和特定初始条件下，对智能体行为进行调整；LLMScenario [6] 基于少量的场景描述，利用大语言模型生成简洁的智能体轨迹，为场景工程提供支持，但该方法同样仅适用于高速公路场景，在更复杂的交通环境中仍需进一步研究。

基于安全关键场景的测试是自动驾驶领域的核心紧迫难题，该领域需要大量多样化、高度可控的测试场景，而现有方法仍无法充分满足这一需求。本研究旨在依托大语言模型，通过文本、图像、视频等多模态输入，实现安全关键场景的可控、高效生成，同时保证场景的多样性。

3 方法

本节将详细阐述 AutoScenario 的核心方法，该框架是由多模态大语言模型驱动、实现多模态输入到极端场景生成的工具。首先将为核心组件定义简洁的符号表示，随后介绍系统的整体流程，接着阐释通用解释器的关键设计，最后说明如何整合各组件实现极端场景的生成。

3.1 符号表示

我们将整个场景生成过程建模为一个编码 - 解码框架：无论输入数据的模态如何，首先将其编码为通用、可解释的语言空间表征，再通过多种代码解码，指导仿真工具精准重构具体的场景。

设SE为真实世界场景，其包含但不限于道路、各类交通参与者、静态物体、交通标志、天气状况等交通要素。在大语言模型的辅助下，构建统一的语言描述El={Eroad,Eobjects,Eagents,Eweather}，该描述涵盖道路结构、静态物体、智能体、天气状况等细节信息，整个生成过程均基于该统一的语言空间展开。环境状态到语言描述的映射关系可表示为：

在解码阶段，我们借助多个由大语言模型驱动的模块，并结合仿真工具生成最终场景。例如，路网生成器结合语言描述El和领域知识k，根据给定约束生成可行的车道配置；智能体生成器v基于语言描述L、路网结构n和领域知识k，生成智能体的行为模式；同理，物体生成器o依据L、n和k，在环境中完成静态物体的布局。最终，场景生成器S整合路网、智能体和静态物体，生成最终场景s，如公式 (1) 所示：

其中，∼表示从对应分布中采样。

为获取目标函数的嵌入特征，我们采用 text-embedding-ada-002 模型 [32] 从描述文本中提取嵌入向量，并通过余弦相似度计算两个嵌入向量间的距离。

3.2 整体流程

场景生成框架如图 2 所示，该流程支持多模态输入，包括但不限于：文本形式的用户需求、任意视角的图像、车辆行驶视角的视频。这些输入数据将送入由大语言模型驱动的专用解释器，生成标准化的场景描述 —— 该过程会从输入中提取核心要素，并补充多样化的细节信息，具体细节见 4.2 节。

我们通过定制化的注意力机制对多模态输入进行预处理，基于真实世界的输入信息生成统一的场景描述：对于简短的用户需求，对其进行扩展以生成更详细的描述；对于事故报告这类具有固定叙事风格的长文本，将信息按道路、静态物体、智能体、天气四个维度重构；对于图像输入，采用思维链（CoT）[43] 方法提取分层的风险相关信息；对于视频输入，先对视频进行下采样，再通过基于记忆的处理方式，从输入场景中重构完整的路网结构和运动连续性信息。相关的详细提示词见附录。

道路结构在场景生成和识别极端场景关键风险因素中起到核心作用，本研究采用两种方法实现路网生成：第一种是利用解释器生成的语言描述El调用路网生成器，输出 XML 格式的路网文件；第二种是通过 GPS 输入从开源地图平台 OpenStreetMap [3] 中获取真实的道路几何结构，并转换为 net.XML 格式。智能体生成器基于Eagents生成各类交通参与者，包括行人、骑行者，以及卡车、乘用车等各类车辆；借助大语言模型完成智能体在场景中的定位，并为其分配合理的行驶速度，随后结合数据驱动的智能体模型开展闭环仿真，还原特定交通条件下类人的行为模式和交互过程。而物体生成器则负责创建车道标线、交通标志、护栏、交通锥等静态要素，这类要素在场景中保持不变。

3.3 核心工具集成

如图 3 所示，本研究借助大语言模型将 SUMO、CARLA 和数据驱动模型无缝集成，共同生成最终的测试场景。

1. 路网生成器：道路几何结构是结构化的对象，可通过由节点和边构成的图进行表征。为降低纯生成方式的错误率，我们通过提示词引导大语言模型生成符合 SUMO 规范、以 XML 格式定义的节点和边文件，再结合领域知识（即 SUMO 工具的相关规则）转换为完整的路网图，具体示例见 4.2 节。该设计并非局限于 SUMO 及其 XML 格式，由于路网天然具备图结构特征，可通过其他结构化语言 [1] 进行表征，并利用图工具 [18] 处理，适配 MATSim [2] 等其他仿真平台。
3. 场景生成器：我们利用大语言模型直接生成 Python 代码，通过 CARLA 的 Python 接口实现对 3D 场景中智能体的控制；自动调用 CARLA 库中的蓝图，构建多样化的交通参与者，并模拟不同的天气状况；同时借助数字孪生工具实现场景的真实渲染，所有关键风险因素均通过接口自动生成。
5. 智能体行为模块：基于统一的场景描述El生成关键时刻的场景状态后，利用经训练的数驱动行为模型，在给定场景中还原类人的行为动作。

4 实验

本节将从定量和定性两个维度评估 AutoScenario 框架的性能：首先验证其生成真实、多样、可控场景的能力；随后展示其基于多模态输入生成安全关键场景，用于自动驾驶测试的实际应用，并通过基于大语言模型的自动驾驶车辆的表现，定量评估生成场景的测试挑战性；最后通过消融实验，验证框架各核心组件的作用。

4.1 生成场景的现实性、多样性与可控性

实验结果表明，在合理的提示词引导下，整个系统生成的场景具备高度的可控性和多样性。

图 5 展示了两组基于图像解释器的生成示例，解释器能有效识别路网配置、车辆数量与颜色、施工锥等障碍物在内的场景核心要素，这些信息随后由组件生成器和场景生成器无缝转换为三维仿真场景。

为系统评估场景生成的多样性和保真度，我们定义了一系列指标，分别衡量生成过程中两个核心模块（解释器和生成器）的性能：

1. 一致性指标：衡量文本描述与生成场景的匹配程度，涵盖路网结构、物体、智能体及中间代码等维度，同时通过成功率评估生成的代码能否被 SUMO 和 CARLA 正确识别；
2. 多样性指标：评估不同生成场景间属性的差异程度。

相关实验细节和指标定义见附录。