保障自动驾驶系统(ADS)的安全性与可靠性,需要在动态且难以预测的道路环境中对其进行充分测试。与传统软件不同,ADS 的许多行为只有在运行过程中才能被观察,这要求测试方法持续与被测系统及其仿真环境交互,根据实时状态动态生成、执行和验证测试场景。围绕这一目标,我们团队从自然语言测试规约的动态生成与执行、事故报告到可执行仿真场景的模型转换,以及动态驾驶场景建模与交通规则评估三个方向展开探索,形成了 LiveTCM、Crash2OpenX 和 MoRE 三项工作,共同推动自然语言中的测试知识转化为可执行、可验证的测试用例。LiveTCM:让测试规约动态执行
LiveTCM 面向 ADS 运行环境持续变化、静态测试脚本难以适应的问题,将自然语言测试规约转换为结构化模型,并在仿真过程中与被测系统持续交互,动态生成、执行和验证测试步骤。该工作建立在团队此前 RTCM 方法的基础上,通过元模型形式化测试配置、测试序列和测试预言等概念,并使用受限自然语言减少测试描述中的歧义。LiveTCM 支持编辑和查看前置条件、测试配置、测试步骤与验证条件,还可以结合多种测试场景生成策略,根据系统和环境的实时状态调整后续测试活动。由此,测试规约不再只是一份测试开始前写好的静态文档,而成为能够直接驱动仿真、在运行中持续演化,并帮助测试人员理解系统行为的工程资产。
Crash2OpenX:让真实事故在仿真中复现
Crash2OpenX 将真实事故经验引入自动驾驶仿真测试。真实事故报告记录了道路结构、车辆关系、驾驶动作和碰撞过程,是发现高风险场景的重要来源,但这些信息通常分散在自然语言描述中,依靠人工理解和重建不仅成本高,也容易产生偏差。Crash2OpenX 以常见格式的 PDF 或纯文本事故报告为输入,并从报告中提取并组织道路、车辆、动作和事件等关键信息,生成相互匹配的 OpenDRIVE 1.5 道路网络模型和 OpenSCENARIO 1.0 动态场景模型:前者用于描述道路的几何结构与拓扑关系,后者用于描述交通参与者、动作及事件。随后,这组模型会被载入开源自动驾驶仿真平台 CARLA,由自动驾驶智能体执行和重放。原本只能阅读和分析的事故文本由此成为可执行的仿真场景,使研究人员能够在不同 ADS 上反复检验真实事故所揭示的风险。
MoRE:让交通规则成为自动判定依据
MoRE 面向 ADS 仿真测试中交通规则难以形式化表达和自动判定的问题,提供了一套从场景建模到运行时规则评估的完整方法。与碰撞等结果相比,超速、违规变道等行为往往涉及一段时间内的连续状态、事件先后关系及具体道路上下文,很难依靠简单条件进行检查。MoRE 通过元模型统一描述车辆、道路、交通设施以及随时间变化的状态和行为事件,并基于此构建规则 DSL,将自然语言交通规则转换为可执行的时序与事件约束。在工具层面,MoRE 与 CARLA 仿真环境集成,通过采集运行数据、构建场景状态并进行规则求值,支持在线监测和离线评估;它不仅能够检测参数化超速、跨越黄色实线变道等违规行为,还能定位具体违规时刻、仿真帧和相关场景信息,并输出完整评估报告,为测试结论提供可追溯、可复现和可解释的证据。
三项工作虽然面向不同类型的文本知识,却沿着同一条技术主线展开:LiveTCM 将测试意图转化为可动态执行的测试规约,Crash2OpenX 将事故描述转化为可复现的仿真场景,MoRE 将交通规则转化为可自动判定的测试依据。三者共同探索了如何将文本化自然语言中的测试知识转化为可执行、可验证的测试用例,使测试过程不仅能够自动运行,还能够复现、解释并沉淀测试证据。
相关工作链接:
LiveTCM:
https://www.modelcopilot.org/livetcm.html
Crash2OpenX:
https://www.modelcopilot.org/crash2openx.html
MoRE:
https://www.modelcopilot.org/more.html