自动驾驶测试评价指标体系发展现状解析

自动驾驶系统测试不仅需要构建测试场景，更需要建立科学合理的评价指标体系。不同机构和研究团队针对自动驾驶车辆的安全性、舒适性、交通协调性以及智能化水平提出了不同的评价方法和指标体系。从产业界的51VR评价模型，到中国智能车未来挑战赛，再到ALFUS自主性等级框架与DARPA评价体系，自动驾驶评价指标正在不断完善。本文将结合国内外典型研究成果，对自动驾驶测试评价指标体系的发展现状进行介绍。

本篇内容选自《AI汽车：场景生成与测评》第8章，主要介绍自动驾驶测试体系的基本组成、综合评价体系的总体框架以及当前主流自动驾驶评价方法。

8.1.2 测试评价指标

自动驾驶系统的性能评估需构建多维度的量化评价体系。当前行业尚未形成统一标准，学术界与产业界依据不同技术路径从不同的维度和侧重点给出了评价指标和方案。在产业实践层面，51VR 公司于《中国自动驾驶仿真技术研究报告（2019）》[6] 中提出的四维评价体系具有代表性，如图8-2 所示。该体系基于标准化交通场景，通过终点达成率、交通违规次数等原子指标，结合加速踏板开度、方向盘力矩等车辆状态参数，从驾驶安全性、驾驶舒适性、交通协调性和标准匹配性四个维度建立量化评估模型。

我国的“中国智能车未来挑战赛”的评估体系演进反映了行业需求的技术变迁。自2009 年首届赛事以来，评估重点从初期的感知层单项能力验证（如交通标志识别率）逐步转向综合性能测试。2013 年第五届赛事开始构建“安全- 智能- 平稳- 效率”四维评价框架，2018 年分成真实道路环境测试（含城市道路、城郊道路和高架快速道路）、复杂环境认知水平能力离线测试两部分。

其中，真实道路环境测试着重考察无人驾驶智能车辆的交通场景识别能力以及在不同道路环境中的安全性、舒适性、敏捷性和智能性；离线测试则在大规模真实道路交通场景数据库的基础上，通过仿真环境评估无人驾驶车辆各类交通环境感知算法的基本认知能力和水平。2024 年赛事开始重点考察和评测智能车在大模型背景下的人机交互能力和复杂场景下的全自动驾驶能力，包括前车坠物、跨车道易误检广告牌、非配合目标突现、人造雨雾、隧道、非封闭真实交叉路口、施工区域等挑战。这种动态演进的评估机制为自动驾驶技术迭代提供了重要参照。

学术界的研究则更注重理论体系的完备性。同济大学熊璐教授团队提出的多维度评价体系[7-8]，采用分层量化架构：首先通过基础环境的复杂度（动态交通要素和静态交通要素）、附加环境的复杂度（气候、信息等）、任务复杂度等参数对测试环境复杂度进行量化建模，进而从行驶自洽性、学习进化性和交通协调性三个维度构建自动驾驶算法的评估模型，如图8-3 所示。

在安全评价方面，对安全替代指标的研究经历了从传统交通向自动驾驶的范式迁移。首先，通用汽车于1968 年推广了分析交通冲突而不是仅仅分析交

通事故的概念。从标准上讲，客观识别和衡量此类冲突的基础已经在20 世纪70 年代奠定，其中包括Hayward、Hydén 和Allen 等人都提出了相应的概念[9]，

在某一时刻t 的TTC 值被定义为两辆车在保持行驶路线和速度差的情况下发生碰撞前的剩余时间。碰撞时间分布已被应用于多项研究，以识别交通安全问题。除了关注安全替代指标外，现有研究还讨论了其与交通事故研究相关的联系和特性。当前研究正着力推动这些指标在自动驾驶领域的适配改造，如通过虚拟碰撞能量模拟系统在极限工况下的安全裕度，建立ISO 39001：2012《道路交通安全管理体系—要求及使用指南》标准与自动驾驶决策鲁棒性的映射关系，为构建预期功能安全（SOTIF）验证体系提供理论支撑。

目前，关于如何评价和量化自动驾驶车辆的性能尚未形成统一的标准体系。不同的学者、企业和研究机构根据不同的维度和应用范围，提出了各自的评价指标和评价范式。AI 技术在评测指标的优化和统一方面具有巨大潜力。通过对大量自动驾驶车辆测试数据进行分析和学习，可以自动发现不同评测指标之间的相关性和重要性，利用主成分分析、因子分析等方法对指标进行降维和筛选，提取出最具代表性和关键的评测指标，为构建统一的评测标准提供数据支持。例如，在安全性评测指标方面，AI 可以综合考虑车辆的避碰能力、紧急制动性能、环境感知可靠性等多个指标，通过机器学习算法建立综合的安全评价模型，避免单一指标的局限性。同时，还可以根据测试场景和车辆类型的不同，动态调整评价指标的权重和阈值，使评价结果更加客观和准确。

在自动驾驶领域，安全替代指标通常被视为关键性指标，而运动模型在评估场景时起着至关重要的作用。研究人员分析了不同类别的运动模型在风险评估中的适用性，包括基于物理学的运动模型、基于操纵的运动模型和基于交互感知的运动模型。基于物理学的运动模型适用于低级别自动驾驶车辆，其假设车辆的运动仅受物理规律的制约。这类模型能够有效地计算风险，但其局限性在于主要适用于短期碰撞预测。基于操纵的运动模型适用于更高级别的自动驾驶车辆，因为其认为车辆的未来运动不仅受到物理规律的影响，还与驾驶员打算执行的操作密切相关。这类模型对长期运动和风险提供了更为可靠的估计，但也有其不确定性，因为它们忽视了场景中车辆之间的相互依赖关系。基于交互感知的运动模型考虑了车辆行为之间的相互依存关系，能够提升自动驾驶车辆的性能，然而，其高计算复杂性意味着很难实现实时的风险评估。

关键性指标体系的构建需要兼顾宏观系统安全与微观场景风险。宏观层面关注系统级安全性能，如每百万公里致命事故率、ISO 26262 功能安全达标率以及预期功能安全（SOTIF）场景覆盖率等指标。微观层面则聚焦场景级风险量化，形成时间维度（碰撞时间、后侵入时间）、空间维度（减速度要求冲突指数［DRAC］、车头时距［THW］）和动力学维度（加速度变化率［Jerk］、替代安全度量［SSM］）的三位一体评估框架。值得注意的是，TTC 指标的计算需结合场景特征进行动态修正，在换道等场景中需引入横向速度分量构建扩展TTC 模型。此外，研究人员还为宏观风险和微观风险定义了相关的评估度量，提出了可用于自动驾驶系统安全验证的宏观风险评估指标，并利用不同的指标识别数据中的关键场景。

基于关键性能指标的自动驾驶车辆测试方法，通过评估车辆状态的后验测量来计算自动驾驶车辆的性能。这些性能指标用于评估自动驾驶车辆是否达到了预定的性能标准。在安全关键测试指标下，关键性能指标包括基于时间的指标（如碰撞时间、制动时间和反应时间）、基于距离的指标（如纵向和横向距离）、基于速度的指标（如相对速度）以及基于加速度的指标（如紧急制动所需的减速度）。这些指标通常用于衡量特定场景下的安全性能。与特定场景下的性能指标不同，非特定场景下的性能指标通常通过自动驾驶车辆的通用特征来建立，例如使用高度抽象的自动驾驶仿真模型，这些模型具有足够的通用性来表示不同类型的自动驾驶车辆，或是仅依赖于基于环境的关键性指标。关键性能指标主要用于刻画自动驾驶车辆的性能是否符合要求，而替代安全措施则常用于评估自动驾驶车辆在不同场景下的危险程度，从而确定其安全水平。常用的替代安全措施中的评估指标包括：碰撞时间、后侵占时间、加速度变化率和速度差、碰撞暴露时间（TET）、累计碰撞时间（TIT）、追尾碰撞风险指数（TERCRI）、临界加速度变化率次数（NCJ）以及换道冲突等。

基于不同的评估指标和自动驾驶车辆的测试目标，研究人员从多个角度提出了各自的评价指标体系。美国国家标准与技术研究院无人系统自主性等级（ALFUS）[10] 将评测指标体系分为任务复杂度、环境复杂度和人工交互依赖度三个维度，并据此将自动驾驶车辆的智能水平划分为10 个级别，该框架对各类无人系统（包括无人驾驶车辆在内）进行了全面的评价和等级划分，首次为无人系统的自主性评价建立了规范化框架，并提供了理论指导。在10 级体系中，1~3 级表征简单环境条件较低级任务要求，需要较高人工干预程度；4~6级表征中等复杂环境条件，中等难度多功能任务要求，需要中等人工干预程度；7~9 级表征复杂环境条件，高复杂性、协作性任务要求，需要较低人工干预程度；第10 级表征各种极端环境条件，高复杂度任务，趋近于无人工干预的完全自主程度。

美国国防高级研究计划局（DARPA）在其举办的DARPA 城市挑战赛中按照比赛车辆的任务完成时间和任务完成质量进行评价。此外，研究人员还提出了一个分层次的综合评测体系，结合专家评价法和模糊可扩展层次分析法，从基本车辆控制行为、基本行车行为，到高级行车行为和高级交通行为等五个方面，对自动驾驶车辆的性能进行评估。针对不同的测试工况，研究人员还提出了指定关键性能指标的方法。例如，对于自适应巡航功能，关键性能指标包括碰撞时间、车辆加减速度和油耗等关键性能指标；对于自动泊车功能，则侧重于地图生成、全局规划和车辆控制等方面的关键性能指标。对于自动驾驶车辆在多车交互的高维连续系统中的运行，研究人员提出了模型预测瞬时安全度指标，对传统TTC 指标进行了扩展，从而提高了对自动驾驶车辆操控安全性的评估能力。与此同时，研究人员还提出了布尔型评价方法和数值型评价方法[11]，其中数值型方法从安全性、平顺性和智能性三个方面对自动驾驶车辆进行评测，并通过测试任务融合了基于场景和基于功能的两种测试方法。针对自动驾驶车辆的测试，研究人员还提出了安全性、舒适性等评估指标，并针对自动驾驶车辆的运行设计域、车辆模型及性能指标提出了生成有效测试场景的方法。在进行自动驾驶评测时，首先需要明确评价的目的和评价对象[12]。评价目的可以进一步细分为纵向比较和横向比较。纵向比较主要是衡量自动驾驶车辆在某一性能方面相比于其前一个版本的改进情况，而横向比较则从多个角度对不同自动驾驶车辆进行性能对比。目前，已有的评价方法多集中于横向比较，即不同自动驾驶车辆之间的性能比较，而对自动驾驶车辆性能的纵向比较较少关注[13]。

随着基于学习的智能驾驶技术的进步及其在自动驾驶车辆中的广泛应用，进行全方位的纵向比较也变得越来越重要。

点击以下链接购买

作者简介

王琳，上海交通大学教授、博士生导师，上海市曙光学者，长期从事网络化系统的控制、优化与博弈研究。

本书聚焦智能网联汽车研究领域的关键环节——测试场景生成与多维度综合测试评价方法，详细阐述了智能网联汽车静态交通场景的生成技术，并探讨了智能网联汽车关键测试场景的生成策略，充分挖掘了智能驾驶系统在极限条件下的性能表现，通过深入剖析智能网联汽车仿真场景库的构建，为智能驾驶车辆的测试提供了丰富且多样化的虚拟场景基础。本书还系统介绍了软件在环测试（SIL）、实车在环测试（VIL）以及实车测试三种主要测试模式，它们相互补充、相互验证，构建起一个完整的智能驾驶车辆测试链条。此外，本书还构建了一套多维度评价体系和评测方法，综合考量智能驾驶车辆在不同测试场景下的表现，为技术评估、产品认证以及市场准入提供客观、公正的依据。

本书由机械工业出版社出版，本文经出版方授权发布。

通过仿真和客户应用案例推动NVH开发

识别二维码报名