自动驾驶车辆测试评价体系设计与全流程自动化评测方法

8.3 测试评价体系设计

8.3.1 指标权重确定方法

在确定评测指标后，下一步是为各指标分配权重。常用的指标权重确定方法包括层次分析法、熵权法和序关系分析法等。前两种方法计算量较大，层次分析法需要对每个指标进行特征向量计算，这使得在指标较多时不易操作；而熵权法中的数学公式较为复杂，随着指标数量的增加，计算量也会大幅增加。

相比之下，序关系分析法计算量较小，是对层次分析法的一种优化，它省去了计算特征向量的步骤，特别适用于指标数量较多的评价体系。本小节将对采用序关系分析法来确定各指标的权重的实现过程进行详细介绍。算法的具体过程如下。

8.3.2 场景指标权重计算

下面以泊车入库测试场景为例对权重赋值过程进行介绍。自主泊车测试场景如图8-7 所示。场景中停车位的大小等规格依据国家标准进行设定（2.5m×5.3m），相关评价标准（表8-2）也是在综合考虑国家和各企业的有关标准后进行设定的[26-28]（如8.2节中所述）。由于测试场景中暂无其余运动车辆和红绿灯等交通标志，暂不考虑标准合

规性和交通协调性。用序关系分析法对指标的权值进行确定，具体过程简述如下。

安全性、驾驶舒适性和驾驶性能之间的序关系式为：安全性驾驶舒适性驾驶性能，重要度分别为3、1，由式（8-7）和式（8-8）可以得到安全性、驾驶舒适性和驾驶性能的权重集为［0.6，0.2，0.2］。

最小TTC、TET 和NCJ 之间的序关系式为：TTC TET NCJ，重要度分别为1.4、1.2，由式（8-7）和（8-8）可以得到最小TTC、TET 和NCJ 的权重集为［0.43，0.31，0.26］。

最大加速度、最大减速度、最大加速度变化率、最大减速度变化率、最大横摆角速度、最大横摆角速度变化率之间的序关系式为：最大加速度最大减速度最大加速度变化率最大减速度变化率最大横摆角速度最大横摆角速度变化率，重要度分别为1.2、1.4、1、1.2、1.2，由式（8-7）和（8-8）可以得到相应的权重集为［0.25，0.21，0.15，0.15，0.13，0.11］。

通行效率和泊车完成质量之间的序关系式为：泊车完成质量通行效率，重要度为1.4，由式（8-7）和（8-8）可以得到通行效率和泊车完成质量的权重集为［0.42，0.58］。

一级评测指标和二级评测指标的详细权重见表8-7。其中，泊车完成质量的具体分数依据表8-2 进行评估，各指标的重要性根据测试目的和对象的不同而有所变化，因此，权重值在不同测试中将有所不同[27-28]。

基于选定的评价指标和权重，测试车辆的最终量化评分可以通过加权法或其他合适的数学模型计算得到。具体而言，首先为每个评价指标根据其在整体评估中的重要性分配相应的权重；然后，将各个指标的得分乘以其权重，得到加权得分；最终，所有加权得分的总和即为车辆的综合评分。此过程能够全面反映车辆在各个评估维度上的表现，确保评分的客观性和公正性。

在实际应用中，量化评分的计算不仅仅是一个简单的加权求和过程。为了确保评估的准确性和全面性，可能还需要考虑不同指标之间的相互关系和依赖性。例如，安全性、驾驶性能和舒适性等维度可能会互相影响，需要通过精确的模型来处理这些复杂的关系。此外，评分过程中还可能涉及一些标准化处

理，例如对各项指标的归一化，以消除不同维度之间的量纲差异，确保评分结果的可比性和合理性。

这种基于量化评分的评测方法，使得测试结果具有高度的可操作性和透明度。最终的评分不仅能够帮助测试人员快速了解车辆的综合表现，还能够为后续的系统优化、设计改进以及法规合规性验证提供重要依据。

8.3.3 全流程自动化评测体系

自动驾驶车辆的全流程自动化评测体系是一种系统化的评估方法，旨在通过高效、全面、客观的手段对自动驾驶系统进行严格的测试和评估。该体系涵盖了从开发阶段到部署实施阶段的各个环节，自动化评测可以显著提升测试效率，降低成本，并确保自动驾驶车辆在复杂环境中的安全性和可靠性。

自动驾驶的安全性通常指碰撞安全和功能安全，其中碰撞安全是智能驾驶测试的首要目标，也是综合性能评测的前提。然而，现有研究大多将碰撞安全与其他评测度量放在同一层级，这样很难合理、客观地量化自动驾驶车辆的多维度综合性能。本章提出的智能驾驶自动化评测系统架构将碰撞安全性作为评测系统的第一层级。碰撞安全性利用事故率来表示。只有通过碰撞安全性评测的自动驾驶车辆才能进行第二层级的多维度综合性能评测。

全流程自动化评测系统的内部运行逻辑如图8-8 所示。首先，从测试场景库中提取测试场景，在联合仿真测试平台上对自动驾驶车辆进行测试。然后，判断自动驾驶车辆是否在没有碰撞的情况下通过当前测试场景。假设自动驾驶车辆在没有碰撞的情况下完成了所有n 个测试场景。在这种情况下，将进一步进行第二层级的综合性能评测，包括构建评测矩阵、通过基于指标去除效应的方法计算客观的评测度量权重以及计算综合评测分数。如果在自动驾驶车辆测试过程中发生碰撞，则计算碰撞次数j。如果当前自动驾驶车辆的事故率大于阈值γc，则认为该自动驾驶车辆不合格，无需继续进行综合性能评测。如果当前

自动驾驶车辆的事故率低于阈值γc，则进一步进行综合性能评测，并计算综合性能评测分数。

为了充分测试自动驾驶算法的安全性和稳定性，所设计的全流程自动化评测系统可以针对某一具体场景重复进行几百次甚至上千次仿真运行，记录下每次仿真运行过程中的实际数据，对每次仿真进行评分，当所有场景运行结束后，将通过测试的有效分数取平均分，得到测试车辆的最终评分，根据最终评分判断所设计的算法是否合格。

自动驾驶车辆的全流程自动化评测体系可以有效对自动驾驶车辆的多维度性能进行全面的客观量化和评测，具有广阔的应用前景和潜力。以下是全流程自动化评测体系的主要优点。

提升测试效率和覆盖范围：传统的自动驾驶测试往往依赖人工操作进行路测，存在周期长、成本高、场景单一等问题。而通过全流程自动化评测体系，测试过程可实现高度自动化，测试用例的执行和数据采集都能自动化完成，极大提升了测试的效率。更重要的是，自动化评测能够涵盖更广泛的测试场景，从城市街道、高速公路到复杂的天气条件、夜间驾驶等，确保能够在多种复杂情况下对自动驾驶系统进行全面评估。

高精度与高一致性：自动化测试通过预设的标准化流程进行，无论是仿真环境中的测试还是实车测试，都能确保每次测试时测试条件的一致性。这种一致性消除了人工操作中可能存在的偏差和误差，使得测试结果更加可靠且具有较高的可重复性。自动化评测还可以实时监控测试过程，确保每项测试任务按照既定的标准执行，从而最大程度地减少人为错误的发生。

降低测试成本：自动化评测体系大大减少了人工干预的需求，不仅降低了人工成本，还能节省因人工操作不当而产生的额外开支。特别是在场地搭建、交通模拟、数据采集等环节中，自动化技术可以显著提高资源利用率，同时，通过虚拟仿真技术，可以有效减少实车测试的频率，从而进一步降低整体的测试成本。

加速迭代与优化：自动驾驶技术需要在多个阶段进行验证和优化，而全流程自动化评测体系能够实现快速反馈和快速迭代。通过自动化工具，开发团队可以在短时间内对多个测试场景进行多次评估，快速识别系统中的潜在问题并进行修复。这种高效的迭代过程不仅加快了技术的成熟，也为自动驾驶车辆的优化提供了强有力的数据支持。

多层次的性能评估：自动化评测体系能够对自动驾驶系统的各个方面进行全面的评估，包括感知系统、决策算法、控制系统以及与驾驶员交互的能力等。通过对不同测试指标的综合评估，可以全面了解系统的性能，确保每个子系统都能在实际道路上无缝协作，从而保证自动驾驶车辆在真实环境中的安全性和可靠性。

提升安全性与可控性：自动驾驶技术的核心挑战之一就是安全性，而自动化评测体系能够模拟各种极端情况和复杂情境，进行系统的极限测试。例如，系统可以在模拟的碰撞、紧急制动、复杂交通环境等场景下进行测试，确保自动驾驶系统在突发情况下能够及时做出反应并保持车辆安全。自动化评测可以更加系统地测试车辆的应急响应能力和安全冗余机制，提高系统的可靠性。数据驱动的分析与决策：自动化评测体系依赖强大的数据采集和分析能力，能够实时记录每一项测试的数据，并通过大数据分析技术进行处理。这些数据不仅可以用于评估当前自动驾驶系统的性能，还能帮助开发团队识别潜在的改进方向，预测系统在不同场景下的表现。通过数据驱动的分析，开发团队能够做出更加科学、合理的决策，确保自动驾驶系统的持续优化和提升。

支持多种测试方式的融合：自动化评测体系不仅支持传统的实车测试，还能结合虚拟仿真测试、HIL 测试和SIL 测试等多种测试方式，形成闭环的评估体系。虚拟仿真技术可以在初期阶段快速评估自动驾驶系统的性能，而HIL 和SIL 测试则可以在硬件和软件层面深入测试各个模块的协同工作能力[29]。通过这种多层次、多维度的测试方式，可以最大限度地确保自动驾驶系统的完整性和健壮性。

自动驾驶车辆的全流程自动化评测体系在提升测试效率、降低成本、保证测试质量、提升安全性以及提供数据驱动的决策支持等方面具有显著的优势。

随着自动驾驶技术的不断发展，构建高效、智能的全流程自动化评测体系将成为自动驾驶技术验证和应用推广的核心驱动力。

点击以下链接购买

作者简介

王琳，上海交通大学教授、博士生导师，上海市曙光学者，长期从事网络化系统的控制、优化与博弈研究。

本书聚焦智能网联汽车研究领域的关键环节——测试场景生成与多维度综合测试评价方法，详细阐述了智能网联汽车静态交通场景的生成技术，并探讨了智能网联汽车关键测试场景的生成策略，充分挖掘了智能驾驶系统在极限条件下的性能表现，通过深入剖析智能网联汽车仿真场景库的构建，为智能驾驶车辆的测试提供了丰富且多样化的虚拟场景基础。本书还系统介绍了软件在环测试（SIL）、实车在环测试（VIL）以及实车测试三种主要测试模式，它们相互补充、相互验证，构建起一个完整的智能驾驶车辆测试链条。此外，本书还构建了一套多维度评价体系和评测方法，综合考量智能驾驶车辆在不同测试场景下的表现，为技术评估、产品认证以及市场准入提供客观、公正的依据。

本书由机械工业出版社出版，本文经出版方授权发布。

通过仿真和客户应用案例推动NVH开发

识别二维码报名