8.2 多维度综合测试评价指标介绍
在调研相关文献和政策法规的基础上,参考了《智能网联汽车产品测试评价白皮书》和51VR 公司发布的《中国自动驾驶仿真技术研究报告(2019)》等文献[21],确立了五个评价维度:驾驶安全性、驾驶舒适性、驾驶性能、标准合规性和交通协调性。针对这五个维度,建立了相应的评价指标体系,具体指标和选取方式见表8-1。所设计的评测体系旨在全面、综合地反映自动驾驶车辆的智能水平,并实现自动化测试流程,因此建立了由客观指标组成的联合指标评价体系。
在此过程中,参考了工业和信息化部等部门发布的《智能网联汽车道路测试管理规范(试行)》、中国汽车技术研究中心发布的《中国智能网联汽车技术规程》,以及《中国汽车消费者研究与评价(CCRT)2024 年版(修订版)》等文件,还参考了i-VISTA 国家智能汽车集成系统试验区发布的《智能安全总体评价规程》和《智能泊车辅助评价规程》等[22]。此外,还借鉴了交通研究中常用的替代安全措施相关指标。
8.2.1 安全性指标
安全性是自动驾驶车辆智能化的基本前提,也是自动驾驶技术的核心要求。安全性包括功能安全和碰撞安全两个方面。功能安全指的是在自动驾驶系统发生故障的情况下,系统是否能够保证车辆的安全;碰撞安全则是指自动驾驶车辆在行驶过程中,是否能够避免与周围的车辆、交通设施或其他交通参与者发生碰撞。对自动驾驶系统的安全评估需遵循ISO 26262:2018《道路车辆—功能安全》与ISO 21448:2022《道路车辆—预期功能安全》双轨标准,这两部标准也是最重要的,是自动驾驶车辆应当首先满足的,如果无法满足这两部标准,则该自动驾驶车辆也不具备上路行驶的资格。然而,现有的研究大多将碰撞安全性与其他评价指标放在同一水平,无法对自动驾驶汽车的多维性能进行合理、客观的量化。为解决这一问题,该自动化评测体系以碰撞安全作为评测系统的第一级。碰撞安全性用事故率来表示。只有通过碰撞安全评测的自动驾驶汽车才能进行第二级多维综合性能评价。具体来说,如果被测自动驾驶车辆不能在随机抽取的数个具体场景中,达到90% 以上的场景通过率(在无碰撞的情况下通过场景),则认为该自动驾驶车辆属于不合格车辆,也不需要进行下一步的车辆评分。在此前提下,该自动化评测体系中,所提出的安全性指标与之前的研究中常用的安全性指标(是否发生碰撞、故障时是否安全等)不同,它采用替代安全措施(Surrogate Safety Measures)来评估自动驾驶算法的安全性。替代安全措施是一种广泛应用于道路网络和交通流中撞车风险评估的方法,尤其是在碰撞事件属于稀有事件的情况下,它能够提供有效的评估。由于交通仿真软件通常采用无碰撞跟随算法,因此,替代安全措施显得尤为重要。这里重点选取了三种常用的替代安全性指标:TTC、TET 和NCJ。
TTC 是目前常用的一种安全性替代度量,它表示在后车比前车速度快且速度差不变的情况下,两车发生碰撞所需的时间,见式(8-1)。
式中,TTCn(t)是后车n 在t 时刻的TTC 值;x 是车辆的位置;v 是车辆速度;Ln-1是前车的车长。
TTC 值越小,表明车辆处于越大的风险中,当TTC 小于一定值时,则认为处于危险情况下。依据标准ISO 15623:2013《运输信息和控制系统 前方车辆碰撞警告系统 性能要求和试验规程》以及GB/T 33577 — 2017《智能运输系统 车辆前向碰撞预警系统 性能要求和测试规程》,可以选取TTC 阈值为2.4s。TET 由此派生出,它表示处于危险情况下的总时间,由低于TTC 阈值(TTC*)的TTC 值确定,见式(8-2)。
Jerk 代表加速度的变化率,见式(8-3),可以用于衡量冲突的严重性。有研究表明关键或危险的加速度变化率(即小于或等于-9.9m/s3 的加速度变化率)与碰撞事故之间存在正比关系,因此有学者在研究中将小于或等于-9.9m/s3 的加速度变化率的数量(即NCJ)作为计算安全关键驾驶行为的指标。在这里,也采取NCJ 这一指标作为安全性指标之一。
与一般的仅检测是否发生碰撞的评价指标不同,本书中加入了这些替代安全措施,对车辆的安全性进行了更细化的评估。
在实车评测中,真实数据通常通过多种传感器(如摄像头、激光雷达、毫米波雷达等)进行采集。这些传感器可以提供有关被测自动驾驶车辆周围环境的实时信息,包括其他交通参与者、交通标志、道路结构、障碍物等。获取到的数据经过预处理后,通常会输入深度学习算法中进行进一步分析。以YOLO为代表的深度学习目标检测算法被广泛应用于实时图像处理和目标识别中。
YOLO 算法通过单次前向传播就能实现目标的分类与定位,具有高效和快速的特点,能够实时识别车辆、行人、交通标志等关键元素。
此外,为了提高感知的准确性与鲁棒性,传感器融合技术也常用于将来自不同传感器的数据进行综合处理。通过融合不同传感器的数据,可以获得更加全面和精确的环境感知结果,从而进一步提升自动驾驶车辆监测周围信息的准确性和有效性。
8.2.2 驾驶舒适性指标
驾驶舒适性是自动驾驶车辆评估中的一个重要方面,主要关注驾驶员或乘客在自动驾驶车辆行驶过程中的体验与感受。传统汽车通常从车辆振动、座椅舒适度等方面对该指标进行评价,而对于自动驾驶车辆,则主要评估其智能驾驶算法是否能够平稳控制车辆,避免频繁出现不平稳行驶的情况。根据参考的各类智能车辆测试评价规程,并结合仿真平台上的测试环境,此处选取了最大加减速、最大加速度变化率、最大横摆角速度等作为评价指标。通过记录行驶过程中的相关数据,判断车辆的行驶及转向是否平稳。值得注意的是,根据测试场景和工况的不同,具体的评价指标会有所调整。具体指标和对应情况已在表8-1 中列出。
8.2.3 驾驶性能指标
驾驶性能主要评估测试自动驾驶车辆完成任务的时间和质量。任务完成时间反映了自动驾驶车辆智能驾驶算法的效率,而任务完成质量则体现了自动驾驶车辆的智能驾驶算法的控制能力。任务完成时间越短,意味着测试任务的效率越高,驾驶性能越好。任务完成质量则依据不同工况的特性进行评估。例如,在跟车工况下,评测侧重点应包括响应时间(即目标车开始加减速到被测自动驾驶车辆开始跟随的时间差)、速度控制精度(即被测自动驾驶车辆稳定速度与目标车速度之间的最大差值)等;在巡航工况下,重点评估速度控制精度;在泊车工况下,则应根据揉库次数、泊车姿态、泊入位置等进行评价。
综合考虑《CCRT(智能电动汽车)管理规则(2020 年版)》,中国汽车技术研究中心发布的《中国汽车消费者满意度研究与评价(CCRT)管理规则(2021 版)》,以及i-VISTA 国家智能汽车集成系统试验区发布的《智能安全总体评价规程》和《智能泊车辅助评价规程》等,针对不同测试场景制订的详细评分标准见表8-2~ 表8-5。
在表8-2~ 表8-5 的评分表中,部分参数的附加说明如下。
1)揉库次数:揉库次数指的是自动驾驶车辆在泊车过程中切换倒档的次数,反映了车辆在停车过程中的操作灵活性和精准度。该数据可以通过仿真测试平台直接获取,基于车辆的档位信息进行计算。
2)停车姿态偏移角:停车姿态偏移角α 为车辆航向角与车位法线之间的夹角。具体来说,停车姿态偏移角评估自动驾驶车辆与车位的对齐程度,越小的夹角意味着车辆越精确地泊入车位。此外,停车时的纵向和横向距离也很重要,分别用Δd 横和Δd 纵来表示被测自动驾驶车辆与车位左右两侧边界和后边界之间的最小距离,如图8-5 所示。在仿真测试平台中,车辆的航向角和位置信息(包括车辆中心位置和轮胎接触点位置)可以直接获取,而车位信息则是在场景设计阶段设定好的固定信息。
3)行驶轨迹的偏差:行驶轨迹的偏差e 被定义为被测自动驾驶车辆中心位置与车道中心线之间的距离。这个指标用于评估自动驾驶车辆是否能够准确地保持在车道内。仿真测试平台通过在自动驾驶车辆上配置传感器,实时监测自动驾驶车辆与车道中心线的偏差,进而进行量化评估。
8.2.4 标准合规性指标
标准合规性主要评估被测自动驾驶车辆对国家交通法规的遵守程度。遵守交通规则和保持良好的驾驶习惯是自动驾驶决策的基础,也是交通安全的最基本保障。然而,从目前的实际情况来看,自动驾驶技术更多聚焦于功能安全,尚未完全纳入完整的交通规则。根据北京智能车联产业创新中心发布的《北京市自动驾驶车辆道路测试报告(2023 年)》,在封闭场地测试的综合能力评估中,交通法规遵守机制不健全的问题占比高达29%,其中主要问题包括未正确使用转向灯(约占问题的77%)、未遵守停车让行标志、未按照车道指示方向行驶以及连续变道等。
8.2.5 交通协调性指标
交通协调性指标关注的重点是自动驾驶车辆的行为对周围其他车辆的影响。根据文献[23] 中的研究,速度和加速度是体现交通协调性的两个关键指标。不规范的驾驶行为通常会为了自身利益不断变道或非法插队,导致周围其他车辆紧急制动,从而破坏整体交通协调性。研究人员[24-25] 在研究自动驾驶车辆对混合交通流的影响时,重点关注了最大减速度和平均速度这两个指标。最大减速度反映了车辆的突然减速或制动,表明背景车辆正在对自动驾驶车辆的行为做出反应。相似地,平均速度可以全面衡量交通环境中的整体交通流的流畅度,并可以有效地反映自动驾驶车辆的存在对整体交通效率的影响。这些评测指标的选择与交通研究中对安全性和交互过程中的交互作用行为的关注点一致。因此,在多维度综合评测指标体系中使用周围车辆的最大减速度来衡量自动驾驶车辆对周围车辆的紧急制动的影响,利用周围车辆的平均速度来衡量自动驾驶车辆的行为对整体交通效率的影响。
与传统的车辆性能评价指标不同,影响自动驾驶车辆性能的关键在于其智能驾驶算法,而非车辆动力部分。因此,所设计的评测指标主要关注智能驾驶算法的表现,例如碰撞时间、加减速度、停车姿态等,而非自动驾驶车辆的制动能力、发动机起停时间、座舱振动等车辆子系统的输出指标。
评价指标和评分标准与功能场景类别密切相关。具体场景是从11 大类功能场景中泛化而来的,同类具体场景的评价指标和评分标准相同。基于这11 大类功能场景,设定了各自的评分指标和准则,具体见表8-2~ 表8-5。安全性和舒适性相关指标通常不随场景变化。安全性指标用于反映车辆是否能够在各种场景下保证安全,而舒适性指标则关注人体感受,仅与被测自动驾驶车辆的行为相关。因此,这些评测指标在不同场景中的评价标准保持一致,在制定评测体系时可以统一设定。自动驾驶车辆的多维度综合评测指标体系如图8-6 所示。
8.2.6 评测指标间相关性分析
在自动驾驶车辆的评测体系中,不同评价维度的指标各具特点且相互关联,对全面评估车辆性能至关重要。
安全性指标是评测中的首要考量,直接关系到自动驾驶车辆行驶的基本安全性。与传统车辆安全评价侧重于碰撞结果不同,自动驾驶车辆的安全性指标更强调风险预测与预防。通过最小TTC、TET 和NCJ 等替代安全措施指标,可以量化车辆间的时空关系和运动状态变化,提前评估潜在的碰撞风险。例如,在复杂交通流场景中,传统安全指标可能仅在碰撞发生后体现问题,而这些替代安全措施指标能够在车辆接近危险状态时及时预警,为自动驾驶系统决策提供依据,从而保障行车安全。
驾驶舒适性指标则聚焦于驾驶员和乘客的体验,与车辆控制的平稳性紧密相关。与传统汽车通过机械结构和内饰来评估舒适性不同,自动驾驶车辆更侧重于智能驾驶算法的平稳性。最大加减速、加速度变化率和横摆角速度等指标,反映了车辆在行驶和转向过程中的动态稳定性。在城市道路频繁起停或在弯道中行驶时,合理控制这些指标能有效避免车辆剧烈晃动,减少车内人员的不适,提升乘坐舒适性,并增强用户对自动驾驶技术的接受度。
驾驶性能指标则体现了车辆完成任务的效率和质量,核心在于算法对任务执行能力的优化。与传统车辆更关注动力性能不同,自动驾驶车辆关注点更侧重于任务完成的综合表现。在泊车场景中,揉库次数、停车姿态和位置精度等指标能够精准衡量自动泊车系统的可靠性;而在跟车和巡航工况下,响应时间和速度控制精度则反映了车辆在不同行驶状态下的自适应能力。这些指标有助于优化自动驾驶算法,提升车辆在各种场景下的运行效能。
标准合规性指标用于确保车辆遵守交通法规,是自动驾驶合法运行的基石。与传统车辆不同,自动驾驶车辆依赖算法严格遵循交通规则。在实际测试中,未正确使用转向灯、未遵守停车让行标志等问题常常暴露出标准合规性指标的重要性。标准性指标为自动驾驶决策提供了规则框架,确保车辆在交通环境中有序运行,促进自动驾驶技术与现有交通体系的有效融合。
交通协调性指标是自动驾驶评测中不可忽视的一项重要维度。交通协调性涉及自动驾驶车辆与其他交通参与者(如其他车辆、自行车、行人等)的互动与协作。该指标用于评估自动驾驶车辆在交通流中与其他车辆或行人之间的协同能力,确保在复杂交通情境中,自动驾驶车辆能够与周围环境和谐配合。通过评估自动驾驶车辆与其他交通参与者的协调表现,可以确保自动驾驶车辆在不干扰交通秩序的情况下,顺畅、高效地行驶,并有效避免与其他交通参与者发生冲突。
综合来看,这些指标在不同方面发挥着关键作用,共同构建了自动驾驶车辆的评价体系。安全性是基础,驾驶舒适性提升用户体验,驾驶性能体现任务执行能力标准合规性保障合法运行,而交通协调性确保车辆与交通环境的和谐配合。在实际测试与评估中,需要综合考虑各项指标,并根据不同场景和测试目的合理分配权重,从而实现对自动驾驶车辆全面、客观和准确地评估,推动技术的安全、可靠发展。
前 言
第1 章
概 述
1.1 智能网联汽车概述 / 002
1.1.1 智能网联汽车的关键技术 / 003
1.1.2 智能网联汽车国内外发展进程 / 004
1.2 智能网联汽车的关键场景构建 / 008
1.2.1 关键测试场景的基本概念 / 008
1.2.2 关键测试场景的国内外发展进程 / 009
1.3 智能网联汽车的测试与评价技术 / 012
1.3.1 智能网联汽车测试与评价技术的基本概念 / 012
1.3.2 智能网联汽车测试与评价技术的国内外发展进程 / 014
1.3.3 智能网联汽车测试与评价理论体系 / 024
参考文献 / 032
第2 章
智能网联汽车仿真场景库构建
2.1 仿真测试场景 / 039
2.1.1 测试场景的定义 / 039
2.1.2 测试场景的要素 / 040
2.1.3 测试场景的分类 / 044
2.1.4 仿真测试场景的相关标准 / 048
2.2 仿真测试场景构建方法 / 053
2.2.1 逻辑场景构建方法综述 / 053
2.2.2 具体场景构建方法综述 / 056
2.3 仿真测试场景库的应用介绍 / 059
2.3.1 场景数据库构建的基本方法 / 059
2.3.2 自动驾驶测试场景库搭建 / 060
2.3.3 典型的场景数据库 / 063
参考文献 / 064
第3 章
智能网联汽车静态交通场景生成
3.1 静态交通场景的研究概述 / 070
3.2 AIGC 的基本原理 / 074
3.2.1 核心技术 / 074
3.2.2 主流的AIGC 方法介绍 / 076
3.2.3 扩散概率模型的基本原理 / 078
3.3 基于扩散模型的静态交通场景生成 / 080
3.3.1 系统架构 / 080
3.3.2 Road-UNet 网络架构 / 082
3.3.3 可控的道路结构生成 / 082
3.3.4 三维道路场景生成 / 083
3.3.5 场景级的道路评估和筛选模块 / 084
3.4 静态交通场景的有效性验证 / 084
3.4.1 实验设置 / 085
3.4.2 道路结构整体生成性能 / 086
3.4.3 可控的道路结构生成 / 088
3.4.4 可视化生成结果与分析 / 089
3.5 静态交通场景库的相关应用 / 091
参考文献 / 095
第4 章
智能网联汽车关键测试场景生成
4.1 测试场景复杂度设计 / 099
4.1.1 场景复杂度定义与计算公式 / 099
4.1.2 场景选取算法 / 101
4.2 用于智能驾驶车辆安全测试的关键碰撞场景
生成 / 102
4.2.1 数据驱动的关键测试场景生成方法 / 102
4.2.2 基于对抗的关键测试场景生成方法 / 104
4.2.3 基于先验知识的关键测试场景生成方法 / 106
4.3 用于智能驾驶车辆综合性能测试的关键边界场景
生成 / 107
4.3.1 自然驾驶场景泛化生成 / 110
4.3.2 自动驾驶车辆评估和场景自适应调整 / 110
4.3.3 静态场景生成和自适应优化算法 / 112
4.3.4 动态交通场景生成和自适应优化算法 / 113
参考文献 / 118
第5 章
基于软件在环的智能网联汽车仿真测试
5.1 软件在环仿真测试背景 / 124
5.2 主流的软件在环仿真测试软件 / 128
5.2.1 高保真驾驶场景仿真软件VTD / 131
5.2.2 高精度动力学仿真软件CarSim / 132
5.2.3 开源的综合性自动驾驶仿真平台CARLA / 135
5.2.4 开源交通流仿真软件SUMO / 137
5.3 高性能软件在环联合仿真测试平台 / 138
5.3.1 软件在环联合仿真平台整体架构 / 139
5.3.2 跨平台通信协议介绍 / 141
5.3.3 跨平台数据协议介绍 / 141
5.3.4 联合仿真平台的核心模块介绍 / 142
5.3.5 基于软件在环的联合仿真测试平台的应用案例介绍 / 145
参考文献 / 148
第6 章
实车在环仿真测试技术
6.1 实车在环仿真测试的背景介绍 / 152
6.2 试验台实车在环测试技术 / 154
6.2.1 试验台实车在环仿真测试的基本
原理 / 155
6.2.2 试验台实车在环仿真测试平台 / 156
6.2.3 基于试验台实车在环的自动驾驶自动化
评测系统 / 161
6.3 基于数字孪生的场地实车在环测试技术 / 166
6.3.1 基于数字孪生的场地实车在环测试技术原理 / 166
6.3.2 主流的场地实车在环测试项目介绍 / 167
参考文献 / 169
第7 章
实车自动化测试评价技术
7.1 实车测试的相关场景及相关评价方法介绍 / 173
7.2 实车测试场地的构建方案介绍 / 177
7.2.1 封闭场地测试 / 179
7.2.2 现有的封闭测试场地介绍 / 182
7.2.3 开放道路测试 / 187
7.2.4 现有的实车测试场地的问题与挑战 / 190
7.3 不同国家的测试标准 / 192
7.3.1 公认的国际标准 / 192
7.3.2 我国的国家标准和研究现状 / 193
7.3.3 美国的国家标准和研究现状 / 194
7.3.4 德国的国家标准和研究现状 / 196
7.3.5 英国的国家标准和研究现状 / 196
7.3.6 其他国家的标准和研究现状 / 197
7.4 实车自动化测试评价技术应用介绍 / 198
7.4.1 实车自动化测试评价流程简介 / 198
7.4.2 实车自动化评测相关应用 / 199
7.4.3 实车自动化评测系统的案例分析 / 202
参考文献 / 208
第8 章
智能网联汽车多维度评价体系与评价方法
8.1 综合评价体系 / 212
8.1.1 自动驾驶评价方法 / 213
8.1.2 测试评价指标 / 214
8.1.3 自动化评测体系 / 219
8.2 多维度综合测试评价指标介绍 / 221
8.2.1 安全性指标 / 222
8.2.2 驾驶舒适性指标 / 224
8.2.3 驾驶性能指标 / 225
8.2.4 标准合规性指标 / 228
8.2.5 交通协调性指标 / 228
8.2.6 评测指标间相关性分析 / 229
8.3 测试评价体系设计 / 230
8.3.1 指标权重确定方法 / 230
8.3.2 场景指标权重计算 / 231
8.3.3 全流程自动化评测体系 / 233
8.4 变尺度的客观多维度综合评测系统 / 236
8.4.1 系统架构 / 236
8.4.2 场景复杂度量化指数计算模型 / 238
8.4.3 客观的评测度量权重计算方法 / 241
8.4.4 智能驾驶自动化评测系统 / 242
8.5 基于AI 的智能驾驶测试技术的未来发展 / 243
8.5.1 AI 技术在自动驾驶测试中的前沿应用 / 243
8.5.2 AI 驱动的智能驾驶评测体系进化 / 244
参考文献 / 245
附录 缩略语 / 248
点击以下链接购买
作者简介
王琳,上海交通大学教授、博士生导师,上海市曙光学者,长期从事网络化系统的控制、优化与博弈研究。
本书聚焦智能网联汽车研究领域的关键环节——测试场景生成与多维度综合测试评价方法,详细阐述了智能网联汽车静态交通场景的生成技术,并探讨了智能网联汽车关键测试场景的生成策略,充分挖掘了智能驾驶系统在极限条件下的性能表现,通过深入剖析智能网联汽车仿真场景库的构建,为智能驾驶车辆的测试提供了丰富且多样化的虚拟场景基础。本书还系统介绍了软件在环测试(SIL)、实车在环测试(VIL)以及实车测试三种主要测试模式,它们相互补充、相互验证,构建起一个完整的智能驾驶车辆测试链条。此外,本书还构建了一套多维度评价体系和评测方法,综合考量智能驾驶车辆在不同测试场景下的表现,为技术评估、产品认证以及市场准入提供客观、公正的依据。
本书由机械工业出版社出版,本文经出版方授权发布。
识别二维码报名
