8. 合规性评估
8.1 安全管理体系SMS审核
8.2 测试环境评估
8.3 安全论证评估
8.4 部署后安全评估
8.3.2 安全论证测试活动评估
8.3.2.1 通用规定
8.3.2.1.1 审批机关或其指定的技术服务机构应验证制造商采用的测试方法是否适合演示安全论证并符合性能/功能要求。
8.3.2.1.2 审批机关或其指定的技术服务机构应验证来自所有支柱(虚拟、场地、真实世界)的测试结果的综合覆盖度是否足以支持ADS安全论证声明。
8.3.2.2 场景及其管理评估
8.3.2.2.1 审批机关或其指定的技术服务机构应验证制造商使用了适当且有记录的流程来推导与ODD和ADS安全论证相关的行为能力。[附录7中的方法是审查制造商采用流程的一个合适过程]
8.3.2.2.2 审批机关或其指定的技术服务机构应验证制造商识别和生成场景的方法和流程是否恰当。特别是,最终场景应:
(a) 覆盖适当的正常、关键和故障情况;
(b) 使用数据驱动、知识驱动和随机方法来系统地识别危险事件和其他事件;
(c) 包括代表预期运行条件下现有交通状况的要素(特别是动态要素);以及
(d) 纳入所有相关场景要素的已识别特征和行为。
8.3.2.2.3 审批机关或其指定的技术服务机构应验证制造商场景生成和识别流程产生的场景和情境集是否适合演示ADS安全案例。这包括覆盖ADS在其真实世界运行期间可能遇到的合理可预见的情境和条件。
特别是,审批机关或其指定的技术服务机构应验证选择作为支持ADS安全论证证据的场景和情境集包括:
(a) ADS需要启动后备响应的场景和情境(例如,接近ODD边界);以及
(b) 合理可预见且不被认为可由ADS预防的情境(例如,与其他道路使用者不安全行为或基础设施故障相关的情境)。[附录7中的方法,包括提供的情景模板,是审查制造商采用的方法一种合适的方法]
8.3.2.2.4 审批机关或其指定的技术服务机构应验证制造商在选择具体场景时采用了适当的技术来探索参数空间。
8.3.2.3 现有测试流程评估
8.3.2.3.1 审批机关或其指定的技术服务机构应验证制造商拥有适当的流程、资源和胜任的人员,能够设计出产生支持ADS安全论证证据的测试。
8.3.2.3.1.1 审批机关或其指定的技术服务机构应验证制造商拥有适当的流程,以选择并组合测试场地的静态和动态要素,以正确复现选择用于场地测试的场景条件。
8.3.2.3.1.2 审批机关或其指定的技术服务机构应验证制造商拥有适当的流程,以识别捕捉ODD可预测方面(例如,道路类型和几何形状)、相关正常情况中发现的要素(例如,其他道路使用者、标志和信号)和典型动态条件(例如,高/低交通密度)的测试路线。测试路线还应能验证用户交互安全性的要求,包括在进入和退出ADS功能ODD之前、之时和之后。
8.3.2.3.2 审批机关或其指定的技术服务机构应验证制造商拥有适当的流程、资源和胜任的人员来进行产生支持ADS安全论证证据的测试。
8.3.2.3.2.1 审批机关或其指定的技术服务机构应验证制造商拥有适当的流程、资源和胜任的人员,以评估ADS在每个场景和情境中展示的行为能力是否符合DDT性能要求。
8.3.2.3.2.2 审批机关或其指定的技术服务机构应验证制造商拥有适当的流程、资源和胜任的人员,能够评估ADS确保用户安全和ADS安全使用的能力。
8.3.2.3.3 审批机关或其指定的技术服务机构应验证制造商没有针对一组已知测试用例优化ADS。(要证明没有针对测试特调🙃🙃🙃)
8.3.2.4 测试证据评估
8.3.2.4.1 审批机关或其指定的技术服务机构应评审制造商在使用不同测试方法演示ADS安全论证时产生的证据:
(a) 虚拟测试。
(b) 场地测试。
(c) 真实世界测试。
8.3.2.4.1.1 审批机关或其指定的技术服务机构应评审制造商在演示ADS执行DDT能力时产生的证据。
8.3.2.4.1.2 审批机关或其指定的技术服务机构应评审制造商在演示ADS按照第6.2段要求与用户交互能力时产生的证据。
8.3.2.4.1.3 审批机关或其指定的技术服务机构应验证与测试相关的程序和数据收集符合既定的科学和工程实践。
8.3.2.4.1.4 对于ADS交互测试的具体情况,审批机关或其指定的技术服务机构应:
(a) 验证相关人员代表预期的ADS用户和其他道路使用者(如适用)的普通人群;以及
(b) 验证所取得的结果可被认为具有统计显著性。
8.3.2.4.1.5 审批机关或其指定的技术服务机构应验证作为支持安全论证证据而进行的一组测试的适当性,特别是在覆盖度、一致性和相关性方面。
8.3.2.4.1.6 审批机关或其指定的技术服务机构应验证测试结果能够展示ADS在执行DDT时的行为能力。特别是,审批机关或其指定的技术服务机构应验证测试结果确认了ADS安全论证中的声明和论据:
(a) 在正常、关键和故障情况下;
(b) 在接近和跨越ODD边界时;以及
(c) 在与其它道路使用者的碰撞被认为无法预防的情况下。
8.3.2.4.1.7 审批机关或其指定的技术服务机构应验证制造商已建立适当的流程,以识别要使用不同测试方法进行测试的场景集。
自动驾驶合规宝典25~ADS安全要求与在役监控报告ISMR映射矩阵
8.3.2.4.1.8 审批机关或其指定的技术服务机构应验证制造商已建立适当的流程,以验证所采用的不同测试方法之间测试结果的一致性。