一、两段式架构回顾
典型的两段式(也叫"分段式端到端")结构:
- 第一段:感知 + 预测(通常是大模型,BEV+Transformer / VLM / 世界模型)
- 第二段:规划 + 控制(可能是另一个神经网络,也可能是规则+优化)
相比"一段式"(传感器直接到控制指令),两段式保留了中间表示(agents、occupancy、可行驶区域等),这本身就是功能安全友好的设计。
二、功能安全保证的整体思路
ISO 26262(系统失效)+ ISO 21448 SOTIF(功能不足/AI不确定性)双标准并行。核心思路是 "不信任大模型 → 用可信组件兜底":
1. 异构冗余架构(Heterogeneous Redundancy)
┌──────────────────┐传感器 → │ 主通道:大模型E2E │ → 主轨迹 └──────────────────┘ ↘ 合理性仲裁 → 执行器 ┌──────────────────┐ ↗传感器 → │ 安全通道:经典算法│ → 安全包络 └──────────────────┘
- 安全通道用确定性算法(AEB、占据栅格、规则规划),ASIL-B/D 认证
2. 安全包络 / Safety Envelope
不直接验证大模型输出"对不对",而是验证它"是否在安全范围内":
- RSS(Responsibility-Sensitive Safety,Mobileye):用数学公式定义最小安全距离,大模型规划的轨迹必须满足
- 可达集分析:未来 T 秒内,轨迹是否会进入"不可避免碰撞集"
3. 安全降级(Fallback / Fail-operational)
三、对大模型的监控
大模型的难点:不可解释、不可形式化验证、长尾失效。监控分四层:
1. 输入侧监控(OOD / 数据分布检测)
| |
|---|
| |
| 用 autoencoder/嵌入距离判断"训练集没见过" |
| |
→ 触发:降低置信度阈值 / 切换安全通道
2. 模型内部监控(不确定性量化)
- Aleatoric uncertainty
- Epistemic uncertainty(模型自己不知道的):MC Dropout、Deep Ensemble、Evidential Learning
- 注意力/中间特征监控
3. 输出侧监控(合理性检查)
这是最关键、最可落地的一层:
- 物理合理性
- 运动学一致性
- 场景一致性
- 时序稳定性
- 多模型交叉验证
4. 运行时监控(Runtime Monitoring)
- 影子模式(Shadow Mode):量产车上大模型在线推理但不接管,记录与人类/安全通道的差异,回流训练
- 接管事件采集
- 安全KPI在线统计
四、ISO 26262 + SOTIF 的具体落地
| |
|---|
| 把"感知漏检"、"轨迹规划越界"识别为安全目标,分配 ASIL |
| 安全目标分解:主通道 QM/ASIL-B + 安全通道 ASIL-D(解耦) |
| 监控器、仲裁器、降级路径要写到 ASIL-D 软硬件需求里 |
| 大模型的 known-unsafe / unknown-unsafe 场景库建设 |
| 大规模仿真 + 实车里程 + 形式化(仅对监控逻辑) |
注意:大模型本体几乎不可能拿到 ASIL-D。安全是从架构层面"绕过"它得到的——让监控器和安全通道是 ASIL-D,大模型本身做 QM 或 ASIL-B 即可。
五、实践要点
- 不要试图证明大模型本身安全
- 监控器必须独立于被监控的大模型
- 建立失效场景库(Edge Case Library),持续注入仿真做回归
- OTA 后必须重新跑安全验证