两段式端到到自动驾驶系统中,大模型输出什么给到安全监控器,监控器如何判断输出是否安全的?
摘要:E2E 不应该向监控器(仲裁器)直接输出方向盘和油门等控制指令 —— 那样监控器没法判断。标准做法是输出"未来轨迹 + 不确定性",让监控器有充分信息做安全仲裁。E2E 大模型输出"我打算这么走"(轨迹+意图+置信度),监控器用独立感知建立的世界模型,从物理 → 最小安全距离 → 碰撞 → 规则 → 互检 → OOD 七层关卡逐一校验,分级仲裁。一、E2E 应该输出什么
推荐输出格式:
为什么是轨迹而不是控制量?
- 轨迹是物理意义明确的"行为意图",可以被几何/物理校验
- 控制量(方向盘角度)必须结合车辆动力学才能反推行为,监控成本高
二、监控器的安全判断逻辑
监控器像驾校教练坐在副驾——他不需要懂学员怎么开,但他要能判断"这个动作会不会出事"。
前提:监控器必须有独立感知
监控器不能信任 E2E 大模型的感知,否则 E2E 把货车看成天空,监控器也会被骗。所以监控器要有自己独立的感知通道(通常是传统模块化的检测+跟踪+预测)。
第 1 层:物理可行性检查
直接边界检查,毫秒级完成:
→ 任何一项越界,直接拒绝。
第 2 层:运动学一致性
- 是否符合车辆动力学(自行车模型)?阿克曼几何能不能跟得上?
第 3 层:安全包络检查
监控器监控 E2E 大模型输出的未来 8 秒轨迹,检查每一时刻自车与所有交通参与者的距离是否 ≥ 最小安全距离。任意时刻违反 → 不安全。
第 4 层:碰撞前向仿真(TTC 检查)
- 用独立感知预测其他车辆/行人未来 8 秒的轨迹(多假设:常速、常转向、紧急刹车等)
- 计算 TTC(Time to Collision)
- 阈值:TTC < 1.5s 报警,TTC < 0.7s 紧急接管
第 5 层:交通规则合规
机器可读的规则引擎检查:
→ 这一层需要高精地图 + 信号灯独立识别。
第 6 层:与兜底规划器对比(互检)
- 监控器对比 E2E 轨迹 vs 兜底轨迹的"差异"
- 差异过大(比如横向偏移 > 1m,或减速命令相差 > 2m/s²)→ 警示
类似两个医生独立诊断,结论分歧太大就要复议。
第 7 层:OOD / 不确定性检查
OOD = Out-of-Distribution,模型没有学过的东西
三、监控器的最终仲裁
监控器不是只有"通过/拒绝"两态,而是分级响应: