自动驾驶比人更强了,为什么你不能上车睡觉

前几天，我和一个朋友争论了一个问题。

他是自动驾驶的坚定支持者。他的逻辑很简单：只要自动驾驶整体出问题的概率，已经低于他自己开车出问题的概率，那么不管什么情况下，自动驾驶都更值得信任。哪怕他自己睡着了，也没关系。因为在他看来，就算他睡着，系统继续工作，也比他亲自开更安全。

他还问了我一句很厉害的话：既然你有本事把命交给一个普通人类司机，为什么没有本事把命交给一个平均表现更好的自动驾驶？

我后来想了很久，我觉得这个问题真正有价值的地方，不在于它想证明自动驾驶有多先进，而在于它逼着人去想一件更底层的事：我们到底应该如何理解“更安全”这三个字。

如果只是从统计意义上说，自动驾驶在很多场景下，确实可能已经比大多数普通司机更稳。它不会疲劳，不会走神，不会情绪化，不会因为回个消息、困一下、赌一口气，就突然把风险拉高。

从这个角度看，自动驾驶整体事故率低于普通人类司机，我觉得不奇怪，甚至很可能会越来越明显。

但问题在于，“整体更安全”和“因此可以彻底放手”不是一回事。

他的逻辑，看上去是在谈安全，实际上谈的是平均值。

我当时还没反应过来。

而我后来意识到，真正决定一个系统能不能被完全托付的，往往不是平均值，而是尾部风险。

所谓平均值，是说大多数时候它表现得更好。

所谓尾部风险，是说在那些很少发生、但一旦发生后果会特别大的场景里，它会不会突然失效，以及一旦失效，还有没有人能兜住。

这两者不是一回事。

一个系统完全可能在 99.9% 的时候优于人类司机，但只要还有那 0.1% 的极端场景，会让它以一种非常陡峭、非常陌生的方式出错，那它就依然不是一个你能轻松在里面睡着的系统。

人类司机当然也会犯错，而且很可能更容易犯错。

但人类的错误，我们太熟悉了。疲劳、分心、慢半拍、误判、情绪波动，这些都是“人类式错误”。

它们并不因此变得不可怕，但至少它们是我们理解得了的风险。我们知道人会怎么错，也知道社会怎么围绕这些错误建立责任、规则、保险和惩罚。

而自动驾驶的问题，不仅仅在于它会不会错，而在于它可能会以一种和人类完全不同的方式错。平时很像老司机，偶尔却会在一个很罕见的边界条件里突然掉线、误判、看不见、理解错。

它的问题不是“经常不行”，而是“平时太行，以至于人会忘了它仍然可能在某一刻完全不行”。

这就是为什么平均表现越强，反而越容易诱发一种危险的心理：

人会开始把它当成一个已经可以完全独立承担命运的系统。

但它未必是。

后来我朋友又说了一句：

就算到了你说的这种尾部风险场景，自动驾驶也可能依然比我自己强。既然我在那种时刻也未必处理得更好，那我在车上监督到底有什么意义？

这句话听起来很强，但它混淆了一个关键点：

人在系统里，不一定是因为人比系统更强，才有价值。

人在系统里，也可能只是为了在系统失效的时候，提供另一套完全不同来源的纠错机制。

这是冗余的价值。

一个高风险系统，不是因为主系统平均很强，就可以轻易删掉备份。

恰恰相反，越是平时表现优秀的系统，越要认真对待那极少数失效时刻，因为真正决定生死的，可能恰恰不是日常，而是失效时有没有第二层保险。

所以真正该比较的，不是“自动驾驶”和“人类司机”谁更聪明。

真正该比较的是：

“自动驾驶单独运行”

和

“自动驾驶 + 一个还没有退出监督链条的人”

哪一个系统整体更安全。

只要后者更安全，那么即便人类司机在绝大多数时候不如系统，也不能证明人类就应该从系统里被完全移除。

因为备份系统的价值，从来不在于它平均分更高，而在于它能不能在极少数关键时刻，拦住灾难继续往下掉。

“你都敢把命交给一个普通司机，为什么不敢交给自动驾驶？”

——我后来觉得

你把命交给一个人类司机，交出去的不只是方向盘。

你交出去的，其实还是一个完整责任主体，以及围绕这个主体建立起来的一整套社会结构。

这个人会被要求考驾照、守规则、承担事故责任、接受保险约束，也会在出事时成为法律和伦理上那个明确可归责的人。

也就是说，你不是单独在信任“这个司机技术行不行”，你是在信任“这个司机 + 整套成熟制度”。

但自动驾驶，至少在今天，大多数时候还不是这样一个完整的责任主体。

它可能是一个高性能系统，但它还不是一个可以像人类司机一样，被整个社会完全当成独立命运承担者来对待的存在。

所以我不敢在自动驾驶里睡觉，不是因为我不承认它可能比人开得更好。

恰恰相反，我正是因为承认它在很多情况下很可能已经比大多数人更强，才更觉得这个问题值得认真想。