• 作者名称
  ：Raffi Krikorian
• 作者背景
  ：Mozilla 首席技术官，曾任 Uber 自动驾驶汽车部门负责人，长期处于自动驾驶技术研发的最前沿。
• 文章概要
  ：曾执掌 Uber 自动驾驶部门的作者讲述了自己驾驶特斯拉 Model X 在“全自动驾驶”模式下发生车祸的亲身经历。文章探讨了技术如何通过“近乎完美”的表现诱导人类产生警惕性缺失，批评了现行法律将算法失效责任推给用户的“道德缓冲区”现象，并呼吁建立更公平的企业问责机制。

我的自动驾驶车祸经历

这辆特斯拉一直开得非常完美——直到它不再完美。

那股气味很奇怪。刺鼻。化学味。不对劲。混凝土墙离得太近了。我的眼镜不见了。我的一个孩子站在车旁的马路沿上——没哭，只是很困惑。

安全带勒住了。溃缩区发挥了作用。安全气囊弹出了。为了保护身体而设计的一切都尽职尽责。但那辆特斯拉 Model X 彻底报废了。

去年秋天的一个周日，我和孩子们正在进行一次已经跑过数百次的驾驶，穿过旧金山湾区的住宅区街道，送我儿子去参加童子军聚会。特斯拉处于“全自动驾驶”（Full Self-Driving）模式，表现得非常完美——直到事故发生。

接下来的事情是我慢慢拼凑出来的。我的记忆很模糊，有些信息来自我的一个儿子，他在后座目睹了全过程。当时车子正在转弯。感觉有些不对劲——方向盘向一个方向猛拉，然后又向另一个方向猛拉，车速以一种我预料之外的方式减慢。我转动方向盘准备接管。我不知道系统当时在做什么，也不知道为什么。我只知道在那几秒钟里，我们撞上了墙。

你可能以为我知道在这种情况下该怎么办。我曾经负责 Uber 的自动驾驶汽车部门，试图建立一个技术能保护我们免受事故影响的未来。我思考过边缘案例、失效模式以及平稳运行背后隐藏的脆弱性。我的团队训练人类驾驶员在自动驾驶汽车出错时何时以及如何干预。在我执掌该部门的两年里，我们的早期试点项目从未发生过人员受伤。

对于我自己的特斯拉，我最初只在高速公路上默认使用“全自动驾驶”模式。那是合理的使用场景：车道线清晰，交通模式可预测。后来有一天，我在当地道路上试了一下，效果很好，于是这就成了习惯。

尽管发生了车祸，我们还是很幸运。我只是脖子僵硬、轻微脑震荡、头痛了几天，还有一些挥之不去的记忆。孩子们安然无恙地爬了出来。尽管如此，你可以说我被压碎在了研究员玛德琳·克莱尔·伊利什（Madeleine Clare Elish）所说的“道德缓冲区”中。汽车的某些部件专门设计用于在碰撞中吸收伤害，以保护车内人员。但伊利什辩称，当复杂的自动化系统失效时，人类用户往往成了承担指责的“缓冲区”。我的车在“全自动驾驶”模式下完美运行了三年，但当事故发生时，保险报告上写的是我的名字。

而且，车上有证据。当你开车时，它会记录你的手部位置、反应时间、你是否注视路面——数千个数据点由车辆处理。事故发生后，特斯拉曾利用这些数据将责任推给驾驶员。2018 年加州山景城发生一起致命碰撞后，该公司发布声明指出，“车辆日志显示没有采取任何行动”。（特斯拉未回应置评请求。）

虽然特斯拉可以获取这些记录，但驾驶员获取数据却并非易事。他们可以申请数据，但有人表示只收到了碎片化的信息，不得不诉诸公堂。在佛罗里达州的一起过失致死案中，原告寻求证据证明特斯拉的辅助驾驶系统是如何失效的，公司起初称没有相关数据。原告不得不雇佣一名黑客，从报废车辆的电脑芯片中恢复了数据。后来，特斯拉表示数据已经在其服务器上存了几年，是公司不小心没找到。（法官未发现“足够证据”判定特斯拉蓄意隐瞒数据。）

法律与现实的脱节

目前，法律原则很简单：责任在你。尽管特斯拉最初将其技术称为“全自动驾驶能力”，但该系统在官方分类中属于“2 级”部分驾驶自动化，这意味着人类必须始终保持控制。去年，加州的一位法官认定特斯拉最初的命名“带有明显误导性”；特斯拉现在使用的是“全自动驾驶（受监导）”。2019 年加州发生的一起致两人死亡的事故中，车辆自身的日志被用来起诉驾驶员未能阻止碰撞，而不是设计该系统的公司。直到去年，在一项重大裁决中，陪审团才在佛罗里达州的过失致死案中判定特斯拉负有部分责任，并判给原告 2.43 亿美元赔偿金。

类似的模式正出现在算法与人类协同工作的各个领域：收件箱、搜索结果、医疗图表。这些系统正朝着完全自动化迈进，但尚未实现。电脑仍然经常犯错，需要人类监管来避免或修复。

“全自动驾驶”在绝大多数时间里都能正常工作——根据特斯拉的统计，配备该技术的车队在严重事故之间运行了数百万英里。而这正是问题所在：我们正在要求人类去监管那些让监管显得毫无意义的系统。一台不断出故障的机器能让你保持警惕。一台完美工作的机器不需要监管。但一台近乎完美工作的机器呢？危险就在这里。

警惕性缺失的陷阱

研究表明，在经历了几个小时的完美运行后，驾驶员倾向于过度信任自动驾驶系统。保险公路安全委员会（IIHS）的一项研究显示，在使用自适应巡航控制一个月后，驾驶员查看手机的可能性是平时的六倍多。

特斯拉在其网站上对“全自动驾驶”的描述警告称，“不要变得自满”，我也认为自己没自满。事故发生前，我的手就在方向盘上。但我当时的驾驶方式正是系统训练出的结果：监视而非操控，信任软件会做出正确的判断。熟练曲线倾向于让人产生自满情绪，而开发这些系统的公司似乎深知这一点。我当然也知道，但我还是被麻痹了。

心理学家称之为“警惕性缺失”（vigilance decrement）。监视一个近乎完美的系统是乏味的。乏味会导致思想开小差。研究结论是残酷的：在自动化系统交还控制权后，驾驶员需要 5 到 8 秒才能重新投入状态。但紧急情况的发展速度远快于此。驾驶员的生理反应可能是瞬间的——抓紧方向盘，踩下刹车。但心理部分呢？重建语境、识别错误、决定对策？这需要大脑在瞬间无法提供的时间。

2018 年山景城事故的驾驶员在撞向混凝土中央隔离带前有 6 秒时间。他从未碰过方向盘。同年在亚利桑那州坦佩市，一辆 Uber 测试车的传感器在探测到附近行人后给出了 5.6 秒的警告。安全员在仅剩不到一秒时抬头并握住方向盘。到那时，一切已成定局。

就我的情况而言，我在事故发生前确实采取了行动。但我被要求在不到一秒的时间内，从乘客瞬间切换为飞行员——在眨眼之间覆盖长达数月的习惯性思维。日志会显示我转动了方向盘，但它们不会显示这背后“不可能完成”的数学逻辑。

我掌握的信息不足以断言特斯拉的技术导致了车祸。但这个问题比一家公司的自动驾驶系统更宏大。这关乎我们如何构建每一个 AI 系统、每一个算法、每一个要求我们信任并训练我们给予信任的工具。这种模式无处不在：训练人们依赖系统，削弱他们的警惕性，然后当某事损坏时，指着服务条款指责他们没留心。

我的车在困惑时没有警告我。聊天机器人也不会；无论结果是对是错，它们都以同样自信的语气给出答案。即使引用的来源是可疑的或捏造的，它们也会表现得极具专业性。它们使用权威语气的技术语言。而我们相信了它们，因为为什么不呢？它们之前对了那么多次。

自主权的“惊悚谷”

汽车通过里程训练我们，AI 通过周复一周的使用训练我们。第一周，你会仔细阅读聊天机器人的输出。到第三周，你开始不加阅读地复制粘贴。错误并没有消失，但你的警惕性消失了。你的判断力也随之消失，直到有一天，你意识到自己已经记不起一份备忘录中哪些想法是你自己的，哪些是 AI 生成的。我们如此心甘情愿地交出思考能力，这说明了什么？

当我的车出故障时，那是直接且明显的。而对于聊天机器人，失败是无声且隐形的。你可能在很久之后才会发现——在邮件发出、决定做出、代码部署之后。当你发现错误时，它已经带着你的名字传播出去了。当系统工作时，你看起来很高效。当它失败时，你的判断力会受到质疑，有时甚至会带来灾难性的后果。2023 年，纽约一名律师因引用了六个根本不存在的案例而受到制裁。ChatGPT 捏造了这些案例，但他信任了它，法庭惩罚的是他，而不是那个工具。因为聊天机器人永远不会被解雇。

我们正在经历一种“自主权的惊悚谷”。计算机系统不仅仅是几乎像人，它们几乎能够独立工作。当它们失败时，必须有人承担代价。现在，那个人就是我们。但当我们购买一辆自动驾驶汽车或一个 AI 工具时，我们认为自己买的是成熟的产品，而不是在报名测试一个“工作进程中”的项目。

这个“几乎”阶段并不是一个简短的过渡。它就是产品——一个将陪伴我们数年甚至数十年的产品。因此，注意到其中的模式很重要。当一个 AI 系统从不承认不确定性，或者当一辆车的营销口号说“自动驾驶”但细则写着“由驾驶员负责”时，那就是一个警告信号。当你意识到自己在过去的 10 英里驾驶中或在过去 10 封自动撰写的邮件中并没真正留心时，那就是陷阱。

拒绝不平等的契约

情况不一定非要如此，但除非消费者看清局势并拒绝接受，否则情况不会改变。我们应当拒绝被交付的这种交易——服务条款成为公司的盾牌和刺向用户的利剑。我们应当要求公司共同承担它们诱导我们承担的风险。如果它们的设计导向了自满，那么当产品失效时，它们理应承担部分责任。

这并非乌托邦式的目标。2025 年 7 月，中国汽车制造商比亚迪宣布，对于涉及其自动泊车功能的事故，公司将赔偿损失，免除驾驶员的保险和记录责任。虽然这只是一家公司的一个功能，但它证明了责任感是一种选择。其他企业也可以被说服加入进来。

发生车祸时，我的孩子们坐在后座。总有一天，他们也会拥有自己的车，并以我目前无法想象的方式使用 AI。他们继承的系统，要么是为了提升他们而设计，要么是为了麻痹他们并在出事时指责他们。我希望他们能在被系统“训练”时有所察觉。我希望他们会问，到底是谁在吸收代价，谁在承受伤害。

这里汇聚大西洋月刊、经济学人、巴伦周刊、华盛顿邮报、纽约时报、纽约客等海外权威媒体的封面深度报道，精准翻译传递全球前沿观察与多元思考，带你跳出信息茧房，看更广阔的世界。