我的特斯拉“自动驾驶功能”一直很完美,直到它发生车祸

安全带死死地拉紧了，溃缩区也顺利发生了形变，安全气囊成功起爆。所有设计用来保护人体安全的机械机制都尽职尽责了。但这辆车，一台#特斯拉ModelX，已经彻底报废。

去年秋天的一个星期日，我和孩子们行驶在一条我们走过几百次的路上，在旧金山湾区蜿蜒的住宅区街道上穿行，准备送我儿子去参加童子军聚会。当时，这台#特斯拉 正处于#完全自动驾驶（#FSD）模式，开得堪称完美——直到意外骤然发生。

接下来发生的事情，我只能靠拼凑来还原。我的记忆很模糊，有些细节是来自于我坐在后排目睹了全过程的儿子。当时车辆正在转弯，突然感觉有些不对劲——方向盘先是向一侧猛打，然后又向另一侧猛拉，紧接着车辆以一种我意想不到的方式突然减速。我本能地转动方向盘试图接管车辆。我不知道系统当时到底在计算什么，也不知道为什么会这样。我只知道，在那短短的几秒钟里，我们最终撞上了一堵墙。

你可能觉得，面对这种情况我应该知道怎么处理。我曾经主管过 Uber 的自动驾驶汽车部门，致力于构建一个科技能保护我们免受车祸伤害的未来。我深入思考过极端工况（edge cases）、失效模式（failure modes），以及流畅性能背后隐藏的系统脆弱性。我的团队甚至专门培训过人类驾驶员，教他们如何在自动驾驶汽车犯错时进行干预。在我领导该部门的两年里，我们的早期试点项目保持了零伤亡的纪录。

开着我自己的特斯拉时，起初我只在高速公路上将 FSD 作为默认设置。在高速上这是合理的：那里有清晰的车道线和可预测的车流。后来有一天，我试着在一条城市普通道路上开启了它，结果发现它表现得相当不错，久而久之这就成了一种习惯。

尽管发生了车祸，我们还是很幸运。我只是落了个脖子僵硬、轻微脑震荡和连续几天的头痛，外加一些挥之不去的阴影。孩子们安然无恙地爬出了车厢。即便如此，你依然可以说我在研究员 Madeleine Clare Elish 所说的 “道德溃缩区”（moral crumple zone）里被压得粉碎。汽车的某些部件被专门设计成在碰撞时吸收伤害，以保护车内的人。但是 Elish 认为，当复杂的自动化系统失效时，承担后果和指责的却是人类用户。我的这台车在 FSD 模式下安全行驶了数万公里，记录完美无瑕，但当事故发生时，保险理赔报告上写的依然是我的名字。

而且，车子手里还握着“证据”。当你在驾驶座上时，它会记录你的手部位置、你的反应时间、你是否注视着路面——成千上万的数据点被车辆实时处理。在碰撞事故发生后，特斯拉曾利用这些数据将责任推给驾驶员。2018年加州山景城发生致命碰撞后，特斯拉发表了一份声明，指出“车辆日志显示（驾驶员）未采取任何行动”。

虽然特斯拉可以轻易获取这些记录，但驾驶员想拿到它们却没那么容易。他们可以申请获取自己的数据，但有些人表示他们只收到了数据碎片——甚至不得不对簿公堂才能拿到更多。在佛罗里达州一起非正常死亡诉讼案中，原告试图寻找特斯拉驾驶辅助系统如何失效的关键证据，该公司却称他们没有这些数据。原告不得不雇佣了一名黑客，从撞毁车辆的电脑芯片中恢复了数据。后来，特斯拉声明称这些数据其实已经在其自有服务器上存放了数年，公司只是因为失误没能找到它们。（法官最终未发现“足够证据”来断定特斯拉是故意隐瞒数据。）

FSD 在绝大多数时候都能正常工作——根据特斯拉的统计，其搭载该技术的车队在两次严重事故之间能安全行驶数百万公里。而这正是问题所在：我们正在要求人类去监督那些被设计得让人觉得“监督毫无意义”的系统。 一台经常出故障的机器能让你保持警惕；一台完美运行的机器不需要任何监督。但是一台“几乎完美”的机器？这就是危险潜伏的地方。研究表明，在经历了几个小时的完美表现后，驾驶员极易开始过度信任自动驾驶系统。美国公路安全保险协会（IIHS）的一项研究显示，在使用自适应巡航控制系统一个月后，驾驶员看手机的可能性是原来的六倍多。

特斯拉在其网站上对 FSD 的描述中警告说：“不要掉以轻心。”我当时也觉得我没有。在事故发生前，我的手确实放在方向盘上。但我当时的驾驶状态，已经是系统“驯化”我的结果了：我只是在“监控”而不是在“驾驶”，我信任软件能做出正确的决定。熟悉曲线总是不可避免地滑向松懈，而制造这些系统的公司似乎深知这一点。我显然也懂这个道理，但我还是被麻痹了。

心理学家将这种现象称为警觉性衰退（vigilance decrement）。监控一个近乎完美的系统是非常无聊的。无聊会导致走神。研究数据是残酷的：在自动驾驶系统将控制权交还给驾驶员后，驾驶员需要 5 到 8 秒钟的时间才能在精神上重新进入驾驶状态。但紧急情况的爆发远比这快得多。驾驶员的物理反应可能是瞬间的——比如本能地猛打方向盘、踩刹车。但大脑层面呢？重建场景上下文、识别出了什么问题、决定该怎么做？这都需要时间，而你的大脑根本没有这个时间。

2018 年山景城车祸的司机，在汽车自动撞向混凝土隔离带前有 6 秒钟的时间，但他根本没有碰过方向盘。同年在亚利桑那州坦佩市，一辆 Uber 测试车的传感器在距离行人还有 5.6 秒时就检测到了目标。但安全员抬起头并接管方向盘时，剩下的时间已经不足 1 秒。到了那个时候，一切只能交给物理定律了。

在我的案例中，事故发生前我确实采取了行动。但系统要求我在眨眼之间，完成从“乘客”到“驾驶员”的身份切换——在一次眨眼的时间里，推翻数月来养成的习惯条件反射。车辆日志会无情地记录下我确实转动了方向盘，但它无法展示这道根本无解的数学题。

对于我的事故中到底发生了什么，我了解得还不够多，无法断言就是特斯拉的技术导致了翻车。但这个问题已经超越了某一家公司的自动驾驶系统。它关乎我们正在如何构建每一个 AI 系统、每一种算法、每一个要求我们信任它并“驯化”我们给予它信任的工具。这种模式无处不在：让人们习惯性地依赖系统，逐渐侵蚀他们的警觉性。然后，当系统崩溃时，搬出冗长的服务条款，指责用户没有集中注意力。

我的车在“不知所措”时没有警告我。聊天机器人同样不会；无论它们给出的结果是准确无误还是纯属“幻觉”，它们都用同一种充满自信的语气。即使引用的来源存疑或纯属捏造，它们也能展现出极强的专业性。它们用权威的口吻堆砌专业术语。而我们会选择相信，为什么不呢？毕竟它们之前已经正确了那么多次。

汽车一公里一公里地训练我们；AI 则是一周一周地训练我们。第一周，你会仔细阅读聊天机器人生成的输出。到了第三周，你连看都不看就直接复制粘贴了。机器的错误并没有消失，消失的只是你的警惕性。你的判断力也随之消退，直到有一天你发现，你已经记不清备忘录里哪些观点是你自己的，哪些是 AI 生成的。我们如此心甘情愿地交出我们独立思考的能力，这说明了什么？

当我的车失效时，后果是立竿见影且真切可感的。而对于聊天机器人来说，失效通常是无声且隐形的。你往往要在事后才会发现（如果能发现的话）——比如在邮件发出后、决定做出后、代码发布后。当你察觉到错误时，它早就带着你的名字公之于众了。当系统运转良好时，你显得高效无比；当系统失效时，受到质疑的却是你的判断力，有时后果甚至是灾难性的。2023 年，纽约一名律师因为在法庭上引用了六个根本不存在的案例而受到制裁。这些案例是 #ChatGPT 捏造出来的，但他轻信了工具。法庭追究的是他的责任，而不是工具的责任。因为聊天机器人永远不会被解雇。

我们正在经历一场自动驾驶的“恐怖谷”。计算机系统不仅越来越像人；它们几乎已经具备了独立工作的能力。当它们失败时，总得有人来承受代价。现在看来，这个人就是我们。 但是，当我们为#自动驾驶汽车 或 #AI 工具买单时，我们认为自己买的是一个成熟的成品，而不是报名去充当一个半成品的测试员。

这个“近乎完美”的阶段并不是一个短暂的过渡期。它本身就是产品常态——并且将在未来几年甚至几十年内伴随我们。因此，认清这些模式至关重要。当一个 AI 系统从不承认自己的不确定性时，或者当一辆车的营销口号喊着“自动驾驶”，但附属细则里却写着“驾驶员负责”时，这就是一个危险的警告信号。当你意识到自己在过去的 10 公里，或是过去的 10 封 AI 自动撰写的邮件中都没有真正集中注意力时，你就已经掉进了陷阱。

事情不必如此，但除非消费者清楚地认清现状并拒绝接受，否则这一切都不会改变。我们应该拒绝我们被迫接受的这种不平等条约——即服务条款成为公司推脱责任的盾牌，同时也是刺向用户的利剑。我们应该要求这些公司共同分担他们诱导我们承担的风险。如果他们的设计本就会导致用户的松懈，那么当产品失效时，他们理应承担部分责任。

这并非乌托邦式的空想。2025 年 7 月，中国车企#比亚迪 宣布，对于因其#自动泊车 功能导致的碰撞事故，他们将承担相应的损坏赔偿，免除对驾驶员保险和驾驶记录的负面影响。虽然目前只有这一家公司，且仅限于这一项功能，但这证明了“负责任”是一种可以选择的态度。其他企业也可以被说服加入这一行列。