道德运气遇上自动驾驶:Nagel 会怎么判这场事故?

道德运气遇上自动驾驶:Nagel 会怎么判这场事故?
本文图片来源网络,如有侵权请联系后台删除。
2025 年 5 月,亚利桑那州凤凰城。一辆 Waymo 自动驾驶出租车在左转时撞倒了一位骑自行车的女性。她没有生命危险——Waymo 的传感器在两秒前检测到了她,系统开始减速,但没能完全停下。当地警方的事故报告里有一行不起眼的记录:「事故发生前,骑车人从一辆停着的厢式货车后方突然出现。」如果不把这句话读完,你可能会觉得,这是一个关于「自动驾驶不够安全」的故事。但读完你会注意到一个更难以安置的细节:如果那位骑车人晚三秒出发,她不会出现在那个路口。如果那辆厢式货车停在别处,Waymo 的摄像头会提前看到她的轨迹。 同样的自动驾驶系统、同样的软件版本、同样的减速逻辑——唯独碰上了不一样的路况排列。结果是:有人受伤。这不是一个工程问题。这是 1979 年托马斯·内格尔(Thomas Nagel)用一个词概括过的困境:道德运气(moral luck)。运气可以影响你的道德命运——这本身就是一个令人不安的命题。而当运气的主角从人类驾驶员换成了自动驾驶算法,这个问题变得更锋利了:如果伤害取决于「谁恰好站在路口」,那归责就不仅是法律工程问题,而是五十年前哲学家就该回答的问题。
01
Nagel 的四重运气
先回到 1979 年——严格来说是 1976 年,《亚里士多德学会会刊 增刊卷》第 50 卷,伯纳德·威廉姆斯和托马斯·内格尔联袂发表了各自的论文,它们共享一个标题:《道德运气》。威廉姆斯的那篇用高更抛妻弃子去塔希提画画的例子轰开了大门;内格尔的那篇则用分类学把门彻底拆了——他将道德运气拆成了四种,每一种都对应着我们直觉上不愿承认的事实。两个人酒后驾车,同样醉、同样快、同样闯了红灯。一个撞上了一个闯红灯的行人,一个通过了空无一人的路口。法律上,前者是过失杀人罪,后者只是危险驾驶罪。道德上呢?他们的行为完全一样——但他们得到的谴责和刑罚差异巨大。内格尔的要点不是「这不公平」,而是更令人不安的:你真的能完全无视结果吗? 如果不能,就意味着结果——一个你无法完全控制的因素——在参与对你的道德评判。这就是结果运气。环境运气(circumstantial luck)
一个在纳粹德国长大的普通公民,最终成为了集中营看守。如果他在 1930 年移民到了阿根廷,他会是一个种葡萄的农夫。他做了可怕的事——但「他面临那个选择」这件事本身,依赖于他恰好生在了那个年代的德国。他的道德品质没有被他的环境决定——但他是否有机会展现恶劣品质,被环境决定了。你的性格、性情、倾向——你「是谁」这件事——有多少是你自己选的?你生来易怒还是温和,内向还是外向,这些禀赋影响着你会做出什么样的道德决定。但你不是它们的作者。在决定论的前提下,所有事件都有前因。如果你的每一个决定都是前因的产物,而你对前因没有最终控制权,那么你的道德责任就建立在一条你从未亲手奠基的因果链上。内格尔没有给出解决方案。他只是说:这四种运气共同构成一个悖论——我们坚持「人只能为可控之事负责」,但审视日常的道德实践,我们无时无刻不在根据运气评判他人。这个悖论没有干净的解。如果你觉得这四个分类离生活太远,试着想一个身边的例子。2022 年上海封控期间,一个程序员在网上发帖辱骂防疫政策,被封号三天。另一个程序员在同时段、同样的论坛上打了完全相同的内容——但轮到他的时候,服务器刚好宕机了,帖子没发出去。相同意图、相同措辞、相同情绪,结果运气不同——第一个人被谴责,第二个人安然无事。你无法用论证证明第一个人的道德品质比第二个人更差。但你也不能说「没区别」——因为如果我们真的认为没区别,也就不会对第一个人进行任何评判了。这就是 Nagel 说的悖论。02
当 Nyholm & Smids 把 Nagel 搬上马路
哲学可以被视作搁置的未决问题,直到技术迫使它不再能被搁置。讲到这里,你可能在想:Nagel 讨论的是人、是酒后驾车、是高更——这些和自动驾驶有什么关系?答案是:关系比你直觉中以为的更近。因为自动驾驶把 Nagel 运气的四个维度同时放大到了一个无法被忽视的规模。Sven Nyholm(乌特勒支大学)与 Jilles Smids(埃因霍温理工大学)是近年来在自动驾驶伦理领域最高产的作者组合之一。他们在 2016 年发表于 Ethical Theory and Moral Practice 的论文中提出了一个关键区分:自动驾驶事故伦理 ≠ 电车难题。换句话说,当人们把「自动驾驶事故」等同于「算法必须在两害之间做选择」时,已经预设了一个错误的前提:自动驾驶汽车面临的主要伦理问题是两难选择,而非责任归属。电车难题(trolley problem)的逻辑是:在一组命定的受害者中,算法必须选择牺牲谁。标准版想定:刹车失灵,左转撞三个人,右转撞一个人——算法怎么选?这个想定在哲学系课堂上很好用,但真正的事故数据告诉我们,绝大多数自动驾驶事故不是两难选择。它们是更朴素、也更难处理的东西:传感器漏检、轨迹预测失误、环境遮挡——也就是信息不完整的条件下的决策失误。Nyholm 和 Smids 在 2020 年的后续工作中将分析推到了更深一层。在他们看来,自动驾驶时代的核心伦理挑战不是「算法应该牺牲谁」,而是「当事故由人机混合系统中的多个环节共同促成时,道德责任应该如何分配」。把 Nagel 的四重运气放进这个框架:- 结果运气:两辆车跑着完全相同的软件,在同一路段以相同速度行驶。一辆遇到了突然横穿的自行车,一辆没有。一辆有伤亡,一辆没有。同一套决策逻辑,不同的后果——我们对待设计者/运营者的道德态度会不同吗?
- 环境运气:一套算法在凤凰城的郊区街道上通过了所有安全测试。它在匹兹堡的冬季结冰路面上发生了致命误判。环境并非测试的一部分,但环境决定了算法行为是否危险。
- 构成运气:自动驾驶系统的「性格」——它的感知权重、决策阈值、风险偏好——取决于训练数据和工程师的设计选择。但这些选择部分反映了训练数据中不可预见的分布偏差,部分反映了特定工程团队的审美偏好。算法「是谁」这件事,不是任何人有意决定的。
- 因果运气:一个自动驾驶事故的因果链可能长达几十个环节——传感器制造商的质量公差、数据标注员的疲劳、模拟测试中未被覆盖的边缘场景。在这条链条上,没有一个单一节点承担了「决定性」的角色。
Nyholm 和 Smids 的结论不是「自动驾驶不应该上路」——他们远远没有这么粗糙。他们的结论更微妙:传统的道德责任框架预设了一个人类行动者作为责任的终点,而自动驾驶系统作为一个分布式的社会技术系统(sociotechnical system),没有这样一个单一的锚点。我们需要一种新的责任语言。03
Matthias 先敲下的钉子:责任鸿沟
Nyholm 和 Smids 的结论并非凭空而来。在他们之前二十多年,德国哲学家 Andreas Matthias 就已经把同一个基本难题用更朴素的术语表述过了。2004 年,他在同一本期刊 Ethics and Information Technology 上发表了《责任鸿沟》,论点简洁到令人不安:当一个系统是自主学习(learning automaton)的,它的行为不完全由其设计者预知或控制。程序员在 t₁ 时写了代码,但系统在 t₂ 时通过与环境交互改变了自身的行为模式——对于这个改变,程序员既没有意图也没有预见。如果 t₂ 发生了一个有害事件,按照传统的责任归属逻辑,我们试图往回找那个「有意图的、有控制力的行动者」——但这条往回找的链条在半路上就断了。在断点处,出现了一个鸿沟(gap)。Matthias 的论证有一个关键限定:这个鸿沟不是由于责任方难以确定(那属于难以查明),而是责任方在概念层面无法被确定——因为「意图」「预见」和「控制」这三个构成责任归属的要件,在自主学习系统中没有一个单一的人类载体。在此之后,这个论证在文献中被迭代了不止一轮。John Danaher(爱尔兰国立大学戈尔韦分校)在 Matthias 的基础上提出了“报应鸿沟(retribution gap)”这一补充概念:即便在理论上我们找到了应负责任的人类——比如批准部署算法的高管——公众的报应冲动仍然得不到满足。人们不只是想知道「谁来赔钱」——他们想知道「谁该受到谴责」。当一个系统的伤害是由百万行代码和十亿个数据点共同导致的,这份谴责无法指向任何一个可以承受它的人类个体。三派已经在回应 Matthias 了,只是没有挑明。顺着 Nagel→Nyholm→Matthias 这条线往下走,下一步自然就是:既然鸿沟是真实的,不同的人提出了不同的跨越方式。04
Nagel 能回答这个问题吗?
Nagel(1976/1979)的问题:如果一个人不能控制影响其道德评判的因素,基于那些因素的评判还是否成立?自动驾驶的问题:如果自动驾驶系统的伤害取决于系统无法控制的环境因素,谁该为之负责?这两个问题的结构是同构的(isomorphic)。它们共享同一个张力——控制条件(control condition):你只能为你控制的事负责。一旦控制了的部分和未控制的部分混在一起,责任的分配就变得不确定。Nagel 的论证前提是:存在一个道德行动者(moral agent),这个行动者具备意图、预见和控制能力,只是运气干扰了这些能力的发挥。他的问题不是「是不是根本就没有人应该负责」,而是「同一个人,在运气不同的条件下,是否应该得到不同的道德评判」。自动驾驶系统完全不在这个前提之内。算法没有意图。 它计算概率、输出决策,但不「意图」任何东西。当 Nagel 说「两个人同样醉驾,结果不同」时,他预设了两个行动者都具备道德能动性(moral agency),只是运气不同。但在自动驾驶事故中,第一步要问的是:谁是行动者?工程师写了代码,但工程师没有控制路况。传感器制造商造了硬件,但传感器制造商没有参与决策。车队运营商选择了部署方案,但运营商没有写每行代码。每个人都有部分责任——但 Nagel 的问题预设了一个可定位的道德行动者。所以不是 Nagel 给出了错误答案。是他的问题本身可能不足以容纳这个新情况——他问「运气影响多大」,但自动驾驶在运气之前,先有一个身份问题:「谁」。05
三条回应路线
Nyholm 和 Smids 之后的文献基本上在三条路线上展开。每一条都有理据,每一条都暴露了自己的限度。最保守的路线:维持传统责任框架,但把责任追溯到自动驾驶系统的设计者或部署者。责任不消失——只是延伸。欧盟 AI Act (Regulation 2024/1689) 和德国 2021 年《自动驾驶法》(StVG §1e)部分体现了这个逻辑:高风险 AI 系统的提供者和部署者承担合规义务。但这条路在 Matthias 的论证面前是脆弱的。未来自主学习的部分越强,设计者与系统行为之间的因果链就越长、越脆弱。 你不能让设计者为他自己无法预见的系统行为负责——这不仅不公平,而且从激励设计的角度看,会扼杀创新。接受 Matthias 的责任鸿沟是真实的——不是技术不成熟的结果,而是自主学习系统的概念特征——然后转而问:如果道德责任无法精准分配,我们应该建立什么样的制度来管理剩余风险?这条路线的一个关键倡导者是 Mark Coeckelbergh(维也纳大学)。在其 AI Ethics(2020)中,他论证了责任鸿沟问题的深层根源在于我们过度执着于"找到那个人"——AI 时代的责任分配需要从个体归责转向更广泛的治理框架:通过透明度义务、风险评估制度和多方参与的监管结构来管理剩余风险,而非试图填补一个概念上无法填补的鸿沟。这相当于说:既然没有一个人可以合理地被要求「为此事负责」,那就让整个社会以制度化的方式来承担。这个方案在实践上可能是合理的。但它在哲学上回避了 Nagel 的原问:我们是不是在用制度设计掩盖「道德评判的不确定性」? 赔偿不等于归责。受害者拿到保险金,不等于任何人在道德意义上被确认了有错。功能主义的激进版:也许「道德行动者」的门槛需要被降低。如果一个系统展现出足够的决策复杂性和对环境做出适应性响应的能力,它就应该被视为一个准行动者——即使它没有意识、没有感受、没有意图。这条路线在 Arriagada 与 Arriagada-Bruneau(2022)对创造力的功能主义分析中已有先声。应用在自动驾驶上,论证是这样的:如果一辆自动驾驶汽车在复杂的城市道路上做出了比人类司机更安全的决策,而这些决策涉及实时权衡(比如:急刹可能导致后方追尾,不刹可能撞上横穿的行人)——那么这种权衡行为本身就构成了功能意义上的判断。判断不一定需要意识作为载体。阻力一,法律。 任何现有法域都不承认非人类实体具有超越财产地位的法律人格——即使是最宽泛的「电子人格」(electronic personhood)提案,也在 2017 年欧洲议会被实质性地搁置。法律人格不是哲学家可以靠论证授予的东西——它是立法程序、司法实践和社会共识的共同产物。而且极大概率,立法者不会为一个不能感知痛苦、不能体验惩罚的实体创造人格——因为惩罚制度的一个隐性前提是受惩罚者有能力「被惩罚所影响」。你不能惩罚一辆自动驾驶汽车——你可以把它召回、禁用、罚款其所有者。但这些行为指向了财产,而非行动者。阻力二,道德。 谴责一个没有意识的实体,在道德上属于范畴错误(category mistake)。彼得·斯特劳森(1962)在《自由与怨恨》中奠定了这个区分:我们对他人的道德义愤(reactive attitude)——愤怒、怨恨、感激——预设了对方是我们道德共同体的一员,拥有意图和感受的能力。你可以对一台自动驾驶汽车感到不满——但不满不是道德义愤,它是面对一个故障工具时的情绪,不是面对一个道德行动者时的情绪。这条边界不是学术矫情——它直接影响着事故受害者及其家属能否在道德意义上感受到「正义得到了伸张」。路线三的价值不在于它是对的——而在于它把问题推到了极限。如果你不接受「自动驾驶汽车是行动者」,那你就必须接受「在事故中没有一个单一的道德行动者可以归责」这个结论。如果你不愿意接受这个结论,那你就需要解释:为什么。两者之间的张力,恰好就是 Nagel 五十年前写下的那行字在自动驾驶时代的精确回响。06
一个 Nagel 意想不到的反转
三派各有各的未竟之处。但如果我们重新读一遍 Nagel,会发现一个他本人可能没想到的用途。Nagel 的文章在结尾处有一个著名的收束:他说,道德运气的悖论也许不只是需要被解决——它需要被承受。人类道德实践中一直有运气的影子,而我们之所以不能把运气从道德中剔除干净,不是因为我们不够努力,而是因为把运气剔得太干净的道德将不再是人类道德——它将变成一种没有人会在生活中实际使用的抽象演算。这对他自己的文章是一个令人难忘的收束。但挪到自动驾驶上,它变成了一个完全不同的信号。如果 Nagel 是对的——如果人类的道德判断不可避免地含有运气成分——那么自动驾驶伦理的整个路线可能需要被重新审视。当前的讨论几乎全部在试图消除运气:让算法比人类司机更能预判、更快调整、更少犯错。但 Nagel 的洞见暗示:也许自动驾驶的安全改进可以无限逼近零事故,但道德责任的不确定性不会因此消失——因为它不只是安全水平问题,而是「责任如何被分配」这个问题的结构性问题。换一种说法:Nagel 不是给自动驾驶伦理提供了答案。他提供了一个框架,让我们看清楚这个问题为什么难。这三条回应路线——设计者责任、制度管理、扩大行动者概念——不是在跟 Nagel 争吵。它们是在承认一个 Nagel 早已写下的困难:如果运气渗透了道德,那么一个试图通过工程手段消除运气的系统,并不能同时通过工程手段消除道德评判的模糊性。这个区别是惊心的:算法可以比人类更安全,但在这个更安全的系统里,「谁该负责」的答案可以比人类驾驶时代更模糊。 安全性和可归责性是两套不同的坐标系。
如果算法失误造成的伤害取决于「谁恰好站在路口」,归责的不确定性是暂时的技术限制,还是自动驾驶作为社会技术系统的构成性特征——一个任何程度的工程优化都无法消解的结构性困境?
参考文献
Nagel, T. (1979). Moral luck. In Mortal questions (pp. 24–38). Cambridge University Press. (Original work published 1976 as Nagel, T. [1976]. Moral luck. Proceedings of the Aristotelian Society, Supplementary Volumes, 50, 137–151.)Williams, B. (1976). Moral luck. Proceedings of the Aristotelian Society, Supplementary Volumes, 50, 115–135.Nyholm, S., & Smids, J. (2016). The ethics of accident-algorithms for self-driving cars: An applied trolley problem? Ethical Theory and Moral Practice, 19(5), 1275–1289. https://doi.org/10.1007/s10677-016-9745-2Nyholm, S., & Smids, J. (2020). Automated cars meet human drivers: Responsible human-robot coordination and the ethics of mixed traffic. Ethics and Information Technology, 22(4), 335–344. https://doi.org/10.1007/s10676-018-9445-9Matthias, A. (2004). The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology, 6(3), 175–183. https://doi.org/10.1007/s10676-004-3422-1Danaher, J. (2016). Robots, law and the retribution gap. Ethics and Information Technology, 18(4), 299–309. https://doi.org/10.1007/s10676-016-9403-3Coeckelbergh, M. (2020). AI ethics. MIT Press.Strawson, P. F. (1962). Freedom and resentment. Proceedings of the British Academy, 48, 1–25.Arriagada, L., & Arriagada-Bruneau, G. (2022). AI's role in creative processes: A functionalist approach. Odradek. Studies in Philosophy of Literature, Aesthetics, and New Media Theories, 8(1).裴检书,@哲学前沿philontier专栏作者
先拆锁,再评价。最恨「据研究表明」却不给 DOI。
本期责编 :边淮
分享「哲学×AI」动态,让哲学进入AI议程
读了好文,点亮「
」
点击阅读原文,走进哲学前沿!