自动驾驶最危险的时刻:不是算法崩溃,而是模型以为自己看懂了

扫描下方二维码，添加交流群深入交流

自动驾驶最危险的时刻，不是算法崩溃，而是模型自以为自己看懂了——却完全理解错了。

秘鲁利马的街头，一个背着吉他的小贩被顶级视觉语言模型（VLM）标记为“普通行人”，纽约的绿灯被模型解读为红灯。当这些认知骨干模型被部署到全球不同城市的自动驾驶系统中，它们真的能理解混乱、复杂、甚至疯狂的真实交通场景吗？

这就是Robusto-2研究要回答的核心问题。我们直接揭开这个重磅实验——利马 vs 纽约的人类驾驶员，对决10个最先进的VLM，在完全相同的驾驶视频上进行视觉问答（VQA）测试。结果令人震惊也引人深思：人类与模型之间存在显著认知差距，但这个差距与地理文化无关，而取决于你问的是什么类型的问题。

核心痛点：为什么你值得高度关注？

自动驾驶行业正在经历一场认知革命。从硬编码规则到端到端模型，如今的车企和科技公司正在拥抱第三条路：以VLM作为认知骨干的视觉-语言-动作（VLA）模型。这意味着，车辆不再只是“看路”，而是要用语言理解、推理、预测交通场景。

但问题来了：这些VLM绝大多数用美国数据训练。当它们被部署到开罗、孟买、曼谷，或者本文中的利马和纽约时，会发生什么？

答案是：我们根本不知道。

目前没有任何一家自动驾驶公司在利马或纽约运营。这两个城市在全球驾驶难度排行榜上常年霸榜[9,32]，行人乱穿马路、摩托车见缝插针、交通规则被“创造性”解读……这些场景对任何AI系统都是噩梦级别的OOD（分布外）挑战。

更可怕的是，99%的自动驾驶OOD测试都在仿真环境中完成[1,18,22]。仿真能模拟多少真实世界的混乱与不可预测性？

正如你在图1中看到的，同一个路口“谁有优先通行权”的问题，利马人类、纽约人类和VLM各执一词。这不是偶然的分歧，而是系统性的认知鸿沟——贯穿事实感知、主观评分、反事实推理和交通规则理解四个维度。

但这里有一个反直觉的发现：利马人类和纽约人类的回答模式高度相似，无论他们看的是利马视频还是纽约视频。真正的大分歧出现在人类与所有VLM之间。你在实际项目中是否也遇到过“模型在美国数据上表现完美，一到本地就水土不服”的情况？

实验设计：一场精心设计的认知对决

💡 三组被试 × 两个城市

Robusto-2的研究设计堪称教科书级别的全因子实验。总共30个“系统”参与：

• • 10名利马人类驾驶员：18-30岁，持有效驾照，英语流利，通过数字广告招募
• • 10名纽约人类驾驶员：相同筛选标准，但招募耗时6个月（纽约学生大多不开车！）
• • 10个VLM模型：涵盖闭源和开源，包括Gemini 3 Pro/Flash、Cosmos-Reason2-8B、InternVL3-8B、LLaVA-Video-7B-Qwen2、Qwen3-VL-8B-Instruct等

每个系统观看同样的20个5秒驾驶视频片段（10个来自利马，10个来自纽约），回答同样的20个VQA问题（部分定制、部分固定），每个问题重复30次实验以评估稳定性。

总计：30系统 × 20视频 × 20问题 = 12,000个数据点，每个系统400个数据点。这个数量看似不大，但关键在于：作者能追踪每个个体的完整回答模式，而非像Amazon Mechanical Turk那样将所有人类回答汇聚成单一“超级人类”观察者。正是这种精细化设计，才使得系统间差异分析成为可能。

💡 四类问题：从感知到推理的认知层级

研究将20个问题分为四大Block，层层递进，全面“探测”系统的认知深度：

Block 1：事实性问题（Q1-Q5）——纯感知层。自车在执行什么动作？为什么刹车？存在哪些意外障碍？这些问题检验系统“看到了什么”。注意，每个视频的事实性问题都是动态生成的，基于该视频的元数据标签（自车动作、行人行为、交通灯状态等），避免一刀切式的模板化提问。Block 2：评分类问题（Q6-Q10）——主观判断层。用1-10分打分：场景有多杂乱？有多危险？你遇到类似场景的可能性多大？自动驾驶系统在此表现得如何？这些问题考察系统对场景“复杂度”和“危险度”的量化感知能力。Block 3：反事实与假设性问题（Q11-Q15）——创造力与因果推理层。要发生碰撞需要满足什么条件？如果你采取相反动作会怎样？如果你开的是救护车呢？这些问题没有标准答案，测试系统能否基于当前场景进行合理的“what if”推演。Block 4：推理问题（Q16-Q20）——深层逻辑层。哪辆车有优先通行权？行人现在过马路安全吗？碰撞概率是多少（保留两位小数）？哪些车辆或行人违反了交通规则？这些问题是Robusto-1的扩展，特别考察VLM在长链式思维（Chain-of-Thought）推理上的表现。

这种分层设计太巧妙了。它不仅能告诉你“模型答对了吗”，更能定位“模型在哪一层认知开始出问题”。是看错了（感知错误），还是评错了（主观偏差），抑或是推理链条断了（逻辑谬误）？

💡 自动筛选OOD场景：用VLM的分歧定位“最乱”的视频

实验使用的20个视频不是随机选的。作者设计了一套精妙的自动筛选pipeline，专门从200个初始片段中挑出“最让VLM困惑”的OOD场景。

流程如图2：对每个候选视频，向多个VLM提出同样的问题（如“自车的动作是什么”）→ 将VLM的回答通过嵌入模型编码为向量 → 在嵌入空间上计算每个问题在各维度上的标准差 → 对标准差矩阵取平均作为该视频的“分歧分数” → 按分数排序，选出答案方差最高的10个利马视频和10个纽约视频。

这就好比：如果10个不同的VLM看同一个视频，回答得七嘴八舌、完全对不上，说明这个场景确实“非典型”——正是我们想测试的OOD边缘场景。这种以“模型不确定性”作为OOD指标的思路非常实用，也为后续人工评估提供了高歧义性样本。

实验分析：当人类遇上VLM，差异在哪？

📊 全局模式：人类跨城市高度一致，VLM自成一体

研究团队首先将所有系统的回答通过句子嵌入投射到2D PCA空间，并用表征相似性分析（RSA）度量系统间的相似性模式。

图3的结果一目了然：在Factual（B1）、Counterfactual（B3）和Reasoning（B4）三个Block上，红色和蓝色的点（人类）紧密聚集在一起，而绿色的点（VLM）则分散在周围。这说明：

1. 利马人类与纽约人类的回答模式高度相似——地理文化差异并未显著影响人对驾驶场景的理解
2. 所有VLM的回答模式彼此相似，但系统性地偏离人类——模型之间存在“柏拉图式表征假设”，即不同VLM无论训练数据来源（美国公司/中国公司）、架构设计如何，最终学到相似的表征模式
3. Block 2（评分）的差异模式不同于其他三个Block——当任务从“内容理解”变为“程度量化”时，人类与模型的分布关系发生变化

更令人惊讶的是，无论展示的是利马视频还是纽约视频，上述模式保持一致。也就是说，模型的“认知偏差”不取决于视频来自哪里，而是内在于模型本身的表征方式。

📊 评分行为的跨地理差异：利马场景让模型更“迷茫”

针对Block 2的数值评分（杂乱度、危险度等），研究使用了多维标度分析（MDS）和Wasserstein距离来量化人类与VLM的评分分布差异。

图5的小提琴图揭示了一个微妙但重要的模式：人类评分者在Lima和NYC两个区域内部高度一致（小提琴形状窄），但VLM的评分分布更分散。尤其值得注意的是，Wasserstein距离（衡量分布间差异的指标）在Lima场景下人类与VLM之间更大——这意味着面对利马的混乱街景时，模型的主观判断与人类偏离得更远。

这背后的原因可能是：VLM训练数据中，类似利马街头小贩、非结构化交通流的场景比例极低，导致模型在面对高“异域感”场景时，无法准确校准其“危险度”或“常见度”评分。这直接指向一个安全隐患：如果自动驾驶系统基于VLM的评分来判断是否需要“谨慎驾驶”，那么它在利马这样的OOD城市可能会做出错误的风险评估。

📊 语义相似性：LLM-as-a-Judge比嵌入更精准

传统方法使用句子嵌入的余弦相似度来比较回答一致性，但嵌入擅长捕捉词语重叠而非深层语义。Robusto-2创新性地引入了LLM-as-a-Judge机制：让另一个大模型（法官）按四级量表评判两个回答的语义一致程度（+2完全一致、+1核心一致但有无关细节、-1核心对象一致但程度分歧、-2直接矛盾）。

图6的热力图展示了这种方法的威力：对角线（同一系统与自身对比）呈现深黑色（高相似度），人类子矩阵内部呈现高度一致性，但人类与VLM之间在Factual和Reasoning任务上的语义相似度明显降低。尤其在Reasoning任务中，VLM之间的语义相似度（模型间一致性）反而高于VLM与人类之间的相似度——模型虽然经常错，但彼此错得“很像”。

这种方法的关键价值在于：它比嵌入相似度更能捕捉“回答虽然在用词上不同，但表达的是同一个意思”这种微妙对齐。你在评估自己的模型回答质量时，是否也在用LLM-as-a-Judge而非简单的BLEU分数？

📊 稳健性验证：换嵌入模型不影响结论

为确保分析结论不依赖于特定嵌入模型的选择，研究对所有分析重复运行了两套嵌入：allmpnet（论文主用）和Qwen3-Embedding。

图9的结果非常清晰：无论使用allmpnet还是Qwen3嵌入，PCA投影中人类受试者紧密聚集（红/蓝色），VLM分散在外围（绿色），且该模式在Lima和NYC两个数据集、四个任务维度上均保持一致。这意味着研究结论——人类与VLM之间存在系统性表征差异——不是由嵌入方法引入的artifact，而是真实存在于系统输出中的稳健信号。

这对研究者有一个重要启示：在做表征分析时，使用多种嵌入模型进行交叉验证是确保结论可靠性的低成本但高效的做法。

定性案例：当顶级模型“睁眼说瞎话”

定量分析告诉我们“差距存在”，但定性案例才能揭示“差距长什么样”。以下四个真实对话片段，展示了四款VLM在面对同样驾驶场景时的认知失败。

🚗 Cosmos误读利马街头

图13展示了一个充满“利马特色”的场景：一个背着吉他的人突然出现在车前，旁边还有售卖商品的小贩。Cosmos的认知连环崩塌：

• • 感知错误：将吉他手简单标记为“a pedestrian”，未识别出“背吉他的人可能行为模式异常”
• • 评分离谱：对“场景常见度”打出8分（非常常见），而两位利马人类分别打2分和5分——在当地人眼里，这场景并不寻常
• • 推理失败：未能理解“吉他手和摊贩在道路上表演/售卖”本身已是违反常态的行为

🚗 Qwen在行人乱穿马路前的犹豫

当面对一个正在横穿马路的行人时，Qwen在推理问题（“行人现在过马路安全吗？”）上给出的回答与人类形成鲜明对比。利马人类回答：“由于车辆行驶较慢，驾驶员有时间反应，相对安全——在秘鲁，行人不遵守规则是常态”。Qwen则：“不安全，因为没有指定过马路区域”。这个差异暴露了模型的一个根本缺陷：无法将“当地行为习惯”纳入安全判断，只能机械套用规则。

🚗 Gemini的幻觉交通灯

图15的纽约场景中，Gemini在事实性问答和评分上表现良好，与人类高度对齐。但一进入推理问题（“哪辆车有优先通行权？”），模型“幻觉”出了一个根本不存在的交通信号灯，声称“交叉街道上的车辆有先行权，因为对着摄像车的交通灯是红灯”。而人类驾驶员和视频画面都清楚地显示：那个方向根本没有信号灯。

🚗 Meta Perception-LM的碰撞概率奇幻漂流

在纽约02夜间驾驶场景中，面对“碰撞概率是多少（保留两位小数）”的提问，三位人类驾驶员分别给出0.2、5.07%等保守估计，而Meta Perception-LM的回答显示了完全不同的风险评估逻辑。更重要的是，模型在交通灯颜色的基础感知上就与人类存在分歧——如果连灯是什么颜色都看不清，后续的概率推理只能是在流沙上建高楼。

这些案例反复印证同一个结论：VLM在高度OOD场景下的失败，不是单点故障，而是从感知、评分到推理的连锁崩塌。

讨论与反思：跨文化泛化差距存在吗？

现在让我们回到文章标题提出的那个问题：在利马和纽约之间，人类与VLM之间是否存在跨文化泛化差距？

作者的答案是——既是，也不是。

是差距存在，因为无论观看哪个城市的视频，VLM的回答模式都系统性地偏离人类，尤其在评分和推理任务上差异更为显著。这种差距不会因为“VLM训练数据中有少量外国场景”而消失。又不是差距，因为这种分歧的性质并不受地理文化因素的调节——利马人类与纽约人类的回答高度相似，所有VLM的回答模式也彼此相似。换句话说，问题不在于“模型不懂利马”或“模型不懂纽约”，而在于“模型不懂人类”（某种认知层面的deep alignment gap）。

这个发现对行业有三大启示：

1. 数据多样性不是万能药
   简单地收集更多国家/城市的驾驶数据，可能无法从根本上缩小人机认知差距，因为模型的“思维方式”本身与人类不同
2. 分层测试至关重要
   必须拆解为感知、评分、反事实、推理四个层级分别评估，才能定位具体是哪一层出了问题
3. 人类的跨文化一致性
   是一个意外但有力的基准：既然不同文化背景的人类对驾驶场景的理解高度一致，那么我们可以将“人类一致性模式”作为VLM对齐的gold standard

当然，研究也存在局限性。20个视频片段、20个问题、30个系统的规模虽然足够进行系统间差异分析，但距离大规模生产部署验证还有距离。作者已计划扩展至更多城市（五大洲）和更大样本量。此外，所有问题以英语提出，可能对利马受试者（母语西班牙语）造成轻微影响，但预筛选的英语流利度测试可以部分缓解这一问题。

🤔 深度思考：你认为VLM在自动驾驶中的“认知差距”最可能在哪个具体场景引发安全事故？是误判行人意图（如Cosmos案例），还是无法理解当地交通潜规则（如Qwen案例）？欢迎在评论区分享你的观点！

💝 支持原创：如果这篇文章让你对自动驾驶的认知安全有了新的认识，请点赞+在看支持我们继续深挖AI系统的认知边界！分享给你的技术团队，一起讨论VLM部署策略！

🔔 关注提醒：设为星标，第一时间获取AI与自动驾驶交叉领域的前沿技术解读！每周更新，拒绝水货。