🚀无人驾驶居然能从复杂世界中提取关键信
- 2025-12-03 19:56:56
🚀无人驾驶居然能从复杂世界中提取关键信
🚀这模型居然让AI同时看懂2D和3D世界
现在的自动驾驶系统在复杂场景下经常翻车，尤其是在夜间、雨天这些长尾场景，或者遇到远处的小物体时，感知系统就变得特别不稳定。😫 传统的视觉语言模型虽然能进行一些推理，但在空间定位和理解上表现很差，导致整个系统感知能力有限。更糟糕的是，很多方法要么采用问答式的空间推理，只能提供间接的定位信号，要么完全放弃LLM架构改用扩散模型，但这样又失去了重要的推理能力。这种割裂的设计让自动驾驶系统在真实道路上表现得很脆弱，小小的几何误差就会像滚雪球一样放大成严重的决策错误。
为了解决这些问题，Percept-WAM提出了一个革命性的框架，首次在单个视觉语言模型中隐式集成了2D和3D场景理解能力。🌟 它通过World-PV和World-BEV两种token来统一处理2D和3D感知任务，这些token不仅编码空间坐标，还包含校准后的置信度。更厉害的是，它采用了网格条件预测机制，结合IoU感知评分和并行自回归解码，大大提升了在长尾场景、远距离和小物体检测上的稳定性。模型还保留了预训练VLM的参数，确保不丢失通用推理能力，同时可以直接输出感知结果和轨迹控制信号。这种设计让模型既能进行精确的空间感知，又能保持强大的逻辑推理能力。
实验结果真的让人惊喜！🎯 在COCO 2D检测上达到了51.7 mAP，在nuScenes BEV 3D检测上达到了58.9 mAP，都超过了传统的检测器和分割器。当集成轨迹解码器后，在NAVSIM上的规划性能更是超越了DiffusionDrive 2.1个PMDS分数，达到了90.2 PMDS。更实用的是，通过流式推理技术，模型实现了707毫秒的低延迟，完全满足实际应用需求。定性结果还显示模型在开放词汇和长尾泛化方面表现优异，这意味着它能在各种复杂场景下稳定工作，为真正的端到端自动驾驶铺平了道路。
Arxiv：2511.19221 🔗
关键词：自动驾驶,视觉语言模型,2D/3D感知,端到端学习,空间理解
每天分享AI领域最新突破，关注我，带你第一时间了解科技前沿！🚀 毕竟，谁不想提前知道未来会怎样呢？😉
#LLM #大模型 #强化学习 #深度学习 #AI #多模态人工智能 #人工智能 #自动驾驶 #机器学习 #学术研究
现在的自动驾驶系统在复杂场景下经常翻车，尤其是在夜间、雨天这些长尾场景，或者遇到远处的小物体时，感知系统就变得特别不稳定。😫 传统的视觉语言模型虽然能进行一些推理，但在空间定位和理解上表现很差，导致整个系统感知能力有限。更糟糕的是，很多方法要么采用问答式的空间推理，只能提供间接的定位信号，要么完全放弃LLM架构改用扩散模型，但这样又失去了重要的推理能力。这种割裂的设计让自动驾驶系统在真实道路上表现得很脆弱，小小的几何误差就会像滚雪球一样放大成严重的决策错误。
为了解决这些问题，Percept-WAM提出了一个革命性的框架，首次在单个视觉语言模型中隐式集成了2D和3D场景理解能力。🌟 它通过World-PV和World-BEV两种token来统一处理2D和3D感知任务，这些token不仅编码空间坐标，还包含校准后的置信度。更厉害的是，它采用了网格条件预测机制，结合IoU感知评分和并行自回归解码，大大提升了在长尾场景、远距离和小物体检测上的稳定性。模型还保留了预训练VLM的参数，确保不丢失通用推理能力，同时可以直接输出感知结果和轨迹控制信号。这种设计让模型既能进行精确的空间感知，又能保持强大的逻辑推理能力。
实验结果真的让人惊喜！🎯 在COCO 2D检测上达到了51.7 mAP，在nuScenes BEV 3D检测上达到了58.9 mAP，都超过了传统的检测器和分割器。当集成轨迹解码器后，在NAVSIM上的规划性能更是超越了DiffusionDrive 2.1个PMDS分数，达到了90.2 PMDS。更实用的是，通过流式推理技术，模型实现了707毫秒的低延迟，完全满足实际应用需求。定性结果还显示模型在开放词汇和长尾泛化方面表现优异，这意味着它能在各种复杂场景下稳定工作，为真正的端到端自动驾驶铺平了道路。
Arxiv：2511.19221 🔗
关键词：自动驾驶,视觉语言模型,2D/3D感知,端到端学习,空间理解
每天分享AI领域最新突破，关注我，带你第一时间了解科技前沿！🚀 毕竟，谁不想提前知道未来会怎样呢？😉
#LLM #大模型 #强化学习 #深度学习 #AI #多模态人工智能 #人工智能 #自动驾驶 #机器学习 #学术研究
本文来自网友投稿或网络内容，如有侵犯您的权益请联系我们删除，联系邮箱：wyl860211@qq.com 。
