英伟达汽车副总裁吴新宙专题介绍了的英伟达自动驾驶L4参考软硬件、主机厂生态以及量产计划。1. 宏观判断:自动驾驶迎来「ChatGPT时刻」,但规模化才是真命题
吴新宙在演讲中首先给出宏观研判:自动驾驶已在2025年迎来「ChatGPT时刻」。他认为,过去一年VLA模型、多模态基础模型和推理模型的突破,正在改变自动驾驶的研发方式。但他同时指出,全球每年约13万亿英里的交通出行里程中,真正由自动驾驶完成的比例只有0.006%,行业天花板远未触及。
核心逻辑是:技术已经成熟到可以谈落地,但规模化部署才是真正的战场。
2. 技术架构:「三台计算机」框架
吴新宙将英伟达整套自动驾驶体系概括为「三台计算机」:云端训练、云端仿真以及车端推理。围绕这三部分,英伟达构建了从硬件到应用的分层架构,使不同环节可在同一体系内协同运行。自动驾驶开发逐渐呈现出类似软件工程的流程:数据采集 → 模型训练 → 仿真验证 → 上车部署 → 问题反馈与再训练。英伟达披露,其模型迭代已可做到每天发布多个版本,从测试到上线的周期缩短至数小时级别。
3. 三大核心技术更新
① Alpamayo 1.5 — 可解释推理模型
Alpamayo 1.5已可理解导航路径,并通过自然语言或指令约束实现变道、靠边停车等更可控的行为,同时输出带有推理轨迹的驾驶轨迹结果。相比Alpamayo 1,在提升端到端大模型「可解释性」的基础上,还能追问「为什么这么做」,并通过文本和导航提示去约束行为。自推出以来,Alpamayo相关模型已被全球超过10万名汽车开发者下载。Alpamayo 1.5版本增加了多摄像头支持和可配置相机参数,让同一套AI驾驶栈更容易复用到不同车型和传感器配置上。
在演示中,搭载Alpamayo 1.5的车辆不仅能完成变道、避让等操作,还能对决策依据进行解释,例如识别行人后减速,或在左转时等待来车间隙。
② Halos OS — 统一安全架构
英伟达推出Halos OS,作为面向AI驱动车辆的统一安全架构。该系统基于通过ASIL D认证的DriveOS构建,整合安全中间件与主动安全应用,并引入多层安全护栏,以支持推理模型在车规级要求下运行。 这是英伟达首次将安全认证体系作为独立产品推出,而非内嵌于芯片规格中。
③ Omniverse NuRec — 真实场景高保真仿真
NuRec是一套基于3D高斯泼溅技术的工具集,可通过摄取真实世界数据,完成可交互仿真场景的重建与渲染。它帮助自动驾驶开发者在不耗费大量时间和成本手动构建世界的情况下,对推理行为进行压力测试并模拟极端事件。51WORLD、dSPACE、Foretellix等工具链厂商已完成集成,密歇根大学Mcity正在使用NuRec搭建测试场的数字孪生。相关仿真体系已在内部实现每天约200万次测试,用于模型验证与迭代。
4. L4联盟:车企合作大规模扩张
比亚迪、吉利、现代和日产正在基于DRIVE Hyperion推进L4项目。Uber将基于这一平台在2027年率先于洛杉矶和旧金山启动新一轮Robotaxi部署,并计划到2028年扩展至28个城市。Bolt、Grab、Lyft等出行平台也在采用DRIVE Hyperion加速自动驾驶部署。同时与Uber达成合作,建立基于当前一代 Hyperion 10 传感器套件的车队进行数据收集。双方计划到2028 年在全球 28 个城市部署 L4 技术。
5. 路线图:清晰的时间表
英伟达的部署路线图为:2025年推出L2++辅助驾驶,2026年推进点到点辅助驾驶,2027年部署L4自动驾驶,2028年之后面向普通用户交付L4能力。英伟达并未把首个量产L2辅助驾驶描述为「纯端到端」,而是强调端到端模型与传统安全栈并行——推理式模型提升能力上限,同时保留可验证、可认证的安全护栏体系。
核心战略转变
如果说过去外界更多把英伟达看作车端算力芯片和仿真工具提供者,那么在GTC 2026上,英伟达想强调的故事已经很明确——它希望成为自动驾驶进入规模化落地阶段后的底层平台提供者。
用一句话总结:英伟达正在把自动驾驶的竞争从「谁的算法最强」,转向「谁的模型+数据+仿真+安全的系统工程体系最完整」。
-------------------------------------详细ppt如下----------------------------
英伟达对未来出行的预测10万亿美金的市场,大多数的里程由自动驾驶完成。英伟达推出了以Drive Hyperion为核心的最新一代 L4 级车辆统一参考架构。AGX Thor 车载 AI 超级计算机
AGX Thor 是该架构的核心车内 SOC 旗舰设备,专为满足车载大模型和端到端自动驾驶的高算力需求而设计。
底层架构:基于Blackwell 架构,与训练基础模型所使用的架构相同。
计算精度支持:支持从 32 位到 16 位浮点数,并重点支持 4 位浮点数(FP4)。
性能提升:在车内设备普遍受限于内存带宽的情况下,FP4 的应用能够有效突破物理限制,大幅增加车内可用计算能力。在应用 FP4 的前提下,AGX Thor 的性能相较于上一代平台(Orin)实现了20 倍的提升。
高端模型(L3/L4 级别):
目标场景:旨在支持高水平自动驾驶,涵盖高速公路及城市道路的 L3 与 L4 级别。
硬件配置:14 个高清摄像头、最多 4 个内部摄像头、9 个雷达、1 个激光雷达。
系统特性:具备完整的传感器冗余设计,确保在发生单点故障时系统仍能安全运行。
基础模型(L2+ 级别):
目标场景:侧重于 BOM(物料清单)层面的成本控制,可提供从泊车到泊车、Hands-free高速公路及城市端到端的功能。
硬件配置:10 个摄像头、3 个雷达(无激光雷达)。
系统特性:属于 Drive AV 体系中与客户共同构建的方案。
Halos 多层软件架构:
操作系统层 (Halos OS):基于传统的 Drive OS 演进,已通过最高等级的 ISO 认证(ISO Delta),支持Linux和QNX操作系统。内置CUDA、TensorRT 和 LLM SDK等库,支持开发者以最高效的方式部署用于自动驾驶的大型语言模型(LLM)和生成式 AI 模型。
中间件层:将原本需要 OEM 投入数百名工程师来定义的“传感器与车辆抽象层”进行了标准化,并纳入 Halos OS 层,英伟达将统一中间件来减轻车企在部署软件栈时的工程负担。
系统安全护栏:集成传统的软件栈作为安全护栏(包括符合5 星 ENCAP 和 NCAP的主动安全软件),确保开发者在 Haloes 上部署自定义的端到端模型时,能够直接受益于平台底层的安全机制。
Alpameyo 自发布以来16万人下载,1.5版本发布:
增加了routing 功能waypoints,导航软件
文字prompt输入
摄像头不同configuration 比如FoV
这张图是alpamayo到量产软件的流程。
Alpamayo生态圈
25个国家支持,10B的参数,8万小时的驾驶数据训练
Omniverse NuRec 工具链会在后续几周发布用于端到端训练。
这张图展示了如何重建场景,插入或者改变驾驶行为,增加数据的多样性。
Cosmos可以用prompt生成各种天气环境,任何光照,任何城市,任何场景。
一个Orin 上部署了不同层的软件来保证安全和功能的人机交互
一年模型的3500次迭代,是一个混合的stack,可以用来做评估。
混合的模型用这个场景来看什么时候软件做了模型切换。当检测到不安全的驾驶环境时会切换的classical模型来保护驾驶安全。
4. 系统架构与 ECU 部署
英伟达采用了双 ECU 协同工作的架构设计,使得基于同一套代码库可以向合作伙伴同时交付 L2+ 和 L4 能力:
最后英伟达自动驾驶路线图:
主机厂生态
英伟达希望和生态伙伴一起加速车队自动驾驶里程渗透率提升到90%。
英伟达的硬件参考设计和算法,算是自动驾驶的标准套件了,就等各家来用了。
大家怎么看?