摸底GS重建在自动驾驶业内的岗位需求

上周有企业做招聘的朋友和柱哥聊了聊，26年需要在重建方向投入一些HC，借这个机会，和大家盘一下GS在自驾业内的职位和需求。

对于重建来说，主要是用于测试的闭环仿真。闭环仿真的用途比较明确，对于一个离线的clip数据，用3DGS重建动静态元素，验证新模型在重建clip上的效果，是否可以预测合理的新轨迹，沿用新的轨迹能否正常行驶。

一般对应闭环仿真或场景重建的算法岗位，日常工作聚焦在：

• 提升动静态的重建效果；
• 提升新视角的重建效果；
• 精细场景重建优化：行人、自行车、车道线等；
• 提升GS训练速度；
• 压缩GS模型存储空间等等；
• 前馈GS和感知模型的融合；

一般公司需要5-20人的算法团队支撑闭环仿真中重建的优化。除此之外，在和其他小伙伴的交流过程中，我们发现云端的数据生产也有需求，比如BEV视角下的静态路面重建，即2DGS重建，可以应用到静态真值生产中，比如RoGS。最近小米的ParkGaussian把GS应用到泊车场景中。综合来说，每个方向都需要至少10人左右的算法团队规模支撑最基本的功能需求。

但这个领域太新了，几乎没有什么有效的学习资料，对于很多初学者来说是非常困难的。我们梳理3DGS的发展路线后，会找到一条比较明确的路线：静态重建3DGS → 动态重建4DGS → 表面重建2DGS →  场景重建混合GS → 前馈GS。

为此自动驾驶之心联合工业界算法专家开展了这门《3DGS理论与算法实战教程》！我们花了两个月的时间设计了一套3DGS的学习路线图，从原理到实战细致展开。全面吃透3DGS技术栈。

讲师介绍

Chris：QS20 硕士，现任某Tier1厂算法专家，目前从事端到端仿真、多模态大模型、世界模型等前沿算法的预研和量产，参与过全球TOP主机厂仿真引擎以及工具链开发，拥有丰富的三维重建战经验。

课程大纲

这门课程讲如何展开

第一章：3DGS的背景知识

第一章主要是课程的概述。很多刚入门的同学往往一头雾水，尤其是直接接触3DGS领域的同学。所以本章节先从计算机图形学的基础讲起，三维空间的隐式表达和显式表达、渲染管线、光线追踪、辐射场渲染都是什么，这些技术概念和3DGS的联系是什么。进一步老师会讲解3DGS常用的开发工具，像SuperSplat，点云初始化最常用的工具COLMAP以及业内现在主流的算法框架Gsplat。为了更好的让同学们入门，第一章设计了一个小作业，基于3D Real Car训练3DGS模型，进一步使用SuperSplat移除一些杂点。

第二章：3DGS的原理和算法

第二章则正式进入到3DGS的原理和算法部分。整体上第二章的设计思路是带大家先打好基础，先详细梳理3DGS的原理部分及核心伪代码，接着讲解动态重建、表面重建、鱼眼重建和光线追踪的经典文章和最新的算法，由点及面层层深入。实战我们选取了英伟达开源的3DGRUT框架，适合大家学习和进一步科研。

第三章：自动驾驶3DGS

第三章是自动驾驶仿真重建的技术讲解。目前网上的资料五花八门，很多同学没有办法高效筛选真正适合自己的学习内容。因此这个章节就聚焦在三篇工作上，浙大经典的Street Gaussian、上交OmniRe和浙大最新的Hierarchy UGP。实战我们选取了学术界和工业界使用最多的DriveStudio，方便大家后续扩展学习。

第四章：3DGS重要的研究方向

经过前三章的学习，我们梳理完了3DGS的理论基础和主流技术方向。所以在第四章，我们聚焦在3DGS重要的几个研究方向上：COLMAP的扩展、深度估计及Relighting。这个部分老师也会分享个人的理解，这些研究方向如何服务于工业界，学术界为什么值得探索，未来又将走势如何等等。

第五章：Feed-Forward 3DGS

第五章老师和大家聊聊Feed-Forward 3DGS。前馈3DGS今年特别火，以往per-scene optimization的方法用起来实在不方便，所以feed-forward应运而生。这一章会先梳理一下feed-forward的发展历程和算法原理，接着讲解两篇最新的算法工作AnySplat和WorldSplat。

第六章：答疑讨论

第六章我们会选择线上交流的形式，组织vip群内答疑。聊聊目前3DGS的岗位需求、行业的痛点以及一些开放性问题的讨论，学院们也有机会和老师深入交流。

面向人群

• 需要自备GPU，推荐算力在4090及以上；
• 一定的计算机图形学基础；
• 一定程度了解视觉重建、NeRF、3DGS等技术；
• 一定的概率论和线性代数基础，熟悉常用的数学运算；
• 具备一定的python和pytorch语言基础；

学后收获

• 掌握3DGS完善的理论知识及相关技术栈；
• 掌握3DGS算法开发框架，训练开源模型；
• 和学术界&工业界的同行持续交流；
• 无论是实习、校招、社招都能从中受益；

课程进度安排

课程开课时间：12.1号，预计两个半月结课。离线视频教学，vip群内答疑+三次线上答疑；

课程咨询