【场景重建】清华李升波团队:面向闭环自动驾驶仿真的物理一致4D场景重建!

导读

闭环自动驾驶仿真依赖高保真街道场景重建，需同时具备稳定新视角合成（NVS）与时变信息建模能力。现有3D高斯溅射（3DGS）及4D扩展方法无法兼顾两项能力：单源观测轨迹导致视角与时间强耦合（奇异观测失效SOF），时空参数陷入信用分配困境，时序参数覆盖空间参数，最终造成空间参数欠拟合、新视角合成出现形态崩溃。本文建立信息几何诊断框架，从理论上揭示该病态问题源于空间参数不可辨识；提出正交投影梯度（OPG）分层训练策略，先锁定空间表征完整性，再将时序更新严格约束在空间零空间内；引入时序全变分正则，基于外观平滑演化的物理先验收缩时序解空间。所提方法在保持新视角合成稳定的同时，显著提升时变建模精度，保障闭环仿真的物理一致性。

图1：神经视图合成能力定性对比。真实基准画面记录了车辆尾灯从熄灭（时刻t1）到亮起（时刻t2）的变化过程。静态三维高斯溅射算法完全无法处理动态物体。驾驶高斯模型能够还原刚体运动，却无法模拟随时间变化的外观特征，致使图中两处车灯始终呈现熄灭状态。街道高斯模型与53高斯模型虽尝试开展时序建模，但在神经视图合成过程中出现严重形态畸变。本文所提方法可精准还原尾灯明暗变化，同时具备稳定可靠的神经视图合成性能。

推荐理由

1. 首次从信息几何与克拉美罗下界角度，揭示4D重建新视角失效的核心是SOF导致空间参数完全不可辨识
2. 提出OPG正交投影梯度，实现时空参数代数解耦，从根源恢复空间参数可辨识性
3. 时序全变分正则化，将时序解空间约束为物理合理区域，消除非真实外观突变
4. 打破现有方法“时序建模/新视角合成二选一”的困局，实现双能力协同
5. 计算开销可忽略，完美兼容现有3DGS/4DGS框架，工程落地成本极低

1 业务背景与技术背景

1.1 核心刚需

闭环自动驾驶仿真对场景重建的刚性要求：

• 支持自车偏离原始采集轨迹的任意新视角合成
• 精准建模时变外观（刹车灯开关、车灯明暗、动态物体变化）
• 几何与外观严格物理一致，无形态坍塌、无伪影，可直接接入决策规划闭环

1.2 现有方法局限

1. 纯空间3DGS：完全无法建模时变外观，动态物体重建失效
2. 时序4DGS：单源观测下时空强耦合，时序参数劫持空间参数，新视角合成崩溃
3. 基于变形的4DGS：黑盒形变建模，物理运动被误判为外观波动，外推失真
4. 显式时空建模：时空参数未解耦，仅过拟合观测视角，新视角泛化完全失效

1.3 核心问题定义

自动驾驶数据采集为单源单车轨迹，观测视角是时间的确定性函数，形成奇异观测失效（SOF）。时空参数信用分配失衡，空间参数失去统计可辨识性，新视角合成出现大面积形态坍塌。

2 核心概念与符号

3 核心内容

图2：基于静态光流的时空积分分配。四维重建旨在还原外观表面$c=F(d, t)$（简写为$c_z$）。多源观测能够完整求解表面形态，而静态光流仅允许基于一维运动轨迹$c = F (y(t), t)$开展观测，因此必须依托物理先验主动进行信用分配，以此推演完整的表面流形。

1. 遮挡处理（B-C阶段）：观测空档期内，仅依据时间维度分配信用会造成估算结果偏差发散；空间维度分配则可利用同一视角下不同时间戳的观测数据完成特征建模。

2. 相对静态建模（C-D阶段）：视角固定时，单纯的空间信用分配无法识别刹车灯这类时序变化现象。时序正则化保障状态平稳演变，正交梯度投影算法优先参考空间特征信息，实现跨时间戳稳定外推，并对空间零空间内的动力学规律建模，最终得到精度更高的表面估算结果。

3.1 整体架构

3.2 4D场景表征

图3：信息几何诊断。在平稳最优滤波框架中，观测辐亮度$c(y(t), t)$可在时域基函数$R(J_\cdot)$的张成空间内建模。无约束的时域分量会造成解的模糊性，而剔除这类分量又会引发空间欠拟合问题。最优频域生成算法通过主动赋值保证解的唯一可识别性。针对存在观测空缺的区域（参见图2B、2C），此类未观测区间会出现函数取值任意的情况，将解$c(y(t), t)$拓展至欠定流形后，时域正则化策略可约束该区间，以此保障数据具备物理层面的平滑特性。

动态场景拆解为几何流形与外观流形：

1. 几何流形 由高斯基元的位置、3D协方差、不透明度组成，动态物体满足刚体先验。

2. 外观流形 采用4D球谐（4DSH）建模时空联合颜色：

• ：时序基函数（傅里叶/B样条）
• ：空间球谐基函数
• ：空间视角依赖系数
• ：时序演化系数

3.3 信息几何诊断框架

3.3.1 费雪信息矩阵（FIM）

分块形式：

3.3.2 克拉美罗下界（CRB）

SOF条件下，空间雅可比包含于时序雅可比张成空间：

空间有效费雪信息完全坍塌：

空间参数估计方差发散：

3.4 正交投影梯度（OPG）

3.4.1 空间零空间投影算子

净化时序雅可比，保证与空间正交：

满足正交性：。

3.4.2 分层训练流程

阶段1：冻结时序参数，仅优化空间参数，保证空间表征完整准确。 

阶段2：冻结空间参数，将时序梯度投影到空间零空间后更新。

3.4.3 费雪信息矩阵块对角化

空间参数克拉美罗下界恢复有界：

3.5 时序正则化策略

基于外观平滑连续演化的物理先验，引入时序全变分惩罚：

总训练损失：

约束时序解空间，排除非物理解，显著提升新视角合成稳定性。

4 实验验证

4.1 实验设置

• 数据集：Waymo Open Dataset → NOTR评测集
• 基线模型：3DGS、DrivingGaussian、StreetGaussians、S³Gaussian
• 评估指标：PSNR、SSIM、LPIPS、新视角合成视觉效果
• 运行环境：单张NVIDIA A100，图像分辨率1600×1066

4.2 定量结果

图4：时域基函数与模型组件的消融实验。上行、下行分别为采用傅里叶基函数与B样条基函数得到的实验结果。每一行中，最左侧图像对应完整模型，右侧依次为各消融变体模型。

4.2.1 主实验结果

4.2.2 消融实验结果

4.3 定性结果

1. 新视角合成：本文方法无形态坍塌，可准确还原刹车灯等动态外观
2. 时序演化：外观平滑连续，无突兀突变，符合物理规律
3. 基线对比：StreetGaussians、S³Gaussian在新视角下出现严重结构崩溃

5 挑战与未来方向

1. 方法依赖高质量几何优化，几何噪声会被放大并产生伪影
2. 暂不支持行人、非机动车等非刚体运动建模
3. 扩展至生成式世界模型，支撑闭环仿真全域场景生成
4. 融合激光雷达、毫米波雷达数据，进一步提升几何精度
5. 模型轻量化与量化，适配车载端实时4D重建

7 总结

本文建立信息几何诊断框架，从理论上证明：单源观测轨迹导致的空间参数统计不可辨识，是4D场景重建新视角合成失效的根本原因。提出OPG正交投影梯度分层训练策略，实现时空参数代数解耦，恢复空间参数可辨识性；结合时序全变分正则化，将时序解空间约束到物理合理区域。所提方法同时实现高精度时变外观建模与稳定新视角外推，为闭环自动驾驶仿真提供了物理一致的4D场景重建解决方案。

8 论文信息

论文题目：Towards Physically Consistent 4D Scene Reconstruction for Closed-loop Autonomous Driving Simulation 

• arXiv：2605.21032v1 

• 团队：清华大学、美团、中央财经大学 

• 核心创新：信息几何SOF诊断、OPG正交投影梯度、时序全变分正则、时空解耦4D重建 

• 核心性能：Waymo数据集重建指标SOTA，新视角合成稳定无崩溃，时序外观建模物理一致