自动驾驶大模型训练中合成数据能替代真实数据吗?

过去几年，自动驾驶公开数据集的规模一直在往上走，Waymo、nuScenes这些已经是老面孔了，新出来的TAD-E2E规模更是直接翻了好几倍。与此同时，合成数据技术在2025到2026年间也明显上了一个台阶，Research and Markets发布的《China Autonomous Driving Data Closed Loop Research Report, 2025》指出，从2023年到2025年，合成数据在训练数据中的比例已从20%-30%增加到50%-60%。

在这一趋势下，有一个讨论蛮有意思的，那就是真实数据已经那么多了，是不是可以少采甚至不采了，在智驾最前沿交流群中也有很多小伙伴关注过此类话题。之所以会有这个观点，是因为实车采集成本高，长尾场景半天碰不上一个，合成数据要多少有多少，何必再费那个劲。但还有一部分人觉得，合成数据做得再像也是模拟出来的，真实道路上的不确定性没法靠仿真穷尽，真实数据才是底子。

其实对于这个问题，可以从几个方面去讨论，即真实数据现在到底缺什么，合成数据能补上什么，又有哪些东西是合成数据补不了的，以及这两套数据在实际训练中到底怎么配合。

真实数据还缺吗？

提到公开数据集，Waymo Open Dataset、nuScenes这些确实已经成了行业标配，但新的数据集还在不停地往外冒，如TAD-E2E，规模直接做到了nuScenes的25倍，场景复杂度也高出1.7倍。数据量越做越大，按理说应该够用了，但业内很多从业者的感受恰恰相反，依旧感觉数据集还是不够。TAD-E2E之所以要做这么大，恰好说明之前的那些数据集在场景覆盖上存在明显的短板。也就是说，如果老数据集真的够用，也就没必要花那么大力气去搞一个规模翻倍的新版本了。

图片源自：网络

那缺口到底在哪里？简而言之是在分布上，打开任何一个主流数据集，翻一翻里面的样本，绝大多数都是晴天、白天、路况相对规整的情况。而真实道路上真正考验系统的，是暴雨天突然窜出来的行人、前方事故导致的临时改道或者某个路口莫名其妙的施工围挡等长尾场景。这些场景出现频率太低了，实车出去跑一天可能都碰不上一次，采集效率当然高不起来。而且即便碰上了，3D标注的成本也摆在那里，人力投入很大。

理想汽车披露的数据就可以说明这个问题，2023年实车测试每公里成本18块钱，一年有效测试里程大概157万公里；到了2025年上半年，测试总里程是4000万公里，但实车测试只有2万公里，剩下的全部来自合成数据，每公里成本从18元降到了0.5元。有时候不是大家不想靠实车跑数据，而是实在跑不起，尤其要覆盖那些极端情况，成本会无限推高。

所以真实数据并不是够用了，而是采集的策略需要变，过去那种大规模扫街式的采集效率越来越低，现在更重要的是有选择地采集那些合成数据做不出来的，或者做不真实的场景，真实数据只是当作一个锚点来用。

合成数据到底能做什么？

合成数据在自动驾驶中的重要性显著提升，佐思汽研2026年1月发布的《‌2025年中国智能辅助驾驶数据闭环研究报告‌》中明确指出，2023年合成数据在训练数据里占比大概20%到30%，2024年涨到40%到50%，2025年已经超过50%了。邬贺铨院士的判断则更激进一些，他认为L4、L5级别的训练里90%可以用仿真数据，真实数据留10%到20%当基因库就行。

这个比例的变化背后，也说明合成数据在做一件真实数据做不了的事，那就是系统性地补齐长尾。真实场景里碰不到的长尾场景，在仿真环境里可以批量生成，DriveGen这类框架就是干这个的，它可以将驾驶算法曾经失败过的案例当作提示，自动变出大量极端场景的变体。World Engine的思路也类似，其从真实驾驶日志里重建出交互环境，然后往外扩展，生成各种安全关键场景的变种。在nuPlan测试上，World Engine明显降低了罕见场景下的失败率，效果比单纯增加预训练数据要好。

图片源自：网络

除了场景层面的扩充，合成数据在图像质量本身上的进步也很值得注意。Helm.ai在2026年5月推出了GenSim-3和VidGen-3，能做到1920×1080全高清分辨率的六摄像头360度环视合成，像素密度是之前那些生成式世界模型的五倍。这个分辨率跟量产车上实际用的摄像头硬件是对得上的，而且它能模拟传感器本身的如光学镜头的眩光、动态曝光带来的盲区之类物理特性。这些细节对感知模型训练非常重要，如果训练数据里没有这些噪声，模型到了真实传感器上就可能出问题。

合成数据还有个隐性优势是标注，真实数据的3D标注需要人工作业，成本高，而且不同标注员之间还存在一致性偏差。合成数据生成的时候就自带像素级的精准标注，没有误差。但合成数据有一个老问题，即合成到真实的域差距会导致模型在真实场景下性能下降，现有的方法是用扩散模型做写实风格迁移来弥合这个差距，但这种方法却忽略了一个现实中的不对称情况，合成数据有完美的像素级标注，而真实世界的风格参考图像一般没有对应的标签。依赖对称语义引导的现有方法，要么面临高昂的标注成本，要么会出现严重的语义错位。

ASTAD就是针对这个问题提出的，它被ECCV 2026收录，该论文的核心设定是只使用带标注的合成内容搭配无标注的真实世界参考，完成语义一致的风格迁移。其中提到的ASTModel采用了一个无需训练的两阶段框架，其先从无标注的目标图像中提取粗略的语义先验，再在去噪过程中动态优化先验并注入类别一致的风格。实验结果表明，ASTModel在下游感知任务和结构保真度上明显优于现有方法，推理速度提升了3.2倍。这个思路将两边的优势拼在一起用，合成数据提供标注，真实数据提供风格参考，绕开了真实数据标注贵的问题。

对于一些特殊工况，合成数据的泛化效果也得到了验证，论文SynDiff-AD提出了专门给雨天夜路这种光照差、能见度低的条件生成训练数据的方法，端到端模型在CARLA模拟器上的表现提升了20%。雾天场景下，用混合密度雾天数据集训练的模型比纯真实数据基线高了1.67个mAP点，这些结论也说明合成数据在扩充环境多样性这块确实有效。

合成数据有什么做不到的？

前面一直在说合成数据的优势，但合成数据并不是没有短板，其最核心的问题还是域差距，合成数据再逼真，它跟真实传感器采集到的数据之间始终有差异。传统合成数据集的问题就在这里，仿真环境和真实世界之间的分布差异，导致模型训练好了之后迁移到真实场景时泛化能力下降；风格迁移技术虽可以将合成数据渲染得更接近真实，但它本身依赖真实参考图像，如果真实参考没有标注，语义对齐又成了新问题。

图片源自：网络

合成数据本质上还是在一个事先定义好的建模空间里采样，物理引擎的参数、车辆的动力学模型、行人和自行车的运动模式等都建立在人的建模假设之上，真实世界里有太多东西是建模覆盖不到的。如某个传感器因为温度变化出现的非线性响应，或者路面上某种从未见过的反光材质这些超出建模范围的情况，合成数据压根生成不出来。一个在纯合成数据上训练得不错的感知模型，到了真实道路上也可能因为某个没被建模的噪声模式突然失效。

因此很多技术方案里会将真实数据用来锚定基础能力，合成数据用来突破能力边界。真实数据不光是拿来训练的，它更重要的是做一个校准基准，保证模型没有在合成数据的偏差上走偏。理想汽车的做法就是这样，其用世界模型重建真实历史场景然后生成变体，但底层的那个真实场景始终是锚点。

那实际怎么配合着用？

真实数据和合成数据的关系，从目前的技术走向来看，不是谁替代谁，而是怎么配比、怎么衔接。

有一个方向是动态调整混合比例，AutoScale框架提出的思路是将数据配比当成一个动态优化问题，根据模型在闭环测试里的表现，迭代调整真实数据和合成数据的混合比例。这个思路并没有说什么样的配比最有效，而是取决于当前模型本身的短板，没有一个固定答案，需要持续调。

还有一种思路是后训练，如World Engine的做法就是先在大规模真实数据上做预训练，然后在合成的安全关键交互场景上做强化学习式的后训练。其先建立基础能力，再针对性地补安全短板，这种方式比单纯增加预训练数据量效果更好，因为后训练阶段的合成数据是定向生成，专门针对的是模型当前处理不好的情况。

图片源自：网络

从市场数据上，也能看出这个趋势，全球汽车AI仿真与合成数据生成市场，2025年估值约10.3亿美元，到2035年预计增长到291.5亿美元，复合年增长率39%。这个增长速度说明行业在往合成数据上大规模投入，但与此同时，真实数据的采集和标注工具链也还在完善，并不是说合成数据起来了真实采集就停了。

回到一开始的问题，常规数据集已经不少了，真实数据还要不要继续搜集？要，但搜集的重心在变，不应单纯追求里程数的堆砌，而是要有策略地采集那些高价值、难以合成的真实场景当作合成数据的锚点，也当作校准基准。合成数据已经能在很多场景下发挥作用，但它替代不了真实数据在锚定基础能力和发现未知问题上的价值，当前行业要走的路，应是将两者结合起来用。

-- END --