[自动驾驶必看]小鹏世界模型X-World万字解读:打造可控的多相机第一视角,为VLA提供数字孪生训练场
- 2026-04-23 05:40:28
[自动驾驶必看]小鹏世界模型X-World万字解读:打造可控的多相机第一视角,为VLA提供数字孪生训练场今天要介绍的是世界模型X-World，这是一篇长城汽车与小鹏汽车联合团队合作发表的技术报告。在自动驾驶领域，两大车企巨头合作发布技术成果并不罕见，这通常意味着该技术方向（多相机世界模型、端到端驾驶）对行业具有战略意义！ 
X-World简要来说是一个大规模、可控的自动驾驶仿真器。但它并不是简单的贴图，而是基于多相机生成式世界模型，能精准模拟不同摄像头视角下的未来路况。X-World的核心贡献是替代了昂贵且难复现的真实路测，通过闭环模拟（Closed-loop simulation）支持在线强化学习，为小鹏和长城的端到端自动驾驶系统提供了低成本、全覆盖的训练和验证平台。 X-World目前定位是下一代自动驾驶仿真与数据引擎，一个基于AI生成的、高保真的虚拟世界，专门用来替代“烧钱的实车路测”，为端到端（VLA）模型提供无限、可控、可复现的训练数据，是VLA模型的数字孪生训练场。 关于VLA和世界模型，可以翻看我之前的文章：小鹏最新EvoDriveVLA解读：VLA2.0自动驾驶模型的双师蒸馏新范式，小鹏VLA2.0及其FastDriveVLA视觉Token剪枝技术分享，一文讲清楚自动驾驶：VLA和世界模型WorldModel。 对于端到端和VLA的概念还在混淆的同学，可以认真读一遍论文里面的这段英文描述（见下图），我觉得定位非常的准确！端到端是一体化系统的概念，与之对应的是把一体化系统拆成多个模块的模式，在自动驾驶领域，端到端意味着感知、决策、执行是一体化系统，中间不分开，这样有很多好处，在我之前的文章有深度分析过。 VLA本质上是端到端架构下的一种（目前也是最主流的）实现方式。正如下面英文所说，这是一条 “promising path”（充满希望的路径），它解决的是端到端如何更智能、更鲁棒的问题，而不是否定端到端的逻辑。 
一、问题背景 Unfortunately, current evaluations for end-to-end systems still primarily rely on real-world testing, which is costly to run and difficult to scale. More importantly, real-world testing is often biased and under-covered—limited by geography, weather, traffic density, and the rarity of safety-critical events—and is therefore hard to reproduce and hard to compare fairly across methods. This evaluation gap slows iteration, obscures failure modes, and makes it challenging to establish trustworthy progress for end-to-end autonomy. Beyond evaluation, an interactive real-world simulatoris also a key enabler for effective online reinforcement learning (RL) for VLA systems. Online RL requires large volumes of closed-loop interactions and diverse counterfactual experiences—precisely the regimes where real-world driving is unsafe, expensive, and ethically constrained. 痛点1：复现率与覆盖率 目前针对端到端系统的评估仍主要依赖真实场景测试，这类测试成本高昂且难以规模化。更关键的是，真实场景测试往往存在偏差与覆盖不足的问题，受地域、天气、交通密度以及安全关键事件稀缺性等因素限制，不仅难以复现，也无法对不同方法进行公平的对比。 传统场景里，实车去做路测。一条复杂的路口事故场景，可能几个月才遇到一次，难以复现。但是用X-World模拟器就不一样了，你可以指定 “暴雨 + 晚高峰 + 自车闯红灯”，系统瞬间生成几万段视频，实现了可扩展的评估，而且大幅降低测试成本。 痛点2：模态缺失与长尾分布 用传统方式做数据采集，极端天气，例如强光、大雾；极端路况，例如鬼探头等数据很少。但使用X-World，可以直接在模拟器里把“天气”改成“大雾”，观察端到端模型的表现；也可以直接把“行人”移到“自车正前方”测试刹停能力。完美覆盖长尾场景，强化模型鲁棒性。 痛点3：在线强化学习（Online RL）的适配 除了评估环节需要X-World模拟器外，交互式真实世界仿真器也是为VLA系统实现高效在线强化学习（Online RL）的核心赋能工具。在线强化学习需要海量闭环交互数据与多样化反事实经验，而这些恰恰是真实道路驾驶场景中既不安全、成本高昂，又受伦理约束的领域。 一款能够精准建模“在给定动作下未来传感器观测结果”的仿真器，可释放规模化的训练信号：策略能够探索备选驾驶动作、学习故障恢复行为，并在罕见事件下提升鲁棒性，且全程在可控、可复现的环境中完成。 从这个意义上讲，仿真不再仅仅是测试平台，更成为了持续迭代优化的核心引擎。形成完美的闭环模拟，适合通过在线强化学习（Online RL）不断调教自车策略。 
痛点4：做一款好的X-World模拟器都需要面临哪些挑战 
X-World是一款基于视频扩散模型构建的（Video Diffusion）、面向自动驾驶的可控多视角生成式世界模型。给定历史多相机视频流与待执行的驾驶动作或动作序列，该模型可生成对应的未来多相机视频流。 核心创新点在于：与传统双向视频扩散模型不同，X-World以流式自回归方式运行，增量式生成未来帧以支持实时交互。该设计使模型天然适配闭环使用场景，既可用于端到端策略的可规模化评估，也同样适用于仿真器需快速响应新采样动作的在线强化学习训练。 X-World实现了高质量多视角视频生成，支持端到端VLA驾驶系统的可复现基准测试、可规模化回归测试与交互式学习。具备以下三大核心特性： 二、X-World技术架构 基于第一部分的分析，我们知道X-World需要解决的问题是在给定历史观测和未来动作后，直接生成未来多相机观测（论文里用到了7个相机传感器），并且这个未来的预测既可控、可复现，又能长时间、持续的稳定向前推演。接下来，我们分别从架构设计、数据、方法、以及训练等多个方面进行深度解析。 （一）三层金字塔结构 
1.）底层：多视角潜在视频生成器（Multi-view Latent Video Generator） 底层是X-World的基座，也是最核心的部分。 2.）中层：可控的动作与场景动态（Action & Scene Dynamics） 中层主要用于模拟真实驾驶场景。 3.）上层：文本驱动的外观控制（Text-based Appearance Control） （二）数据（Data） 1.）数据格式（Data Format） X-World世界模型的数据底座设计，直接决定了模型的训练质量、仿真保真度和可控性，是小鹏&长城这套方案工程落地的核心细节。 
X-World训练基于大规模、高保真的真实驾驶序列数据集，主体驾驶行为和长尾分布的行为如下，还是以主体为主（96%），长尾为辅（4%）。同时包含了四大多模态数据类型，即多视角视频流、动态目标轨迹、静态场景描述和文本场景描述。 
多视角视频流（Multiview Video Streams） 如上图所示，一共7个环视相机的同步视频画面，是模型的核心视觉输入。帧率设置成12FPS（Frames Per Second），兼顾了时序连贯性与计算效率，是自动驾驶车载相机的主流配置。 同时10秒时序分割片段的设计（10秒 * 12 FPS = 120帧，是当前主流GPU可高效训练的时序长度），既保证时序连贯性，又避免过长序列带来的训练显存压力；能够覆盖完整的跟车、变道、转弯等驾驶行为，足够模型学习长时序动态，可无缝拼接，支持无限时长的连续仿真推演。 相机设置成7个标定视角，通过精准的空间配置与视场重叠，实现车辆360°无死角环视覆盖，为跨视图几何一致性提供数据基础。 
动态目标轨迹（Dynamic Object Trajectories） 通过高精度动态感知模型识别车辆、行人等动态交通参与者的时序轨迹。为世界模型提供动态语义监督，让模型学习真实世界中交通参与者的运动规律；支撑“可控编辑”功能；可直接修改轨迹，实现“鬼探头”、“加塞”等极端场景的生成；保证仿真中多智能体交互的物理合理性，避免AI生成的“穿模”、不合理运动等违法物理规律的输出。 静态场景元素（Static Scene Elements） 通过高精度静态感知模型标注的车道线、交通标志等静态基础设施。为模型提供静态场景语义约束，保证仿真中路况、交通规则的真实性；支撑场景编辑：可修改车道线、交通标志，生成施工路段、临时管制等特殊场景；是跨视图几何一致性的重要参考，确保不同相机视角下的静态元素空间位置统一。 文本场景描述（Textual Scene Descriptions） 通过视觉语言模型（VLM）生成的驾驶场景自然语言描述。为模型注入文本-视觉对齐能力，支撑“文本提示控制外观”的核心功能（如输入雨夜，生成雨天场景）；实现视频风格迁移：在不改变场景动态的前提下，通过文本修改环境外观；为VLA端到端模型提供天然的文本-视频-动作对齐数据，打通仿真到真实训练的完整链路。 简单总结一下，X-World 的训练数据，是一套“全维度、可编辑”的真实驾驶数据底座：用7个环视相机拍遍车辆360°的每一个角落，同时标注清楚路上所有车、人的运动轨迹，车道线、红绿灯的静态结构，再用大模型给每一段场景配上自然语言描述。 这套数据不仅让X-World生成的仿真画面和真实世界一模一样，还能让你随便改天气、改路况、改其他车的行驶轨迹，完美解决了端到端自动驾驶“路测成本高、场景难复现、长尾难覆盖”的核心痛点。 
2.）视频字幕（Video Captioning） 为实现X-World的细粒度可控性与语义理解，构建了面向自动驾驶场景的定制化大规模视频字幕生成流水线。该流水线的核心价值是为生成式世界模型提供结构化、场景化的语义监督，既解决了通用视频字幕不贴合自动驾驶需求的问题，也通过VLM 自动化方案大幅提升了大规模数据集的标注效率，为X-World的可控场景生成、在线强化学习训练提供了高质量数据支撑。 基于视觉大模型（VLM）实现自动化标注，对每段10秒视频采样7路相机的同步多视角图像序列，通过编码上述标注体系的结构化提示词输入模型，完成高效标注。 3.）自动打标签（Auto Tagging） X-World数据集的核心标注体系设计，通过三层标签分类Taxonomy实现大规模、细粒度的自动化数据标注，是支撑模型可控仿真、数据筛选的核心基础设施。 
环境标签（Environmental Labels） 环境标签是描述场景级全局特征，模型理解环境、实现外观控制的核心标签。 
静态标签（Static Labels） 静态标签用于描述静态道路基础设施，保证仿真场景的交通规则真实性，一共包含7个子类别，分别是Road Markings（路面标线）、Lane Lines（车道线）、Road Boundaries（道路边界）、Traffic Signs（交通标志）、Signal Applies To This Lane（本车道信号灯）、Traffic Lights（交通灯）、Static Obstacles（静态障碍物）。 动态标签（Dynamic Labels） 动态标签用于描述动态交通参与者，支撑多智能体交互仿真与场景编辑，包括车辆、行人、非机动车等。 自车行为标签（Ego-Vehicle Behavior Labels） 自车行为标签用于描述自车驾驶行为，是动作可控仿真的核心标签，对应之前的纵向动作分布。 
需要注意的是，整个标签体系的构建完全依赖自动化感知系统，无需人工标注，从而实现了大规模数据集的高效构建。 
（三）方法（Method） X-World是小鹏&长城联合打造的下一代自动驾驶AI仿真引擎：它以7个环视相机的历史画面为输入，结合自车的驾驶动作和场景控制指令，通过“视图-时间自注意力”保证多视角一致性与时序流畅性，生成完全真实、可控的未来多相机视频。 这套模型彻底替代了传统图形学仿真，让自动驾驶系统可以在一个无限、可控、可复现的AI世界里，完成从数据生成、模型训练到极限测试的全链路闭环，是端到端自动驾驶规模化落地的核心基础设施。 
上图是X-World多相机世界模型的总体设计架构，X-World本质上是一个动作条件约束的多相机视频生成模型。 我们对上面的架构图做一个详细分析，首先输入层是一个多视角历史帧（Multi-View Frames），即7个环视相机的同步历史视频帧，经过Encoder编码器处理后，把高维图像压缩为低维特征，为后续扩散建模做准备。 接下来就是核心扩散建模部分，架构图中的灰色方块，多视角视频Token（Multi-View Video Tokens）部分。我们知道扩散模型最大的特点就是从噪声中还原，所以遵循扩散模型范式，对特征添加高斯噪声，构建噪声预测任务。 加了噪声之后，就进入到了视图-时间自注意力（View-Temporal Self-Attention）模块，这是该论文最重要的创新点。能够同时建模跨视图（View）和跨时间（Temporal）的依赖关系；保证不同相机视角的几何一致性（避免穿模、视角错位）；保证时序连贯性（避免视频闪烁、跳变）。 紧接着就进入了条件注入（Condition Injection）模块，通过多头交叉注意力（Multi-Head Cross-Attention），将两类控制条件注入模型。一类是自车动作（Ego-Action），包括方向盘、油门、刹车等驾驶动作，约束模型生成符合动作的未来画面；另一类是环境和场景控制（Environment），包括天气、光照、交通参与者、道路元素等，支持场景编辑与可控仿真。 最后是输出层，生成未来多视角视频（Multi-View Videos），经过Decoder解码器处理之后，将特征还原为高维视频帧。整体流程满足三大条件： 模型设计（Model Design） 模型设计这块，我觉得上面的这段英文描述非常精准！翻译过来，恐怕会有内容偏差，其实这篇论文给我最大的感受就是英文非常的地道！ 模型采用的是最新的WAN2.2，虽然最终输出是视频，但训练时真正优化的是未来视频对应的潜在表示（latent representation）。因为 论文中Latent的配置如下： 对于DiT或者扩散模型还不熟悉的同学，可以翻看我之前的文章：从Diffusion到DiT，一文讲清楚扩散模型。其实套路都比较类似，而且这个Latent隐向量也特别关键，它虽然是中间结果，但是它包含了所有的信息，非常方便生成业务需要的输出形式，例如未来的视频流等，灵活性强。 
好了，架构原理讲完之后，我们继续讲一下算法公式。X-World是基于给定同步多视角相机流的短历史，模型预测执行指定未来动作序列后将产生的未来相机观测。 
上面公式里面的V是固定值代表7个相机，H则是模型预测的未来时长，是超参数，可根据需求调整，如端到端仿真常用5~10秒预测horizon，H通常取H=60（代表未来5 秒 = 60/12 FPS）或 H=120（代表未来 10秒 = 120/12 FPS）。 X-World作为动作条件约束的多相机生成式世界模型，输入包含三大核心模块，覆盖视觉上下文、动作约束与场景可控性： 模型输入： 
模型输出： 
核心建模目标： 
我把公式再搬过来如上图，其实就是一个条件概率分布，即模型学习从“历史视觉上下文 + 未来动作 + 场景控制条件”到“多相机未来视频”的条件概率分布，最终实现可复现、可控、高保真的自动驾驶场景未来视频生成，支撑端到端模型的闭环仿真与极限测试。 （四）训练（Training） 
如上图及文本所示，X-World采用分阶段两阶段训练pipeline，旨在先构建通用驾驶先验，再将其转化为可实时交互的流式自回归模拟器。这种分层训练策略既保证了模型的基础能力（真实性、可控性），又实现了推理效率（实时性、长时序）的落地需求。 1.）阶段一：通用驾驶先验训练（Stage I: General Driving Prior） 用双向DiT模型先学透通用驾驶先验，解决模型会不会的问题。把预训练视频生成器，改造成全功能的多相机世界模型。也就是第一阶段先做一个大而全的教师模型，然后再通过第二阶段蒸馏来优化和提升性能。 双向DiT模型本质上是全局优化的扩散模型，它在训练时可以看到完整的“历史 + 未来”序列（这点和BERT模型很类似，处理语言的时候能够看到完整句子，前后都可见），用双向注意力建模全局时空关系，才能保证多相机一致性和画面质量。 但这种双向DiT架构有一个缺点就是无法做自回归推演（只能一次性生成10秒视频，做不了无限长时闭环，完全无法用）；且多步去噪时延极高，根本跑不到实时，完全不适合实时闭环。所以，要通过下面的阶段二的因果DiT模型来解决实际落地问题。 算法部分：训练目标函数 
算法的核心思想通过学习一个时间依赖的速度场（velocity field），来匹配从真实数据样本（y0）到加噪样本（yt）的插值路径。 公式中，vθ(yt,t,c)是模型学习到的速度场，它是一个函数，输入是带噪样本yt、时间步t和条件输入c（如动作、场景控制等），输出是一个速度向量v。(y1−y0)是目标速度，即从真实数据到带噪数据的差值。 所以目标函数的含义，就是让模型学习到的速度场，能够精准预测从真实数据到带噪数据的变化方向和大小，从而在推理时能够逆向执行这个过程，从带噪数据中还原出干净的视频。 Rectified Flow这里是修正流的意思，是一种比传统扩散模型更高效的生成技术，它通过直接学习数据分布的流场来生成样本，避免了扩散模型复杂的前向加噪和反向去噪过程，但仍然需要多步迭代来优化生成质量。论文里说是50 Steps，所以时延就别想了，肯定满足不了在线实时的要求。 这里打个比喻，如果说Stage I是短视频剪辑的话，能够离线生成一段时间的高质量短视频内容；那么Stage II就是直播，从Stage I蒸馏后，既继承了其视频生成能力，又具备了实时在线视频流生成的效率。 2.）阶段二：后训练与交互优化（Stage II: Post Training） 因果DiT蒸馏主要用于适配工程落地需求，解决能不能用的问题，把阶段一的离线高精度模型，蒸馏成在线的实时流式模拟器。 因果DiT的本质是流式自回归模型，只能用历史帧预测未来帧，严格遵循因果约束，才能实现无限时长滚动。但如果直接用因果架构从头训练，会丢失全局优化能力（因为只能看到前面，看不到后面），多相机一致性、画面质量、可控性都会大幅下降，根本达不到世界模型的要求。 
因此，引入了以下三项关键设计： 分块因果架构（Chunk-wise causal architecture） we modify the Stage-I bidirectional model into a chunk-wise causal one. Concretely, we divide the latent sequence along the temporal dimension into contiguous chunks. Within each chunk, tokens still interact bidirectionally to preserve local spatiotemporal coherence and generation quality. However, we enforce chunk-level causality by preventing tokens from attending to any future chunks. As a result, the model becomes causal in time while retaining rich intra-chunk modeling capacity. This design provides a favorable trade-off: it enables online generation and low-latency rollouts, while avoiding the quality degradation often observed in strictly token-level causal video generation. 简单来说，Chunk内部还是双向的，Chunk之间是因果的关系，不能看到未来的视频。这其实就是工程化的一种权衡，在生成质量和生成时延之间做的一种折衷。 少步骤自强制训练（Few-Step Self-forcing Training） Instead of conditioning on ground-truth history context (teacher forcing / diffusion forcing Chen et al. (2024)), the model is trained on its own autoregressive rollouts, which significantly reduces the train–test mismatch that commonly leads to compounding errors in long-horizon generation. Concretely, generation proceeds chunk-by-chunk with KV-cache enabled for both training and inference. For each new chunk, we initialize its latent from a standard Gaussian and perform 4-step denoising, conditioned on the previously generated clean frames (together with action and optional dynamic/static conditions). This produces a self-rollout distribution induced by the Stage-II causal model. 为了解决训练和测试不匹配的问题（例如训练用教师模型，测试用自回归rollout），模型不再用真实历史（Ground Truth）做约束，而是直接用自己生成的帧来训练自己。这样训练和测试的输入分布就一致了，长视频不会越跑越偏。训练就模拟真实测试环境，从根源上消除误差累积。 DMD蒸馏（Distribution Matching Distillation） We then optimize the model using DMD (distribution matching distillation)lossYin et al.; Yin et al. (2024a), which minimizes the reverse KL divergence between the self-rollout distribution and a target distribution represented by our Stage-I bidirectional teacher. By matching the teacher distribution under self-generated contexts, self-forcing mitigates exposure bias and reduces compounding errors in autoregressive rollouts, leading to more stable long-horizon generation. Moreover, since each chunk is trained to be produced with a fixed, small denoising budget, the resulting model naturally becomes a few-step generator suitable for real-time streaming simulation. 简要来说，通过DMD蒸馏让模型自己生成的画面，在分布上尽量逼近一个更强的 “老师模型”。因为训练的时候主要以自回归为主，也就是基于自己生成的视频帧来预测下一个视频帧，自己不断的rollout推演。那通过DMD蒸馏方式，让模型自己推演时也不容易跑偏，不至于偏离教师模型太远，长视频也不会越画越崩。 DMD（分布匹配蒸馏）通过反向KL散度，把模型自己推演的结果，往更强的教师模型上 “对齐”。反向KL的好处是不让模型乱生成、不出现奇怪画面，从而让长视频推演更稳定，不会越跑越偏。 关于正反向KL散度，这里稍微解释一下，例如P是老师模型的分布，目标准确；Q是学生模型的分布，自己推演出来的。 正向KL散度是在老师的分布上求期望（x~P，即x服从p分布），意思是老师出现的地方，不管好坏，学生都必须得跟上。 
而反向KL散度是在学生自己的分布上求期望（x~Q，即x服从Q分布），意思是学生生成的内容，都在老师合理的范围内，不能乱生成。这就是为什么自动驾驶、长视频推演必须用反向KL，要按学生自己生成的位置算误差。 
所以论文里提到的以下三个问题，也就迎刃而解了！至于Rolling KV Cache，那都是常规优化了。 （五）实验结果（Results） 1.）动作可控性 
上面的动作控制效果图，完美的诠释了X-World的三大核心能力。上中下一共三张图（中间空白分开），每张图里面又分为上下部分，上半部分是原始动作，下半部分是基于指令生成的动作。 在工程落地上，具有非常重要的意义： 2.）场景元素可控性 
上图清晰地展示了从 通过叠加标注，清晰展示了模型对场景中动态和静态元素的精确控制与生成能力，验证其在复杂场景下的可控性与真实性。从 3.）长时推演稳定性 
千问不要觉得24秒短，对于自动驾驶场景足够了，更何况X-World是“持续自回归滚动”的设计，更是把这个时长的价值拉到了无限，彻底解决了世界模型的落地痛点。 4.）文本提示（Text Prompts） 
文本这个就非常简单了，不再解释了。 写到这里，X-World就介绍的差不多了，这篇解析已经超过1万字了，除了因为论文里面内容干货多，论文的英文表达也是我见过差不多最好的（国内团队）！ 看到X-World模拟器，我当时第一个想到的就是大学时代玩的一款赛车游戏叫“极品飞车”，那是完全用传统计算机图形学模拟的典型代表，用3D建模、渲染管线、物理引擎，手动搭建场景、车辆、光影、碰撞规则，按预设公式、规则计算画面，一切都是计算出来的。 
而X-World是AI生成式世界模型，基于视频扩散生成（Video Diffusion），用海量真实驾驶视频训练，理解物理规律，输入历史视频 + 驾驶动作，直接生成未来多视角视频流，是通过AI学出来的，而不是基于图形学计算出来的。 可以说X-World已替代传统基于3D高斯、渲染的仿真，用于自动驾驶闭环测试。有了X-World的加持，端到端VLA算法将如虎添翼！ 欢迎关注、转发
https://arxiv.org/html/2603.19979v1在线RL是VLA从“感知-动作映射”升级为“自主迭代优化”的关键，但真实道路上的探索性驾驶（如尝试激进或保守动作）存在极高安全风险与伦理问题； 高保真交互式仿真器的核心价值，就是构建“数字孪生驾驶环境”，让VLA模型在虚拟世界中完成海量试错、学习极端场景应对，再迁移到真实车辆，完美解决了真实数据的成本、安全、覆盖度三大瓶颈； 这也是当前特斯拉、Waymo、小鹏等头部玩家在端到端自动驾驶中，重点投入仿真平台的核心原因。
高视角一致性：确保多相机间的几何连贯性与物体身份一致性； 严格动作跟随性：能够生成与自车指令行为完全对齐的未来场景； 长视频推演能力：支持长周期下的稳定预测，避免长周期推演中的漂移。
- 输入
同步的多相机历史帧（环视摄像头）+ 动作序列（Action Sequence）。 - 核心任务
预测未来T秒内的多相机视频流。 - 关键创新（显式约束）
- 跨视图几何一致性（Cross-view Geometric Consistency）
能精准计算不同摄像头（前、后、左、右）之间的投影关系。比如自车左转，左边摄像头看到的车和右边摄像头看到的车，空间位置必须逻辑一致，不能出现“穿模”。 - 时间连贯性（Temporal Coherence）
保证视频生成流畅，不会出现 “跳帧”“闪烁”。
- 动作约束（Action-conditioned）
严格映射端到端模型的输出动作（如方向盘转角、油门、刹车等）。它是闭环模拟的关键，它能根据自车的动作，精准推演路况。 - 场景动态
模拟红绿灯变化、以及其他交通参与者（车辆、行人）的运动轨迹。
- 外观级编辑
通过文本提示（Text Prompt）直接修改环境外观。例如："Rainy night"（雨夜）、"Sunset"（黄昏）、"Snowy"（雪天）等等，让X-World模拟用户输入的环境。
- 风格迁移
在不改变路况和动作的前提下，一键转换视频风格。
输入：历史多视角相机流 + 未来自车动作 + 可选场景控制； 输出：符合动作指令、跨视图几何一致、视觉真实的未来多相机视频； 核心目标：直接在观测空间（视频）中建模世界状态，完美适配端到端自动驾驶的VLA策略；
X-World is built upon the state-of-the-art WAN 2.2 Wan et al. (2025), following its latent video generation paradigm that couples a video VAE with a DiT-based latent denoiserPeebles and Xie (2023). In particular, consistent with WAN 2.2 5B Wan et al. (2025), we employ a high-compression 3D causal Variational Autoencoder that achieves a
To address the critical challenge of geometric consistency in multi-camera autonomous driving scenarios, we introduce a customized DiT block tailored to the multi-condition generative framework of X-World. The design has two key goals: (i) enforcing spatio-temporal modeling with strong cross-view consistency, and (ii) enabling controllable generation under heterogeneous condition signals (e.g., ., actions, camera parameters, dynamic agents, static road elements, and text prompts) with minimal cross-condition interference.
X-World 建立在潜在视频生成（latent video generation）框架上。X-World的前端处理模块为3D Causal VAE（三维因果变分自编码器），后端处理模块为DiT-based latent denoiser（基于 DiT的潜在去噪器）。实际上，模型是在生成未来多相机视频的时空隐向量Latent，再把它解码回视频。空间压缩比： 16x时间压缩比： 4x通道维度： 48
- 先把能力拉满
通过双向全局建模，才能让模型真正学懂7个相机的空间几何关系、驾驶场景的物理规律、动作与画面的因果逻辑、场景控制的语义对齐，这是所有仿真能力的基础。 - 规避因果训练的缺陷
如果直接用第二阶段的因果DiT模型从头训练，模型只能学到局部时序依赖，无法建立全局跨视图一致性，会出现“前相机左转、后相机画面不动”的穿模问题，永远达不到真实仿真的要求。 - 沉淀通用知识
这一阶段输出的是一个“什么都能做”的通用模型，既能生成高质量视频，又能响应动作和场景控制，为第二阶段的蒸馏优化提供了一个完美的“教师模型”。
- 解决时延问题
通过少步去噪蒸馏，把原本50步的去噪过程压缩到2-4步，单帧推理时延从秒级降到毫秒级，满足12FPS实时流的硬约束。 - 适配自回归推演
把双向架构改成因果架构，让模型只能用历史帧预测未来帧，实现“生成一帧、输入下一帧、再生成新的一帧」的无限滚动，支持长时闭环仿真。 - 保证能力不滑坡
以阶段一的教师模型为监督，做知识蒸馏，让因果DiT尽可能继承教师模型的画面质量、跨视图一致性和可控性，避免提速降质。 - 优化长时稳定性
专门针对自回归推演做训练，抑制误差累积，保证模型跑几十分钟甚至几小时，画面都不会漂移、逻辑不会崩溃。
Stage-II的主要目标就是把Stage-I的双向生成器改造成，具备以下四大核心特点的模型，为了能高效的工程化落地。
Exposure bias Compounding errors Long-horizon instability
- 动作忠实性（Faithful to Commanded Actions）
模型100%遵循输入的自车动作指令，生成的轨迹、画面完全匹配动作逻辑，无偏差、无错位；例如上面的左转、右转、和变道三个指令。 - 场景一致性（Scene Consistency）
同一初始场景下，不同动作指令生成的场景完全自洽，环境、静态元素、动态参与者的生成符合真实世界物理规律； - 动态泛化性（Dynamic Generalization）
动态交通参与者无人工约束，完全由模型自由生成，证明模型不仅能控制自车，还能生成符合场景逻辑的周围交通流，仿真真实性拉满；
完美支撑端到端自动驾驶的闭环仿真：可以在同一初始场景下，给模型输入不同的动作指令，测试端到端模型在不同驾驶行为下的表现； 支持反事实推演（Counterfactual Rollout）：可以回答“如果当时不右转，而是左转会发生什么？”，用于极端场景测试、事故复现等长尾场景； 实现可控的数据增强：可以通过修改自车动作，生成大量不同驾驶行为的仿真数据，用于模型训练，覆盖长尾场景；
t=0.0s到t=6.0s共6秒的连续多相机视频帧，覆盖了7个环视视角（Rear_Left, Front_Left, Front_Narrow, Front_Fisheye, Rear, Front_Right, Rear_Right）。其中，绿色框（Green）代表动态智能体（Dynamic Agents），如周围行驶的车辆、行人等；红色线（Red）代表实体道路边界（Solid Road Boundaries），如道路边缘、护栏等；青色线（Cyan）代表车道标线（Lane Markings），如实线、虚线、导向箭头等。t=0.0s到t=6.0s，青色的车道标线和红色的道路边界在所有相机视角中都保持了极高的空间一致性和时序稳定性。绿色框标注的动态车辆在不同相机视角下的运动轨迹、速度、相对位置都符合真实交通规则和物理规律。
本文来自网友投稿或网络内容，如有侵犯您的权益请联系我们删除，联系邮箱：wyl860211@qq.com 。
