一段式端到端自动驾驶模型能不能用上路云数据?

自动化驾驶端到端技术演化日新月异，一个疑问一直让人困扰，就是一段式端到端到底能不能用上路云的数据？正好，最近看大一个新闻，想进一步请教一些前辈，整理并分享下。

最近，看到一条好消息，清华大学车辆国重李克强院士团队在一段式多模态端到端自动驾驶模型取得重要进展。

这一工作由车辆国重李升波、关阳所率领的研究组负责，自主研发的iDriveVLA模型在国际知名的NAVSIM自动驾驶评测基准获得全球第一名的成绩。

现在越来越多自动驾驶使用端到端，甚至是一段式。我理解就是 看到图像-执行动作。那么路侧给出的结构化数据，端到端怎么用呢？

吴道友给我说：

您这是个好问题。我认为，有一个非常简单的方式，就是长距离的提前预警，通过预警信息通知司机强制接管，退出端到端自动驾驶。比如路侧感知系统识别到前方有施工、有积水、有塌方、有团雾、有重大交通事故、有行人等等情况，在这种情况下，已经不太适合端到端自动驾驶了，这个时候，提前5-10秒给自动驾驶中的汽车发出预警，通知司机接管汽车，然后退出自动驾驶，等通过危险路段再由司机决定是否切回来。

未来，也可以把路侧结构化数据作为端到端算法的一个输入量和感知源，参与端到端计算，但这个感觉距离还很长，数据格式不标准，过于稀疏，目前还比较难以实现。

我听完以后，感觉吴道友其实提出一个路云新的应用，就是优化端到端自动驾驶的退出机制，这一点挺好的，有一个很大的收获，之前确实没有想过。

不过问题是，我其实想问的是在端到端自动驾驶运行的时候，路云数据能不能用上，于是就补问。

吴道友给我的回复是：

这个我觉得目前不太现实

太扎心了，我们搞车路云一体化建设，主要就是给车提供路云数据，用于更安全更高效的运行，结果说不太现实，这还有啥干头啊。那啥红绿灯呀，交通事故呀，交通管制呀，辅助提醒呀，辅助决策呀，统统使不上劲了呀。

那不行啊，还得请教解惑。

何前辈给出另外一个回复：

端到端自动驾驶以原始传感器数据作为输入，以轨迹规划或车辆控制指令作为输出，通过单一模型实现从感知到决策控制的全流程映射。然而，训练高性能端到端自动驾驶模型通常需要百万级甚至千万级高质量连续驾驶数据片段，数据采集、处理和标注成本极高，已成为制约端到端自动驾驶发展的关键瓶颈。

针对这一问题，团队首创提出“路转车”数据生成方法。该方法基于路侧激光雷达和摄像头采集的数据，将路侧视角信息转换为车端视角传感器数据，并直接作为端到端自动驾驶模型的训练输入。通过“路转车”技术，一份路侧数据可生成多份不同车辆视角的传感器数据，从而显著提升端到端自动驾驶训练数据及真值数据的构建效率。

与此同时，路侧传感器具备全局观测能力，能够以“上帝视角”获取监测范围内各类交通参与者和车辆的运行信息。基于此，“路转车”方法可灵活指定目标车辆类型、行驶轨迹以及传感器配置，生成对应的车端视角传感器数据。这种数据生成模式突破了传统车企依赖自有测试车队采集数据的局限，可打破行业长期存在的“数据孤岛”问题，为端到端自动驾驶模型训练提供规模化、低成本、高多样性的数据支撑。

把路侧采集的数据通过“路转车”技术，确实可以在端到端自动驾驶模型训练上提供强大的助力。这就是李老师提出的数字发电站呀。这一点很明确，讲得通，能理解。

不过贫道还是有疑问，这是解决了端到端自动驾驶模型训练的问题。然后在端到端自动驾驶模型运行的时候，路侧的数据还能实时转成车端视角参与计算，来保障行车安全和效率吗？

李道友解释道：

端到端自动驾驶分为一段式与两段式或多段式。一段式指输入传感器感知信息，输出轨迹规划或车辆控制指令，两段式/多段式则将感知网络输出的结构化信息传递给决控网络。

下面以一段式与两段式讨论路侧数据的使用方式。

路侧数据用于一段式端到端：1）可利用团队提出的“路转车”数据生成方法，将路侧激光雷达和摄像头采集的数据转换为车端视角传感器数据，用于端到端自动驾驶模型训练。通过“路转车”技术，一份路侧数据可生成多份不同车辆视角的传感器数据，从而显著提升端到端自动驾驶训练数据及真值数据的构建效率。2）将路侧感知数据与车端感知数据一同用于模型训练。对于具备路侧感知信息的路段，模型可利用路侧信息与车端感知信息推理，否则退化为仅具备车端感知能力。对于路口交互博弈工况，路侧感知可解决盲区感知与超视距感知等问题，提升自动驾驶模型的安全性与智能性。

路侧数据用于两段式端到端：1）可利用路转车数据生成方法，将路侧数据与车端采集数据、仿真数据一同用于感知模型或决控模型的训练。2）车端决控模型在路口等复杂工况可同时接收路侧感知输出的推荐轨迹和车端感知输出的结构化数据，在一般城市工况或高速场景退化为仅使用车端感知的两段式端到端。

从技术上看，一段式端到端的训练数据可用路侧，但是在线推理是不能用路侧，主要是路侧到车端的原始数据实时传输，不具有工程可行性（可靠性，安全性存在隐患）。两段式端到端（感知，决控分开）的训练数据可用路侧，在线推理也可用路侧（主要是路侧结构化数据，支持第二段的决控），结构化数据传输的工程可行性就高了很多。

一旦数据库就位和训练平台成熟，模型训练是相对简单的事情，只是花点时间和算力的事情。对于企业而言，前两者的研发更关键（数据闭环，训练平台），这是核心竞争力，而不是模型本身。

你搞清楚了吗？