当前位置：首页>自动驾驶>香港大学李弘扬教授团队 | 让自动驾驶＂看懂＂路口:基于图神经网络的驾驶场景拓扑推理

香港大学李弘扬教授团队 | 让自动驾驶＂看懂＂路口:基于图神经网络的驾驶场景拓扑推理

2026-11-07 12:51:54

#自动驾驶，#场景理解，#拓扑推理，#车道感知，#高精地图，#图神经网络，#端到端感知，#人工智能

引用本文: Li T Y, Chen L, Wang H J, et al. Graph-based topology reasoning for driving scenes. Sci China Inf Sci, 2026, 69(5): 152103, https://doi.org/10.1007/s11432-025-4815-9

研究意义

一辆自动驾驶车开到十字路口，要在几秒钟内回答两个问题——"我该走哪条道？""我该关注哪个红绿灯？"直行路段上，车道线清晰、信号唯一，这类场景并不难；可一旦进了十字路口，地面车道线在中央戛然而止，头顶又同时挂着五六个信号灯与指示牌，决策一下子从几何问题变成了关系问题。其实驾驶员靠的并不是更敏锐的眼睛，而是"看关系"：哪条入口道接哪条出口道、哪盏灯管自己这条道。换句话说，路口在人脑海里从来都不是一堆孤立元素，而是一张相互关联的图。

要让车也具备这种能力，业界长期沿两条路走：一条是离线高精地图：把路网拓扑提前标注好，车开过去查表即可；代价是制作和维护成本高昂，城市道路稍有更新便会失效，规模化部署受限。另一条是近年兴起的在线建图：车边开边用相机感知，把车道线、路沿、人行横道实时画出来；但这类方法大多只还原了几何形状，却说不清道路元素之间的关系，比如"这条道接到哪条道"，下游规划仍需依赖一整套手写规则做二次加工。

两条路径各有取舍，实用场景里却越来越倾向同一种诉求：感知与拓扑一次性产出，结果可直接交给规划。这正是本文想要回答的问题——把车道、红绿灯、路标共同放入一张异构关系图中端到端地推理，使车辆所"看到"的不再是离散元素的堆叠，而是一张可以直接用于决策的场景图。

图1 路口的拓扑关系一目了然：实线箭头表示车道之间的连接（Topology LL），虚线表示交通元素到车道的归属（Topology LT）。TopoNet (Topology Reasoning Network)要做的，就是从相机图像里把这张"关系图"直接画出来。（论文 Fig.1）

本文工作

论文将所提方法命名为TopoNet (Topology Reasoning Network)，是首个端到端、统一处理两类拓扑关系（车道—车道、车道—交通元素）的驾驶场景理解网络。其整体结构并不繁复：一个共享的图像特征提取器，两条并行的检测分支——一条在前视图（PV）中检测红绿灯与路标，一条在鸟瞰图（BEV）中检测车道中心线；真正承担推理职责的，是两条分支之上的场景图神经网络（Scene Graph Neural Network, SGNN）。

这里有一个绕不开的工程难题：交通元素天然存在于 2D 图像中，而车道存在于 3D / BEV 空间中——两套坐标系下的特征如何对话？SGNN 给出的方案是先以一个轻量的 embedding network 将交通元素的语义信息（"禁止左转""红灯"等）映射到与车道一致的特征空间，再让两类 instance query 在一张精心设计的有向图上通过 GCN (graph convolutional network) 互相传递消息。

更关键的是文中提出的场景知识图（Scene Knowledge Graph）：对每一类交通元素（左转牌、直行牌、红灯、绿灯等）与每一种车道连接方向（前驱 / 自身 / 后继）分别学习独立的权重矩阵，使"红灯传来的消息"与"左转牌传来的消息"在数学层面就被区分对待，避免不同语义的邻居被一视同仁地汇聚。设计上也刻意将消息只在"车道—车道""车道—交通元素"两类边上传播，而不构造完全图——既节省算力，也阻断了两个本就毫不相干的路牌之间的无效串扰。

图2 TopoNet 整体Pipeline：多视图图像先变换为 PV 与 BEV 两套特征，两条 deformable decoder 分别输出交通元素与车道中心线的 query，再进入 SGNN 互通有无、迭代精修。图中 "TE" (Traffic Element) 与"LC" (Lane Center)两类节点被区别对待，对应右侧的场景知识图设计。（论文 Fig.2）

场景知识图的工作机制如图 3 所示。以一条目标车道（图中蓝色中心线 LC1）为例，它的"邻居"既包括前驱与后继车道，也包括头顶悬挂的红灯、左转牌等不同类别的交通元素。这些邻居在图结构右侧被显式拆分到类别独立的权重矩阵 W上：红灯走红灯的通道，左转牌走左转牌的通道，前驱与后继车道亦各自独立。SGNN 据此分通道聚合，再求和更新 LC1 的特征——交通先验由此沿着图结构本身、而非通过 loss 函数进入网络。

图3 场景知识图工作机制示意。左侧为真实场景中的局部关系（蓝色目标车道 LC1 与其前驱、后继车道及上方多类交通元素的连边）；右侧将其展开为类别独立的权重矩阵 W——不同类别的交通元素与不同方向的车道连接各走一组权重，对目标节点的语义贡献因此被区分对待。（论文 Fig.3）

本文的主要贡献可概括为如下三点：

(1) 跨视图统一特征空间。通过 embedding network 将 2D 图像域的交通元素语义映射至与车道一致的特征空间，使异构域之间得以先对齐、再交互，规避了跨视图特征的硬性拼接。

(2) 显式建模场景中的两类关系。将"感知"与"拓扑推理"纳入同一个 forward pass，由 SGNN 在网络内部直接产出车道连接与交通元素归属，省去了以往方法所依赖的手写后处理流程。

(3) 类别感知的知识图设计。针对不同类别的交通元素与不同方向的车道连接分别学习独立权重，将交通先验直接编入图结构本身，而非借助 loss 函数间接施加约束。

实验结果

实验在OpenLane-V2基准上进行。这是首个同时标注了车道拓扑与交通元素归属关系的大规模数据集，覆盖 Argoverse 2 与 nuScenes 两套场景。对比方法选取了三个有代表性的强基线：STSU（DETR “DEtection TRansformer”风格的中心线 + 拓扑学习）、VectorMapNet (Vectorized HD Map Learning Network) 与 MapTR (Map TRansformer)（彼时在线建图方向的两个 SOTA）。为避免"换了主干偷偷占便宜"的争议，所有方法统一使用 ResNet-50 主干、统一输入分辨率、统一训练 24 epoch。

肉眼对比即可见分晓（论文 Fig.4）：在"车道线本就消失"的路口场景下，前几个 baseline 要么漏检大段中心线，要么把连接关系画得拧巴；TopoNet 几乎完整还原了路口内的全部车道连接，并正确建立起红绿灯到车道的归属边。数值上，从感知（DET_l、DET_t）到拓扑（TOP_ll、TOP_lt），再到综合分 OLS，TopoNet在全部指标上稳定领先；尤其在拓扑推理两项上，相对此前最佳方法实现了数倍的相对提升——这正是"会画线"与"懂关系"之间的差距。

图4 同一十字路口下，几种方法的预测一眼可辨：STSU 漏检了大量路口内中心线，VectorMapNet 与MapTR 的连接关系扭曲、错位；TopoNet 几乎还原了全部车道连接，并正确建立了红绿灯到车道的归属边。不同颜色表示不同类别的交通元素。（论文 Fig.4）

消融实验进一步印证了若干设计的必要性。当场景知识图被退化为普通 GCN 时，拓扑指标反而出现轻微回落——表明对不同类别、不同方向的邻居"一视同仁"在该任务上是无效的，先验语义必须显式编入图结构。作者同时考察了"仅保留车道—车道边"与"仅保留车道—交通元素边"两种变体，二者均逊于完整模型，验证了两类关系彼此互补、缺一不可。