自动驾驶中的传感器技术53——Radar(14)

本节继续介绍雷达后端算法，mmwave radar signal processing pipeline。

首先这里推荐两本书：FMCW Radar Design 和 Radar Signal Processing for Autonomous Driving

本节专门对4D雷达后端算法进行一些讨论，很多人对4D雷达的理解停留在下图上，这对也是不对，从后端算法上，由于4D雷达的通道数更多，算力更强，所以4D雷达增加了很多新的算法处理。

1、4D雷达中的微多普勒处理

传统3D雷达信号处理流，由于算力有限，通常很少对微多普勒信息进行处理利用，所以复杂场景下的VRU目标通常探测不稳定，在4D雷达中，会通过VRU的微多普勒特征提取来提升VRU目标的探测效果。

对于运动物体，车轮和手臂等运动部件的微多普勒速度可用于分类。为了更好地观察这些微运动，应用短时傅里叶变换（STFT）提取多普勒频谱图。不同类型的弱势道路使用者（VRU）可以根据其微多普勒特征进行分类。

如何将Micro Doppler处理融入到4D雷达信号处理流程中，主要有以下三种方式：

1 适用于range-Doppler-Angle架构，由于速度分辨率提高，range-Doppler map中已经呈现出目标相应的微多普勒信息，也就是多普勒扩展，那么可以在信号处理层面单独基于这些扩展定义特征，适用于detection相对比较少的情况。

2 适用于range-Doppler-Angle及range-Angle-Doppler架构，信号处理层面不做特征提取处理，按照即有架构处理流程即可，在聚类阶段，表征某一Object的detections会得到聚类，分析这些detection的多普勒信息一定程度上等价于分析目标的微多普勒特征。

3 适用于range-Doppler-Angle架构，且针对距离速度高分辨情况。2D-FFT之后，类似于行人，骑行者等目标都有独特的pattern，直接在range-Doppler map上粗聚类和精聚类相结合，可以获得目标各组件独立的微多普勒信息。

以上处理主要还是算力，如果算力足够，处理方式可以优中选优；在4D雷达或者分布式卫星雷达中，设计一个和算力匹配的微多普勒提取方式即可。

2、4D雷达点云的HDR提升

4D毫米波雷达的输出点云在数量及质量上远远高于传统毫米波雷达，数量指标很好理解，怎么理解雷达点云质量呢？事实上，它也是由多个维度决定的，其中一个重要维度就是高动态范围（High Dynamic Range，HDR），简单理解，所谓HDR就是雷达既能够检测强反射目标（比如大卡车），也能够稳定检测大车附近的VRU，这通常是非常困难的，传统毫米波雷达很难做到稳定检测，更别提稳定跟踪，对于4D雷达，这是要解决的问题。CES2021上，Mobileye介绍了其4D成像雷达技术要点（如下图），其中就着重强调了高动态范围的重要性，宣称做到60dB的高动态范围，下图也展示了Mobileye的HDR演示demo，demo成功跟踪了一辆车旁边行走的两个成人。

实际上Mobileye到目前还没有退出其4D雷达，但是不影响其提出了方法论。

这里提升点云的HDR是一个方向，但是能不能最终解决问题，还需要打一个问号，可以在提升HDR的基础上，同时采样微多普勒处理，提升大车边上VRU的检测效果。

回到HDR，处理增益分为相干处理增益以及非相干处理增益，举个简单例子，比如雷达采用8通道，128个chirp，每个chirp256个采样点，以range-Doppler-Angle架构为例，在range-Doppler map上搜索目标点的时候，本身每个目标点是获得128*256相干处理增益以及sqrt(8)的非相干处理增益，所以整体获得了128*256*sqrt(8)的处理增益。

这样的结果还不错，对于传统毫米波雷达差不多够用了，那么对于4D雷达我们认为还有思考空间，比如sqrt(8)能否演进为8，天线数目多了，这两者差距还是有的。是的，我们可以完全抛弃range-Doppler map搜索机制，在2D FFT基础上直接做3D FFT乃至4D FFT（获得俯仰角），以期获得更高的处理增益，从而提高弱小目标的检测能力。

聚类是雷达检测流程中最重要的阶段，尤其是对于下一代高分辨率雷达。DBSCAN 受到青睐有几个原因：它不需要预先指定数量的聚类；它适合任意形状；它运行速度快。一些研究通过明确考虑雷达点云的特征，改进了DBSCAN。基于网格的DBSCAN 建议在距离-方位角（RA）网格图中对雷达点进行聚类，以避免笛卡尔坐标系中距离相关的分辨率变化。多阶段聚类提出了一个由粗到精的两阶段框架来减轻杂波的负面影响。该框架基于第一阶段估计的簇的速度和空间轨迹，进行第二次簇合并。

3、4D雷达通过处理流程的调整提升目标分辨率

Ref：4D雷达之信号处理框架

多通道ADC输出数据构成radarcube数据，并且基于range-Doppler-Azimuth次序，或者range-Azimuth-Doppler 次序求解各个频率，那么这里大家是否思考过几个问题，比如，这三个量的次序是怎么决定的，能否实施类似Doppler-Azimuth-range次序，这些问题非常重要。

次序影响目标分辨。

我们按经典流程通过搜索得到某个检测点，但是我们并不知道该检测点是真的单一检测点，还是在某一维度存在多目标，只不过无法分辨，最后只输出一个点。比如基于range-Doppler map搜索目标点，然后求解方位角。相同速度，相同距离条件下，不同角度的目标可能有多个，但是由于孔径原因，这些目标可能在方位角维度不好分辨，往往只形成一个峰值，传统车载雷达是几乎不考虑这个问题的，直接输出该峰值所表征的角度即可，也就是只输出一个目标。

举个例子，假设雷达角度分辨率是15度，那么对于距离，速度都相同，角度分别是0°和7°的两个点，最后雷达的输出可能就是角度4°的一个点。对于经典处理流程，输出该点也就完事了，但对于4D雷达，这是不够的，我们需要考虑，能否求解0°和7°，当然你会认为可以直接使用超分辨算法（比如单快拍ML）就好，哪有这么麻烦，这么做当然可以，不过我们有更有意思的思考。并且需要提醒，超分辨算法就像小智的喷火龙，用的好，主宰全场，用的不好，自取灭亡，车载应用当慎之又慎，不到万不得已，还是别用为好。

回到次序问题，如果多目标在距离，速度，角度任意一个或多个维度在傅里叶谱上是可分辨的，那么暂不需要考虑次序问题，这就回到经典处理流程的范畴；如果目标在距离，速度，方位角都不可分辨，那么就需要考虑次序问题了。因为当目标在傅里叶谱不可分辨的时候，我们可以定量分析每个维度不可分辨的程度，然后依据不可分辨的程度在不可分辨维度中选取最容易超分辨的维度。这样一方面最大限度的降低对超分辨算法的依赖，另一方面能够大幅度提高点云数量及质量。

当然也有其他机制，大家有兴趣可以研究。在这举个例子，比如某几个目标在距离，速度，方位角都不可分辨，但是range不可分辨的程度最小，也就是说range维度在所有维度中最容易超分辨，那么采用doppler-azimuth-range即可，这要比直接使用range-doppler-azimuth方式更能提高点云数量及质量。

4、4D雷达中的多径处理

多径条件下的参数估计 在许多城市和高速公路场景中，多径传播很可能发生，例如，通过护栏、停放的汽车、卡车拖车和墙壁的水平多径传播，或通过路面的垂直多径传播。在这些情况下，汽车雷达传感器也必须可靠运行，以避免错误的目标定位或对幽灵目标的错误处理。

这篇文章总结的很好，有兴趣可以看看

Ref：https://news.eeworld.com.cn/qcdz/ic544029.html

多径识别非LOS目标

多径抑制算法（Model based，Data Driven）

数据驱动类的方法主要是基于机器学习或深度学习的监督类学习算法。这类方法目前不是很成熟，可能也难以部署于当前雷达嵌入式系统，不过这类方法优势明显，比如对应用场景往往不做任何假设，普适性强，这对应用环境千变万化的车载雷达来讲是巨大福音。

该类方法还属于前沿技术研究方面，random forest, PointNet++以及CNN已被用于ghost识别。在机器学习(ML)方面，random forest已被证实是非常有效的分类器。而基于雷达栅格地图(gridmap)，CNN也可以用于ghost识别。基于点云数据，应用PointNet++也取得相当瞩目的杂波抑制效果。理论上，只要数据集够丰富，算法处理多径类型的能力也越强。

小结：其实在Bosch和Conti的雷达中就有Ghost概率这个指标，3D雷达已经进行了相关的处理，在4D雷达中通道数量的增加，收到的多径影响更大，算力的增加，可以用来进行多径处理的方法更多。

5、4D雷达中的角度分辨率增强

汽车雷达超分辨率的根本挑战在于如何在动态环境中实现高角度分辨率（0.5°−1°），这导致大多数情况下可用的快照仅为一张。此外，由于存在大量动态范围高达 30dB、信噪比在 15-20 dB 范围内的源，这一挑战进一步加剧。要实现如此高的分辨率，采用 Bartlett 波束形成技术，对于 0.5°分辨率的目标，所需的均匀线性阵列 (ULA) 尺寸为 200 个阵元。为了以实用数量的天线实现高分辨率，研究人员研究了包括稀疏阵列在内的多种超分辨率方法。由于问题设置（信噪比、快照、源数量 vs. 传感器数量以及模型先验）、优化代价函数（直接测量或测量函数，例如子空间、协方差 ）、优化方法（贪婪、凸、非凸）以及在性能和复杂度之间进行权衡的尝试等诸多因素的多样性，超分辨率阵列和算法的前景广阔。

传统的超分辨率技术（例如 MUSIC）假设存在大量不相关的快照，这对于汽车雷达来说并不现实。单快照 MUSIC 已在 ULA 中得到研究，但尚未应用于稀疏阵列。诸如最小冗余阵列 (MRA)、嵌套阵列和互质阵列等确定性阵列，结合通过空间平滑或直接增强对差分共阵列进行角度估计，已被提出作为一种低复杂度的超分辨率方法。虽然这种方法的关键优势在于能够识别比传感器更多的源，但它受限于无法获得大量不相关的快照。上述局限性促使研究人员在压缩感知 (CS) 发展的启发下，研究了稀疏恢复方法的主体。作为起点，适用于任意阵列的参数化方法，例如确定性最大似然法 (DML) 或随机最大似然法 (SML)，需要在给定真实源数量的情况下求解非线性最小二乘问题。ML 成本函数是非凸的，确定全局最优值需要在网格上进行穷举搜索，而网格数量会随着源数量呈指数增长。因此，这种方法通常不适用于估计两个以上的源。用于到达方向 (DoA) 估计的稀疏恢复已经沿着一些关键轨迹发展，通过探索复杂性和性能之间的权衡来解决 ML 的这一复杂性瓶颈。

一方面是受CS文献启发的网格化方法，该方法将FoV划分为离散网格，并假设真实源存在于网格位置的子集上。在网格化方法的复杂度等级较低端的是贪婪（次优）方法，该方法采用顺序方法，在每次迭代中估计一个源。这些方法的主要例子包括匹配追踪（MP）、正交匹配追踪（OMP）和正交最小二乘（OLS）。这些方法为了提高复杂度而牺牲了性能，并且由于每次只估计一个源而存在估计偏差。它们在每次迭代中更新源振幅的方式上有所不同。下一级是半参数方法，该方法通过正则化参数优化成本函数，该函数平衡数据保真度和稀疏性（ℓ0范数）。ℓ0范数（非凸）被凸的ℓ1范数取代。基础追踪 (BP) 和基础追踪去噪 (BPDN) 是这种方法的关键变体，它们具有凸成本函数，并且在阵列满足难以建立的限制等距属性 (RIP) 时具有既定的性能保证。凸优化方面的进步有助于该方法实现多项式时间复杂度。虽然使用凸优化求解器（半正定规划 SDPT/自对偶最小化 SeDuMi）在问题维度较大时会导致高复杂度，但文献中已经提出了快速 ℓ1 方法（[28] 迭代收缩阈值、ISTA、Nestorov 方法 NESTA 等）来加快计算速度。当上述基于 ℓ1 范数的稀疏性诱导项被 ℓq 范数（0<q<1）取代时，FOCUSS 是一种性能更高但非凸的变体。由于 BPDN/FOCUSS 的超参数调整困难，一些方法被开发出来，这些方法假设振幅先验服从参数化分布，并应用 MAP 准则从数据中迭代估计振幅和超参数。采用这种方法的一些关键算法包括基于迭代最小化的稀疏学习 (SLIM)、稀疏贝叶斯学习 (SBL) 和基于柯西先验的贝叶斯线性回归 (BLRC) 。另一种近期的无参数方法是稀疏贝叶斯学习 (SBL)。

6、4D雷达的点云增强或者Pre-CFAR处理

雷达处理流中的CFAR处理，会导致大量的信息损失，并导致4D雷达点云稀疏。

对于Pre-CFAR数据使用的研究，主要有两个方向。一种是利用FFT解析过后的RAD数据。由于4D成像雷达的数据量巨大，所以RAD数据需要进行稀疏化处理。这个操作可是用人工定义的筛选规则（CFAR也是其中一种），更好一点是用机器学习和数据驱动的方式来自动进行。另外一种是直接输入ADC原始数据，用神经网络来模拟FFT的解析操作，并且与下游任务一起进行端对端训练。在这种方法中，同样的，也需要考虑数据里的问题。在神经网络解析完之后，或者在解析的过程中，数据需要进行一定程度的稀疏化。

毫米波雷达的原始数据是稠密的，在生成点云之前需要进行稀疏化处理，而CFAR就是其中最常用的方法。因此，以CFAR操作为分界线，CFAR之后是稀疏的点云特征，CFAR之前是稠密的原始特征（也就是Pre-CFAR特征）。Pre-CFAR特征包括有很多种形式，可能是ADC之后的原始频谱特征，也可能是做完FFT处理之后的RAD特征，或者两者之间的某种形态。

CFAR的稀疏化操作，大大降低了数据量，这对于数据传输和后续计算来说都是非常有利的。但是，这个操作也不可避免的带来了信息损失。随着车载计算和数据平台的升级，人们关注的重点也从降低数据量逐渐转移到提高信息量上来。在深度学习的时代，工程师们不再需要费尽心力的选择该使用哪些信息，这个工作交给神经网络来做就好了。神经网络采用端到端的方式，从海量的数据中学习到该保留哪些信息，提取何种特征，以更好的适应后续的感知任务。

为了解决这个问题，越来越多的基于学习的方法被提出来取代CFAR，并直接与RD图或4D张量一起工作，以提高4D雷达点云的质量和下游自动驾驶任务的性能，如感知和定位。相关工作，以及4D毫米波雷达的数据集、感知、定位和映射算法，将在下文中进行说明，统一显示在下图中的时间线上。

一般来说，如果FFT处理后得到的数据单元是独立且相同分布的，则恒虚警是一种最优检测算法。然而，由于现实世界中的目标通常具有不同的形状并占据多个单元，CFAR类型的方法会导致掩蔽效应，降低点云的分辨率并遭受信息丢失。Brodeski等人首先将CNN应用于RD地图，用于多个物体的检测和定位，称为DRD（深度雷达检测）网。他们将RD图中的目标检测公式化为分割任务，并采用类似于2D-U-Net的模型结构。

7、4D雷达中的点云增多后处理方式扩展

如上图所示 ，传统的雷达检测流程包括四个步骤：恒虚警率 (CFAR) 检测、聚类、特征提取和分类。首先，应用 CFAR 检测器检测距离-多普勒 (RD) 热图中的峰值作为目标列表。然后，将运动目标投影到笛卡尔坐标系下，并通过 DBSCAN进行聚类。静态目标通常在聚类之前被过滤掉，因为它们与环境杂波难以区分。在每个聚类中，提取手工制作的特征，例如测量统计数据和形状描述符，并将其发送到机器学习分类器。这四个步骤都可以进行改进。CFAR 通常在片上数字信号处理器 (DSP) 中执行，因此方法的选择受硬件支持的限制。

随着 4D 雷达逐渐进入市场，雷达点云密度大幅提升。4D 雷达的一大优势在于它无需构建占用网格图，仅根据高程测量即可对静态物体进行分类。因此，可以训练一个检测器来检测静态和动态物体。Plaffy 等人将 PointPillars 应用于 4D 雷达点云，对多类道路使用者进行 3D 检测。他们发现，通过时间积分以及引入其他特征（如高程、多普勒速度和 RCS）可以提高性能。其中，多普勒速度对于检测行人和骑自行车者至关重要。然而，所提出的 4D 雷达检测器的性能（mAP 47.0）仍然远逊于他们的 64 光束 LiDAR 检测器（mAP 62.1）。他们认为，这种性能差距源于雷达在确定物体精确 3D 位置方面的能力较差。 RPFA-Net 通过引入雷达支柱特征注意 (PFA) 模块改进了 PointPillars。它利用自注意力从支柱中提取全局上下文特征。然后将全局特征残差连接到原始特征图并发送到基于 CNN 的检测网络。这背后的想法是探索物体之间的全局关系，以便更好地估计航向角。事实上，自注意力本质上是一个集合运算符，因此它非常适合稀疏点云。Radar Transformer 等是一个完全由自注意力模块构建的分类网络。4D 雷达点云首先被发送到 MLP 网络进行输入嵌入。接下来的特征提取网络由两个分支组成。在局部特征分支中，它使用三个堆叠的集合抽象模块和向量注意模块来提取分层局部特征。在全局特征分支中，每个层级提取的局部特征与前一层级的全局特征图连接，并输入向量注意力模块进行特征提取。在最后一层级中，标量注意力（即传统的自注意力）用于特征整合。最后，特征图被送入分类头。实验表明，所提出的雷达变换器在分类方面优于其他点云网络。上述两种基于注意力的方法在建模全局上下文和提取语义信息方面展现了其潜力。未来的工作应侧重于将这两个优势结合到一个完全基于注意力的检测网络中。

Ref：4D雷达之微多普勒与分类

Ref：https://www.mdpi.com/1424-8220/24/17/5709

Ref：https://www.mdpi.com/2504-446x/7/4/280

Ref：ResearchGate - Temporarily Unavailable

Ref：https://www.mdpi.com/2072-4292/16/1/146

Ref：https://link.springer.com/article/10.1007/s44285-025-00048-1#Fig2

Ref：https://ieeexplore.ieee.org/document/8813850

Ref：自动驾驶4D毫米波雷达研究综述（续） - 吴建明wujianming - 博客园

Ref：https://arxiv.org/pdf/2306.04242

Ref：4D成像雷达：技术方案和感知算法

Ref：https://www.researchgate.net/publication/349761472_Automotive_Radar_Signal_Processing_Research_Directions_and_Practical_Challenges

Ref：https://www.researchgate.net/publication/356959137_Towards_Millimeter-wave_Radar_Signal_Processing_and_Learning-Based_Applications

Ref：https://www.mdpi.com/2674-0729/2/4/15

Ref：https://www.tesble.com/10.1109/MSP.2016.2628914

Ref：4D雷达之信号处理框架

Ref：https://arxiv.org/html/2501.07649v1

Ref：https://medium.com/@itberrios6/adaptive-radar-detection-part-3-e2ad79212206

Ref：https://www.microwavejournal.com/articles/34413-interactive-radar-sensors-for-a-holistic-cabin-experience?page=2

Ref：https://www.lopezbenitez.es/journals/Sensors_2022.pdf

Ref：https://encyclopedia.pub/entry/23751

Ref：https://www.researchgate.net/publication/357666641_A_Machine_Learning_Perspective_on_Automotive_Radar_Direction_of_Arrival_Estimation

Ref：https://ar5iv.labs.arxiv.org/html/2206.08171