1面向自动驾驶的大模型概述

在自动驾驶领域，大模型的应用正变得日益重要和广泛，下表为面向自动驾驶的大模型的整理。

NExT-GPT 是自动驾驶端到端通用系统，它融合大模型、多模式适配器与扩散解码器，可感知并响应文本、图像、视频、音频等任意模态输入，还借助模态切换指令调优技术，强化了多模态的理解、生成与交互能力。

CTG++、SurrealDriver 依托大模型引导场景级条件扩散模型，生成逼真可控的交通流量，模拟类人驾驶行为，让自动驾驶更具人性化。ADriver-I、OccWorld 结合视觉 - 动作对与 3D 占用空间搭建世界模型，可预测未来画面与自车运动，提升决策和控制的精准度。

Talk2Car、MSSG 将大模型的语言与推理能力融入自动驾驶，借助自然语言指令和多模态接地方法，实现车辆的直观控制与路径规划。Drive Like a Human、DriveGPT4 则把运动规划转化为语言建模问题，通过专用视觉指令调优数据集，端到端预测车辆低级控制信号。

基于大模型的自动驾驶技术，在增强感知、决策、控制及交通流优化能力上潜力显著，助力自动驾驶朝着更智能、安全、人性化的方向发展。

2 高效压缩技术的衍生

面向自动驾驶的大模型，可实现感知、决策、控制一体化的端到端自动驾驶，还能完成人车多模态交互、开放环境适应等任务。但该类模型仍处于研发阶段，存在算力消耗大、运行延迟高、参数冗余、数据与存储需求巨大等问题，难以在车端等资源有限的设备上应用，急需高效的解决手段。

模型压缩技术起源于早期信息论与数据压缩理论，摩尔定律放缓与大模型算力需求的矛盾，进一步推动了该技术的发展。其可提升模型效率、降低应用成本，有效解决车端边缘设备的算力、存储局限，是自动驾驶大模型落地的关键方向。

自动驾驶大模型的高效压缩技术主要分为五类。剪枝通过移除模型冗余参数或神经元，缩减模型规模与计算量；神经网络架构搜索（NAS）自动化筛选最优网络结构与超参数；量化采用低比特形式表示模型权重与激活值，降低存储与计算压力；低秩分解利用权重矩阵低秩特性，拆分矩阵以减少参数量；知识蒸馏则通过迁移学习，将复杂教师模型的知识传递给简易学生模型，保证小模型性能。

3   剪枝

自动驾驶大模型因结构复杂、参数庞大存在冗余，影响效率与部署速度。剪枝技术通过精简非关键权重或连接，可缩减模型规模、加速运行，且保障复杂交通场景下的性能，流程含训练（识别可移除单元）、剪枝（评估重要性并剪除）、重新训练（恢复优化性能）三阶段。

通过移除整组连续参数（权重、通道、层等）压缩模型，优势是适配现有软硬件加速器，无需额外稀疏性处理，兼顾精度与效率。按粒度可分为向量级、核级、滤波器级等，核心是维持模型完整性并平衡精度与效率，但面临剪枝粒度、阈值选择的挑战。现有策略包括 SUN 等优化参数与稀疏正则化项提升推理速度，LI 等提出硬件友好型方法适配车端；GUM 引入全局移动与局部唯一性剪枝，LLM-Pruner 通过依赖性检测识别耦合结构，结合低秩分解与 LoRA 技术，剪除 20% 参数仍保持 94.97% 性能，为车端部署提供可能。

属细粒度剪枝，针对单个权重 / 神经元操作，生成稀疏权重矩阵，能提升模型精度与效率，如 DynamicViT 通过动态剪枝冗余 Token 优化视觉 Transformer 性能。但存在硬件适配难（稀疏结构不规则）、阈值确定及稳定应用的问题，可通过迭代剪枝、结合知识蒸馏等策略改进。代表性方法有 SparseGPT 的一次性剪枝（无需额外训练，转化为稀疏回归问题）、LoRAPrune 结合参数高效微调技术，以及 Wanda 基于权重与输入激活范数乘积评估权重重要性，为精准剪枝提供路径，是极具潜力的优化方向。

4   神经网络架构搜索

神经网络架构搜索（NAS）是自动驾驶领域核心技术，通过融合深度学习与机器学习成果，自动化解决大模型调参问题，专注网络拓扑自动化设计，可探索适配不同负载的最优结构，优化算法以保障车端高效运行，提升车辆感知、决策与控制能力。

传统调参方法适用于浅层模型，在大模型场景下面临编码局限、搜索空间过大难收敛、训练低效等挑战。NAS 于 2017 年首次提出，以强化学习应对上述问题，后续衍生出 MNAS（平衡精度与延迟）、ShuffleNASNets 等方法，在算法改进、空间扩展及实车场景应用上成效显著，ENAS、AutoBERT-Zero 等算法进一步验证其潜力。NAS 核心研究聚焦三大方向，与传统超参数搜索的差异在于侧重结构模块组合及降低评估计算成本。

搜索空间设计决定 NAS 效率与成败，定义含网络层类型（注意力、全连接等）及组合方式的所有模型配置，分离散与连续型，复杂度直接影响优化难度。早期链式结构虽灵活但搜索空间大、计算成本高；后续转向模块化设计，将网络拆分为功能模块（小型有向无环图），结合一次性学习、权重共享及分层思想，大幅缩减空间、提升效率。针对 ViT 模型，研究者开发基于 Transformer 的架构搜索方法，通过模块化策略评估突触多样性与显著性，优化搜索效率。

确定搜索空间后，需结合驾驶场景理解、多模态生成等需求挑选模型结构，性能依赖搜索策略算法。常见算法包括遗传算法、贝叶斯优化算法、强化学习、进化算法及基于梯度的方法。

搜索得到网络结构集合后，需评估验证结构变体，通过迭代调整获取最优结构。评估策略直接影响输出性能，常见方式有一次性搜索、代理模型、数据与超参数调整、参数继承复用及模型性能预测。

5   量化

模型量化是自动驾驶领域的关键压缩技术，通过将深度学习模型的参数、激活值从浮点数转换为整数或其他离散形式，显著降低模型的存储与计算开销。该技术虽会带来一定精度损耗，依托合理的量化策略，可在维持模型性能的同时完成高效压缩，为高阶深度学习模型在车载计算平台的部署提供支撑，提升自动驾驶系统感知、决策与控制能力。其主要分为量化感知训练、训练后量化两类技术路径。

1.量化感知训练（QAT）

该技术在模型训练阶段使其适配低精度表示，提升模型抵御量化精度损失的鲁棒性，保障量化后模型的高性能。LLM‑QAT 采用无数据蒸馏解决大模型训练数据采集难题，同时实现权重、激活与 KV 缓存的量化，配合对称 MinMax 量化、分通道权重量化等方案，提升模型处理吞吐量，适配长序列依赖任务。PEQA、QLoRA 属于量化感知型参数高效微调技术：PEQA 冻结量化后的整数矩阵，仅微调缩放因子，在降低内存消耗的同时加速推理；QLoRA 通过新数据类型、双重量化等创新方案，实现大模型在单 GPU 上的微调。EM‑VLM4AD 则采用 8 位量化模型骨架，结合 LoRA 微调，有效减少参数与计算成本。

2.训练后量化（PTQ）

该技术在模型完成训练后实施量化，无需修改模型结构或重新训练，具备简洁高效的模型压缩优势，但存在一定的精度损失风险。现有方案多聚焦于权重量化优化：LUT‑GEMM 通过权重量化优化矩阵乘法运算，降低模型推理延迟；GPT3.int8 () 采用 8 位量化执行 Transformer 矩阵乘法，大幅减少 GPU 内存占用，可支持超大规模参数模型的推理。GPTQ 基于近似二阶信息提出分层量化技术，将权重位宽压缩至 3–4 位，同时将精度损失控制在较低水平。相关研究验证 4 位精度可有效平衡模型总位数与零样本性能；AWQ 则基于激活感知，保护关键权重通道，结合每通道缩放技术，最大化降低量化误差。

6   低秩分解

低秩分解是核心模型压缩技术，原理为将大型权重矩阵 W 近似分解为两个低维矩阵 U（m×k）和 V（k×n，k 远小于 m、n），即 W≈UV，以更少参数和计算成本实现原始矩阵表征，在可控精度损失范围内，显著缩减模型规模、降低运行耗时。

该技术广泛应用于大模型的微调和压缩：LoRA 及其变体通过低秩分解实现参数高效微调，不改动预训练模型权重，仅优化小型分解矩阵，在维持性能的同时减少微调参数量；TensorGPT 采用低秩张量分解压缩大语言模型嵌入层，将令牌嵌入视为矩阵乘积状态，实现最高 38 倍压缩比，且性能持平甚至优于原模型，大幅降低空间复杂度，适配车端等资源受限边缘设备。

低秩分解为解决大模型参数膨胀、计算负担问题提供有效路径，对自动驾驶车端部署至关重要，可提升模型运行效率，为研发高效紧凑的自动驾驶模型奠定基础，实现性能与低资源消耗的平衡。

7  知识蒸馏

知识蒸馏技术通过将教师模型的深层知识传递给学生模型，在提升学生模型性能与泛化能力的同时，大幅降低计算成本，可使自动驾驶系统在资源受限环境中部署高效且高性能的模型，保障决策精准度与系统鲁棒性，为自动驾驶发展提供支撑。其主要分为白盒、黑盒两类蒸馏方法。

白盒知识蒸馏

该方法允许学生模型访问教师模型的预测输出、内部参数及知识表示，借助丰富信息实现高性能提升。MINILLM 针对生成式大模型蒸馏，采用最小化反向 KLD 策略，避免学生模型高估教师分布低概率区域，提升生成样本质量；GKD 聚焦自回归模型蒸馏，通过训练时采样学生输出序列、优化反向 KL 散度等方式，解决序列分布不匹配与学生模型表达能力不足问题；JHA 利用截断模型（选取大模型层子集，基于语言建模目标预训练数据训练），实现任务无关的零样本评估蒸馏，无需任务专属微调数据。

黑盒知识蒸馏

无法访问教师模型内部权重与梯度，仅通过教师对提示的响应转移知识，核心围绕大模型涌现能力（情境学习 ICL、指令遵循 IF、思维链 CoT）展开。ICL 蒸馏方面，HUANG 提出元上下文调优、多任务上下文调优两种范式，将大模型上下文学习能力迁移至小模型；IF 与 CoT 相关研究中，MT-COT、CoT Prompting 等通过多任务学习、推理路径提取等增强小模型推理能力，SOCRATIC CoT、PaD 等通过模型拆分、程序辅助推理优化推理准确性；LaMini-LM 构建海量指令集合微调模型，解决大模型资源密集问题。

基于大模型涌现能力的蒸馏方法，展现了知识转移潜力，为小模型性能提升提供新方向，助力研发更智能、适应性更强的自动驾驶系统。

8  评价指标

自动驾驶大模型评价核心指标包括参数数量、模型尺寸、压缩比、推理时间及浮点运算（FLOP），各指标从不同维度反映模型性能，为实际场景选型与优化提供依据。

参数数量衡量模型复杂度与学习能力，参数越多越易精准理解交通环境、做出复杂决策，但对应更高计算资源需求；模型尺寸关乎存储需求，对车载系统存储效率与部署灵活性至关重要，小尺寸更适配车端资源受限场景；压缩比体现模型压缩技术成效，高压缩比可在缩减模型体积的同时维持性能，适配车载有限存储；推理时间决定模型实时响应能力，直接影响自动驾驶车辆安全性，快速推理能提升系统响应效率；FLOP 衡量模型计算需求，为评估计算效率与硬件适配性提供指导。

综合上述指标可全面评估模型性能，优化这些指标能平衡模型表达能力与资源需求，实现车端高效、可靠部署，保障自动驾驶系统安全高效运行。

9  挑战与未来方向

大模型应用催生激增的计算与内存需求，模型结构及权重冗余问题突出，亟需更强计算系统与高效压缩技术支撑，现有研究仍存不足，未来各压缩技术及相关领域发展方向如下：

剪枝技术：面临精度下降、剪枝选择难、计算成本高、泛化能力弱及硬件适配性等挑战。未来将聚焦智能剪枝策略以减精度损失，探索多任务与增量剪枝提升效率，结合量化技术深化压缩，设计硬件友好型方法优化推理，同时关注动态剪枝及模型可解释性与验证，适配车端资源受限场景。

NAS 技术：存在计算资源消耗大、搜索空间庞大、评估效率低、泛化能力不足及超参数优化难等问题。未来需研发高效搜索算法，依托元学习与迁移学习提速，实现多目标优化，集成自动化超参数调整，且针对特定领域定制搜索空间与目标函数。

量化技术：受精度损失、最佳策略难确定、硬件兼容性差异、动态范围受限及训练稳定性等制约。未来将向混合精度量化、自适应量化策略、量化感知训练、硬件优化及理论分析与工具开发方向推进，平衡性能与效率、兼容性。

低秩分解技术：需克服性能损失、秩选择难、计算开销大、泛化能力不足及硬件适应性等挑战。未来重点研究自动化秩选择、高效分解算法、动态低秩分解、硬件协同设计，以及多任务与跨领域应用，提升性能、降低资源消耗。

知识蒸馏技术：面临信息丢失、蒸馏策略选择难、资源需求高、评估指标不完善及数据集偏差等问题。未来将采用多教师模型丰富知识传递，通过跨领域蒸馏增强泛化性，探索增量蒸馏适配动态变化，提升过程可解释性并优化硬件适配。

硬件加速：低精度格式虽减少内存占用，但转换操作易引入额外计算开销影响推理速度。未来压缩技术需强化与硬件协同优化，平衡内存效率与计算速度，依托 AI 专用处理器与芯片，实现压缩模型高效运行，降低自动驾驶系统能耗、提升响应速度。

可解释性：大模型压缩存在可解释性疑虑，如思维链蒸馏的能力传递机制尚不明确。未来需将可解释性压缩方法融入流程，简化模型评估，增强压缩模型在生产过程中的可靠性与预测性。