预约詹锟GTC2026讲理想下一代自动驾驶基础模型直播

Hardware Co-Design讲的是如何在一颗给定的自动驾驶芯片上，找到一个AI大模型的最优架构设计方案。

优化的终极目标是在确保响应速度足够快、内存占用足够小的两个硬性前提下，尽可能地提升模型的智能水平。

模型越深，通常能力越强。宽度和稀疏度并非独立起作用，它们之间存在复杂的耦合关系，需要协同调整才能达到最优。

KV缓存维度对模型最终精度的影响相对较小，对内存占用的影响却很大——这是一个典型的对性能帮助不大但对资源消耗影响很大的参数，在设计时需要谨慎权衡。

在当前的边缘计算芯片上，大语言模型的推理过程大多处于访存瓶颈状态，即内存带宽是主要限制因素。

反直觉但至关重要的结论，在内存受限的边缘设备上，模型设计得越宽，其最佳的稀疏度反而应该越高（即每次激活的专家比例越低）。

即与其把有限的内存预算全部用来增加宽度，不如同时增加总专家数但减少每次激活的数量，用更多但更稀疏的专家来换取更高的模型容量。