079、NPU的剪枝支持：结构化剪枝与非结构化剪枝的硬件适配

NPU的剪枝支持：结构化剪枝与非结构化剪枝的硬件适配

去年在调试一款边缘侧NPU芯片时，遇到一个让我抓狂的问题：模型在PC端用PyTorch剪枝后，精度损失不到1%，部署到NPU上直接崩了——推理结果全是NaN。查了三天，最后发现是NPU的MAC阵列对非零权重分布有硬性对齐要求，而我的非结构化剪枝把权重矩阵打成了“筛子”，硬件根本没法做有效的数据搬运。

这个坑让我意识到，剪枝算法和NPU硬件之间，存在一道工程师必须跨过去的坎。今天这篇笔记，就聊聊结构化剪枝与非结构化剪枝在NPU上的真实适配问题，全是血泪换来的经验。

非结构化剪枝：软件很爽，硬件想骂人

非结构化剪枝，说白了就是把权重矩阵里绝对值小的元素直接置零。这种方法在学术论文里很常见，因为实现简单、压缩率高，而且对模型结构的改动最小。你只需要一个mask矩阵，把低于阈值的权重干掉就行。

但NPU不是CPU，它不会一条一条指令去判断“这个权重是不是零”。NPU的核心是脉动阵列（Systolic Array）或者SIMD向量单元，它们要求数据以固定大小的块（比如4x4、8x8）为单位进行流水线处理。当非结构化剪枝把权重矩阵变成稀疏的“芝麻饼”时，硬件就傻眼了：

• 数据搬运效率暴跌：NPU的DMA引擎通常只支持连续地址的批量搬运。非零权重在内存里是离散分布的，DMA每搬一个非零值，中间可能跳过几十个零。结果就是DMA带宽利用率不到10%，大部分时间花在地址跳转上。
• MAC单元空转：脉动阵列要求每个时钟周期所有乘法器都有有效输入。非结构化稀疏意味着大量乘法器