简介这份资源是面向高校毕业设计与深度学习入门者的模型压缩识别算法Python源码包聚焦知识蒸馏与剪枝两类主流压缩技术帮助读者在有限算力下完成识别模型的轻量化改造与对比实验。包内共185个文件以79个py源码为核心辅以60个pyc编译缓存、7个txt说明、2个json配置及多份train_log训练日志另有sh脚本与模型记录文件压缩包约4.03MB结构紧凑便于按模块查阅。内容覆盖不同数据集上的模型对比、教师学生网络蒸馏流程、剪枝策略配置以及模型向Apple Silicon架构转换的实践路径技术栈基于Python与PyTorch。已有114人学习适合需要完整压缩方案、训练日志参考与排错思路的毕业设计场景可直接借鉴其目录组织与实验记录方式。1. 模型压缩做识别算法蒸馏加剪枝的 Python 源码到底能跑出什么拿一个在服务器上跑得好好的识别模型往边缘设备上搬第一反应往往是「精度掉一点能接受速度提上来就行」结果一上板子发现推理时间翻了三倍内存直接爆掉。这时候你搜到「基于模型压缩的识别算法python源码蒸馏和剪枝.zip」心里想的其实是三件事蒸馏和剪枝到底哪个先上、Python 源码能不能直接复现、压缩完精度还能剩多少。模型压缩不是把模型变小这么简单它是一套在精度、参数量、推理延迟之间做取舍的工程手段。蒸馏解决的是「小模型学不像大模型」的问题剪枝解决的是「模型里有一堆权重根本没用上」的问题两者叠在一起用才是这套源码真正想讲清楚的事。这篇笔记面向的是手里有识别任务、想把模型塞进算力受限环境的工程师从数据准备一路写到蒸馏温度怎么调、剪枝率卡在哪个点不崩中间踩过的坑都摊开讲。2. 蒸馏和剪枝为什么总被放在一起讲先分清谁在解决什么问题2.1 蒸馏的本质是让小模型学会大模型的软标签分布识别任务里大模型输出的不是简单的「是猫还是狗」而是一个概率分布。一张模糊的猫图大模型可能给出猫 0.7、狗 0.2、狐狸 0.1这个分布里藏着类别之间的相似性信息也就是所谓的暗知识。蒸馏就是让小模型去拟合这个软分布而不是只拟合硬标签。常见做法是定义一个温度系数 T把大模型的 logits 除以 T 再做 softmaxT 越大分布越平滑小模型能学到的类间关系越丰富。损失函数通常是软标签 KL 散度乘上一个权重系数 alpha再加上硬标签的交叉熵。这里有个容易翻车的点T 设得太大分布太平小模型学不到有区分度的信息T 设得太小又退化成硬标签。我一般从 T4 开始试alpha 取 0.7 左右再根据验证集精度微调。2.2 剪枝的本质是去掉对输出影响小的权重连接剪枝分结构化剪枝和非结构化剪枝。非结构化剪枝把单个权重置零模型文件变小了但普通硬件跑起来并不会变快因为稀疏矩阵在通用框架里没有加速效果。结构化剪枝直接砍掉整个通道或者整个卷积核模型结构真的变窄了推理速度才会实打实提升。识别算法里常用的是基于 L1 范数的通道剪枝对每个卷积层的 BN 层缩放因子做排序把最小的那一批通道连同对应的卷积核一起删掉。剪枝率不是越高越好通常单层剪枝率超过 50% 就要警惕精度断崖。实践中会先做一次全局剪枝率评估再逐层微调而不是一刀切。2.3 蒸馏和剪枝的先后顺序决定了最终精度天花板顺序搞反了后面怎么调都救不回来。正确做法是先蒸馏后剪枝或者边蒸馏边剪枝。先剪枝再蒸馏的问题在于剪枝已经把模型容量砍掉了一部分再拿一个大模型去教一个已经被削过的学生学生没有足够的参数去拟合老师的分布蒸馏损失降不下去。先蒸馏后剪枝的逻辑是先让一个小模型在完整容量下尽可能学到老师的知识得到一个精度接近上限的稠密小模型再对这个稠密模型做剪枝剪完做少量微调恢复精度。这套源码里通常会把蒸馏和剪枝做成两个可独立运行的阶段中间用保存的 checkpoint 衔接这样调试起来也方便。3. 把源码跑起来环境、数据、训练三步的最小闭环3.1 环境依赖和目录结构确认拿到压缩包先别急着 pip install先看目录结构。典型的识别算法压缩源码会包含这几个部分datasets 放数据加载和增强脚本models 放教师模型和学生模型定义utils 放蒸馏损失和剪枝工具函数train_distill.py 和 prune.py 是两个主入口configs 里放 yaml 配置文件。Python 环境建议 3.8 以上PyTorch 版本要和源码里写的对齐不然 nn.Conv2d 的参数命名或者 BN 层的属性可能对不上。安装依赖时注意 torchvision 版本要和 torch 匹配否则数据加载会报奇怪的错。# 先看目录结构确认入口文件在哪 find . -maxdepth 2 -type f -name *.py | head -30 # 创建虚拟环境避免污染全局 python -m venv venv_compress source venv_compress/bin/activate # 按源码里的 requirements 安装没有就手动装核心依赖 pip install torch torchvision pyyaml tqdm tensorboard这段命令的逻辑是先摸清源码布局再隔离环境。参数上注意 torch 和 torchvision 的版本对应关系比如 torch 1.12 配 torchvision 0.13版本错位会在 import 阶段就报错。如果源码里带了 requirements.txt优先用它但要注意里面可能锁死了 CUDA 版本和你本机不匹配时手动改成 cpu 版本或者对应 CUDA 版本。3.2 数据准备和配置文件里必须改的四个参数识别任务的数据集通常按类别分文件夹ImageFolder 格式最省事。配置文件里重点看四个参数data_root 指向数据集根目录num_classes 必须和实际类别数一致teacher_ckpt 是教师模型权重路径student_arch 是学生模型结构名。这四个有一个对不上训练要么直接报错要么精度低得离谱。教师模型权重如果没有现成的得先自己训一个或者用源码里提供的预训练权重。学生模型结构一般选轻量级的比如 MobileNetV3 或者自定义的小通道数 CNN。# configs/distill_config.yaml 关键字段 data_root: ./datasets/recognition_data num_classes: 10 teacher_ckpt: ./weights/teacher_best.pth student_arch: mobilenet_v3_small temperature: 4.0 alpha: 0.7 batch_size: 64 epochs: 100 lr: 0.01temperature 和 alpha 是蒸馏的核心参数temperature 控制软标签平滑程度alpha 控制软硬损失的权重比。batch_size 在显存够的情况下尽量大一点蒸馏对 batch 内样本的分布比较敏感。lr 初始值别设太大蒸馏训练本身比普通训练更容易震荡。3.3 蒸馏训练脚本的执行和日志观察蒸馏训练入口一般长这样加载教师模型并冻结参数加载学生模型定义蒸馏损失然后正常训练循环。教师模型只做前向不更新梯度所以显存占用主要是两个模型的前向激活。如果显存吃紧可以把教师模型设为 eval 模式并加 torch.no_grad()。import torch import torch.nn as nn import torch.nn.functional as F class DistillLoss(nn.Module): def __init__(self, temperature4.0, alpha0.7): super().__init__() self.T temperature self.alpha alpha self.ce nn.CrossEntropyLoss() def forward(self, student_logits, teacher_logits, labels): # 软标签损失KL 散度注意要对 teacher 做 detach soft_loss F.kl_div( F.log_softmax(student_logits / self.T, dim1), F.softmax(teacher_logits / self.T, dim1), reductionbatchmean ) * (self.T ** 2) # 硬标签损失普通交叉熵 hard_loss self.ce(student_logits, labels) return self.alpha * soft_loss (1 - self.alpha) * hard_loss这段代码的关键在 soft_loss 乘了 T 的平方这是为了在梯度尺度上和硬损失对齐不乘的话温度一变损失量级就变了alpha 的权重意义就乱了。teacher_logits 必须 detach不然梯度会回传到教师模型白白增加计算量还可能破坏教师权重。训练时盯着 tensorboard 里的 soft_loss 和 hard_loss 两条曲线正常情况是 soft_loss 下降更快hard_loss 缓慢下降如果 hard_loss 一直不降说明 alpha 太大学生光顾着学分布忘了分类边界。4. 剪枝实操从 BN 缩放因子排序到微调恢复精度4.1 基于 BN 层缩放因子的通道重要性评估剪枝的第一步是给每个通道打分。识别网络里卷积层后面通常接 BN 层BN 的 gamma 参数在训练中会自动学习gamma 越接近零说明这个通道的输出被 BN 压得越狠对后续贡献越小。所以直接用 BN 的 gamma 绝对值作为通道重要性分数简单有效。具体做法是遍历所有 BN 层收集 gamma 权重然后全局排序按百分位确定每层的剪枝阈值。import torch import torch.nn as nn def collect_bn_gammas(model): gammas [] for m in model.modules(): if isinstance(m, nn.BatchNorm2d): # gamma 的绝对值作为重要性分数 gammas.append(m.weight.data.abs().clone()) return torch.cat([g.flatten() for g in gammas]) def get_global_threshold(model, prune_ratio): all_gammas collect_bn_gammas(model) # 全局排序取分位数作为阈值 sorted_gammas, _ torch.sort(all_gammas) idx int(len(sorted_gammas) * prune_ratio) return sorted_gammas[idx].item()collect_bn_gammas 把所有 BN 层的 gamma 拉平拼成一个长向量get_global_threshold 按剪枝率取分位数。这里用全局阈值而不是逐层阈值是为了避免某些层被剪太狠而某些层没剪到。prune_ratio 一般从 0.3 开始试0.5 以上就要非常小心识别任务里通道数本来就不多剪太狠直接崩。4.2 结构化剪枝的执行和模型结构修改拿到阈值后逐层判断哪些通道的 gamma 低于阈值把这些通道的索引记下来然后对卷积层和 BN 层做同步裁剪。注意卷积层的输出通道和下一层卷积的输入通道要对应上BN 层的通道数也要跟着改。这一步是剪枝里最容易出错的地方通道索引对不齐就会报维度不匹配。def prune_conv_and_bn(conv, bn, threshold): # 找出需要保留的通道索引 keep_idx torch.where(bn.weight.data.abs() threshold)[0] # 裁剪卷积输出通道 conv.weight.data conv.weight.data[keep_idx, :, :, :] if conv.bias is not None: conv.bias.data conv.bias.data[keep_idx] conv.out_channels len(keep_idx) # 裁剪 BN 参数 bn.weight.data bn.weight.data[keep_idx] bn.bias.data bn.bias.data[keep_idx] bn.running_mean.data bn.running_mean.data[keep_idx] bn.running_var.data bn.running_var.data[keep_idx] bn.num_features len(keep_idx) return keep_idx这段代码只处理了当前层的输出通道实际剪枝时还要把 keep_idx 传给下一层让下一层的输入通道也做对应裁剪。如果网络里有残差连接shortcut 分支的通道也要同步改否则相加时维度对不上。剪枝完的模型不能直接拿来用精度通常会掉几个点必须做微调。4.3 剪枝后微调的学习率设置和 epoch 选择微调的学习率要比原始训练小一个数量级因为模型结构已经变了大学习率会把剩下的权重也带偏。我一般用原始 lr 的十分之一配合 cosine 衰减跑 20 到 30 个 epoch。微调数据用全部训练集不需要刻意减少。判断微调是否到位看验证集精度如果连续 5 个 epoch 不升就可以停了。微调完的模型再跑一次剪枝评估如果精度恢复不到可接受范围说明剪枝率太高得回退到上一个剪枝率重新来。5. 避坑排查蒸馏剪枝里最容易翻车的五个地方5.1 蒸馏损失不下降学生精度比直接训练还低现象是训练日志里 soft_loss 震荡不降学生模型验证精度比不用蒸馏直接训还差。原因通常是温度系数和 alpha 不匹配或者教师模型本身没训好。教师模型如果精度就不高它给出的软标签本身就是错的学生学歪了很正常。解决方法是先确认教师模型在验证集上的精度教师精度至少要比学生目标精度高 5 个点以上蒸馏才有意义。然后调 T 和 alphaT 从 2 到 8 之间扫一遍alpha 从 0.5 到 0.9 之间试找到验证集精度最高的组合。5.2 剪枝后模型推理速度没提升现象是模型文件确实变小了但推理时间几乎没变。原因是用了非结构化剪枝只是把权重置零矩阵还是那个矩阵通用框架不会因为里面有零就跳过计算。解决方法是改用结构化剪枝直接删通道让模型的实际计算量降下来。判断方法很简单看剪枝后的模型结构打印出来通道数有没有变少没变少就是非结构化的白剪了。5.3 剪枝率设太高导致精度直接崩到随机水平现象是剪枝完不微调直接测精度掉到和随机猜差不多。原因是全局剪枝率超过模型容量能承受的极限把关键通道也剪掉了。识别任务里浅层卷积的通道通常比深层更重要全局阈值一刀切容易误伤浅层。解决办法是分层设置剪枝率浅层剪少一点深层剪多一点或者用敏感度分析逐层确定最大可剪比例。我一般会先跑一遍逐层剪枝敏感度画出每层剪枝率对精度的影响曲线再定全局策略。5.4 微调时学习率太大导致精度震荡不收敛现象是微调阶段 loss 上下跳验证精度忽高忽低。原因是剪枝后模型结构变了原来的学习率对现在的参数尺度来说太大了。解决办法是把微调学习率降到原始训练 lr 的十分之一甚至二十分之一同时加 warmup让模型慢慢适应新结构。如果还震荡就冻结浅层只训深层浅层特征比较通用剪枝后不需要大改。5.5 教师和学生模型输入尺寸不一致导致蒸馏报错现象是运行蒸馏脚本时报维度不匹配或者 softmax 那一步形状对不上。原因是教师模型训练时用的输入尺寸和学生模型配置的输入尺寸不一样比如教师用 224学生用 112。解决办法是统一输入尺寸或者在数据加载时对教师和学生分别做 resize。更稳妥的做法是在配置文件里显式写死 input_size两个模型共用同一个值避免隐式默认值不一致。6. 压缩完怎么验证没白干三个指标和一条经验线验证压缩效果不能只看精度一个数。第一个指标是参数量用 sum(p.numel() for p in model.parameters()) 算压缩后参数量应该降到原来的 30% 到 50% 才算有效。第二个指标是 FLOPs用 thop 或者 fvcore 库算FLOPs 降幅要和参数量降幅匹配如果参数量降了但 FLOPs 没怎么降说明剪枝没剪到计算密集的地方。第三个指标是实际推理延迟在目标硬件上跑一百次取平均这个才是最终说了算的。我一般会画一张表把原始模型、只蒸馏、只剪枝、蒸馏加剪枝四种情况的精度、参数量、FLOPs、延迟列在一起对比。方案精度参数量FLOPs推理延迟原始教师模型95.2%24M4.2G120ms学生模型直接训练91.5%3.1M0.6G18ms学生模型加蒸馏93.1%3.1M0.6G18ms蒸馏后剪枝 40%92.4%1.9M0.4G12ms从这张表能看出来蒸馏把学生精度从 91.5 拉到 93.1剪枝再砍掉 40% 参数量后精度只掉 0.7 个点延迟从 18ms 降到 12ms。这条经验线是蒸馏带来的精度增益要能覆盖剪枝带来的精度损失如果蒸馏后精度没比直接训练高多少那剪枝完基本就废了。所以蒸馏阶段不要吝啬时间多试几组温度和 alpha把学生精度顶到接近教师再动剪枝。还有一个容易忽略的验证点是压缩后模型在不同类别上的表现是否均衡。整体精度没掉多少但某些小类别精度可能掉得很惨。我习惯在验证时打印每个类别的精度如果发现某个类别掉超过 5 个点就要回头检查剪枝是不是把对这个类别敏感的通道剪掉了。这种情况通常出现在类别样本不均衡的数据集上解决办法是在蒸馏损失里给稀有类别加权或者在剪枝时对相关层降低剪枝率。最后说一个我自己的习惯每次剪枝前先把当前模型完整备份一份剪枝脚本跑完先不覆盖原文件而是存成新文件微调完对比验证集精度确认没问题再替换。这个后悔药成本很低但能省掉很多重新训练的麻烦。模型压缩这事没有一步到位的参数都是先跑通再调优先保精度再压体积顺序别搞反。希望帮到你。本文还有配套的精品资源点击获取