简介这份资源面向计算机、人工智能及相关专业的在校学生与教师提供一套基于ResNet主干网络并嵌入CBAM注意力机制的Stanford Dogs犬种识别分类Python实现可用于课程设计、毕业设计、期末大作业或项目初期立项演示。压缩包共21个文件约228KB包含6个py源码文件、6个pyc编译文件、3个md说明文档、2个sh训练脚本以及jpg、png示例图片覆盖模型定义、注意力模块、数据加载与训练脚本等模块结构清晰便于二次开发。资源已验证可稳定运行读者可据此掌握ResNet与CBAM结合的完整分类流程理解注意力机制对特征提取的增强作用并可将数据替换为其他识别分类任务进行迁移实验。目前已有383人学习下载适合具备一定深度学习基础、希望快速上手图像分类实战的读者参考使用。1. 从一份能跑的 ResNetCBAM 源码说起Stanford Dogs 细粒度分类到底难在哪Stanford Dogs 这个数据集120 个犬种、两万多张图类间差异极小——吉娃娃和玩具贵宾犬在缩略图里几乎一个样类内差异又极大——同一只哈士奇换个姿势、换个光照就像换了条狗。普通 ResNet50 直接怼上去top-1 能到 60% 出头就算不错瓶颈卡在模型根本分不清「哪块区域才是判别性的」。CBAM 要解决的就是这件事它让网络自己学会「看哪里」和「看什么通道」。这份源码包把 ResNet 骨干、CBAM/BAM 注意力模块、Stanford Dogs 数据加载、ImageNet 预训练脚本全串起来了目录里有model_resnet.py、cbam.py、bam.py、train_imagenet.py、stanford_dogs_data.py和两个 shell 脚本结构清晰适合做课设、毕设或者想搞懂注意力机制怎么落地的人。下面我按「先搞懂模块在干嘛 → 再跑通训练 → 再避坑 → 最后调优」的顺序拆一遍。2. CBAM 与 ResNet 的嵌合逻辑通道注意力加空间注意力怎么接进 Bottleneck2.1 CBAM 的两个子模块到底在算什么CBAM 全称 Convolutional Block Attention Module核心思路是串行做两次注意力先通道后空间。通道注意力Channel Attention把每个特征图压成一个标量权重做法是同时走全局平均池化和全局最大池化各自过一个共享的 MLP再把两个结果相加过 sigmoid。为什么平均和最大都要平均池化保留整体分布信息最大池化保留最显著的那个激活点两者互补消融实验里去掉任何一个都会掉点。空间注意力Spatial Attention则是在通道维度上做平均和最大得到两张 H×W 的图拼成两通道再过一个 7×7 卷积压成单通道sigmoid 后乘回特征图。7×7 这个感受野是实验调出来的3×3 太小、9×9 收益不明显还加参数。代码里对应的是cbam.py中的ChannelGate和SpatialGate最终CBAM类把两者串起来class CBAM(nn.Module): def __init__(self, gate_channels, reduction_ratio16, pool_types[avg, max]): super(CBAM, self).__init__() self.ChannelGate ChannelGate(gate_channels, reduction_ratio, pool_types) self.SpatialGate SpatialGate() def forward(self, x): x_out self.ChannelGate(x) # 先通道注意力 x_out self.SpatialGate(x_out) # 再空间注意力 return x_outreduction_ratio16是通道 MLP 的压缩比通道数除以 16 再升回来目的是控制参数量。如果你的数据集类别很少比如少于 10 类可以把这个值调小到 8让 MLP 保留更多通道信息。2.2 为什么插在 ResNet 的 Bottleneck 里而不是外面ResNet50 的 Bottleneck 结构是 1×1 降维 → 3×3 卷积 → 1×1 升维最后加残差。CBAM 最自然的插入位置是 3×3 卷积之后、残差相加之前。原因有两个一是此时特征图已经过空间卷积通道注意力能作用在更有语义的信息上二是放在残差分支内部注意力权重会随梯度一起被训练不会破坏恒等映射的主干。model_resnet.py里的做法是定义一个带 CBAM 的 Bottleneck 变体在forward中把 CBAM 加在self.conv3之后class Bottleneck(nn.Module): def __init__(self, inplanes, planes, stride1, downsampleNone, use_cbamFalse): super(Bottleneck, self).__init__() # ... 标准 ResNet Bottleneck 定义 ... if use_cbam: self.cbam CBAM(planes * self.expansion, 16) else: self.cbam None def forward(self, x): residual x out self.conv1(x); out self.bn1(out); out self.relu(out) out self.conv2(out); out self.bn2(out); out self.relu(out) out self.conv3(out); out self.bn3(out) if self.cbam is not None: out self.cbam(out) # 注意力在残差相加前生效 if self.downsample is not None: residual self.downsample(x) out residual out self.relu(out) return out注意planes * self.expansion这个细节Bottleneck 的输出通道是planes * 4CBAM 的gate_channels必须跟它对齐否则通道注意力里的全连接层维度会报错。这是新手改代码时最容易翻车的地方之一。2.3 BAM 和 CBAM 的区别以及什么时候选哪个包里同时给了bam.pyBAMBottleneck Attention Module和 CBAM 最大的区别是 BAM 把通道和空间注意力并行计算再相加而且它通常放在 Bottleneck 的残差相加之后。并行结构参数量略大但在某些检测任务上表现更稳。分类任务里 CBAM 的串行结构更轻、收敛更快所以train_imagenet_resnet50_cbam.sh是主推脚本。如果你做的是目标检测或者分割可以试试把 BAM 换进去对比但分类场景我一般直接用 CBAM。3. 把 Stanford Dogs 跑起来数据加载、预训练权重与训练脚本3.1 数据集的目录结构必须对齐Stanford Dogs 官方下载下来是Images/和Annotation/两个文件夹Images下按n02085620-Chihuahua这种 WordNet ID 加品种名命名子目录。stanford_dogs_data.py里的StanfordDogs类默认按ImageFolder的方式读也就是要求每个类别一个子文件夹。如果你下载的是已经切分好的版本目录应该是stanford_dogs/ ├── train/ │ ├── n02085620-Chihuahua/ │ ├── n02097658-silky_terrier/ │ └── ... └── val/ ├── n02085620-Chihuahua/ └── ...如果只有原始Images/需要自己按 8:2 切分。常见做法是写个脚本遍历每个类别目录随机抽 20% 移到val/。注意别用shutil.move直接搬原始数据先复制一份再操作不然切错了没有后悔药。3.2 数据增强参数怎么设load.py里定义了训练和验证的 transform。训练侧一般用RandomResizedCrop(224)RandomHorizontalFlipColorJitter验证侧用Resize(256)CenterCrop(224)。Stanford Dogs 图片尺寸不统一RandomResizedCrop的scale参数建议设(0.6, 1.0)别用默认的(0.08, 1.0)——默认值会把狗裁得只剩一只耳朵细粒度分类直接废掉。train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.6, 1.0)), # 别用默认 scale transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])归一化的 mean/std 是 ImageNet 的统计值因为我们要加载 ImageNet 预训练权重必须保持一致。如果你从零训练可以换成 Stanford Dogs 自己的均值但没必要预训练权重带来的收益远大于这点归一化差异。3.3 加载预训练权重时分类头怎么换ResNet50 在 ImageNet 上是 1000 类Stanford Dogs 是 120 类最后一层fc必须替换。model_resnet.py里通常提供一个resnet50(pretrainedTrue, num_classes120)的接口内部逻辑是先加载官方权重再把fc换成新的nn.Linear(2048, 120)。这里有个坑如果直接model.load_state_dict(torch.load(...))会因为fc维度不匹配报错正确做法是用strictFalse或者手动过滤掉fc的键。from model_resnet import resnet50 model resnet50(pretrainedFalse, num_classes120) pretrained_dict torch.load(resnet50-19c8e357.pth) model_dict model.state_dict() # 过滤掉分类头和尺寸不匹配的键 pretrained_dict {k: v for k, v in pretrained_dict.items() if k in model_dict and v.shape model_dict[k].shape} model_dict.update(pretrained_dict) model.load_state_dict(model_dict)v.shape model_dict[k].shape这个判断很关键它同时挡住了fc层和任何因 CBAM 插入导致命名变化的层。如果你用了 CBAMcbam相关的新层本来就不在预训练权重里会被自动跳过初始化为随机值。3.4 训练脚本的关键参数train_imagenet_resnet50_cbam.sh里封装了启动命令核心参数一般包括--epochs、--batch-size、--lr、--momentum、--weight-decay。Stanford Dogs 两万多张图单卡 2080Ti 上 batch size 设 32 比较稳epochs 设 60 到 90 足够收敛。学习率用 SGD 的话初始 0.01每 30 个 epoch 乘 0.1。如果显存不够batch size 降到 16学习率同步减半。python train_imagenet.py \ --data ./stanford_dogs \ --arch resnet50_cbam \ --epochs 90 \ --batch-size 32 \ --lr 0.01 \ --momentum 0.9 \ --weight-decay 1e-4 \ --pretrained ./resnet50-19c8e357.pth \ --workers 8--workers设成 CPU 核数的 2 到 4 倍比较合适设太大反而会因为进程调度拖慢数据加载。训练过程中重点看验证集 top-1 曲线如果训练 loss 一直降但验证 top-1 卡在 55% 左右不动大概率是过拟合了需要加 dropout 或者更强的数据增强。4. 避坑与排查CBAM 训练里最容易翻车的五个地方4.1 现象loss 变成 NaN训练几个 batch 就崩原因通常是学习率太大加上 CBAM 里的 sigmoid 在初始化阶段输出接近 0.5梯度回传时和残差叠加导致数值爆炸。解决方法是把初始学习率从 0.01 降到 0.001或者在 CBAM 的 sigmoid 前加一个小的常数偏移。另一个可能是weight_decay设太大1e-4 是安全值别超过 5e-4。4.2 现象验证集准确率比不加 CBAM 还低这多半是 CBAM 插错了位置。如果插在残差相加之后注意力会直接缩放恒等映射的输出破坏预训练权重的特征分布。检查model_resnet.py里 CBAM 是不是在out residual之前调用。另一个可能是reduction_ratio设得太小比如设成 4通道 MLP 参数量暴增小数据集上直接过拟合。4.3 现象加载预训练权重后报size mismatch for cbam错误这是因为 CBAM 的ChannelGate里 MLP 的输入维度依赖gate_channels而预训练权重里没有这些键。用strictFalse加载可以跳过但要确认跳过的只是 CBAM 相关层别把conv1这种主干层也跳过了。加载后打印一下missing_keys和unexpected_keysmissing 里应该只有cbam和fc。4.4 现象训练速度异常慢GPU 利用率只有 30%先查--workers是不是设成了 0单进程数据加载会成为瓶颈。再查stanford_dogs_data.py里有没有在__getitem__里做耗时的图像解码操作比如用 PIL 打开后没转成 RGB 就送进 transform。Stanford Dogs 里有少量灰度图不转 RGB 会在Normalize那步报通道数错误。最后确认pin_memoryTrue和cudnn.benchmarkTrue有没有开。4.5 现象换自己的数据集后类别数对不上num_classes必须跟实际类别数严格一致多一类少一类都会在算 loss 时维度报错。换数据集时除了改num_classes还要检查stanford_dogs_data.py里的类别映射文件路径。常见做法是直接用ImageFolder的class_to_idx自动生成别手写类别列表手写迟早会漏。5. 从 60% 到 70%CBAM 调优的几个实操技巧5.1 分层学习率主干慢、注意力快加载预训练权重后主干网络的参数已经很好不需要大改CBAM 是随机初始化的需要更快学习。我一般把主干的学习率设成基础值的 0.1 倍CBAM 和fc用基础值。在 PyTorch 里通过参数组实现backbone_params [p for n, p in model.named_parameters() if cbam not in n and fc not in n] head_params [p for n, p in model.named_parameters() if cbam in n or fc in n] optimizer torch.optim.SGD([ {params: backbone_params, lr: 0.001}, {params: head_params, lr: 0.01}, ], momentum0.9, weight_decay1e-4)这个改动通常能带来 2 到 3 个点的提升而且收敛更稳。注意named_parameters返回的名字里 CBAM 的层名包含cbam如果你的命名不一样按实际前缀调整。5.2 余弦退火 热重启固定步长衰减在 90 epoch 的设置下够用但换成余弦退火CosineAnnealingLR配合 5 个 epoch 的 warmup验证集曲线会更平滑。warmup 阶段学习率从 0 线性升到初始值避免一开始就大梯度冲击预训练权重。torch.optim.lr_scheduler.CosineAnnealingWarmRestarts的T_0设 10T_mult设 2让重启周期逐渐拉长。5.3 测试时增强TTA推理阶段把原图、水平翻转图各跑一次softmax 输出取平均top-1 能再涨 1 个点左右。代价是推理时间翻倍课设演示够用生产环境要权衡。代码很简单with torch.no_grad(): out1 model(img) out2 model(torch.flip(img, dims[3])) prob (F.softmax(out1, dim1) F.softmax(out2, dim1)) / 25.4 用混淆矩阵定位难分类的犬种Stanford Dogs 里有些犬种天生容易混比如n02097658-silky_terrier和n02097474-Tibetan_terrier。训练完在验证集上跑一遍混淆矩阵找出错误率最高的五对类别针对性加这类样本的权重或者单独做数据增强。sklearn.metrics.confusion_matrix配合seaborn.heatmap就能画比只看一个 top-1 数字有用得多。5.5 换数据集时注意类别粒度这份源码的扩展性在于换num_classes和data路径就能跑其他分类任务。但要注意CBAM 在细粒度任务上收益最大如果你换成 CIFAR-10 这种粗粒度数据集CBAM 带来的提升可能只有 0.5 个点甚至因为参数量增加而略降。判断标准是类间差异越小CBAM 越值得加。我一般先在验证集上跑一版不加 CBAM 的 baseline确认 baseline 已经到瓶颈了再上注意力模块对比。从那以后我每次改注意力模块的位置或者超参都强制先跑一个 5 epoch 的小实验看 loss 曲线确认没有 NaN 和异常震荡再开完整训练。希望这份拆解帮到你源码包里的train_imagenet_resnet50_cbam.sh直接改数据路径就能跑先把 baseline 跑通再动结构别一上来就改模型。本文还有配套的精品资源点击获取