简介一份围绕RDNet模型的图像分类实战资源面向有深度学习基础、希望深入理解DenseNet改进思路并复现代码的开发者。RDNet基于对DenseNet连接机制的重新优化强调Concatenation优于传统加法快捷连接并在效率和性能之间做了精心平衡。资源包共2000个文件以1987张PNG图像数据为主搭配6个Python脚本、4个pyc缓存、1个JSON类别标签和1个pth预训练权重压缩包整体约818MB可直接用于训练、验证与推理。已有401人学习下载。内容包含完整工程目录及数据划分脚本覆盖数据预处理、模型定义、训练循环与指标评估PNG图像可用于观察样本特征与训练过程pth权重支持快速加载和迁移预测对开展图像分类实验和论文复现具有很强的参考价值。1. 一个残差密度网络凭什么挤进图像分类第一梯队图像分类模型这半年迭代快得让人眼花前脚还在调 ViT 的 patch size后脚就有新结构说自己在 ImageNet 上又涨了一个点。RDNet 属于最近一批“最新的图像分类模型”里比较特别的一个——它不是纯 Transformer也不是传统 ResNet 的简单堆叠而是把残差连接和密集连接做进了同一个基础模块里。我第一次跑 RDNet 是在一个森林图像分类任务上要在无人机拍的林地照片里分清楚树种训练集不到两万张一开始用的 ResNet50 死活过不了 87% 的准确率换成 RDNet 之后同样的训练配置直接跳到 91% 出头。这篇实战笔记就是把那段时间踩过的坑和调参经验整理出来从模型结构讲清楚 RDNet 为什么适合中小规模数据集再给你一套可以直接复用的 PyTorch 训练代码最后落在评估指标怎么设、Loss 曲线什么样才算健康这些细节上。适合手里有图像分类任务、想在 ResNet 和 ViT 之外找一个折中方案的工程师也适合刚入门图像分类、想用一个不复杂的模型跑通完整流程的读者。全程不涉及分布式训练和推理优化就讲单卡能从零跑到出指标的那条路。2. RDNet 的模型结构残差与密集连接为什么要共存2.1 从 ResNet 到 RDNet残差解决了什么又漏掉了什么ResNet 的核心贡献是让梯度有一条“高速公路”从最后一层直接传回第一层这也是它能训练到上百层的原因。但残差连接的粒度是层级别的每一条 shortcut 只跨越两三个卷积层特征在逐层传递过程中仍然会衰减——尤其是浅层提取的边缘、纹理信息传到深层时已经被高度抽象化了。密集连接DenseNet 风格的做法更彻底每一层都把前面所有层的输出拼在一起作为输入特征复用率高但显存占用也高因为中间特征图都要保留下来用于后续拼接。RDNet 走的是中间路线在模块内部用密集方式串联几个卷积分支模块与模块之间用残差 shortcut 连接。这样做的好处是浅层特征在模块内部被反复利用同时又不会像纯 DenseNet 那样在整网范围内做拼接显存压力小很多。从实现角度来看RDNet 的每个基础模块可以写成类似这样的结构一个 1x1 卷积做通道压缩接着若干个 3x3 卷积分支每个分支的输入都会拼接前面分支的输出最后所有分支的输出拼起来再过 1x1 卷积恢复通道走一个残差 shortcut 加到输入上。这种设计和纯 Transformer 图像分类模型相比有个明显优势不需要大规模预训练数据。ViT 在 ImageNet-1k 上从头训练的效果一直不如 CNN因为 Transformer 缺归纳偏置需要海量数据才能学到局部性先验。RDNet 保留了卷积的局部感知能力同时通过密集连接扩大了感受野的覆盖范围在两万张规模的数据集上也能从零训练出可用模型。2.2 用 PyTorch 搭一个最小可运行的 RDNet 模块这里给出一个简化版 RDNet 基础模块的 PyTorch 实现我不追求和论文结构完全一致但把残差和密集混合连接的核心逻辑保留下来了。关键设计是:在模块里先做通道压缩再拆成四个分支每个分支的输入是前面所有分支的输出拼接最后统一过残差 shortcut。完整模型代码我把主干部分也写在这里方便直接跑一个 forward 看形状对不对。import torch import torch.nn as nn import torch.nn.functional as F class HybridBlock(nn.Module): def __init__(self, in_channels, growth_rate32, num_branches4): super().__init__() self.num_branches num_branches self.growth_rate growth_rate # 先压缩通道控制后续拼接带来的计算量增长 self.compress nn.Conv2d(in_channels, in_channels // 2, kernel_size1) self.branches nn.ModuleList() current_channels in_channels // 2 for i in range(num_branches): self.branches.append(nn.Sequential( nn.Conv2d(current_channels, growth_rate, kernel_size3, padding1, biasFalse), nn.BatchNorm2d(growth_rate), nn.ReLU(inplaceTrue) )) current_channels growth_rate # 拼接后统一恢复通道维度 self.recover nn.Conv2d(current_channels, in_channels, kernel_size1) def forward(self, x): identity x x self.compress(x) outputs [] for branch in self.branches: if outputs: # 当前分支输入 前面所有分支输出拼接 branch_input torch.cat(outputs, dim1) else: branch_input x out branch(branch_input) outputs.append(out) out torch.cat(outputs, dim1) out self.recover(out) return F.relu(out identity) class RDNetBackbone(nn.Module): def __init__(self, block_config(2, 2, 2), in_channels3, base_channels64): super().__init__() self.stem nn.Sequential( nn.Conv2d(in_channels, base_channels, kernel_size7, stride2, padding3, biasFalse), nn.BatchNorm2d(base_channels), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size3, stride2, padding1) ) self.stages nn.ModuleList() current_channels base_channels for i, num_blocks in enumerate(block_config): stage_channels current_channels * 2 layers [] # 每个 stage 的第一个 block 需要显式处理通道变化 layers.append(HybridBlock(current_channels)) for _ in range(1, num_blocks): layers.append(HybridBlock(current_channels)) self.stages.append(nn.Sequential(*layers)) # stage 之间加一个降采样过渡层 self.stages.append(nn.Sequential( nn.Conv2d(current_channels, stage_channels, kernel_size3, stride2, padding1, biasFalse), nn.BatchNorm2d(stage_channels), nn.ReLU(inplaceTrue) )) current_channels stage_channels def forward(self, x): x self.stem(x) for stage in self.stages: x stage(x) return x if __name__ __main__: model RDNetBackbone() dummy torch.randn(1, 3, 224, 224) out model(dummy) print(输出特征图尺寸:, out.shape)这段代码里最容易改错的地方是卷积层没有设置 biasFalse或者 BatchNorm 放在卷积之前。Conv2d 默认 biasTrue但后面跟 BatchNorm 时卷积的 bias 是冗余的还会带来数值稳定性问题我建议所有卷积层都显式设成 biasFalse。另一个要注意的地方是 HybridBlock 里torch.cat(outputs, dim1)的维度outputs列表里每个元素是(N, growth_rate, H, W)拼接发生在通道维也就是 dim1写错成 dim0 会在训练时报形状不匹配。2.3 为什么 RDNet 比纯 Transformer 更适合中小规模图像分类任务Transformer 图像分类模型的核心竞争力是全局建模能力但它有一个绕不开的问题没有内置的局部先验。QKV 注意力机制在随机初始化时几乎是在做全局加权平均要学到“相邻像素大概率属于同一个物体”这个先验需要数据自己喂出来。这也解释了为什么 ViT 的预训练通常要 JFT-300M 这种级别的数据普通团队根本没有这个算力。RDNet 的密集分支机制在局部感受野内做特征复用每个分支只能看到 3x3 区域但由于前面分支的输出被拼接喂给后面的分支后面的分支实际上学会了对前面的特征图做组合变换等效感受野比单个 3x3 卷积大得多。这个过程不依赖注意力参数量也小。在森林图像分类这类场景里树皮纹理、叶子边缘这些局部特征比全局上下文更重要RDNet 天生就更适配这种归纳偏置。在实际落地时如果用 pytorch-image-models 或者自己维护的模型库没有预训练权重也不要紧。RDNet 从零训练在 224x224 输入上通常 60~80 个 epoch 就能收敛得比较稳定不像纯 Transformer 动不动需要 300 个 epoch 才能追平 CNN。这也是我在项目里最终选它而不是 ViT 的核心原因——项目周期不允许我在预训练上花太多时间。3. 数据准备从下载到目录组织图像分类数据集的标准流程3.1 图像分类数据集下载去哪里找怎么验证完整性图像分类数据集下载是每个实战任务的第一步。公开数据集中ImageNet 太大不适合单机调试CIFAR-10/100 太小验证不了模型的真实能力我常用的折中选择是 Oxford 102 Flowers 或者 Places365 的子集。如果你在做森林图像分类这类垂直场景Kaggle 上有很多无人机拍摄的植被数据集下载的时候要注意看 label 是单标签还是多标签。# 以 Downloads 目录为例建立一个标准的数据集根目录结构 cd ~/Downloads mkdir -p datasets/forest_split/{train,val} cd datasets/forest_split # 假设你下载的压缩包解压后是 train_images 和 train_labels.csv # 先把图片按类别文件夹分开这是 PyTorch ImageFolder 要求的格式 python - EOF import os import pandas as pd import shutil df pd.read_csv(train_labels.csv) for _, row in df.iterrows(): class_name row[label] src os.path.join(train_images, row[image_name]) dst_dir os.path.join(train, class_name) os.makedirs(dst_dir, exist_okTrue) shutil.copy(src, os.path.join(dst_dir, row[image_name])) print(图片按类别整理完成) EOF # 检查每个类别的图片数量是否均匀 for d in train/*/; do echo $d: $(ls $d | wc -l); done这段脚本做的事情很朴素但极其关键ImageFolder 读取数据的唯一约定就是“一层目录一个类别”类别名按目录名生成如果数据没有按这个格式组织后面 DataLoader 就直接报错。检查数量的命令是为了发现类别极度不均衡的情况如果某个类只有几十张要在训练时考虑类权重或者干脆删掉。3.2 数据增强策略RDNet 对增强的敏感度比 ResNet 高别照搬老配方接上一节继续说数据增强是图像分类任务里比模型结构更影响最终指标的部分。RDNet 结构里面有大量拼接操作对输入的分布变化其实比 ResNet 更敏感。ResNet 的残差连接天然带正则效果特征分布稍偏一点也能兜住RDNet 的密集拼接会把偏差放大在通道维度上所以我建议不要直接照搬 ImageNet 那套经典增强。我一般用这样的组合随机裁剪加水平翻转保底RandomErasing 加一个很小的概率Mixup 按 alpha0.2 加。第一个是通用配方后两个是针对 RDNet 结构做的微调。RandomErasing 能强迫模型的密集分支不要依赖某一两个局部特征通道Mixup 则是从数据层面做平滑避免模型过拟合到样本级别的噪声。from torchvision import transforms train_transforms transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.08, 1.0)), transforms.RandomHorizontalFlip(), transforms.RandomErasing(p0.25, scale(0.02, 0.1)), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transforms transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])RandomErasing 的 p0.25 是我试出来的比较稳的值太高会让模型学不到完整的物体结构。ColorJitter 的幅度也刻意调小了RDNet 的密集拼接对颜色分布变化敏感饱和度过大的增强会让训练集和验证集的分布偏离太多导致验证准确率震荡。3.3 类别不均衡怎么处理不能只靠过采样森林图像分类这类场景里类别不均衡几乎是必然的有些树种分布广样本多有些树种稀少。我见过有人直接对 Minority 类别做过采样结果训练集里重复样本太多模型在验证集上准确率还行一到新数据就翻车。做图像分类算法落地的时候我一般优先用 Class-balanced 采样器再配合 Label Smoothing 一起用。from torch.utils.data import WeightedRandomSampler def make_weighted_sampler(dataset): labels [label for _, label in dataset.samples] class_count {} for label in labels: class_count[label] class_count.get(label, 0) 1 weights [1.0 / class_count[label] for label in labels] sampler WeightedRandomSampler(weights, num_sampleslen(labels), replacementTrue) return sampler # 使用方式 # sampler make_weighted_sampler(train_dataset) # train_loader DataLoader(train_dataset, batch_size32, samplersampler)这里replacementTrue说明每个 epoch 里会重复采样样本但重复是随机的不是固定复制。注意 WeightedRandomSampler 是和 DataLoader 的 shuffle 互斥的用了 sampler 就不能再传 shuffleTrue否则会直接报错。4. 用 RDNet 在本地跑通图像分类训练完整脚本与三个必调参数4.1 训练脚本骨架从 DataLoader 到 checkpoint一条龙跑通单卡训练图像分类模型的脚本结构其实高度相似核心差异在模型定义、Loss 和优化器配置上。我把之前调通 RDNet 的脚本骨架整理出来了删掉了 wandb 之类的日志依赖方便你在本地直接跑。import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder import torch.optim as optim def train_one_epoch(model, loader, criterion, optimizer, epoch): model.train() running_loss 0.0 correct 0 total 0 for inputs, labels in loader: inputs, labels inputs.cuda(), labels.cuda() optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * inputs.size(0) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() epoch_loss running_loss / total epoch_acc correct / total print(fEpoch [{epoch}] loss{epoch_loss:.4f} acc{epoch_acc:.4f}) return epoch_loss, epoch_acc def validate(model, loader, criterion): model.eval() running_loss 0.0 correct 0 total 0 with torch.no_grad(): for inputs, labels in loader: inputs, labels inputs.cuda(), labels.cuda() outputs model(inputs) loss criterion(outputs, labels) running_loss loss.item() * inputs.size(0) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() return running_loss / total, correct / total model RDNetBackbone(block_config(2, 2, 2), base_channels64) num_classes 10 # 根据你的数据集类别数修改 model.fc nn.Linear(model.fc.in_features, num_classes) if hasattr(model, fc) else None # 如果没有 fc 属性就在主干后面直接加分类头 model nn.Sequential( model, nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(512, num_classes) ).cuda() criterion nn.CrossEntropyLoss(label_smoothing0.1) optimizer optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max80, eta_min1e-6) train_dataset ImageFolder(rootdatasets/forest_split/train, transformtrain_transforms) val_dataset ImageFolder(rootdatasets/forest_split/val, transformval_transforms) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers4) val_loader DataLoader(val_dataset, batch_size32, shuffleFalse, num_workers4) best_acc 0.0 for epoch in range(80): train_loss, train_acc train_one_epoch(model, train_loader, criterion, optimizer, epoch) val_loss, val_acc validate(model, val_loader, criterion) scheduler.step() if val_acc best_acc: best_acc val_acc torch.save({ epoch: epoch, model_state_dict: model.state_dict(), best_acc: best_acc, }, rdnet_best.pth) print(fSaved checkpoint, best acc: {best_acc:.4f})这段代码同时覆盖了训练、验证和 checkpoint 保存三个环节。label_smoothing0.1是我强烈建议你不删掉的参数它等于告诉模型不要过度自信地押注某一个类别对 RDNet 这种特征复用能力强的结构特别管用。CosineAnnealingLR配合 80 个 epoch 很稳定初期的快速下降和后期的精细收敛都覆盖到了。4.2 学习率、Batch Size、Weight Decay三个参数怎么配合才算对RDNet 的参数量比 ResNet50 略小但对学习率更挑剔。我试过用常规的 0.1 学习率加 SGDLoss 在前 10 个 epoch 内震荡得厉害换上 AdamW 并把学习率降到 1e-4 之后才稳定下来。下面是三个必调参数的参考范围和现象说明方便你判断自己有没有调对方向。参数参考范围设置偏大时的现象设置偏小时的典型问题学习率1e-4 到 2e-4AdamW训练 Loss 前几个 epoch 不降反升收敛太慢60 epoch 还没到底Batch Size16 到 64单卡显存溢出或验证准确率抖动明显训练不稳定BN 统计量噪声大Weight Decay1e-4 到 5e-4验证准确率在后期不升反降特征图中出现明显的噪声模式4.3 从零训练还是迁移学习RDNet 没有预训练权重时怎么办RDNet 比较新多数开源实现不一定配套提供在 ImageNet 上预训练好的权重。如果你手头的图像分类任务数据量少于一万张我不建议从零随机初始化硬训更合理的做法是找一个结构相近、有预训练权重的模型比如 ResNet50 或 ConvNeXt Tiny做教师模型用蒸馏的方式把知识迁移到 RDNet 上。import torch.nn.functional as F def distillation_loss(student_outputs, teacher_outputs, labels, alpha0.7, temperature3.0): # 教师模型输出当作软标签学生模型向软标签和硬标签同时学习 soft_targets F.softmax(teacher_outputs / temperature, dim1) soft_loss F.kl_div( F.log_softmax(student_outputs / temperature, dim1), soft_targets, reductionbatchmean ) * (temperature ** 2) hard_loss F.cross_entropy(student_outputs, labels) return alpha * soft_loss (1 - alpha) * hard_loss # 使用方式在训练循环里额外加载教师模型并前向一次 # teacher_outputs teacher_model(inputs).detach() # loss distillation_loss(outputs, teacher_outputs, labels)蒸馏温度设 3.0、软硬损失权重取 0.7 是默认值实际项目里可以按验证集结果调整。温度和权重互相耦合温度越高软标签分布越平滑权重越高模型越依赖教师模型的信号。一次完整的蒸馏训练大约需要 1.5 倍于普通训练的时间因为每个 batch 要跑两次前向。5. 避坑手册RDNet 训练图像分类最容易翻车的五个细节5.1 现象验证准确率震荡剧烈像过山车一样上下起伏原因训练集和验证集的预处理不一致最常见的是训练时用了 RandomResizedCrop验证时直接 Resize 到 224 导致物体比例不一致。RDNet 的密集拼接对输入的空间分布非常敏感比例差异会被拼接操作逐层放大。解决验证集必须固定走 Resize(256) 加 CenterCrop(224) 的组合不要直接 Resize 到 224。检查val_transforms里是否有和训练不一致的预处理步骤如果还震荡把 ColorJitter 从训练集里暂时去掉恢复 baseline 做对照。5.2 现象显存占用比同参数量的 ResNet 高 40%训练到一半爆显存原因RDNet 模块内的拼接操作需要在前向过程中保留所有分支的输出反向传播时这些中间特征图都要驻留在显存里参数量相同不代表显存占用相同。这是密集连接结构的固有代价不是代码 bug。解决优先把 batch size 从 32 降到 16 看显存占用下降幅度是否线性。如果仍需压缩把 HybridBlock 里的num_branches从 4 改到 3growth_rate 从 32 降到 24显存占用能降三分之一左右验证准确率的跌幅通常控制在 0.5 个点以内。也可以用混合精度训练但要注意 BatchNorm 在 fp16 下容易出现数值不稳定的问题。5.3 现象Loss 下降到某个值后突然反弹然后模型直接失去学习能力原因学习率调度策略踩到了 Loss 曲面的陡峭区域CosineAnnealing 在后期学习率过小时模型进入局部平滑区一旦跨过边界梯度累积的噪声会让权重跳到另一个 basin。这也是 AdamW 加 1e-6 的 eta_min 时容易触发的翻车现场。解决把训练 epoch 数从 80 缩短到 60或者把 eta_min 调高到 1e-5 限制学习率的最低值。正规做法是在 Loss 反弹后立刻加载最近一次最佳 checkpoint降低学习率到当前值的一半重新训练同时观察后续 5 个 epoch 是否恢复下降趋势。5.4 现象训练集准确率 98%验证集只有 74%过拟合到怀疑人生原因RDNet 的特征复用能力太强在训练集上学习到了只属于训练样本的纹理组合模式。数据量少于五千张时过拟合现象比 ResNet 更明显这是密集连接结构的天生特性。解决把 label_smoothing 从 0.1 提高到 0.2同时增加 Dropout 层在分类头之前。具体做法是在分类头里加一个nn.Dropout(0.3)并确认它在模型定义中确实生效了。数据增强侧把 RandomErasing 的概率从 0.25 提高到 0.4Mixup 的 alpha 也可以从 0.2 上调到 0.4。5.5 现象在一张新图片上推理结果和验证集表现完全对不上原因推理时忘记切换model.eval()模式BatchNorm 层的 running_mean 没有更新直接用训练模式下的 batch 统计量做推理。另一个隐蔽点是检图片的预处理尺寸和验证集不一致或者有两套预处理代码在项目里共存。解决代码里显式检查推理脚本是否调用了model.eval()。接着确认输入图片的通道顺序是 RGB 而不是 BGRNormalize 的 mean 和 std 是否和训练时完全一致。最稳的做法是把预处理封装成函数训练、验证、推理三处调用同一个函数避免复制粘贴导致的偏差。6. 调参进阶用一张 Loss 曲线判断 RDNet 训练是否健康模型训完之后还有一个容易偷懒的环节只盯着准确率看不看曲线形态。我之前在森林图像分类任务上就吃过这个亏准确率到了 90% 就停了结果换了一组初始化种子重训之后指标掉了两个点最后才发现是 Loss 曲线里早就有预警信号。健康的 RDNet 训练曲线应该长这样前 5 个 epoch 内训练 Loss 快速下降验证 Loss 同步下降但稍高一点中期阶段两条曲线的间距保持稳定不随训练进程扩大后期学习率降到底部区域时验证 Loss 会出现高频低幅抖动但整体趋势仍然平缓下降。如果验证 Loss 在第 30 个 epoch 就开始持平甚至回升而训练 Loss 还在持续下降这就是过拟合的第一现场需要立刻按第 5.4 节的方案调增强参数。更细一步的经验是看 5 个 epoch 的滑动平均准确率变化幅度。健康状态下相邻窗口的平均准确率变化不超过 0.8 个点如果超过了说明学习率偏高或者数据增强扰动过大。我习惯把这个滑窗指标打印在日志里每次训练结束只看这个数就能快速判断这一组超参数有没有继续调的必要。另一个值得做的验证是用同一个 checkpoint 在三个不同的随机种子上跑评估如果三个种子的准确率极差超过 0.6说明模型当前的泛化稳定性不够问题大概率出在训练数据本身而不是模型结构。RDNet 这个结构适合的场景很明确数据量中等、局部纹理特征重要、团队没有大算力做预训练。选模型的时候横向对比两三组实验就够了先拿小学习率小 epoch 跑通流程再把真正影响指标的几个参数逐个做网格搜索。我自己的习惯是每改一个参数只跑一次实验记录在同一张表格里避免同时改多个变量最后出了问题都找不到元凶。这也是我做图像分类算法以来最值得分享的一条教训希望帮到你。本文还有配套的精品资源点击获取