简介这份资源面向医疗图像分析与深度学习方向的开发者、研究生及科研人员提供一套基于生成对抗网络的3D肝脏分割完整实现方案帮助读者理解GAN在医学影像分割中的建模思路与工程落地方式。压缩包共12个文件约529KB包含4个Python脚本、1个Jupyter Notebook、1个Shell脚本及PNG架构图、README、LICENSE、requirements等覆盖数据获取、模型构建、训练与预测等环节Notebook便于交互式调试与结果可视化。项目围绕生成器与判别器的对抗训练展开涉及3D卷积网络、损失函数选择、Adam优化器、Dice与Jaccard评估指标等关键内容并配有U-Net结构示意图辅助理解网络设计。已有108人学习下载适合希望复现实验流程、掌握3D医学图像预处理与分割评估方法的读者参考也可作为相关课题的代码基线。1. 拿到「使用GAN进行3D肝脏分割」这个包先搞清楚它到底在解决什么CT 和 MRI 的肝脏三维影像一层一层叠起来看最耗人的不是诊断本身而是把肝脏从一堆灰度像素里一块块抠出来。传统阈值法遇到肿瘤边界、血管穿插、灰度不均就崩手工勾画一个病例动辄四十分钟起步。生成对抗网络GAN进这个场景核心思路不是「生成一张好看的图」而是让生成器学会肝脏的解剖先验用判别器逼着分割结果在边界处更像真实标注。这个标题对应的是一套 Python Jupyter Notebook 的完整工程数据读取、3D 体素预处理、GAN 分割网络搭建、训练循环、推理可视化。适合已经会写 Python、想从 2D 分割跨到 3D 体素级任务的人也适合手里有 LiTS 或 MSD 肝脏数据、想跑通一套 baseline 再改结构的从业者。Jupyter Notebook 的交互式调试在这里很关键——3D 数据形状、显存占用、损失曲线必须边跑边看否则一个维度写错能让你排查半天。2. 3D肝脏分割为什么非要用GAN从体素级标注稀缺说起2.1 肝脏CT的3D特性决定了2D切片法会丢什么肝脏在 CT 里是一个连续的三维体层间距通常 0.75 mm 不等不同设备扫出来的体素各向异性很明显。如果按 2D 切片逐张分割再堆叠层与层之间的连续性完全靠后处理补遇到层间距大的数据上下两层肝脏轮廓跳变堆出来的三维表面像梯田。更麻烦的是肝脏和邻近的胃、脾、心脏在单张切片上灰度接近2D 网络没有上下文的纵深信息很容易把胃壁误判成肝左叶。3D 卷积直接吃体素块感受野在三个方向上同时扩展能利用 z 轴上的连续性。代价是显存。一个 128×128×128 的体素块单精度浮点就是 8 MB加上网络中间层特征图batch size 基本只能开到 1 或 2。这也是为什么很多 3D 分割方案要用 patch 训练而不是整卷输入。GAN 在这里的定位要讲清楚它不是替代 U-Net 这类分割主干而是在主干输出之后加一个判别器判断「这张分割掩码是真实标注还是网络预测的」。生成器分割网络为了让判别器分不出来会被迫在边界区域输出更符合解剖形态的概率图。对于肝脏这种边界模糊、标注者之间都有分歧的目标对抗损失能起到类似边界正则化的作用。2.2 生成器与判别器的分工谁在学肝脏形状生成器通常沿用 3D U-Net 结构编码器下采样四次解码器上采样四次跳跃连接把浅层的高分辨率特征送到对应解码层。输入是 CT patch输出是和输入同尺寸的肝脏概率图。判别器是一个 3D PatchGAN输入是「CT patch 分割掩码」的拼接输出一个 N×N×N 的置信度图每个值代表对应感受野里分割结果像不像真实标注。判别器的输入拼接方式很关键。如果只给判别器看掩码它只能学形状先验把 CT patch 一起拼进去它还能学到「这个位置的灰度值该不该是肝脏」。常见做法是通道维拼接CT 单通道加掩码单通道变成 2 通道输入。判别器太强会让生成器梯度消失太弱又起不到约束作用所以训练时判别器一般每步只更新一次且学习率设得比生成器低。2.3 损失函数怎么配对抗损失不能单打独斗只用对抗损失训练分割网络结果会不稳定肝脏内部可能出现空洞。实操里都是组合损失Dice 损失管整体重叠度对类别不平衡鲁棒二元交叉熵管逐体素分类梯度稳定对抗损失管边界真实感权重通常设 0.050.1权重配比是玄学重灾区。对抗损失权重超过 0.2训练后期 Dice 会震荡低于 0.02判别器形同虚设。我一般从 0.05 起步看验证集 Dice 曲线如果 50 轮后还在 0.85 以下徘徊再微调。# 组合损失Dice BCE 对抗损失 import torch import torch.nn as nn class CombinedLoss(nn.Module): def __init__(self, adv_weight0.05): super().__init__() self.bce nn.BCEWithLogitsLoss() self.adv_weight adv_weight # 对抗损失权重建议 0.02~0.1 def dice_loss(self, pred, target, eps1e-6): # pred 需先过 sigmoidtarget 为 0/1 掩码 pred torch.sigmoid(pred) intersection (pred * target).sum(dim(2, 3, 4)) union pred.sum(dim(2, 3, 4)) target.sum(dim(2, 3, 4)) dice (2 * intersection eps) / (union eps) return 1 - dice.mean() def forward(self, pred, target, adv_predNone): loss self.bce(pred, target) self.dice_loss(pred, target) if adv_pred is not None: # 生成器希望判别器输出为 1真 adv_loss nn.BCEWithLogitsLoss()( adv_pred, torch.ones_like(adv_pred) ) loss loss self.adv_weight * adv_loss return loss这段代码里adv_weight控制对抗损失占比dice_loss在 batch 维度上求均值eps防止除零。注意BCEWithLogitsLoss内部带 sigmoid所以dice_loss里手动加了一次 sigmoid两处不要重复。判别器输出adv_pred的形状要和掩码 patch 的空间尺寸一致PatchGAN 输出的是置信度图而不是单值。3. 从零跑通Notebook环境、数据、训练三步走3.1 Miniconda建环境与Jupyter Notebook启动的完整命令3D 分割对 PyTorch 和 CUDA 版本匹配很敏感用 conda 隔离环境最省事。假设你装好了 Miniconda下面这套命令在 Linux 和 Windows 的 conda 终端里都能跑# 创建 Python 3.9 环境3D 分割常用版本 conda create -n liver3d python3.9 -y conda activate liver3d # 安装 PyTorch以 CUDA 11.8 为例具体版本按显卡驱动选 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 科学计算与影像处理 pip install numpy scipy nibabel SimpleITK matplotlib tqdm # Jupyter 与可视化 pip install jupyter notebook ipywidgets # 启动 Notebook指定端口避免冲突 jupyter notebook --port8889 --no-browsernibabel读 NIfTI 格式的 CT 和标注SimpleITK处理 DICOM 序列更顺手。如果启动 Jupyter 时报「找不到指定的程序」八成是环境变量里 python 路径指向了系统自带版本用which jupyter确认一下或者直接用python -m jupyter notebook启动。装完在 Notebook 里跑import torch; print(torch.cuda.is_available())返回 True 才算环境通了。3.2 3D体素数据的读取、重采样与patch切分肝脏 CT 原始数据层间距不一致直接送网络会让 z 轴物理尺度失真。标准流程是重采样到各向同性比如 1.5×1.5×1.5 mm再做强度归一化。下面这段代码读一个 NIfTI 病例并切成训练 patchimport nibabel as nib import numpy as np from scipy.ndimage import zoom def load_and_resample(img_path, label_path, target_spacing(1.5, 1.5, 1.5)): img nib.load(img_path) label nib.load(label_path) # 原始体素间距NIfTI 头文件里取 spacing img.header.get_zooms()[:3] # 计算缩放因子 scale [s / t for s, t in zip(spacing, target_spacing)] img_data img.get_fdata().astype(np.float32) label_data label.get_fdata().astype(np.uint8) # 图像用三线性插值标注用最近邻避免引入新类别 img_resampled zoom(img_data, scale, order1) label_resampled zoom(label_data, scale, order0) # CT 强度截断到 [-100, 200] HU再归一化到 [0,1] img_resampled np.clip(img_resampled, -100, 200) img_resampled (img_resampled 100) / 300.0 return img_resampled, label_resampled def extract_patches(img, label, patch_size(128, 128, 128), num_pos4, num_neg2): patches [] d, h, w img.shape pd, ph, pw patch_size # 正样本以肝脏体素为中心 liver_coords np.argwhere(label 1) for _ in range(num_pos): if len(liver_coords) 0: break cz, cy, cx liver_coords[np.random.randint(len(liver_coords))] z np.clip(cz - pd // 2, 0, d - pd) y np.clip(cy - ph // 2, 0, h - ph) x np.clip(cx - pw // 2, 0, w - pw) patches.append((img[z:zpd, y:yph, x:xpw], label[z:zpd, y:yph, x:xpw])) # 负样本随机位置保证背景多样性 for _ in range(num_neg): z np.random.randint(0, max(1, d - pd)) y np.random.randint(0, max(1, h - ph)) x np.random.randint(0, max(1, w - pw)) patches.append((img[z:zpd, y:yph, x:xpw], label[z:zpd, y:yph, x:xpw])) return patchestarget_spacing按数据集调整LiTS 常用 1.5 mm 各向同性。zoom的order参数是血泪经验图像用 1三线性标注必须用 0最近邻用错会把标注插值出 0.5 这种值训练时类别数对不上。正负样本比例 4:2 是经验值肝脏占比小的病例可以提到 6:2。patch 尺寸受显存限制12 GB 显存跑 128³ 的 3D U-Net 基本是上限。3.3 训练循环里判别器和生成器怎么交替更新GAN 训练最怕模式崩溃和震荡交替更新的节奏要卡死。下面是一个最小训练循环骨架import torch from torch.optim import Adam def train_one_epoch(gen, disc, loader, opt_g, opt_d, criterion, device): gen.train() disc.train() for img, mask in loader: img, mask img.to(device), mask.to(device) # ---- 更新判别器 ---- opt_d.zero_grad() with torch.no_grad(): fake_mask torch.sigmoid(gen(img)) # 真实样本拼接 CT real_input torch.cat([img, mask], dim1) fake_input torch.cat([img, fake_mask], dim1) pred_real disc(real_input) pred_fake disc(fake_input) loss_d 0.5 * ( nn.BCEWithLogitsLoss()(pred_real, torch.ones_like(pred_real)) nn.BCEWithLogitsLoss()(pred_fake, torch.zeros_like(pred_fake)) ) loss_d.backward() opt_d.step() # ---- 更新生成器 ---- opt_g.zero_grad() fake_mask gen(img) pred_fake_for_g disc(torch.cat([img, torch.sigmoid(fake_mask)], dim1)) loss_g criterion(fake_mask, mask, pred_fake_for_g) loss_g.backward() opt_g.step() return loss_g.item(), loss_d.item()判别器更新时生成器不参与梯度用torch.no_grad()包住前向。生成器更新时判别器参数冻结只回传对抗损失到生成器。opt_d的学习率一般设opt_g的 0.5 倍比如生成器 2e-4判别器 1e-4。如果判别器 loss 迅速降到 0.1 以下说明它太强了把它的学习率再降或者加 dropout。4. 3D GAN分割训练中最容易翻车的五个地方4.1 显存溢出patch尺寸和batch size的取舍现象训练启动几秒后报CUDA out of memory或者跑几个 batch 后显存缓慢增长直到崩。原因3D 卷积的激活值占用远超 2D128³ patch 的 3D U-Net 中间层特征图能到几百 MB。另外如果 loss 里保留了计算图引用没释放显存会累积。解决先把 patch 降到 96³ 或 64³ 跑通流程再逐步加。用torch.cuda.empty_cache()在 epoch 之间清理。检查代码里有没有把 tensor 存到列表里忘了 detach。混合精度训练torch.cuda.amp能省 30%40% 显存但要注意 Dice 损失在 fp16 下的数值稳定性建议 loss 计算用 fp32。4.2 判别器过强导致生成器梯度消失现象训练十几轮后生成器 loss 不再下降输出的掩码全黑或全白Dice 趋近 0。原因判别器太快学会区分真假生成器的对抗梯度趋近于零只剩 Dice 和 BCE 在起作用但对抗项已经没意义了。解决降低判别器学习率或者给判别器输入加高斯噪声。也可以把判别器更新频率降到每两步生成器更新一次。标签平滑也有用把真实样本标签从 1 改成 0.9假样本从 0 改成 0.1防止判别器输出饱和。4.3 标注类别不均衡肝脏占比不到5%时Dice上不去现象训练集里肝脏体素只占总体素的 3%5%模型倾向于全预测背景准确率看着很高但 Dice 很低。原因BCE 损失被背景体素主导梯度里背景占绝大多数。解决Dice 损失本身就是为类别不均衡设计的确保它在总损失里占主导。patch 采样时提高正样本比例让每个 batch 里肝脏体素占比到 20%30%。如果还不行用带权重的 BCE背景权重设 0.1肝脏权重设 1.0。4.4 重采样后标注错位z轴缩放因子算反了现象训练时 loss 正常下降但推理可视化发现预测掩码和 CT 在 z 轴上偏移或者肝脏被压扁。原因zoom的 scale 因子算反了。scale target_spacing / original_spacing才是正确的写反了会把数据放大而不是缩小。解决重采样后立刻用nib.save存一份中间结果用 ITK-SNAP 打开对比原始数据。检查img.header.get_zooms()返回的顺序有些数据是 (x, y, z)有些是 (z, y, x)和 numpy 数组维度对应关系要确认。4.5 Jupyter Notebook内存泄漏反复跑单元格导致OOM现象Notebook 里反复执行训练单元格系统内存越用越多最后内核崩溃。原因每次执行都在全局命名空间里新建变量旧的 tensor 和 DataLoader 没被回收。matplotlib 的 figure 不关闭也会累积。解决训练代码写成函数跑完手动del大变量并gc.collect()。matplotlib 用完plt.close(all)。最稳妥的做法是把训练逻辑放到.py文件里Notebook 只做调试和可视化用%run train.py调用。5. 让3D GAN分割真正可用的几个进阶技巧5.1 用滑动窗口推理替代整卷输入训练用 patch推理时如果直接把整卷 CT 送进网络显存扛不住而且网络没见过完整尺寸的输入边界表现会差。滑动窗口是标准做法沿三个方向以固定步长切 patch每个 patch 单独推理重叠区域取平均。def sliding_window_inference(model, volume, patch_size(128,128,128), overlap0.5): model.eval() d, h, w volume.shape pd, ph, pw patch_size step_d int(pd * (1 - overlap)) step_h int(ph * (1 - overlap)) step_w int(pw * (1 - overlap)) output np.zeros((d, h, w), dtypenp.float32) count np.zeros((d, h, w), dtypenp.float32) with torch.no_grad(): for z in range(0, d - pd 1, step_d): for y in range(0, h - ph 1, step_h): for x in range(0, w - pw 1, step_w): patch volume[z:zpd, y:yph, x:xpw] tensor torch.from_numpy(patch).unsqueeze(0).unsqueeze(0).cuda() pred torch.sigmoid(model(tensor)).cpu().numpy()[0, 0] output[z:zpd, y:yph, x:xpw] pred count[z:zpd, y:yph, x:xpw] 1 # 处理边界没被覆盖的区域 count[count 0] 1 return output / countoverlap0.5是精度和速度的平衡点再高收益递减。注意边界区域如果 patch 尺寸不整除最后一段可能没覆盖到要么 padding 要么单独处理。推理完用output 0.5二值化再算 Dice 和 Hausdorff 距离。5.2 用验证集Dice曲线判断该不该继续训练GAN 训练不是越久越好。判别器和生成器的博弈到后期容易震荡验证集 Dice 可能不升反降。我一般每 5 个 epoch 在验证集上跑一次滑动窗口推理记录 Dice 和 ASSD平均对称表面距离。如果连续 15 个 epoch Dice 没提升就停。指标正常范围异常信号排查方向训练 Dice0.900.95持续低于 0.80学习率、损失权重验证 Dice比训练低 0.030.08差距超过 0.15过拟合加数据增强判别器 loss0.30.6 震荡低于 0.1 或高于 1.0学习率、标签平滑生成器对抗 loss缓慢下降突然飙升判别器太强降 lr验证 Dice 比训练低是正常的但差距过大说明模型记住了训练病例的解剖特征换一个病例就崩。3D 数据增强里随机旋转和弹性形变对肝脏分割最有效弹性形变的控制点网格设 4×4×4形变幅度别超过 10 个体素。5.3 后处理连通域和形态学操作能救回多少Dice网络输出二值化后肝脏区域可能出现小孔洞或者孤立的假阳性块。后处理三板斧先做三维连通域分析保留最大连通域假设只有一个肝脏再填内部孔洞最后用形态学闭运算平滑边界。from scipy.ndimage import binary_fill_holes, binary_closing, label def postprocess(mask, min_size1000): # 保留最大连通域 labeled, num label(mask) if num 1: sizes np.bincount(labeled.ravel()) sizes[0] 0 # 背景不算 mask labeled sizes.argmax() # 填孔洞 mask binary_fill_holes(mask) # 闭运算平滑结构元素用 3x3x3 mask binary_closing(mask, structurenp.ones((3,3,3))) return mask.astype(np.uint8)min_size按体素数量设1.5 mm 各向同性下 1000 体素约等于 3.4 cm³小于这个的连通域基本是噪声。闭运算的结构元素别超过 5×5×5否则会过度膨胀边界反而拉低 Dice。后处理一般能提升 13 个 Dice 点如果提升超过 5 个点说明网络本身输出质量太差该回去查训练。这套流程我前后在三个肝脏数据集上跑过最深的教训是GAN 的对抗损失是锦上添花不是雪中送炭。如果基础 U-Net 的 Dice 还没到 0.85先别急着加判别器把数据预处理和采样策略调好收益比改网络结构大得多。另一个习惯是每次改超参只动一个变量Notebook 里记清楚每轮实验的配置不然两周后你根本想不起来哪组参数跑出了最好的结果。希望帮到你。本文还有配套的精品资源点击获取