简介这是一份面向海洋科学、遥感与深度学习交叉领域研究者的学术参考资料收录了发表于《计算机系统应用》2020年第4期的论文《基于深度学习的海洋中尺度涡识别与可视化》。文献针对传统中尺度涡检测依赖专家调参、卫星数据逐点扫描耗时等问题提出基于深度学习目标检测的识别算法在保持较高识别精确率的同时提升查全率避免阈值选取带来的影响并配套设计中尺度涡时空特征与海洋信息协同可视化系统支持统计信息、特征分布与属性关联的交互式洞察。资源包共1个文件为PDF全文大小约1.85MB便于直接阅读、打印与归档内容包含中文摘要、英文摘要、关键词、基金信息、方法详述及实验结果结构完整。已有335人学习浏览适合具备机器学习基础、希望了解深度学习在物理海洋中落地应用的科研人员、研究生及相关从业者参考也可作为课题立项与系统设计的备选文献。1. 海洋中尺度涡识别为什么传统算法会被深度学习按在地上摩擦海面高度异常图上那一个个近似圆形的螺旋结构就是海洋中尺度涡。它们直径从几十公里到几百公里是海洋动量、热量和碳输运的关键载体。过去二十多年业内识别它们主要靠 Okubo-Weiss 参数、速度梯度几何准则这类传统算法但这类方法对阈值参数极其敏感——换个海区、换一年数据同样的阈值就失效误报率忽高忽低。深度学习把这件事重新定义成图像分割任务用 CNN 直接在 SLA 场上输出涡旋边界精度和泛化能力都明显提升。这篇笔记面向物理海洋、海洋遥感和算法工程背景的读者从数据准备、模型训练到可视化落地给出一条可复现的完整路线也把实际训练中的血泪经验一并交代清楚。2. 数据准备把卫星高度计数据变成能喂给 CNN 的训练集2.1 数据源怎么选CMEMS 的 SLA 产品是主力训练涡旋识别模型的第一步不是写代码是把数据源搞清楚。业内公开程度最好、用得最多的数据源是 CMEMS 发布的卫星高度计融合产品核心变量是 SLASea Level Anomaly海面高度异常。这个量是海面动力高度相对平均海面的偏差涡旋在 SLA 场上表现为尺度几十到几百公里的近似圆形异常——冷涡呈现负异常暖涡呈现正异常边界上 Sla 梯度最大。除此之外AVISO 的历史再分析数据也常见但更新时效和分辨率不如 CMEMS 业务化产品稳定。落地时一般用 NetCDF 格式的日平均数据空间分辨率约为 0.25 度覆盖全球。你需要事先把数据切成研究区域比如西北太平洋或南海区域避免把全球数据一次性载入内存否则后续裁剪和增强的效率会非常低。我一般会在预处理脚本里先按经纬度范围裁剪再按时间序列逐日切片然后转存成单文件 NetCDF后续训练脚本读取时压力小很多。2.2 样本制作裁剪、归一化与滑动窗口有了 SLA 场之后要把连续场变成 CNN 能学习的样本。常见做法是用一个固定大小的滑动窗口把区域切成若干块。窗口大小取决于涡旋尺度中尺度涡直径几十到几百公里0.25 度网格下取 64×64 到 128×128 像素的窗口比较合适能覆盖一个完整涡旋且保留足够的上下文。切块时重叠率建议设 50%相当于做了一轮隐式的数据增强。归一化要按全局统计量做而不是按单张图做。如果按每个样本单独做 min-max 归一化会让不同样本的 SLA 波动幅度被拉齐导致模型倾向于用形状而不是振幅判涡旋训练初期 loss 下降很快但换一个海区就崩。正确做法是先在整个训练集上统计 SLA 的均值和标准差然后统一做标准化。代码大致是这样import xarray as xr import numpy as np ds xr.open_dataset(sla_global_2020.nc) sla ds[sla].sel(latitudeslice(10, 50), longitudeslice(110, 160)) # 先算全局 mean/std存下来用于训练和推理 global_mean sla.mean().item() global_std sla.std().item() sla_norm (sla - global_mean) / global_std # 滑动窗口切片64x64步长 3250% 重叠 def sliding_window(data, size64, step32): h, w data.shape patches [] for i in range(0, h - size 1, step): for j in range(0, w - size 1, step): patches.append(data[i:isize, j:jsize]) return np.stack(patches) patches sliding_window(sla_norm.values) np.save(train_input.npy, patches.astype(np.float32))这段脚本把标准化后的 SLA 场切成 64×64 的样本并存成 npy后面训练时直接用。关键点是标准化参数必须全局统一而非逐样本计算否则模型会在训练和推理之间产生分布偏移。窗口重叠率越高单个涡旋出现在多个样本中的次数就越多相当于隐式增广对小样本场景尤为有用。2.3 标签怎么来从几何涡旋索引到逐像素掩码监督学习必须有标签。公开可用的涡旋标签主要来自两类一类是人工目视解译的结果精度高但覆盖有限另一类是用 Okubo-Weiss 参数或环绕速度几何准则自动提取的涡旋轨迹数据集。业内常用的是后者再做人工抽样修正比如 Chelton 的涡旋轨迹数据集可以从官方源下载到包含涡旋中心经纬度和半径的文本文件。把这类点标签转成逐像素掩码时有一个常被忽略的问题涡旋不是正圆。自动提取的半径是等效半径投影到 SLA 场上往往呈椭圆形。简单画圆会让标签边界和真实的 SLA 梯度不吻合模型学到的边界是圆的推理时对细长涡旋的召回率就低。我的做法是先按半径画圆再做一次边缘细化的后处理对掩码边界做 1-2 次形态学腐蚀让标签稍微收缩到 SLA 梯度最陡的位置模型反而更容易收敛。import cv2 import numpy as np # 从涡旋轨迹文件读取中心点和半径 # 每个样本对应一个 mask背景 0前景 1 mask np.zeros((64, 64), dtypenp.uint8) radius_px int(radius_km / (0.25 * 111)) # 0.25度网格1度约111km cv2.circle(mask, (center_x, center_y), radius_px, 1, -1) # 腐蚀1次让标签向梯度锋面收缩 kernel np.ones((3, 3), dtypenp.uint8) mask_refined cv2.erode(mask, kernel, iterations1) # 保存时需要和输入切片位置一一对应 np.save(flabel_{idx:05d}.npy, mask_refined.astype(np.uint8))注意这里的像素半径换算是个典型的易错点0.25 度网格上1 度纬度对应约 111 公里但经度方向的距离要乘 cos(纬度)如果你处理的区域纬度跨度大简单换算会带来系统性偏差。我通常在开始时算好区域中心纬度下的像素分辨率统一换算而不是逐样本去算。3. 模型搭建用 U-Net 做涡旋分割的完整流程3.1 为什么选 U-Net 而不是 YOLO 或目标检测很多从计算机视觉转过来的工程师第一反应是用 YOLO 做目标检测画出涡旋的包围框。这在业务上不够用海洋学家需要的是涡旋边界用来算涡动能、输运通量包围框会把大量背景海水算进去。U-Net 这类编码器-解码器结构天然适合语义分割它输出的是逐像素分类结果每一个像素被判定为涡旋或背景边界精度比检测框高一个量级。另一个更物理的原因是涡旋之间会相互作用相邻涡旋的边界共享一段梯度锋面。目标检测把每个涡旋独立处理忽略了像素间的上下文关系U-Net 在解码阶段通过跳跃连接把多尺度特征融合起来相邻涡旋的边界可以被同时感知这对形状不规则的目标尤为重要。实测下来在 NWP 海域的 SLA 数据上U-Net 的 Dice 系数比传统 Okubo-Weiss 阈值法高出 20-30 个百分点比单纯用检测模型做框再转掩码也高 8-10 个百分点。3.2 最小可跑代码本地训练一个涡旋分割模型下面给出一份用 PyTorch 实现的 U-Net 训练主流程采用标准的编码器-解码器结构输入单通道 SLA 场输出单通道前景概率图。代码刻意省略了 U-Net 内部重复的卷积模块只保留主循环和关键参数方便你快速跑通再替换成自己的数据。import torch import torch.nn as nn from torch.utils.data import Dataset, DataLoader import numpy as np class SLA_Dataset(Dataset): def __init__(self, input_path, label_path): self.inputs np.load(input_path) self.labels np.load(label_path) def __len__(self): return len(self.inputs) def __getitem__(self, idx): x self.inputs[idx].astype(np.float32) y self.labels[idx].astype(np.float32) # 转成 CHW 格式单通道输入 return torch.tensor(x).unsqueeze(0), torch.tensor(y).unsqueeze(0) # 数据集划分训练集和验证集按 8:2 切分 dataset SLA_Dataset(train_input.npy, train_label.npy) n_train int(0.8 * len(dataset)) train_ds, val_ds torch.utils.data.random_split(dataset, [n_train, len(dataset) - n_train]) train_loader DataLoader(train_ds, batch_size16, shuffleTrue, num_workers4) val_loader DataLoader(val_ds, batch_size16, shuffleFalse, num_workers4) # 简单 U-Net 主干 class ConvBlock(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue)) def forward(self, x): return self.conv(x) class UNet(nn.Module): def __init__(self): super().__init__() self.enc1 ConvBlock(1, 32) self.enc2 ConvBlock(32, 64) self.pool nn.MaxPool2d(2) self.up nn.Upsample(scale_factor2, modebilinear, align_cornersTrue) self.dec ConvBlock(64, 32) self.out nn.Conv2d(32, 1, kernel_size1) def forward(self, x): e1 self.enc1(x) e2 self.enc2(self.pool(e1)) d self.up(e2) d torch.cat([d, e1], dim1) d self.dec(d) return self.out(d) model UNet().cuda() optimizer torch.optim.Adam(model.parameters(), lr1e-4) def dice_loss(pred, target, smooth1e-6): pred torch.sigmoid(pred) intersection (pred * target).sum() return 1 - (2.0 * intersection smooth) / (pred.sum() target.sum() smooth) for epoch in range(50): model.train() train_loss 0.0 for x, y in train_loader: x, y x.cuda(), y.cuda() optimizer.zero_grad() pred model(x) loss dice_loss(pred, y) loss.backward() optimizer.step() train_loss loss.item() if epoch % 5 0: print(fepoch {epoch}, train loss: {train_loss / len(train_loader):.4f}) torch.save(model.state_dict(), feddy_unet_epoch{epoch}.pth)这份代码是能直接跑的骨架。几个关键点编码器第一层通道数我设为 32因为 SLA 场是单通道特征不复杂堆到 64 以上收益不明显但显存占用翻倍dice loss 直接作为训练目标比 BCE loss 更适合前景占比极小的分割任务因为涡旋像素通常只占整张图的 5%-10%BCE 会偏向预测为背景。模型每 5 个 epoch 打印一次 loss 并保存权重方便在训练过程中随时检查。3.3 训练参数怎么定学习率、批大小与早停训练参数里最影响结果的是学习率和批大小的组合。SLA 场的空间关联性很强同一个涡旋会出现在相邻的多个切片里如果批大小太大模型容易记住特定样本的分布出现验证集波动。我一般用 batch size 16配合 Adam 默认的初始学习率 1e-4跑 40-60 个 epoch 就能收敛。如果发现验证 loss 在前 10 个 epoch 不降先把学习率降到 3e-5比换模型更有效。早停策略建议直接监视验证集 Dice而不是验证 loss。因为 dice loss 和 BCE 组合时loss 下降跟 Dice 提升并不是严格同步的等 loss 看起来平稳了再停往往已经过拟合。我用的是验证集 Dice 连续 10 个 epoch 不上升就停止训练保存最高点模型而不是最后一个 epoch 的权重。这个习惯能省下不少重新标注的时间。推理阶段不需要滑动窗口的步长再设成 32直接原分辨率扫一遍就行。输出的是 sigmoid 概率图阈值默认取 0.5但实际使用中我会先跑一次验证集画出阈值-精度-召回率曲线后再选阈值。因为涡旋边缘像素的预测概率普遍低于中心像素阈值定 0.5 会让边界偏保守定 0.3-0.4 能保留更多边界细节代价是引入少量噪声。4. 可视化落地把模型输出叠加到地图和生产系统上4.1 从概率图到涡旋边界获取轮廓和多边形模型输出是每个像素属于涡旋的概率不是直接可用的边界线。需要先做二值化再用轮廓提取算法得到闭合多边形。提取后的多边形要经过一个简化步骤——直接用像素边界画图锯齿非常严重上会审图时客户会直接打回。我一般用 Douglas-Peucker 算法把边界点压缩到原来的 20%-30%同时保持面积误差在 5% 以内。import numpy as np import cv2 from shapely.geometry import Polygon from shapely.simplify import simplify # prob_map 是模型输出的概率图shape (H, W) # 先做条件阈值再用形态学闭合去掉内部空洞 thresh 0.35 binary (prob_map thresh).astype(np.uint8) binary cv2.morphologyEx(binary, cv2.MORPH_CLOSE, np.ones((5, 5), np.uint8)) # 提取外轮廓 contours, _ cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) polygons [] for cnt in contours: if cnt.shape[0] 10: continue # 去掉太小的噪声区域 poly Polygon(cnt[:, 0, :]) # 简化到原边界点数量的 25%约简后仍保持主要形状 simplified simplify(poly, tolerance1.5, preserve_topologyTrue) if simplified.geom_type Polygon and simplified.area 20: polygons.append(simplified)关键参数是 simplify 的 tolerance它控制简化程度模型输出的边界像素坐标单位是像素tolerance1.5 表示简化后边界与原始边界的最大距离不超过 1.5 像素。面积大于 20 像素的过滤条件用于去掉那些只有三五个像素的小噪点这类噪点通常是强梯度锋面上的误检测。4.2 用 Cartopy 把涡旋画到地图上拿到多边形后下一步是把像素坐标投影回地理坐标。这一步容易翻车像素坐标是基于 0.25 度等经纬度网格切出来的投影到墨卡托或兰伯特投影时纬度方向的间距会随着纬度变化直接按线性关系换算高纬度的涡旋会变形。正确做法是先建立像素坐标到经纬度的仿射变换关系再交给 Cartopy 的投影函数处理。import matplotlib.pyplot as plt import cartopy.crs as ccrs import cartopy.feature as cfeature import numpy as np # 已知切片左上角的经纬度和网格分辨率 lon0, lat0 110.0, 50.0 # 切片左上角 d_lon, d_lat 0.25, 0.25 # 网格分辨率 def pixel_to_lonlat(x, y): lon lon0 x * d_lon lat lat0 - y * d_lat # 注意纬度方向向南递减 return lon, lat # 生成边界经纬度序列 fig plt.figure(figsize(10, 8)) ax fig.add_subplot(1, 1, 1, projectionccrs.PlateCarree()) ax.add_feature(cfeature.COASTLINE, linewidth0.5) ax.add_feature(cfeature.LAND, colorlightgray) for poly in polygons: x_coords, y_coords poly.exterior.xy lon [pixel_to_lonlat(x, y)[0] for x, y in zip(x_coords, y_coords)] lat [pixel_to_lonlat(x, y)[1] for x, y in zip(x_coords, y_coords)] ax.plot(lon, lat, r-, linewidth1.2, transformccrs.PlateCarree()) # 同时画 SLA 背景场 sla_slice sla_norm[start_y:end_y, start_x:end_x] lon_grid lon0 np.arange(sla_slice.shape[1]) * d_lon lat_grid lat0 - np.arange(sla_slice.shape[0]) * d_lat ax.contourf(lon_grid, lat_grid, sla_slice, levels15, cmapcoolwarm, transformccrs.PlateCarree()) plt.savefig(eddy_map.png, dpi300, bbox_inchestight)这段代码生成一张带海岸线、SLA 背景场和涡旋边界的地图是交付给业务方最常用的格式。Cartopy 的 PlateCarree 投影适合中低纬度区域如果处理的是高纬度海域建议换成 NorthPolarStereo 或 Mercator并注意经纬度格网在投影下会弯曲边界画出来的形状会和等经纬度图上看到的完全不同。这个差异在跨纬度范围大的研究区尤其明显我建议在切换投影前先用少量人工样本目视检查一遍再推广。4.3 生产环境里的可视化时间序列、大屏与产品输出单张图的边界只是第一步业务上通常需要的是时间序列可视化。中尺度涡是运动着的用户要看涡旋随时间移动的轨迹以及强度和半径的变化。做法是把连续多天的模型输出按涡旋中心做轨迹关联——用 IoU 或中心距离把相邻日期的涡旋链接成轨迹然后生成 GIF 或 Web 端时序播放。轨迹关联的代码不复杂但要注意隔日关联的距离阈值涡旋移动速度一般不超过 10 km/day在 0.25 度网格上大约是 1.5 个像素阈值设太大会把相邻的独立涡旋串成一条轨迹。如果要做 Web 可视化大屏常见的技术栈是后端用 Python 输出 GeoJSON前端用 Leaflet 或 Cesium 加载。GeoJSON 里每个涡旋带属性字段中心经纬度、半径、极性冷涡/暖涡、平均 SLA、边界面积。前端用不同的颜色区分冷涡和暖涡蓝色表示冷涡红色表示暖涡这个配色方案在海洋学界基本是默认约定不要随意换成其他颜色。5. 避坑指南涡旋识别模型训练中最常见的 5 个翻车现场5.1 模型收敛但输出全为背景现象训练 loss 下降到 0.2 左右不再动验证集上输出概率图几乎全黑涡旋区域和背景区域概率都低于 0.1。原因这个现象几乎都出在标签上。检查后发现标签中的涡旋像素占比不到 2%训练样本大部分是纯背景切片。U-Net 在纯背景样本上学到的梯度强烈倾向于输出全零即使有几十个带正样本的切片也盖不过背景类的主导梯度。解决不要只统计所有样本的标签占比而是统计“有效样本”的比例。把所有含前景像素的样本单独筛出来确保它们占训练集的 40% 以上剩下的纯背景样本砍掉一半人为平衡正负样本比例。如果再叠加一个 class weight 到 dice loss 里前景权重设为 3-5基本能解决。5.2 涡旋边界碎成渣一个涡旋被切出三四个碎片现象推理结果中同一个涡旋的边界被断裂成多个独立区域面积都不大形态学闭合也补不回来。原因这通常是数据切片时把涡旋切到了相邻样本的边界上。单个涡旋直径几十到几百公里而窗口大小是 64 像素如果涡旋中心刚好落在一个样本的边缘模型只看到涡旋的一半输出自然残缺。另一个原因是对 SLA 场做归一化时用了逐样本的统计量导致同一涡旋在相邻样本中亮度差异很大模型判断不一致。解决把窗口重叠率提高到 75%并只保留中心 50% 区域的预测结果边缘区域丢弃。这样每个像素至少被模型看过两次取平均后碎片化概率大幅降低。5.3 训练 loss 持续下降验证 Dice 纹丝不动现象训练集 loss 正常下降但验证集 Dice 从第 20 个 epoch 开始不再上升甚至轻微回落。原因这是典型的过拟合但诱因不是模型太大而是训练样本的空间自相关。滑动窗口切出来的相邻样本高度相似模型记住了这些相似结构的纹理却没有学到真正的涡旋几何特征。解决一是先在样本级别做去重计算相邻样本之间的像素级相关系数超过 0.9 的直接丢弃。二是增加数据增强强度对 SLA 场做轻度高斯噪声、随机旋转和水平翻转让模型无法依赖样本间的相似性。注意不要做强缩放或裁剪那会破坏涡旋的尺度信息。5.4 大涡旋效果好小涡旋漏检严重现象直径大于 150 公里的涡旋识别精度很高但 50-80 公里的小涡旋大量漏检尤其是在背景场梯度较强的区域。原因U-Net 的池化层把空间分辨率逐级降低小目标在深层特征中几乎消失。SLA 场中小涡旋的振幅通常也小信噪比低模型倾向于把它们当成背景噪声。解决增加一个输入侧的高通滤波通道。做法是把原始 SLA 场和它的高频分量原场减去高斯平滑后的场拼接成双通道输入让模型显式地看到小尺度的梯度信息。这个技巧在该任务上比单纯增加模型宽度有效得多而且几乎不增加训练时间。5.5 训练区域效果好换一个海区就崩现象用西北太平洋数据训练的模型直接换到南海或大西洋区域做推理涡旋位置有明显偏差边界面积普遍偏大或偏小。原因不同海区的平均 SLA 振幅和涡旋尺度分布差异很大。南海涡旋普遍比西北太平洋小振幅也更弱如果模型只在西北太平洋见过大涡旋遇到南海的小涡旋就按大涡旋的先验去拟合了。解决一是迁移学习用目标海区的一小部分数据微调模型学习率调低到 1e-5只训 10-15 个 epoch效果通常能追上从零训练。二是验证阶段一定要按海区拆分验证集不要让训练集和验证集混着同一个海区的数据否则报出来的精度不可信。这点是第一优先级——很多所谓的“泛化能力差”其实是验证集划分不严谨造成的假象。6. 验证与进阶从“识别出来”到“业务愿意用”模型训练完最关键的动作是和 Okubo-Weiss 基线做对比。这个步骤常常被跳过但跳过之后你没法回答“深度学习比传统方法到底好在哪里”这个业务灵魂拷问。对比的标准做法是在同一批测试数据上计算三个指标检测率、误报率、边界 IoU。传统方法用 Okubo-Weiss 参数阈值法深度学习用你的模型两者在同一张 SLA 场上跑逐一一对就知道差距。边界 IoU 这个指标最容易体现深度学习的优势传统方法对涡旋边缘的刻画粗糙经常出现大面积高估或低估IoU 普遍在 0.3-0.4U-Net 方法可以达到 0.5-0.65。但要注意不要只看均值把测试样本按涡旋直径分桶后再统计你会发现直径大于 200 公里的涡旋两者差距不大差距主要在 100 公里以下的小涡旋上。另一个值得投入的进阶方向是时序关联。单帧识别只能告诉你“这里有涡旋”业务方更关心“这个涡旋从哪里来、到哪里去、生命周期多长”。我现在的做法是把连续 30 天的 SLA 场作为多通道输入模型同时输出中心位置和边界效果比单帧识别加后处理关联更好代价是训练数据需求量成倍增加。如果数据量不够退而求其次保持单帧模型后处理阶段用卡尔曼滤波做轨迹平滑也能把轨迹抖动降低一半。关于阈值还有一个实操习惯不要固定用 0.5而是每个月对最近一个季度的验证集重算一次最优阈值。SLA 数据经过不同卫星的轨道校正后振幅统计会有轻微漂移固定阈值用久了精度会悄悄下滑这属于模型上线后的日常体检。我给自己定的规矩是每周跑一次验证集对比 Dice 和历史均值偏差超过 1 个点就去查输入数据是否更换了版本。做这个方向一年下来最深的体会是模型结构真的不是瓶颈数据和标签质量才是。U-Net 的架构随便抄一个开源版本就能用但把标签边界细化、把样本重叠率调高、把阈值按海区重算每一个都比换更大的模型带来的提升明显。希望这篇笔记能帮你在同样的问题上少走几个月的弯路也希望你能把精力放在真正影响业务的地方。本文还有配套的精品资源点击获取