简介面向图像分割任务的火炬火焰图像分割数据集提供六百四十乘六百四十分辨率的原始图像与对应的像素级掩膜标签标注背景与火焰共两类适合火灾检测、语义分割模型训练以及细粒度分割算法效果验证。压缩包共包含两千个文件其中绝大部分为掩膜图像文件并附带类别说明文本与可视化脚本。数据已按照训练集与验证集划分训练集约有三千两百张图像及对应掩膜验证集约三百三十张同时经过随机翻转等数据增广处理可直接被主流深度学习框架读取使用。已有超过一百七十人浏览学习。配套的可视化脚本支持快速查看掩膜在原始图像上的叠加结果便于使用者直观检查标注质量清晰的组织结构也大大减少了数据整理成本。结合作者提供的分割网络参考文章与相关实战教程可帮助学习者系统掌握火焰分割从数据准备、模型构建到效果评估的完整流程。1. 火灾火焰图像分割数据集先看清数据、标签和classes文件再动手做火焰检测时很多人上来就用目标检测框个矩形结果在室内外火灾场景屡屡碰壁火焰边缘是高度不规则、半透明的烟和光会同时出现在画面里一个框永远框不出“火灾蔓延范围”。这时候要换思路——用图像分割把每个像素判成“火”或“非火”。我最早拿到火灾火焰图像分割数据集时也以为就是一堆图片加几个文件真正跑起来才发现数据、标签、classes文件三者怎么配合、什么格式、怎么校验直接决定你后面训练的模型是能落地还是只在验证集上好看。这个标题指向的就是这样一套完整资源原始图像、像素级掩码标签、以及记录类别信息的classes文件。适合谁用做消防预警、工业安全监测、烟火识别算法评测的从业者还有刚转图像分割、想拿真实场景数据练手的人。图像分割比检测难在哪难在标签是“逐像素”的不是画个框就完事。火焰图像里火苗边缘和背景烟雾颜色接近人眼有时都分不清哪一像素算火标注的可靠性和数据集的统一规范就成了首要问题。所以这篇笔记不打算从“图像分割是什么”讲起直接围绕这套火焰分割数据把数据格式、标签类型、classes文件的用法、训练火焰分割模型的完整流程和常见翻车点都拆开讲清楚。新手能照着跑通最小流程熟手能直接拿走参数和排查思路。2. 处理火焰分割数据集的三个基本功读标签、查classes、验掩码2.1 三种常见标签格式的识别与转换PNG掩码、JSON多边形、TXT编码图像分割数据集的标签格式在开源数据里从来没有统一过。火灾火焰图像分割数据最常见的标签形式有三种PNG掩码图、JSON多边形坐标、TXT编码的run-length游程编码。我建议你拿到任何数据集的第一步不是先看图片多不多而是先明确标签属于哪一类。先看文件结构。一套完整的数据集通常是这样的fire_seg/ ├── images/ │ ├── train/ │ │ ├── fire_001.jpg │ │ └── fire_002.jpg ├── labels/ │ ├── train/ │ │ ├── fire_001.png │ │ └── fire_002.png ├── classes.txt └── train.txtclasses.txt是文本文件记录类别名通常是每行一个类。火焰分割数据集的classes文件一般长这样background fire这里“background”排在第一个索引0表示背景类fire索引1是目标类。为什么索引顺序如此重要因为PNG掩码图里每个像素的灰度值就是类别索引。如果你的模型把0当fire、1当background整个训练过程都会学反验证集预测结果会直接全黑或全白。这是第一个必须检查的点不能跳过。PNG掩码怎么读取和校验我在拿到数据后的第一个动作是写一小段Python把掩码的像素值分布打出来# 检查火焰分割数据集的掩码像素类别分布 import numpy as np from PIL import Image mask_path labels/train/fire_001.png mask np.array(Image.open(mask_path).convert(L)) # 打印唯一像素值和各类别占比 unique, counts np.unique(mask, return_countsTrue) print(像素类别值:, unique) for cls, count in zip(unique, counts): print(f类别 {cls}: {count / mask.size:.4%})这段代码的作用是把掩码图的类别索引和占比一次性打出来。正常的火焰分割掩码只应该出现0和1两个值如果你看到255或者128这样的值说明这张图的标注用了别的约定可能是“255表示前景”“128表示不确定区域”需要跟数据集说明核对或者统一归一化。我见过有人在训练时不加检查直到模型输出灰蒙蒙一片才开始排查浪费两三天时间。这个步骤就是后悔药提前吃。JSON多边形格式又如何处理有些火焰分割数据集的标签不是PNG而是像COCO一样用JSON存每个火焰区域的边框顶点坐标。文件内容类似于这样{ image: fire_001.jpg, annotations: [ { class: fire, polygon: [[120, 80], [135, 95], [180, 120], [150, 150]] } ] }这种格式的好处是文件体积小、方便人工核对但不能直接喂给分割网络必须先转成掩码图。转换时要注意坐标系图像原点是左上角还是左下角polygon坐标是整数还是浮点用OpenCV的fillPoly可以快速完成转换# 把JSON多边形坐标转换为PNG掩码图 import cv2 import numpy as np h, w 640, 480 # 根据原图尺寸设置 mask np.zeros((h, w), dtypenp.uint8) polygon np.array([[120, 80], [135, 95], [180, 120], [150, 150]], dtypenp.int32) cv2.fillPoly(mask, [polygon], 1) cv2.imwrite(labels/train/fire_001.png, mask)这里有个细节容易踩坑fillPoly的传入数组要求是np.int32而且坐标顺序是x、y还是y、x要和你的训练脚本一致。PyTorch的torchvision.datasets和OpenCV对H、W的读取顺序不同转完掩码后最好用Matplotlib把原图和掩码图同时显示出来叠在一起看不要只看单张。叠图验证是火焰分割数据集处理里性价比最高的一件事。2.2 用Python检查数据集完整性缺失文件、类别失衡、掩码损坏火焰分割数据集看起来简单但文件齐全不代表数据可用。最常见的是四个问题图片和掩码文件名对不上、某些掩码是全黑的空标注、类别严重失衡、图像尺寸混乱。这些都是训练前的隐藏炸弹逐个击破只需要一段检查脚本。第一个问题配对检查。图像和标签必须一一对应少一张或多一张都会在Dataset类里引发索引错位。可以用文件名的交集来判断缺失情况# 检查图片和掩码文件是否一一对应 import os img_dir images/train mask_dir labels/train img_names {f.split(.)[0] for f in os.listdir(img_dir)} mask_names {f.split(.)[0] for f in os.listdir(mask_dir)} print(缺失掩码:, len(img_names - mask_names)) print(多余掩码:, len(mask_names - img_names))文件名不匹配多半是标注软件自动命名和拍摄设备命名规则不同导致的比如图片是frame_00001.jpg标签是label_00001.png前缀差异会让配对失败。解决办法是加一层映射表或者在检查脚本里直接把前后缀改掉。第二个问题全黑掩码。语义分割中“全黑”意味着这一张图没有目标类像素。如果训练集里全黑掩码占比太高模型会被拉偏。尤其是火焰数据集很多负样本拍的是“没有火的正常场景”这类图片占比多少合适我一般控制在5%-10%太多了模型会倾向于把所有东西都判成背景怎么调学习率都救不回来。用前面的unique检查脚本扫一遍数据统计全黑掩码数量超过这个比例就要考虑是否删除或保留。第三个问题类别失衡。火焰区域通常只占整张图的10%-20%背景像素占了绝大多数。这种情况下交叉熵损失会天然偏向背景模型几乎学不到火焰细节。解决办法是训练时给前景类更高的权重或者在损失函数里用dice_loss和ce_loss的结合。这里只是说明“为什么数据检查里类别占比很重要”具体参数放下一章训练部分展开。第四个问题图像尺寸混乱。火焰分割数据集如果来自多路摄像头分辨率可能各不相同有1920x1080的有1280x720的。直接喂给网络会爆内存或报错。常见做法是统一到512x512或640x640但要注意火焰是细长蔓延的形态暴力resize会丢失大量边缘细节。更好的方式是等比例resize后做padding到目标尺寸而不是直接拉伸。这段逻辑我放在后面的数据增强小节里具体给出。3. 用火焰分割数据集训练一个可用的Unet模型环境、命令与必调参数3.1 模型选型为什么第一次跑用Unet而不是DeepLabV3火焰分割的模型选型很多教程一上来就推荐DeepLabV3、SegFormer这些重量级网络。但我的经验是第一次跑通这个数据集用Unet就够了。原因有三个火焰的结构相对简单不像自动驾驶街景有几十个类别一个编码器-解码器结构足够学到火焰边缘的基本特征Unet的训练稳定不易出现损失震荡特别适合验证数据集是否干净显存占用小一张1080Ti就能训512x512输入踩坑时迭代成本低。DeepLabV3的ASPP模块擅长捕捉多尺度上下文但它的实际优势在复杂街景分割上体现得更充分。火焰分割任务里火苗和背景的层次往往依赖高分辨率边缘信息而非全局上下文Unet的跳跃连接直接把浅层特征传到解码器对边缘恢复效果反而更好。如果你用的是带预训练权重的Unet backbone比如ResNet34或ResNet50收敛速度会明显加快。我一般建议先把Unet训到验证集IoU稳定再换DeepLabV3做对比看是否有收益。没有对比就没有说服力直接用重型网络反而容易黑匣子化出了问题难定位是数据集问题还是模型问题。3.2 训练脚本与关键参数从数据集目录到模型权重下面给出一份可直接复用的火焰分割训练脚本基于PyTorch和segmentation_models_pytorch库SMP。SMP封装了Unet、FPN、DeepLabV3等多种结构省去自己搭解码器的重复工作。# 火焰图像分割训练脚本核心流程 import torch import torch.nn as nn import torch.optim as optim import segmentation_models_pytorch as smp model smp.Unet( encoder_nameresnet34, encoder_weightsimagenet, in_channels3, classes2, ) # 结合交叉熵和Dice损失缓解背景占比过高的问题 loss_fn smp.utils.losses.DiceLoss() optimizer optim.Adam(model.parameters(), lr1e-4) scheduler optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemax, factor0.5, patience3 )这里classes2对应背景和火两类和classes.txt里的内容一一对应。encoder_weights使用ImageNet预训练因为火焰图像虽然和日常照片不同但浅层特征提取依然有效。如果你的数据集图像是红外或热成像预训练权重的收益会下降可以改成encoder_weightsNone从头训练。训练循环本身不复杂核心是数据加载器里的预处理要和掩码索引对得上# 自定义数据集类读取图片和掩码 from torch.utils.data import Dataset from PIL import Image import numpy as np class FireSegDataset(Dataset): def __init__(self, img_dir, mask_dir): self.img_paths sorted( [os.path.join(img_dir, f) for f in os.listdir(img_dir)] ) self.mask_paths sorted( [os.path.join(mask_dir, f) for f in os.listdir(mask_dir)] ) def __len__(self): return len(self.img_paths) def __getitem__(self, idx): image Image.open(self.img_paths[idx]).convert(RGB) mask Image.open(self.mask_paths[idx]).convert(L) # 像素值0为背景1为火焰 mask np.array(mask, dtypenp.int64) return torch.tensor(np.array(image)).permute(2, 0, 1).float() / 255.0, \ torch.from_numpy(mask)注意这里把mask转为np.int64因为PyTorch的交叉熵损失要求类别索引是长整型如果不转换会直接抛出RuntimeError。很多新手在这里踩坑报错信息指向损失函数其实是数据类型问题。训练过程中还要打印出每个epoch的Dice分数和IoU多用几个指标综合判断而不是只看loss下降。# 训练一个epoch同时统计Dice model.train() for images, masks in train_loader: images images.to(device) masks masks.to(device) logits model(images) loss loss_fn(logits, masks) optimizer.zero_grad() loss.backward() optimizer.step()这个循环看起来是标准的但火焰分割任务有两个参数值得单独强调。一个是batch_size火焰数据里前景和背景比例极其不平衡batch太小会导致梯度更新方向被背景主导。我一般设8或16再大要看显存。另一个是learning_rateUnet微调时1e-4比较常用如果发现loss在几个epoch内纹丝不动不要急着调模型结构先看是不是学习率太低或太高。火焰分割任务里模型对学习率相当敏感这也是经验里最玄学但又最关键的环节。3.3 评估指标怎么看IoU和PA区分“能用”和“好看”训练完成后模型权重文件保存下来这只是第一步。真正需要理解的两个评估指标是IoU交并比和PA像素精度。PA看的是整体正确率一张图上背景像素占90%只要模型全预测成背景PA就有90%看起来漂亮实际一无是处。IoU则计算预测区域和真实区域的交集除以并集能真实反映火焰区域被覆盖的程度。# 计算每个类别的IoU from sklearn.metrics import confusion_matrix y_true masks.flatten().cpu().numpy() y_pred torch.argmax(logits, dim1).flatten().cpu().numpy() conf confusion_matrix(y_true, y_pred, labels[0, 1]) iou [] for i in range(2): tp conf[i, i] fn conf[i].sum() - tp fp conf[:, i].sum() - tp iou.append(tp / (tp fp fn)) print(背景IoU:, iou[0], 火焰IoU:, iou[1])火焰类别的IoU低于0.5通常说明模型没有真正学到火焰特征此时去排查数据标注质量比调模型参数更有意义。IoU要分类别计算只给一个平均值没有参考价值因为背景IoU往往高达0.98会把火焰IoU拉得很“好看”。评估时务必单独看火焰这一类的指标。4. 火焰分割训练常见问题排查翻车榜前五名与解决路径4.1 训练损失下降但预测全黑标签索引和损失函数对不上现象训练过程中损失值正常下降但验证时模型输出的预测图全黑看不到任何火焰区域。原因最常见的是标签掩码的像素值不是0和1而是0和255。有些公开数据集的掩码用255表示前景模型在读入时没有做归一化导致标签类别成了7个甚至更多网络学到的是“所有像素都预测为0损失最低”然后被背景类吞掉。解决在Dataset类的__getitem__里对mask做显式归一化把大于1的值强制映射为1。写入训练脚本前先用前面章节的像素分布检查代码把所有图片过一遍确认只有0和1两种值再开始训。这个检查一分钟就能完成别省。4.2 火焰边缘预测成碎的“盐粒状”噪声采样策略有问题现象模型在火焰主体区域预测正确但边缘部分出现大量孤立的小块预测区域像撒了一层盐。原因火焰边缘在图像上本来就是渐变色从亮黄过渡到暗红标注人员在标注边缘时存在主观误差。模型把这些模糊区域当成特征来学加上类别不平衡就出现了碎噪声。解决对验证集的预测结果做后处理用OpenCV的形态学开运算去除小噪点再用闭运算填补中空洞。不要用高斯模糊模糊会让边缘更糊。这一步能快速提升视觉质量但不改变模型本身能力根治办法是在损失函数里加dice_loss它天然对类别不平衡和小目标更友好。4.3 训练时显存溢出不是显卡不行是批次大小和输入分辨率没配合现象batch_size设为8时不报错调到16就报CUDA out of memory。原因火焰图像数据原始分辨率多是1920x1080如果你在数据加载时不缩放到统一尺寸训练时显存占用会被单张高分辨率图像直接拉爆。解决把输入分辨率固定到512x512或640x640batch_size设8显存占用能控制在6GB左右。如果还要更低用混合精度训练PyTorch里torch.cuda.amp.autocast可以省一半显存。更重要的是检查你的数据加载器是否在resize后还把掩码同步resize掩码尺寸和输入不一致会导致损失计算时报错这个问题常被误认为是显存不足。4.4 验证集IoU高但实际场景表现差数据划分不随机现象在数据集自带的验证集上火焰IoU达到0.85部署到新摄像头拍出来的画面里预测结果惨不忍睹。原因很多火灾火焰分割数据集的图片是按视频帧提取的相邻帧内容几乎一样。如果划分数据集时按原始顺序切分训练集和验证集会包含大量重复或高度相似的画面验证集IoU虚高模型实则是过拟合到了特定场景的光照和角度。解决按视频场景或时间段拆分而不是按帧数拆分。最简单的方式是每个场景目录抽一部分做验证或者用GroupShuffleSplit按视频ID把整个视频分配到训练或验证集杜绝泄漏。宁可训练集少一些也要保证验证集代表真实分布。4.5 classes.txt文件内容和训练脚本不一致导致训练静默失败现象训练过程一切正常网络结构打印出来是classes2但loss不下降验证集mIoU几乎为零。原因这是最容易忽略的地方。数据集的classes.txt写了三行多了“smoke”类而训练脚本只设置了2类。模型输出通道是2标签掩码里却出现了索引2的像素损失函数计算时忽略了这个未知类别导致梯度混乱。解决训练前写几行代码把classes.txt和掩码的唯一值做一次硬校验。发现不匹配要么重新映射掩码的类别索引要么修改模型的num_classes。classes文件不是摆设它是数据格式的一部分养成“拿到数据集先读classes.txt”的习惯比什么技巧都管用。5. 把火焰分割模型用起来的进阶技巧数据增强、难例挖掘与半自动标注火焰分割模型部署到实际场景时最常用到的三个进阶方向是数据增强、难例挖掘和半自动标注这三件事能让一个初始数据集的潜力被完全榨干。数据增强方面随机翻转和裁剪是常规操作但火焰分割里有特殊的增强方式随机亮度抖动和色彩抖动。火焰在白天夜间差异极大黄昏和夜间的火焰在低亮度下与背景对比度极低。训练时对图像做亮度抖动能缓解模型对特定光照的过拟合。注意增强操作必须同步作用于图像和掩码用albumentations库可以保证这一点不要自己手写resize和flip容易造成掩码和图像错位。难例挖掘是指把验证集里IoU最低的那批图片找出来人工分析是遮挡问题还是光照问题然后重点补充这类样本。火焰数据集的难例通常有三种小面积早期火苗、强光背景下的小火点、火焰被柱体部分遮挡。这些样本数量少但部署时遇到一个就是一次误报或漏报。手动从原始视频里截取这些片段扩充进训练集比改模型结构更有效。半自动标注是批量扩展数据集的核心手段。先用当前模型对大量未标注的火焰图片做预测生成粗糙掩码然后人工修正可疑区域。常见做法是让模型预测后保留置信度高于0.9的像素作为初始标注只修正低置信度区域。这样一张图的人工修正时间能缩短到原来的三分之一。半自动标注也要注意别把模型自己的错误学回去每次批量引入新样本后要重新跑一遍验证集检查指标是否有下降。我个人的习惯是每次训练完把这轮的数据增强策略、损失函数权重、验证集IoU记录成一个训练卡下次改进时先回看上一张卡而不是凭记忆调参。火焰分割模型的迭代速度往往不卡在模型结构上而卡在数据集的边界是否被有效扩展。如果你能在自己的场景数据上把火焰IoU从0.65提到0.75以上这套方法就已经算真正跑通了。希望帮到你下个项目少踩点标注上的坑。本文还有配套的精品资源点击获取