multiyolov5训练教程：从零开始训练自定义数据集的分割与检测模型（附Cityscapes案例）

【免费下载链接】multiyolov5joint detection and semantic segmentation, based on ultralytics/yolov5,项目地址: https://gitcode.com/gh_mirrors/mu/multiyolov5

multiyolov5是一个基于ultralytics/yolov5开发的联合检测与语义分割框架，能够同时实现目标检测和图像分割任务。本教程将带您从零开始，使用multiyolov5训练自定义数据集的分割与检测模型，并以Cityscapes数据集为例进行详细演示。

1. 环境准备与项目克隆

1.1 安装必要依赖

首先，确保您的环境中已安装Python和PyTorch。然后，克隆multiyolov5项目仓库：

git clone https://gitcode.com/gh_mirrors/mu/multiyolov5 cd multiyolov5

安装项目所需的依赖包：

pip install -r requirements.txt

1.2 下载预训练权重

multiyolov5提供了多个预训练模型权重，您可以通过以下脚本下载：

bash weights/download_weights.sh

2. 数据集准备

2.1 数据集结构

multiyolov5支持多种数据集格式，推荐的数据集结构如下：

data/ ├── customdata/ │ ├── images/ │ │ ├── train/ │ │ └── val/ │ ├── labels/ │ │ ├── train/ │ │ └── val/ │ └── segmask/ │ ├── train/ │ └── val/ └── custom.yaml

2.2 Cityscapes数据集示例

以Cityscapes数据集为例，其包含城市街道场景的图像和对应的分割掩码。以下是一张Cityscapes数据集的示例图像：

该图像展示了城市街道场景，包含车辆、行人、建筑物等多种目标，适合用于训练分割与检测模型。

2.3 数据集配置文件

创建数据集配置文件data/custom.yaml，内容如下：

train: data/customdata/images/train val: data/customdata/images/val segtrain: data/customdata/segmask/train segval: data/customdata/segmask/val nc: 80 # 类别数量 names: ['person', 'bicycle', 'car', ...] # 类别名称列表

3. 模型配置

3.1 选择模型架构

multiyolov5提供了多种模型架构，您可以在models/目录下找到不同的配置文件，如yolov5s.yaml、yolov5m.yaml等。对于分割任务，推荐使用带有分割头的配置文件，如yolov5s_city_seg.yaml。

3.2 自定义模型参数

您可以根据需要修改模型配置文件中的参数，例如输入图像大小、锚框尺寸、网络层数等。例如，修改yolov5s_city_seg.yaml中的nc参数以匹配您的数据集类别数量。

4. 训练模型

4.1 训练命令

使用train_custom.py脚本训练自定义数据集模型：

python train_custom.py --data data/custom.yaml --cfg models/yolov5s_city_seg.yaml --weights yolov5s.pt --epochs 100 --batch-size 16

4.2 Cityscapes案例训练

对于Cityscapes数据集，multiyolov5提供了专门的训练脚本train_citysbdd.py。该脚本针对城市街道场景进行了优化，能够同时训练检测和分割任务。

python train_citysbdd.py --data data/cityscapes.yaml --cfg models/yolov5s_city_seg.yaml --weights yolov5s.pt --epochs 100 --batch-size 16

train_citysbdd.py中实现了数据加载、模型训练、损失计算等功能。例如，第243-247行代码设置了分割数据集的加载参数：

seg_trainloader = SegmentationDataset.get_citysbdd_loader(root=segtrain_path, split="train", mode="train", base_size=1024, crop_size=(imgsz, imgsz//2), batch_size=batch_size, workers=opt.workers, pin=True)

4.3 训练过程监控

训练过程中，您可以通过TensorBoard监控训练指标：

tensorboard --logdir runs/train

5. 模型评估与推理

5.1 评估模型性能

训练完成后，使用test.py脚本评估模型性能：

python test.py --data data/custom.yaml --weights runs/train/exp/weights/best.pt --img 640

5.2 推理示例

使用训练好的模型进行推理，检测图像中的目标并进行分割：

python detect.py --source data/images/bus.jpg --weights runs/train/exp/weights/best.pt --img 640

以下是推理结果示例，展示了对公交车图像的检测和分割效果：

6. 常见问题与解决方案

6.1 训练过拟合

如果模型出现过拟合，可以尝试以下方法：

• 增加数据增强
• 减小模型复杂度
• 使用早停策略
• 增加正则化项

6.2 内存不足

如果训练过程中出现内存不足，可以：

• 减小批次大小（batch size）
• 降低输入图像分辨率
• 使用更小的模型架构

6.3 分割掩码与图像不匹配

确保分割掩码的尺寸与图像尺寸一致，并且掩码中的类别标签与配置文件中的类别对应。

7. 总结

本教程详细介绍了使用multiyolov5训练自定义数据集的分割与检测模型的步骤，包括环境准备、数据集准备、模型配置、训练过程和模型评估。通过Cityscapes数据集的案例，展示了multiyolov5在联合检测与语义分割任务中的应用。希望本教程能够帮助您快速上手multiyolov5，实现自己的分割与检测模型。

如果您在使用过程中遇到问题，可以参考项目中的文档或提交issue寻求帮助。祝您训练顺利！

【免费下载链接】multiyolov5joint detection and semantic segmentation, based on ultralytics/yolov5,项目地址: https://gitcode.com/gh_mirrors/mu/multiyolov5