拓冰网站定制 
深入 Ultralytics RTDETRTrainer基于 Transformer 的 RT-DETR 模型训练器原理与实战指南【免费下载链接】ultralyticsUltralytics YOLO26, YOLO11, YOLOv8 — object detection, instance segmentation, semantic segmentation, image classification, pose estimation, object tracking项目地址: https://gitcode.com/GitHub_Trending/ul/ultralyticsRT-DETRReal-Time Detection Transformer是百度提出的基于 Vision Transformer 的端到端实时目标检测模型它采用 DETR 式无 NMS 框架结合卷积骨干与高效混合编码器在保持高精度的同时获得实时推理速度。在 Ultralytics 代码库中RT-DETR 的训练逻辑被收敛在RTDETRTrainer一个类中。本篇以 RTDETRTrainer API 参考文档 为主线结合 train.py、val.py、model.py 及 RT-DETR 模型配置等仓库源码完整讲解其类设计、模型初始化、数据集构建、验证器装配与训练注意事项。读完本文你将掌握如何在 Ultralytics 框架中理解并驱动 RT-DETR 训练全流程并规避deterministic与 AMP 训练等关键陷阱。RTDETRTrainer 的定位RT-DETR 训练的专属控制器RTDETRTrainer定义于 ultralytics/models/rtdetr/train.py注释中明确其职责为百度开发的 RT-DETR 模型提供训练支持通过继承 YOLO 的DetectionTrainer并对齐 RT-DETR 的架构特性Vision Transformer、IoU-aware query selection、可调推理速度等实现定制化训练流程。继承关系与代码复用其直接父类是位于 ultralytics/models/yolo/detect/train.py 的DetectionTrainer后者又继承自引擎层的BaseTrainerultralytics/engine/trainer.py。也就是说RT-DETR 训练并不需要重写训练循环、日志、checkpoint 管理等通用机制只需针对自身模型做局部覆写这是 Ultralytics 一引擎多任务 架构的典型体现。从 RT-DETR 模型侧看训练入口通过RTDETR.task_map将detect任务映射到训练组件# ultralytics/models/rtdetr/model.py 中 task_map 的定义 { detect: { predictor: RTDETRPredictor, validator: RTDETRValidator, trainer: RTDETRTrainer, model: RTDETRDetectionModel, } }因此当调用model.train(...)model为RTDETR实例时框架会自动实例化RTDETRTrainer。公开属性与核心方法类文档给出如下接口约定属性loss_names来自 criterion 返回的损失字典、data含类别数等参数的数据集配置、args训练参数与超参、save_dir训练结果保存目录、test_loader验证/测试数据加载器方法get_model初始化并返回用于检测任务的 RT-DETR 模型、build_dataset构建训练/验证数据集、get_validator返回适配 RT-DETR 的验证器。类文档还附带一个最小可用示例可直接验证训练器对象是否可用from ultralytics.models.rtdetr.train import RTDETRTrainer args dict(modelrtdetr-l.yaml, datacoco8.yaml, imgsz640, epochs3) trainer RTDETRTrainer(overridesargs) trainer.train()这里modelrtdetr-l.yaml表示从 YAML 架构文件构建模型datacoco8.yaml指向仓库内置的小型演示数据集ultralytics/cfg/datasets/coco8.yaml是快速验证 RT-DETR 训练管线是否通畅的标准做法。核心覆写一get_model 与模型装配细节RTDETRTrainer.get_model的实现train.py在通用 YOLO 版本之上做了两处关键调整def get_model(self, cfgNone, weightsNone, verboseTrue): model self.set_model_names_for_load( RTDETRDetectionModel(cfg, ncself.data[nc], chself.data[channels], verboseverbose and RANK -1) ) if weights: model.load(weights) return model要点拆解模型类选择直接实例化RTDETRDetectionModel位于 ultralytics/nn/tasks.py该模型会按 RT-DETR 的 YAML 结构解析 backbone、neck 与RTDETRDecoder检测头动态类别数注入ncself.data[nc]会在训练开始时用数据集的真实类别数覆盖 YAML 中的默认值而chself.data[channels]则按数据通道数通常为 RGB 的 3初始化网络因此换数据集时无需手改 YAML按类别名加载权重set_model_names_for_load先把数据集names挂到模型上该方法定义在父类 yolo/detect/train.py使得类别头在加载预训练权重时可按名称做映射从而支持自定义类别数据集上的迁移学习单卡抑制冗余日志verboseverbose and RANK -1表明分布式训练时仅在主进程打印模型信息预训练加载若传入weights则调用model.load(weights)。需要留意的是本方法构建的是训练版模型仅包含主干 编码器/颈部特征解码器与训练损失相关的组件在训练管线内部按需装配这与 YOLO 系列一次构建整图的风格有所差异也正是 RT-DETR 作为 Transformer 检测器需要独立 Trainer 的原因。核心覆写二build_dataset 与 RTDETRDataset 数据管线训练器的build_datasettrain.py负责为train与val两种模式构造数据集def build_dataset(self, img_path, modeval, batchNone): return RTDETRDataset( img_pathimg_path, imgszself.args.imgsz, batch_sizebatch, augmentmode train, hypself.args, rectFalse, cacheself.args.cache or None, single_clsself.args.single_cls or False, prefixcolorstr(f{mode}: ), classesself.args.classes, dataself.data, fraction1.0 if self.data.get(complete) else get_split_fraction(self.args.fraction, mode), )它创建的是RTDETRDataset该类与验证器定义在同文件 ultralytics/models/rtdetr/val.py 中本质是YOLODataset的轻量子类仅重写了load_image透传rect_mode参数默认继承基类的标签读取、缓存与变换管线。其中值得逐项细读的参数augmentmode train训练时开启增强验证时关闭增强与 DetectionTrainer.get_dataloader 中shuffle mode train的逻辑互为呼应rectFalse始终固定关闭这与父类检测训练的默认行为不同——父类在 val 模式默认rectmode val见 yolo/detect/train.py。RT-DETR 的训练与验证都强制使用方形 batch即对图像做 letterbox 到imgsz从源码层面可以推断这与 Transformer 解码器需要在统一特征图上执行自注意力有关hypself.args将全部训练超参如 mosaic、hsv 增强系数等注入数据集供增强模块读取cache、single_cls、classes分别对应 default.yaml 中的图片缓存策略、单类别训练与按类别 ID 过滤fraction当数据集本身非 complete 时通过get_split_fraction(self.args.fraction, mode)按比例切分子集。可配合fraction参数default.yaml 中1.0表示使用全部数据大于 1 的整数表示样本计数0表示 test 子集不用在数据管线里做快速子集实验。训练模式下的增强是否生效还与RTDETRDataset的build_transforms继承自基类相关若用modeval构建则完全不增强保证验证指标稳定可比。核心覆写三get_validator 与 RT-DETR 后处理差异def get_validator(self): return RTDETRValidator(self.test_loader, save_dirself.save_dir, argscopy(self.args))验证器使用同一文件中的RTDETRValidatorval.py它是DetectionValidator的子类为 RT-DETR 定制了两处行为build_datasetval.py同样构造RTDETRDataset且固定augmentFalse、rectFalse与训练器保持一致的预处理口径后处理差异val.pyRT-DETR 解码器内部已完成 top-k 选取并输出归一化xywh因此postprocess只做坐标换算与阈值过滤——bboxes ops.xywh2xyxy(bboxes) * self.args.imgsz将归一化坐标还原为像素级xyxy再按conf阈值与max_det截断。对应的scale_preds直接原样返回预测因为缩放已在后处理中完成。这解释了为什么 RT-DETR 无需 NMS预测结果中每个 query 已通过分类头与回归头得到独立 (box, score, class)验证器按分数过滤即可。从 Trainer 到端到端训练入口虽然可以直接实例化RTDETRTrainer日常更常用的是通过RTDETR模型对象触发训练。RTDETR.__init__model.py会断言torch 1.11才允许使用 RT-DETR随后以taskdetect初始化。官方文档docs/en/models/rtdetr.md给出了完整的 Python 与 CLI 训练用法from ultralytics import RTDETR model RTDETR(rtdetr-l.pt) # 加载 COCO 预训练权重 results model.train(datacoco8.yaml, epochs100, imgsz640)yolo train modelrtdetr-l.pt datacoco8.yaml epochs100 imgsz640仓库提供的预训练权重为rtdetr-l.pt与rtdetr-x.ptCOCO val2017 上官方记载约 53.0% / 54.8% AP而 rtdetr-resnet50.yaml 与 rtdetr-resnet101.yaml 仅作为纯架构文件提供需要从 YAML 实例化后自行训练或微调例如RTDETR(rtdetr-resnet50.yaml)。训练背后的模型结构从 YAML 到 RTDETRDecoder理解训练器还需理解它驱动的是什么模型。以 rtdetr-l.yaml 为例其默认nc: 80、复合缩放为l: [1.00, 1.00, 1024]backbone 由HGStem、HGBlock、DWConv下采样构成neck 区包含AIFIintra-scale 自注意力特征交互、RepC3与多尺度融合最终由RTDETRDecoder在 P3/P4/P5 三层特征上完成解码rtdetr-x.yaml 通道扩展到 2048网络更宽。RTDETRDecoder定义于 ultralytics/nn/modules/head.py其构造函数签名本身就是一份解码器参数说明书参数默认值含义nc80类别数ch(512,1024,2048)各层骨干特征通道数hd256隐藏层维度hidden dimnq300对象 query 数量ndp4可形变注意力采样点decoder pointsnh8多头注意力头数ndl6Transformer 解码器层数d_ffn1024前馈网络维度nd100去噪denoisingquery 数量label_noise_ratio0.5训练时标签噪声比例box_noise_scale1.0训练时框噪声尺度learnt_init_queryFalse是否学习初始 query 嵌入其中nq、ndl正是决定推理速度/精度权衡的关键旋钮num_queries默认 300、eval_idx默认 -1使用全部 6 层。训练产物是包含完整解码器的权重推理时可通过调整decoder.eval_idx减少使用解码层数或调低num_queries换取更低延迟详见 docs/en/models/rtdetr.md但这种改动需要在部署前重新验证 mAP。两个必须知道的训练约束deterministic 与 AMPRTDETRTrainer的类注释明确列出两条 RT-DETR 特有的注意事项它们是训练稳定性的关键F.grid_sampleused in RT-DETR does not support thedeterministicTrueargument.AMP training can lead to NaN outputs and may produce errors during bipartite graph matching.这两条警告对应到 docs/en/models/rtdetr.md 中 Deterministic Training 的实操建议在 CUDA PyTorch 2.0 环境下训练 RT-DETR 时应设置deterministicFalse。原因在于 RT-DETR 的可形变注意力底层使用F.grid_sample该算子没有确定性的 CUDA 反向实现——即使开启确定性也无法复现运行反而会降低训练吞吐。需要澄清的是seed仍然有效它控制权重初始化、数据顺序与增强采样引擎层在 trainer.py 通过init_seeds(self.args.seed 1 RANK, deterministicself.args.deterministic)统一播种。因此推荐组合是yolo train modelrtdetr-l.yaml datacoco8.yaml epochs100 imgsz640 seed0 deterministicFalse第二条关于 AMP 的警告意味着若开启 AMP默认ampTrue训练时出现 NaN 损失或在二分图匹配阶段报错需要优先怀疑混合精度数值稳定性问题可关闭 AMP 或在fraction子集上先做短周期验证。小结RT-DETR 训练技术清单训练器RTDETRTrainer继承DetectionTrainer只覆写get_model/build_dataset/get_validator分别承担 RTDETR 模型装配、RTDETRDataset构建与RTDETRValidator装配全量训练机制复用引擎层数据train/val 均强制方形 letterboxrectFalseaugment与shuffle随模式开关支持cache、single_cls、classes、fraction等子集与过滤策略验证解码器内部完成 top-k后处理仅做归一化坐标到像素xyxy的换算与置信度过滤全程无 NMS约束CUDA 训练建议deterministicFalseF.grid_sample无确定性反向出现 NaN 时优先排查 AMP进一步阅读RTDETRTrainer API 参考、RT-DETR 模型文档、推理器参考、验证器参考以及通用训练参数表 default.yaml。【免费下载链接】ultralyticsUltralytics YOLO26, YOLO11, YOLOv8 — object detection, instance segmentation, semantic segmentation, image classification, pose estimation, object tracking项目地址: https://gitcode.com/GitHub_Trending/ul/ultralytics创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 深入 Ultralytics RTDETRTrainer：基于 Transformer 的 RT-DETR 模型训练器原理与实战指南
深入 Ultralytics RTDETRTrainer基于 Transformer 的 RT-DETR 模型训练器原理与实战指南【免费下载链接】ultralyticsUltralytics YOLO26, YOLO11, YOLOv8 — object detection, instance segmentation, semantic segmentation, image classification, pose estimation, object tracking项目地址: https://gitcode.com/GitHub_Trending/ul/ultralyticsRT-DETRReal-Time Detection Transformer是百度提出的基于 Vision Transformer 的端到端实时目标检测模型它采用 DETR 式无 NMS 框架结合卷积骨干与高效混合编码器在保持高精度的同时获得实时推理速度。在 Ultralytics 代码库中RT-DETR 的训练逻辑被收敛在RTDETRTrainer一个类中。本篇以 RTDETRTrainer API 参考文档 为主线结合 train.py、val.py、model.py 及 RT-DETR 模型配置等仓库源码完整讲解其类设计、模型初始化、数据集构建、验证器装配与训练注意事项。读完本文你将掌握如何在 Ultralytics 框架中理解并驱动 RT-DETR 训练全流程并规避deterministic与 AMP 训练等关键陷阱。RTDETRTrainer 的定位RT-DETR 训练的专属控制器RTDETRTrainer定义于 ultralytics/models/rtdetr/train.py注释中明确其职责为百度开发的 RT-DETR 模型提供训练支持通过继承 YOLO 的DetectionTrainer并对齐 RT-DETR 的架构特性Vision Transformer、IoU-aware query selection、可调推理速度等实现定制化训练流程。继承关系与代码复用其直接父类是位于 ultralytics/models/yolo/detect/train.py 的DetectionTrainer后者又继承自引擎层的BaseTrainerultralytics/engine/trainer.py。也就是说RT-DETR 训练并不需要重写训练循环、日志、checkpoint 管理等通用机制只需针对自身模型做局部覆写这是 Ultralytics 一引擎多任务 架构的典型体现。从 RT-DETR 模型侧看训练入口通过RTDETR.task_map将detect任务映射到训练组件# ultralytics/models/rtdetr/model.py 中 task_map 的定义 { detect: { predictor: RTDETRPredictor, validator: RTDETRValidator, trainer: RTDETRTrainer, model: RTDETRDetectionModel, } }因此当调用model.train(...)model为RTDETR实例时框架会自动实例化RTDETRTrainer。公开属性与核心方法类文档给出如下接口约定属性loss_names来自 criterion 返回的损失字典、data含类别数等参数的数据集配置、args训练参数与超参、save_dir训练结果保存目录、test_loader验证/测试数据加载器方法get_model初始化并返回用于检测任务的 RT-DETR 模型、build_dataset构建训练/验证数据集、get_validator返回适配 RT-DETR 的验证器。类文档还附带一个最小可用示例可直接验证训练器对象是否可用from ultralytics.models.rtdetr.train import RTDETRTrainer args dict(modelrtdetr-l.yaml, datacoco8.yaml, imgsz640, epochs3) trainer RTDETRTrainer(overridesargs) trainer.train()这里modelrtdetr-l.yaml表示从 YAML 架构文件构建模型datacoco8.yaml指向仓库内置的小型演示数据集ultralytics/cfg/datasets/coco8.yaml是快速验证 RT-DETR 训练管线是否通畅的标准做法。核心覆写一get_model 与模型装配细节RTDETRTrainer.get_model的实现train.py在通用 YOLO 版本之上做了两处关键调整def get_model(self, cfgNone, weightsNone, verboseTrue): model self.set_model_names_for_load( RTDETRDetectionModel(cfg, ncself.data[nc], chself.data[channels], verboseverbose and RANK -1) ) if weights: model.load(weights) return model要点拆解模型类选择直接实例化RTDETRDetectionModel位于 ultralytics/nn/tasks.py该模型会按 RT-DETR 的 YAML 结构解析 backbone、neck 与RTDETRDecoder检测头动态类别数注入ncself.data[nc]会在训练开始时用数据集的真实类别数覆盖 YAML 中的默认值而chself.data[channels]则按数据通道数通常为 RGB 的 3初始化网络因此换数据集时无需手改 YAML按类别名加载权重set_model_names_for_load先把数据集names挂到模型上该方法定义在父类 yolo/detect/train.py使得类别头在加载预训练权重时可按名称做映射从而支持自定义类别数据集上的迁移学习单卡抑制冗余日志verboseverbose and RANK -1表明分布式训练时仅在主进程打印模型信息预训练加载若传入weights则调用model.load(weights)。需要留意的是本方法构建的是训练版模型仅包含主干 编码器/颈部特征解码器与训练损失相关的组件在训练管线内部按需装配这与 YOLO 系列一次构建整图的风格有所差异也正是 RT-DETR 作为 Transformer 检测器需要独立 Trainer 的原因。核心覆写二build_dataset 与 RTDETRDataset 数据管线训练器的build_datasettrain.py负责为train与val两种模式构造数据集def build_dataset(self, img_path, modeval, batchNone): return RTDETRDataset( img_pathimg_path, imgszself.args.imgsz, batch_sizebatch, augmentmode train, hypself.args, rectFalse, cacheself.args.cache or None, single_clsself.args.single_cls or False, prefixcolorstr(f{mode}: ), classesself.args.classes, dataself.data, fraction1.0 if self.data.get(complete) else get_split_fraction(self.args.fraction, mode), )它创建的是RTDETRDataset该类与验证器定义在同文件 ultralytics/models/rtdetr/val.py 中本质是YOLODataset的轻量子类仅重写了load_image透传rect_mode参数默认继承基类的标签读取、缓存与变换管线。其中值得逐项细读的参数augmentmode train训练时开启增强验证时关闭增强与 DetectionTrainer.get_dataloader 中shuffle mode train的逻辑互为呼应rectFalse始终固定关闭这与父类检测训练的默认行为不同——父类在 val 模式默认rectmode val见 yolo/detect/train.py。RT-DETR 的训练与验证都强制使用方形 batch即对图像做 letterbox 到imgsz从源码层面可以推断这与 Transformer 解码器需要在统一特征图上执行自注意力有关hypself.args将全部训练超参如 mosaic、hsv 增强系数等注入数据集供增强模块读取cache、single_cls、classes分别对应 default.yaml 中的图片缓存策略、单类别训练与按类别 ID 过滤fraction当数据集本身非 complete 时通过get_split_fraction(self.args.fraction, mode)按比例切分子集。可配合fraction参数default.yaml 中1.0表示使用全部数据大于 1 的整数表示样本计数0表示 test 子集不用在数据管线里做快速子集实验。训练模式下的增强是否生效还与RTDETRDataset的build_transforms继承自基类相关若用modeval构建则完全不增强保证验证指标稳定可比。核心覆写三get_validator 与 RT-DETR 后处理差异def get_validator(self): return RTDETRValidator(self.test_loader, save_dirself.save_dir, argscopy(self.args))验证器使用同一文件中的RTDETRValidatorval.py它是DetectionValidator的子类为 RT-DETR 定制了两处行为build_datasetval.py同样构造RTDETRDataset且固定augmentFalse、rectFalse与训练器保持一致的预处理口径后处理差异val.pyRT-DETR 解码器内部已完成 top-k 选取并输出归一化xywh因此postprocess只做坐标换算与阈值过滤——bboxes ops.xywh2xyxy(bboxes) * self.args.imgsz将归一化坐标还原为像素级xyxy再按conf阈值与max_det截断。对应的scale_preds直接原样返回预测因为缩放已在后处理中完成。这解释了为什么 RT-DETR 无需 NMS预测结果中每个 query 已通过分类头与回归头得到独立 (box, score, class)验证器按分数过滤即可。从 Trainer 到端到端训练入口虽然可以直接实例化RTDETRTrainer日常更常用的是通过RTDETR模型对象触发训练。RTDETR.__init__model.py会断言torch 1.11才允许使用 RT-DETR随后以taskdetect初始化。官方文档docs/en/models/rtdetr.md给出了完整的 Python 与 CLI 训练用法from ultralytics import RTDETR model RTDETR(rtdetr-l.pt) # 加载 COCO 预训练权重 results model.train(datacoco8.yaml, epochs100, imgsz640)yolo train modelrtdetr-l.pt datacoco8.yaml epochs100 imgsz640仓库提供的预训练权重为rtdetr-l.pt与rtdetr-x.ptCOCO val2017 上官方记载约 53.0% / 54.8% AP而 rtdetr-resnet50.yaml 与 rtdetr-resnet101.yaml 仅作为纯架构文件提供需要从 YAML 实例化后自行训练或微调例如RTDETR(rtdetr-resnet50.yaml)。训练背后的模型结构从 YAML 到 RTDETRDecoder理解训练器还需理解它驱动的是什么模型。以 rtdetr-l.yaml 为例其默认nc: 80、复合缩放为l: [1.00, 1.00, 1024]backbone 由HGStem、HGBlock、DWConv下采样构成neck 区包含AIFIintra-scale 自注意力特征交互、RepC3与多尺度融合最终由RTDETRDecoder在 P3/P4/P5 三层特征上完成解码rtdetr-x.yaml 通道扩展到 2048网络更宽。RTDETRDecoder定义于 ultralytics/nn/modules/head.py其构造函数签名本身就是一份解码器参数说明书参数默认值含义nc80类别数ch(512,1024,2048)各层骨干特征通道数hd256隐藏层维度hidden dimnq300对象 query 数量ndp4可形变注意力采样点decoder pointsnh8多头注意力头数ndl6Transformer 解码器层数d_ffn1024前馈网络维度nd100去噪denoisingquery 数量label_noise_ratio0.5训练时标签噪声比例box_noise_scale1.0训练时框噪声尺度learnt_init_queryFalse是否学习初始 query 嵌入其中nq、ndl正是决定推理速度/精度权衡的关键旋钮num_queries默认 300、eval_idx默认 -1使用全部 6 层。训练产物是包含完整解码器的权重推理时可通过调整decoder.eval_idx减少使用解码层数或调低num_queries换取更低延迟详见 docs/en/models/rtdetr.md但这种改动需要在部署前重新验证 mAP。两个必须知道的训练约束deterministic 与 AMPRTDETRTrainer的类注释明确列出两条 RT-DETR 特有的注意事项它们是训练稳定性的关键F.grid_sampleused in RT-DETR does not support thedeterministicTrueargument.AMP training can lead to NaN outputs and may produce errors during bipartite graph matching.这两条警告对应到 docs/en/models/rtdetr.md 中 Deterministic Training 的实操建议在 CUDA PyTorch 2.0 环境下训练 RT-DETR 时应设置deterministicFalse。原因在于 RT-DETR 的可形变注意力底层使用F.grid_sample该算子没有确定性的 CUDA 反向实现——即使开启确定性也无法复现运行反而会降低训练吞吐。需要澄清的是seed仍然有效它控制权重初始化、数据顺序与增强采样引擎层在 trainer.py 通过init_seeds(self.args.seed 1 RANK, deterministicself.args.deterministic)统一播种。因此推荐组合是yolo train modelrtdetr-l.yaml datacoco8.yaml epochs100 imgsz640 seed0 deterministicFalse第二条关于 AMP 的警告意味着若开启 AMP默认ampTrue训练时出现 NaN 损失或在二分图匹配阶段报错需要优先怀疑混合精度数值稳定性问题可关闭 AMP 或在fraction子集上先做短周期验证。小结RT-DETR 训练技术清单训练器RTDETRTrainer继承DetectionTrainer只覆写get_model/build_dataset/get_validator分别承担 RTDETR 模型装配、RTDETRDataset构建与RTDETRValidator装配全量训练机制复用引擎层数据train/val 均强制方形 letterboxrectFalseaugment与shuffle随模式开关支持cache、single_cls、classes、fraction等子集与过滤策略验证解码器内部完成 top-k后处理仅做归一化坐标到像素xyxy的换算与置信度过滤全程无 NMS约束CUDA 训练建议deterministicFalseF.grid_sample无确定性反向出现 NaN 时优先排查 AMP进一步阅读RTDETRTrainer API 参考、RT-DETR 模型文档、推理器参考、验证器参考以及通用训练参数表 default.yaml。【免费下载链接】ultralyticsUltralytics YOLO26, YOLO11, YOLOv8 — object detection, instance segmentation, semantic segmentation, image classification, pose estimation, object tracking项目地址: https://gitcode.com/GitHub_Trending/ul/ultralytics创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考