当前位置：首页 > news >正文

小米AI团队揭秘：MiMo-V2-Flash-Base的27T tokens训练工程实践

news 2026/6/4 4:11:12

小米AI团队揭秘：MiMo-V2-Flash-Base的27T tokens训练工程实践

【免费下载链接】MiMo-V2-Flash-BaseMiMo-V2-Flash 是一款混合专家（Mixture-of-Experts, MoE）语言模型，总参数量达 3090 亿，激活参数量为 150 亿。该模型专为高速推理和智能体工作流设计，采用创新的混合注意力架构和多 token 预测（Multi-Token Prediction, MTP）技术，在实现业界领先性能的同时，大幅降低了推理成本。项目地址: https://ai.gitcode.com/XiaomiMiMo/MiMo-V2-Flash-Base

MiMo-V2-Flash是小米AI团队推出的革命性混合专家（MoE）语言模型，拥有3090亿总参数和150亿激活参数，专为高速推理和智能体工作流设计。本文将深入解析这个27T tokens训练工程实践背后的技术细节，为初学者和开发者提供完整的指南。🚀

🌟 项目核心亮点

MiMo-V2-Flash-Base在27T tokens的庞大数据集上训练完成，实现了业界领先的性能表现。这款模型采用创新的混合注意力架构和多token预测技术，在保持高性能的同时显著降低了推理成本。

🔥 性能突破表现

根据官方评估数据，MiMo-V2-Flash在多个基准测试中都展现出了卓越的能力：

测试类别	基准测试	MiMo-V2-Flash Base	对比模型
通用能力	MMLU	86.7	超越多数同类模型
数学推理	GSM8K	92.3	行业领先水平
代码生成	HumanEval+	70.7	优秀编程能力
中文理解	C-Eval	87.9	中文场景表现优异

💡技术亮点：仅用150亿激活参数就实现了超越千亿参数模型的性能！

🏗️ 创新架构设计

混合滑动窗口注意力机制

MiMo-V2-Flash采用了创新的Hybrid Sliding Window Attention架构，在configuration_mimo_v2_flash.py中定义了相关配置：

滑动窗口大小：128 tokens
最大位置嵌入：262,144 tokens
注意力头数：64个
隐藏层维度：4096

这种设计让模型在处理长文本时既保持高效，又不会牺牲性能。

轻量级多token预测技术

模型集成了Multi-Token Prediction (MTP)技术，在config.json中可以找到相关配置：

{ "attention_value_scale": 0.707, "partial_rotary_factor": 0.334, "sliding_window": 128 }

这项技术让模型能够同时预测多个token，大幅提升了推理速度。

🚀 27T Tokens训练工程实践

数据预处理流程

数据收集与清洗
- 多语言数据源整合
- 高质量代码数据筛选
- 中文内容优化处理
训练策略优化
- 渐进式学习率调整
- 动态批处理大小
- 混合精度训练优化

分布式训练架构

MiMo-V2-Flash的训练采用了先进的分布式策略：

张量并行：8路并行计算
流水线并行：多层流水线优化
专家并行：256个专家模型协同工作

⚙️ 快速部署指南

使用SGLang启动服务

从generation_config.json中可以了解生成配置：

python3 -m sglang.launch_server \ --model-path XiaomiMiMo/MiMo-V2-Flash \ --served-model-name mimo-v2-flash \ --tp-size 8 \ --context-length 262144 \ --enable-mtp