llama-factory llm模型微调框架

LlamaFactory 是一个功能强大、易于使用的大语言模型微调框架。

LlamaFactory 是一个 “一站式”的大模型微调工具包。它基于 PyTorch 和 Hugging Face 生态系统构建，提供了统一的接口和丰富的优化策略，极大地简化了从准备数据到训练模型、再到评估部署的整个微调流程。

LlamaFactory 优点：

1. 极其简便易用

   • Web UI 界面：提供了类似 ChatGPT 的图形化界面，你可以通过点击和填写表单来完成模型训练，几乎不需要写代码。

   • 命令行接口：对于高级用户，也提供了完善的 CLI 工具，方便集成到自动化流程中。

   • 统一配置：通过一个 YAML 或 JSON 配置文件，就能管理所有训练参数、数据路径和模型设置。

2. 广泛的模型支持

   • 支持几乎所有主流的开源大模型家族，包括：

     • LLaMA & LLaMA-2

     • Mistral & Mixtral

     • Qwen（通义千问）

     • Baichuan（百川）

     • ChatGLM

     • Gemma

     • Phi

     • ... 以及更多。

3. 高效的训练技术

   • LoRA / QLoRA：核心支持。QLoRA 允许你在单张消费级显卡（如 RTX 3090/4090）上微调大型模型（如 70B），极大地降低了硬件门槛。

   • 梯度检查点、混合精度训练：进一步优化显存和训练速度。

   • FSDP：支持多卡分布式训练，充分利用硬件资源。

4. 丰富的训练方法

   • 监督微调：最常用的方法，用于指令遵循、对话等任务。

   • 奖励模型训练：为 RLHF 流程准备。

   • PPO 训练：实现强化学习微调。

   • DPO 训练：一种更高效、稳定的直接偏好优化方法。

5. 强大的数据处理能力

   • 支持多种数据格式（JSON, JSONL, CSV等）。

   • 内置了对话、指令、文本补全等多种数据模板。

   • 可以轻松地将你自己的数据转换成模型可接受的格式。