拓冰网站定制 
简介面向具备机器学习基础的研究人员与开发者的Qwen2.5-7B-Instruct大模型微调实操资料完整演示如何在AutoDL平台上完成从环境搭建、预训练模型下载到LLaMA-Factory微调启动的闭环流程。资源为1个PDF文档压缩包大小2.28MB内容按实操顺序编排包含GPU实例选择、SSH/VSCode远程连接、基于hf-mirror下载Qwen2.5-7B-Instruct、安装LLaMA-Factory并启动WebUI、配置LoRA训练数据集等关键环节图文步骤清晰。已有12378人学习下载资料热度较高。除基础操作外还专门讲解了自定义数据集的添加方式、nvidia-smi与watch命令查看显存占用以及结合wandb启用外部记录面板便于在多次微调实验中保存指标并对比分析。读者可按文档顺序逐步操作并根据自己的项目需求调整数据集、训练轮次与LoRA参数。整体以可复现的实操路径为主线兼顾环境、训练、监控与记录适合希望在实际项目中完成大模型微调、优化自然语言处理任务的开发者。1. 大模型微调不是玄学Qwen2.5-7B-Instruct在AutoDL上的完整实战闭环微调一个 7B 模型听起来门槛很高实际上最难的只是把环境一次跑通。Qwen2.5-7B-Instruct 是目前中文场景下性价比很稳的基座而 AutoDL 上租一张 4090 按小时计费把模型下载、环境配置、LoRA 微调、wandb 记录结果整条链路走通一个下午就能完成。这篇笔记就是把我实操中每一步的过场、参数含义和翻车点原样记录下来给正准备在云 GPU 上做第一次大模型微调的读者一份能照抄的作业。适合有 Python 基础、跑过简单训练脚本、但没完整走过微调全流程的人。2. 环境搭建AutoDL 4090实例、镜像选择与SSH连接2.1 注册与实例创建4090为什么是目前性价比最高的选择AutoDL 注册之后需要实名认证这个没什么好说按平台要求填完信息等着通过就行。关键是 GPU 选择正文里的做法是进算力市场选N卡可租这一步不需要纠结太久——对于 7B 模型的 LoRA 微调单张 409024GB 显存就够用且富余。我实际跑 Qwen2.5-7B-Instruct 微调时LoRA 方案下显存峰值大约在 18~20GB 之间刚好卡在一个舒服的位置既不会因为显存不足而频繁 OOM也不会因为算力太弱导致一个 epoch 要跑几个小时。如果预算更紧张也可以选更低规格的卡但 4090 的好处在于24GB 显存恰好能装下 7B 模型加 LoRA 适配层的全部中间状态同时算力足够让训练过程保持在一个能接受的节奏。选卡的时候注意看实例的磁盘配置AutoDL 区分系统盘和数据盘模型权重、数据集这些大文件一定要放在数据盘 /root/autodl-tmp 下面这个习惯越早养成越省事。2.2 镜像选择社区镜像为什么比官方基础镜像省心创建实例时的镜像选择直接决定你后面要不要跟一堆包版本作斗争。正文推荐的社区镜像 agiclass/fine-tuning-lab/finetune-lab-v8 值得优先考虑因为这类镜像里已经预装好了微调所需的依赖包环境包括 PyTorch、Transformers、Accelerate、Deepspeed 等常用库版本之间的兼容性也被人提前踩过一遍了。我自己第一次用官方基础镜像从零装依赖光是对齐 CUDA、PyTorch、Transformers 三者的版本就花了一个多小时期间还遇到过一次因 transformers 版本过旧导致 LoRA 层加载报错的问题。后来就学乖了直接用社区镜像选最新版本即可。实例创建完成后状态显示运行中才开始计费不用的时候记得点关机下次要用再开机不过要注意平台对关机后资源保留时间的限制策略长时间不用的实例数据盘内容也可能被释放。2.3 SSH 连接与目录结构FinalShell、Termius 和 VSCode 的取舍连接实例推荐直接走 SSH 客户端。Windows 下我用的是 FinalShellMac 下很多朋友用 Termius两者界面直观、自带 SFTP 面板方便后续上传下载数据集和模型文件。如果你打算在本地浏览器里打开微调界面做交互操作更推荐直接用 VSCode 装 Remote-SSH 插件远程连接因为 VSCode 能自动处理端口转发省去手动在控制台配置的步骤。连接信息在 AutoDL 控制台的实例详情页可以找到一般是ssh rootregion.autodl.com -p 端口号的格式。连上之后第一条命令建议先看清楚当前所在目录。AutoDL 的约定是/root 属于系统盘空间有限且实例重置后不保证数据保留/root/autodl-tmp 才是数据盘。所以后面所有模型、代码、数据集我一律丢进数据盘这是第一次用 AutoDL 时最该记住的目录规则。# 确认当前目录和磁盘空间 pwd df -h /root /root/autodl-tmp这里df -h用于查看两个目录所在分区的剩余空间训练前看一眼能避免中途下载一半才意识到空间不足的尴尬。后面下载模型之前我会再执行一次这个命令确认数据盘剩余空间在 20GB 以上再开始拉模型。3. 模型与框架准备hf-mirror下载模型、LLaMA-Factory安装与命令入口梳理3.1 用 hf-mirror 下载 Qwen2.5-7B-Instructgit lfs 是关键预训练模型从 HuggingFace 下载但国内直连速度不稳定正文推荐的做法是走 hf-mirror 镜像。这不是什么玄学操作就是用一个在国内可直连的镜像站替换 huggingface.co 的地址git clone 的行为完全一致。cd /root/autodl-tmp git lfs install git clone https://hf-mirror.com/Qwen/Qwen2.5-7B-Instruct命令里的git lfs install是必做的一步Qwen2.5-7B-Instruct 的权重文件单个就有十几个 GB属于 Git LFSLarge File Storage管理的超大文件不先启用 LFS 扩展clone 下来的会是一堆几百字节的指针文件而不是真正的权重。安装完 LFS 之后继续执行 clone耐心等待这个下载过程取决于网络环境十几分钟到半小时都算正常。下载完成的判断标准不只是命令行退出还要看目录里是否存在model.safetensors或pytorch_model.bin索引文件。下载完成后进入目录并把.git目录删掉这一步很多人会忽略。cd Qwen2.5-7B-Instruct rm -rf .git为什么删.git因为 LFS 的仓库元数据和对象缓存会额外占用大量数据盘空间删除后只保留模型权重文件本身对后续使用没有任何影响。我习惯删完再看一眼目录大小确认du -sh显示的是实际体积而不是含历史记录的体积。3.2 LLaMA-Factory 安装conda 虚拟环境隔离依赖LLaMA-Factory 是目前微调社区里流程最完整的开源框架把数据准备、LoRA 训练、推理对话、模型合并都统一到了一套命令里。安装步骤很固定我直接按下面的顺序执行git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama_factory python3.10 conda activate llama_factory cd LLaMA-Factory pip install -e .[torch,metrics]conda create -n llama_factory python3.10创建一个独立的 Python 3.10 环境避免和系统自带的 Python 版本冲突conda activate llama_factory激活它后续所有操作都要保证在当前虚拟环境下执行。pip install -e .[torch,metrics]里的-e是开发模式安装意思是直接把当前目录的源码链接进 Python 包路径之后修改源码不用重新安装[torch,metrics]是 extra dependenciestorch 提供训练后端metrics 提供评估指标计算。这一步安装时间比较长十几分钟很正常看到成功提示后可以用pip list | grep torch快速验证 torch 是否就位。3.3 llamafactory-cli 命令入口一次搞清 train、chat、export、webuiLLaMA-Factory 所有功能都收敛到llamafactory-cli这一个命令上通过不同的子命令参数切换功能。我第一次用的时候就踩了混淆的坑把 webchat 和 webui 当成了一回事实际上它们动作不同、界面也不同。下面这张表是我后来整理常用的动作参数作用说明什么时候用train命令行版本训练适合脚本化批量跑需要定时任务或批量调参时chat命令行版本推理验证训练效果不想开页面快速问一句话试试export模型合并和导出把 LoRA 适配层写回原模型训练完需要部署完整模型时api启动 API server供接口调用接业务系统、做推理服务时eval用 MMLU 等标准数据集做评测需要对比微调前后效果时webchat前端页面纯推理只有对话界面只做推理不做训练时webuiLlamaBoard 前端页面含训练、预测、对话、合并可视化微调主入口启动 LlamaBoard 的命令是llamafactory-cli webui。注意如果用的是 VSCode Remote-SSH本地会自动做端口转发浏览器里直接访问提示的地址即可如果用 FinalShell 这类 SSH 客户端就需要到 AutoDL 控制台的自定义服务里手动开放对应端口。llamafactory-cli webui命令行长时间占用时建议配合tmux或screen使用否则 SSH 连接断开会连带把前端进程也杀了这是个很容易忽略的实际问题。4. 可视化微调实操LlamaBoard界面参数拆解、数据集配置与显存监控4.1 LlamaBoard 界面参数逐项说明从模型路径到 LoRA 配置LlamaBoard 启动成功后浏览器会打开一个配置页面看起来控件很多但真正需要逐个确认的就那么几项。①语言切换默认英文可以切到中文减少阅读负担。②模型名称选择输入 Qwen2-7B-Instruct 或 Qwen2-7B-Chat 都可以被识别这里需要注意界面上显示的名称和下载的目录不一定完全一致不影响本质。③本地模型全路径即第 2 章下载的位置填/root/autodl-tmp/Qwen2.5-7B-Instruct。④微调方式默认是 lora这个选项的意思是在原模型旁路挂一个低秩适配矩阵只训练适配层原始权重保持冻结。⑤检查点路径是每次训练生成的 LoRA 权重存放位置初次训练时为空训练一轮就会多出一个检查点。这里的关键认知是一个检查点加原始模型才等于本次微调的结果模型检查点本身不是完整模型导出部署时要用合并功能把适配层写回原模型。⑥数据集选择框里列出的是 data 目录下已注册的数据集可以多选。⑦选中某个数据集后点预览能看数据格式我习惯先预览再训练防止格式错了白跑一轮。⑧训练轮次默认是 20这是完整遍历数据集的次数具体设多少取决于数据量大小数据量大时 2~3 轮就够数据量小可以适当增加后面可以根据 loss 曲线调整。4.2 训练集设置添加自定义数据集与 c4_demo.json 的配置方法LLaMA-Factory 下载到本地后data目录里自带了一些示例数据集可以直接在界面里选中使用。如果要训练自己的数据需要把数据集文件放进/root/autodl-tmp/LLaMA-Factory/data目录然后打开同目录下的dataset_info.json注册。正文里提到的 c4_demo.json 是官方自带的一个示例配置入口实际操作中要按自己的文件名和格式做对应的添加配置。{ my_dataset: { file_name: my_dataset.json, formatting: alpaca, columns: { prompt: instruction, query: input, response: output } } }代码块是常见的登记写法file_name对应实际文件名formatting是数据格式alpaca 是最通用的 instruction-input-output 三段式结构。如果数据集没有 input 字段可以在 columns 里省略 query 映射。不同数据集格式alpaca、sharegpt、openai 等添加配置的方法不一样以官方文档为准但核心思路都是数据文件放到位、在 dataset_info.json 里登记、界面里选中。一个我反复强调的习惯换数据集之后一定要先点预览确认字段映射正确再启动训练。预览能直接看到模型收到的 prompt 实际长什么样比训练时报错再回头查要快得多。4.3 启动训练点击顺序与显存监控手段所有参数设置好之后按标注顺序依次点击界面按钮等待训练启动。启动的瞬间会有一段加载时间不要反复点击容易造成重复任务。训练开始后最需要关注的是显存占用情况显存如果不够会在几秒内直接报错不需要等到第一个 epoch 跑完。# 显示一次当前 GPU 占用情况 nvidia-smi # 每秒刷新一次并显示 nvidia-smi -l # watch 命令每 5 秒刷新一次推荐 watch -n 5 nvidia-sminvidia-smi是 NVIDIA 官方显存查看工具第一行会显示当前 GPU 型号中间表格显示显存使用量和温度。-l参数是持续刷新模式watch -n 5 nvidia-smi则是每 5 秒调用一次界面更清晰是我不论在哪个训练场景都会优先用的命令。观察指标主要是Memory-Usage 是否接近 24GB 上限、温度是否持续超过 85 度。如果显存长时间打满且温度过高说明 batch size 或序列长度设置偏激进。训练过程中 LlamaBoard 界面会实时显示 loss 曲线我一般每 5~10 分钟看一次重点关注 loss 是否出现明显下降趋势。如果前几十个 step 的 loss 完全不动大概率是学习率设置问题或数据格式有问题先停下来排查不要干等。5. 避坑与常见问题微调实战中的五个翻车记录5.1 模型下载中途报 no space left数据盘空间不足现象git clone 执行到一半卡住终端报No space left on device检查后发现磁盘满了。原因执行 clone 时没有先进入数据盘模型写到了系统盘 /root 上系统盘空间有限7B 模型二十多 GB 的体积直接把它撑爆了。解决先cd /root/autodl-tmp再执行 clone管理好即将占用的空间。下载完成后立即rm -rf .git清理 LFS 缓存。从那以后我每次下载任何大文件之前都会先执行df -h确认目标分区剩余空间这个习惯救了我好几次。5.2 训练刚点开始就报 KeyError数据集格式不匹配现象界面上点击开始训练几秒钟内报错提示类似KeyError: instruction训练直接终止。原因数据集格式与注册配置不匹配。常见的是数据文件里明明没有 input 字段dataset_info.json 里却配置了 query 映射或者数据集是纯对话格式却按 alpaca 格式注册。解决打开数据文件看前几条数据确认实际字段名再对照 dataset_info.json 里的 columns 映射改成与数据一致的字段。改完务必用界面上的预览功能再验证一次。这个坑其实可以完全避免只花十秒钟看一眼数据就能发现问题别偷懒。5.3 LlamaBoard 页面打不开端口转发没配好现象SSH 连接正常但本地浏览器访问 LlamaBoard 地址一直转圈或直接拒绝连接。原因使用 FinalShell 等 SSH 客户端连接时没有把服务器端的 Web 端口转发到本地AutoDL 控制台也没有在自定义服务里配置端口映射。解决VSCode Remote-SSH 会自动处理转发直接用推荐地址访问FinalShell 用户则需要到 AutoDL 控制台对应实例的自定义服务里配置端口转发然后通过平台提供的访问地址打开。记住这条换了 SSH 工具就要重新确认端口转发方案不要怪平台。这个页面打不开通常不是代码问题而是网络通道问题。5.4 训练中途 OOM显存溢出时怎么压参数现象训练跑了几个 step 后突然中断日志中出现torch.cuda.OutOfMemoryError显存占用飙到 23GB 以上。原因micro train batch size 设置偏大或者最大序列长度 max_length 设置过长导致单个 step 的中间激活值撑爆显存。7B 模型即使只用 LoRA激活值占用依然可观这在没有跑过之前是估不准的。解决优先把 batch size 减半如果还不行把 max_length 从默认的 2048 降到 1024 或 512。注意 LoRA 本身已经大幅降低了显存需求如果这样还 OOM说明你用的不是 LoRA 而是全参数微调或者输入文本确实太长。实践经验是我的 4090 跑 Qwen2.5-7B-Instructbatch size 4、max_length 2048 时显存占用约 19GB给后面的训练留了缓冲。5.5 wandb 记录一直没数据配置开关没对齐现象训练正常跑loss 曲线也在界面显示但 wandb 后台里看不到任何一条记录。原因yaml 配置文件里没有添加 wandb 相关配置且 LlamaBoard 界面的启用外部记录面板开关没有打开训练过程自然没有向 wandb 服务上报数据。解决在 LLaMA-Factory 的训练配置 yaml 文件中加入report_to: wandb等配置项并在界面里勾选启用外部记录面板重启训练即可正常记录。配置完成后训练开始前wandb 会在终端里输出一个 dashboard 链接出现这个链接就说明数据上报通道已经打通了。6. 进阶技巧wandb 实验记录与模型合并导出6.1 wandb 接入把每次实验的 loss 曲线变成可对比的记录微调跑一次容易跑十次对比参数才叫实验。wandbWeights Biases是我习惯的实验记录面板注册账号后按提示安装客户端登录之后在训练启动时会自动生成一个实验链接损失曲线、学习率、显存占用都实时同步到云端页面。这样多组实验的数据可以并排对比而不是靠截图存本地。pip install wandb wandb login执行wandb login后输入 API key 即可完成认证。关键是在 LLaMA-Factory 的 yaml 配置文件里加上 wandb 相关配置项常见配置如下report_to: wandb run_name: qwen25-7b-lora-testreport_to指定日志上报目标为 wandbrun_name给本次实验起名多组实验时用不同的 run_name 才能在后台区分。同时在 LlamaBoard 界面的相应开关勾选启用外部记录面板。这样每次训练的曲线就都有了统一的归属地回头看哪个参数组合效果最好时不需要靠记忆和经验判断直接对比数据就行。6.2 导出合并后的完整模型llamafactory-cli export 用法LoRA 训练完成后生成的检查点只是适配层不能直接作为独立模型部署。要得到完整的微调模型需要用 export 功能把适配层合并回原始权重。我用命令行方式执行因为更方便写进脚本复用llamafactory-cli export \ --model_name_or_path /root/autodl-tmp/Qwen2.5-7B-Instruct \ --adapter_name_or_path /root/autodl-tmp/LLaMA-Factory/saves/Qwen2.5-7B-Instruct/lora/train_20250201 \ --export_dir /root/autodl-tmp/Qwen2.5-7B-Instruct-lora-merged \ --export_size 4 \ --export_device auto--model_name_or_path是原始模型路径--adapter_name_or_path指向训练生成的 LoRA 检查点目录--export_dir是合并后模型的输出目录--export_size 4表示按 4GB 分片保存权重方便后续上传或部署--export_device auto让程序自动选择合并设备。合并完成后到导出目录里确认存在模型权重文件和配置文件之后就可以用普通的 Transformers 推理脚本或接入 API 服务使用这个微调后的完整模型。从那以后我每次微调完都强制走一遍验证数据集格式、盯显存余量、导出合并三步确认、wandb 归档整个流程的翻车概率已经降得很低。希望这篇实战记录能帮到你少走我当年走的弯路。本文还有配套的精品资源点击获取 AutoDL+LLaMA-Factory实战：Qwen2.5-7B LoRA微调全流程指南
简介面向具备机器学习基础的研究人员与开发者的Qwen2.5-7B-Instruct大模型微调实操资料完整演示如何在AutoDL平台上完成从环境搭建、预训练模型下载到LLaMA-Factory微调启动的闭环流程。资源为1个PDF文档压缩包大小2.28MB内容按实操顺序编排包含GPU实例选择、SSH/VSCode远程连接、基于hf-mirror下载Qwen2.5-7B-Instruct、安装LLaMA-Factory并启动WebUI、配置LoRA训练数据集等关键环节图文步骤清晰。已有12378人学习下载资料热度较高。除基础操作外还专门讲解了自定义数据集的添加方式、nvidia-smi与watch命令查看显存占用以及结合wandb启用外部记录面板便于在多次微调实验中保存指标并对比分析。读者可按文档顺序逐步操作并根据自己的项目需求调整数据集、训练轮次与LoRA参数。整体以可复现的实操路径为主线兼顾环境、训练、监控与记录适合希望在实际项目中完成大模型微调、优化自然语言处理任务的开发者。1. 大模型微调不是玄学Qwen2.5-7B-Instruct在AutoDL上的完整实战闭环微调一个 7B 模型听起来门槛很高实际上最难的只是把环境一次跑通。Qwen2.5-7B-Instruct 是目前中文场景下性价比很稳的基座而 AutoDL 上租一张 4090 按小时计费把模型下载、环境配置、LoRA 微调、wandb 记录结果整条链路走通一个下午就能完成。这篇笔记就是把我实操中每一步的过场、参数含义和翻车点原样记录下来给正准备在云 GPU 上做第一次大模型微调的读者一份能照抄的作业。适合有 Python 基础、跑过简单训练脚本、但没完整走过微调全流程的人。2. 环境搭建AutoDL 4090实例、镜像选择与SSH连接2.1 注册与实例创建4090为什么是目前性价比最高的选择AutoDL 注册之后需要实名认证这个没什么好说按平台要求填完信息等着通过就行。关键是 GPU 选择正文里的做法是进算力市场选N卡可租这一步不需要纠结太久——对于 7B 模型的 LoRA 微调单张 409024GB 显存就够用且富余。我实际跑 Qwen2.5-7B-Instruct 微调时LoRA 方案下显存峰值大约在 18~20GB 之间刚好卡在一个舒服的位置既不会因为显存不足而频繁 OOM也不会因为算力太弱导致一个 epoch 要跑几个小时。如果预算更紧张也可以选更低规格的卡但 4090 的好处在于24GB 显存恰好能装下 7B 模型加 LoRA 适配层的全部中间状态同时算力足够让训练过程保持在一个能接受的节奏。选卡的时候注意看实例的磁盘配置AutoDL 区分系统盘和数据盘模型权重、数据集这些大文件一定要放在数据盘 /root/autodl-tmp 下面这个习惯越早养成越省事。2.2 镜像选择社区镜像为什么比官方基础镜像省心创建实例时的镜像选择直接决定你后面要不要跟一堆包版本作斗争。正文推荐的社区镜像 agiclass/fine-tuning-lab/finetune-lab-v8 值得优先考虑因为这类镜像里已经预装好了微调所需的依赖包环境包括 PyTorch、Transformers、Accelerate、Deepspeed 等常用库版本之间的兼容性也被人提前踩过一遍了。我自己第一次用官方基础镜像从零装依赖光是对齐 CUDA、PyTorch、Transformers 三者的版本就花了一个多小时期间还遇到过一次因 transformers 版本过旧导致 LoRA 层加载报错的问题。后来就学乖了直接用社区镜像选最新版本即可。实例创建完成后状态显示运行中才开始计费不用的时候记得点关机下次要用再开机不过要注意平台对关机后资源保留时间的限制策略长时间不用的实例数据盘内容也可能被释放。2.3 SSH 连接与目录结构FinalShell、Termius 和 VSCode 的取舍连接实例推荐直接走 SSH 客户端。Windows 下我用的是 FinalShellMac 下很多朋友用 Termius两者界面直观、自带 SFTP 面板方便后续上传下载数据集和模型文件。如果你打算在本地浏览器里打开微调界面做交互操作更推荐直接用 VSCode 装 Remote-SSH 插件远程连接因为 VSCode 能自动处理端口转发省去手动在控制台配置的步骤。连接信息在 AutoDL 控制台的实例详情页可以找到一般是ssh rootregion.autodl.com -p 端口号的格式。连上之后第一条命令建议先看清楚当前所在目录。AutoDL 的约定是/root 属于系统盘空间有限且实例重置后不保证数据保留/root/autodl-tmp 才是数据盘。所以后面所有模型、代码、数据集我一律丢进数据盘这是第一次用 AutoDL 时最该记住的目录规则。# 确认当前目录和磁盘空间 pwd df -h /root /root/autodl-tmp这里df -h用于查看两个目录所在分区的剩余空间训练前看一眼能避免中途下载一半才意识到空间不足的尴尬。后面下载模型之前我会再执行一次这个命令确认数据盘剩余空间在 20GB 以上再开始拉模型。3. 模型与框架准备hf-mirror下载模型、LLaMA-Factory安装与命令入口梳理3.1 用 hf-mirror 下载 Qwen2.5-7B-Instructgit lfs 是关键预训练模型从 HuggingFace 下载但国内直连速度不稳定正文推荐的做法是走 hf-mirror 镜像。这不是什么玄学操作就是用一个在国内可直连的镜像站替换 huggingface.co 的地址git clone 的行为完全一致。cd /root/autodl-tmp git lfs install git clone https://hf-mirror.com/Qwen/Qwen2.5-7B-Instruct命令里的git lfs install是必做的一步Qwen2.5-7B-Instruct 的权重文件单个就有十几个 GB属于 Git LFSLarge File Storage管理的超大文件不先启用 LFS 扩展clone 下来的会是一堆几百字节的指针文件而不是真正的权重。安装完 LFS 之后继续执行 clone耐心等待这个下载过程取决于网络环境十几分钟到半小时都算正常。下载完成的判断标准不只是命令行退出还要看目录里是否存在model.safetensors或pytorch_model.bin索引文件。下载完成后进入目录并把.git目录删掉这一步很多人会忽略。cd Qwen2.5-7B-Instruct rm -rf .git为什么删.git因为 LFS 的仓库元数据和对象缓存会额外占用大量数据盘空间删除后只保留模型权重文件本身对后续使用没有任何影响。我习惯删完再看一眼目录大小确认du -sh显示的是实际体积而不是含历史记录的体积。3.2 LLaMA-Factory 安装conda 虚拟环境隔离依赖LLaMA-Factory 是目前微调社区里流程最完整的开源框架把数据准备、LoRA 训练、推理对话、模型合并都统一到了一套命令里。安装步骤很固定我直接按下面的顺序执行git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama_factory python3.10 conda activate llama_factory cd LLaMA-Factory pip install -e .[torch,metrics]conda create -n llama_factory python3.10创建一个独立的 Python 3.10 环境避免和系统自带的 Python 版本冲突conda activate llama_factory激活它后续所有操作都要保证在当前虚拟环境下执行。pip install -e .[torch,metrics]里的-e是开发模式安装意思是直接把当前目录的源码链接进 Python 包路径之后修改源码不用重新安装[torch,metrics]是 extra dependenciestorch 提供训练后端metrics 提供评估指标计算。这一步安装时间比较长十几分钟很正常看到成功提示后可以用pip list | grep torch快速验证 torch 是否就位。3.3 llamafactory-cli 命令入口一次搞清 train、chat、export、webuiLLaMA-Factory 所有功能都收敛到llamafactory-cli这一个命令上通过不同的子命令参数切换功能。我第一次用的时候就踩了混淆的坑把 webchat 和 webui 当成了一回事实际上它们动作不同、界面也不同。下面这张表是我后来整理常用的动作参数作用说明什么时候用train命令行版本训练适合脚本化批量跑需要定时任务或批量调参时chat命令行版本推理验证训练效果不想开页面快速问一句话试试export模型合并和导出把 LoRA 适配层写回原模型训练完需要部署完整模型时api启动 API server供接口调用接业务系统、做推理服务时eval用 MMLU 等标准数据集做评测需要对比微调前后效果时webchat前端页面纯推理只有对话界面只做推理不做训练时webuiLlamaBoard 前端页面含训练、预测、对话、合并可视化微调主入口启动 LlamaBoard 的命令是llamafactory-cli webui。注意如果用的是 VSCode Remote-SSH本地会自动做端口转发浏览器里直接访问提示的地址即可如果用 FinalShell 这类 SSH 客户端就需要到 AutoDL 控制台的自定义服务里手动开放对应端口。llamafactory-cli webui命令行长时间占用时建议配合tmux或screen使用否则 SSH 连接断开会连带把前端进程也杀了这是个很容易忽略的实际问题。4. 可视化微调实操LlamaBoard界面参数拆解、数据集配置与显存监控4.1 LlamaBoard 界面参数逐项说明从模型路径到 LoRA 配置LlamaBoard 启动成功后浏览器会打开一个配置页面看起来控件很多但真正需要逐个确认的就那么几项。①语言切换默认英文可以切到中文减少阅读负担。②模型名称选择输入 Qwen2-7B-Instruct 或 Qwen2-7B-Chat 都可以被识别这里需要注意界面上显示的名称和下载的目录不一定完全一致不影响本质。③本地模型全路径即第 2 章下载的位置填/root/autodl-tmp/Qwen2.5-7B-Instruct。④微调方式默认是 lora这个选项的意思是在原模型旁路挂一个低秩适配矩阵只训练适配层原始权重保持冻结。⑤检查点路径是每次训练生成的 LoRA 权重存放位置初次训练时为空训练一轮就会多出一个检查点。这里的关键认知是一个检查点加原始模型才等于本次微调的结果模型检查点本身不是完整模型导出部署时要用合并功能把适配层写回原模型。⑥数据集选择框里列出的是 data 目录下已注册的数据集可以多选。⑦选中某个数据集后点预览能看数据格式我习惯先预览再训练防止格式错了白跑一轮。⑧训练轮次默认是 20这是完整遍历数据集的次数具体设多少取决于数据量大小数据量大时 2~3 轮就够数据量小可以适当增加后面可以根据 loss 曲线调整。4.2 训练集设置添加自定义数据集与 c4_demo.json 的配置方法LLaMA-Factory 下载到本地后data目录里自带了一些示例数据集可以直接在界面里选中使用。如果要训练自己的数据需要把数据集文件放进/root/autodl-tmp/LLaMA-Factory/data目录然后打开同目录下的dataset_info.json注册。正文里提到的 c4_demo.json 是官方自带的一个示例配置入口实际操作中要按自己的文件名和格式做对应的添加配置。{ my_dataset: { file_name: my_dataset.json, formatting: alpaca, columns: { prompt: instruction, query: input, response: output } } }代码块是常见的登记写法file_name对应实际文件名formatting是数据格式alpaca 是最通用的 instruction-input-output 三段式结构。如果数据集没有 input 字段可以在 columns 里省略 query 映射。不同数据集格式alpaca、sharegpt、openai 等添加配置的方法不一样以官方文档为准但核心思路都是数据文件放到位、在 dataset_info.json 里登记、界面里选中。一个我反复强调的习惯换数据集之后一定要先点预览确认字段映射正确再启动训练。预览能直接看到模型收到的 prompt 实际长什么样比训练时报错再回头查要快得多。4.3 启动训练点击顺序与显存监控手段所有参数设置好之后按标注顺序依次点击界面按钮等待训练启动。启动的瞬间会有一段加载时间不要反复点击容易造成重复任务。训练开始后最需要关注的是显存占用情况显存如果不够会在几秒内直接报错不需要等到第一个 epoch 跑完。# 显示一次当前 GPU 占用情况 nvidia-smi # 每秒刷新一次并显示 nvidia-smi -l # watch 命令每 5 秒刷新一次推荐 watch -n 5 nvidia-sminvidia-smi是 NVIDIA 官方显存查看工具第一行会显示当前 GPU 型号中间表格显示显存使用量和温度。-l参数是持续刷新模式watch -n 5 nvidia-smi则是每 5 秒调用一次界面更清晰是我不论在哪个训练场景都会优先用的命令。观察指标主要是Memory-Usage 是否接近 24GB 上限、温度是否持续超过 85 度。如果显存长时间打满且温度过高说明 batch size 或序列长度设置偏激进。训练过程中 LlamaBoard 界面会实时显示 loss 曲线我一般每 5~10 分钟看一次重点关注 loss 是否出现明显下降趋势。如果前几十个 step 的 loss 完全不动大概率是学习率设置问题或数据格式有问题先停下来排查不要干等。5. 避坑与常见问题微调实战中的五个翻车记录5.1 模型下载中途报 no space left数据盘空间不足现象git clone 执行到一半卡住终端报No space left on device检查后发现磁盘满了。原因执行 clone 时没有先进入数据盘模型写到了系统盘 /root 上系统盘空间有限7B 模型二十多 GB 的体积直接把它撑爆了。解决先cd /root/autodl-tmp再执行 clone管理好即将占用的空间。下载完成后立即rm -rf .git清理 LFS 缓存。从那以后我每次下载任何大文件之前都会先执行df -h确认目标分区剩余空间这个习惯救了我好几次。5.2 训练刚点开始就报 KeyError数据集格式不匹配现象界面上点击开始训练几秒钟内报错提示类似KeyError: instruction训练直接终止。原因数据集格式与注册配置不匹配。常见的是数据文件里明明没有 input 字段dataset_info.json 里却配置了 query 映射或者数据集是纯对话格式却按 alpaca 格式注册。解决打开数据文件看前几条数据确认实际字段名再对照 dataset_info.json 里的 columns 映射改成与数据一致的字段。改完务必用界面上的预览功能再验证一次。这个坑其实可以完全避免只花十秒钟看一眼数据就能发现问题别偷懒。5.3 LlamaBoard 页面打不开端口转发没配好现象SSH 连接正常但本地浏览器访问 LlamaBoard 地址一直转圈或直接拒绝连接。原因使用 FinalShell 等 SSH 客户端连接时没有把服务器端的 Web 端口转发到本地AutoDL 控制台也没有在自定义服务里配置端口映射。解决VSCode Remote-SSH 会自动处理转发直接用推荐地址访问FinalShell 用户则需要到 AutoDL 控制台对应实例的自定义服务里配置端口转发然后通过平台提供的访问地址打开。记住这条换了 SSH 工具就要重新确认端口转发方案不要怪平台。这个页面打不开通常不是代码问题而是网络通道问题。5.4 训练中途 OOM显存溢出时怎么压参数现象训练跑了几个 step 后突然中断日志中出现torch.cuda.OutOfMemoryError显存占用飙到 23GB 以上。原因micro train batch size 设置偏大或者最大序列长度 max_length 设置过长导致单个 step 的中间激活值撑爆显存。7B 模型即使只用 LoRA激活值占用依然可观这在没有跑过之前是估不准的。解决优先把 batch size 减半如果还不行把 max_length 从默认的 2048 降到 1024 或 512。注意 LoRA 本身已经大幅降低了显存需求如果这样还 OOM说明你用的不是 LoRA 而是全参数微调或者输入文本确实太长。实践经验是我的 4090 跑 Qwen2.5-7B-Instructbatch size 4、max_length 2048 时显存占用约 19GB给后面的训练留了缓冲。5.5 wandb 记录一直没数据配置开关没对齐现象训练正常跑loss 曲线也在界面显示但 wandb 后台里看不到任何一条记录。原因yaml 配置文件里没有添加 wandb 相关配置且 LlamaBoard 界面的启用外部记录面板开关没有打开训练过程自然没有向 wandb 服务上报数据。解决在 LLaMA-Factory 的训练配置 yaml 文件中加入report_to: wandb等配置项并在界面里勾选启用外部记录面板重启训练即可正常记录。配置完成后训练开始前wandb 会在终端里输出一个 dashboard 链接出现这个链接就说明数据上报通道已经打通了。6. 进阶技巧wandb 实验记录与模型合并导出6.1 wandb 接入把每次实验的 loss 曲线变成可对比的记录微调跑一次容易跑十次对比参数才叫实验。wandbWeights Biases是我习惯的实验记录面板注册账号后按提示安装客户端登录之后在训练启动时会自动生成一个实验链接损失曲线、学习率、显存占用都实时同步到云端页面。这样多组实验的数据可以并排对比而不是靠截图存本地。pip install wandb wandb login执行wandb login后输入 API key 即可完成认证。关键是在 LLaMA-Factory 的 yaml 配置文件里加上 wandb 相关配置项常见配置如下report_to: wandb run_name: qwen25-7b-lora-testreport_to指定日志上报目标为 wandbrun_name给本次实验起名多组实验时用不同的 run_name 才能在后台区分。同时在 LlamaBoard 界面的相应开关勾选启用外部记录面板。这样每次训练的曲线就都有了统一的归属地回头看哪个参数组合效果最好时不需要靠记忆和经验判断直接对比数据就行。6.2 导出合并后的完整模型llamafactory-cli export 用法LoRA 训练完成后生成的检查点只是适配层不能直接作为独立模型部署。要得到完整的微调模型需要用 export 功能把适配层合并回原始权重。我用命令行方式执行因为更方便写进脚本复用llamafactory-cli export \ --model_name_or_path /root/autodl-tmp/Qwen2.5-7B-Instruct \ --adapter_name_or_path /root/autodl-tmp/LLaMA-Factory/saves/Qwen2.5-7B-Instruct/lora/train_20250201 \ --export_dir /root/autodl-tmp/Qwen2.5-7B-Instruct-lora-merged \ --export_size 4 \ --export_device auto--model_name_or_path是原始模型路径--adapter_name_or_path指向训练生成的 LoRA 检查点目录--export_dir是合并后模型的输出目录--export_size 4表示按 4GB 分片保存权重方便后续上传或部署--export_device auto让程序自动选择合并设备。合并完成后到导出目录里确认存在模型权重文件和配置文件之后就可以用普通的 Transformers 推理脚本或接入 API 服务使用这个微调后的完整模型。从那以后我每次微调完都强制走一遍验证数据集格式、盯显存余量、导出合并三步确认、wandb 归档整个流程的翻车概率已经降得很低。希望这篇实战记录能帮到你少走我当年走的弯路。本文还有配套的精品资源点击获取