前面三篇我们把微调的基本概念、数据准备和模型选型都过了一遍按理说应该直接上训练代码了。但每次线下交流都有朋友卡在第一步环境跑不起来。不是缺驱动就是版本对不上要么连 Python 都装了俩版本环境变量一团乱麻。所以这一篇单独把环境搭建拿出来写而且是完完全全零基础视角——就当你在装一台从来没有训练过模型的新机器。这篇教程围绕“大模型微调”和“环境搭建”两个核心目标是让你在半小时到一个小时之间拥有一套能跑通 PyTorch 训练的最小环境。适合的操作系统包括 Windows配合 WSL和 Linux。文章不会假定你懂 CUDA也不会假定你用过 Conda所有用到的东西都会解释为什么选它、怎么验证对不对。1. 先看硬件再动手显卡是整套环境的地基1.1 为什么显卡决定了你的环境方案大模型微调和普通 Python 开发最大的区别在于你不仅需要 CPU 能跑还需要 GPU 参与计算。如果环境里没有正确可用的 NVIDIA 显卡驱动后面安装的 PyTorch 就永远只能用 CPU 版本。CPU 能跑吗能跑但体验天差地别——同样一个 7B 参数的模型用 Coffee Lake 时代的老 CPU 推理一个 token 甚至要好几秒。所以动手搭环境之前先把显卡这件事搞清楚。Windows 用户可以打开 CMD 或 PowerShell输入下面的命令看一下nvidia-smi如果提示“不是内部或外部命令”说明你还没装 NVIDIA 驱动或者驱动装得不完整。这种情况去 N 卡官网或 Windows 更新里把驱动装上就行。如果装好之后正常输出你会看到类似下面几行信息显卡型号、驱动版本Driver Version、CUDA 版本CUDA Version以及一栏当 GPU 的实时占用情况。有输出之后把注意力集中在最上面显卡型号那一行的显存大小。举个直观的例子我的机器上是 RTX 3090 24G那么半精度FP16加载一个 7B 参数的模型大约需要占用 14GB 显存如果还要做反向传播计算梯度这个数字会更高。这也是为什么很多人拿着一块 8GB 显存的卡会觉得处处受限于——你要么换更小的模型要么用高效微调方案比如 LoRA要么就在数据规模和批次大小上做妥协。没有 NVIDIA 显卡的朋友也不用立刻放弃。如果是 AMD 卡或者一台连独立显卡都没有的老笔记本你仍然可以做环境学习只是别指望跑 7B 模型。我在 2022 年用一块仅有 4GB 显存的 GTX 1650 跑过 1.5B 模型的 LoRA 微调只要把 batch size 设为 1照样能跑。硬件只是限制你的上限不阻碍你入门。1.2 显存、内存和硬盘这一组数字你得有概念大模型微调并不是只吃显存。硬盘上模型文件的体积是实打实的。拿目前使用最普遍的 7B 参数 LLaMA 架构模型举例FP16 格式的权重文件大约是 14GB 到 15GBBF16 也差不多。下载模型、准备 tokenizer、保存 checkpoint加在一起建议留出 40GB 以上的可用磁盘空间。如果你要同时尝试不同型号的模型一个 1TB 的 SSD 会让心里踏实很多。内存方面CPU 内存最好不低于 32GB。之所以提到内存是因为很多框架比如 DeepSpeed 和 bitsandbytes在 CPU 卸载优化器参数时会占用不少内存。即使只是加载一个 7B 模型来纯推理Windows 下内存占用也能到达 8GB 到 12GB。如果电脑内存只有 8GB连 Python 解释器加载原始权重都可能报内存溢出。再补充一点构建这套环境对电脑的散热也有要求。微调训练属于长时间高负载业务我用 RTX 3080 跑过 20 小时的单卡训练整机功率稳定在 400W 以上。如果你是笔记本用户物理散热跟不上训练中途就很可能出现掉驱动或者训练中断的问题——这不是代码的锅属于硬件要休息。2. 双系统还是 WSL操作系统选型为什么这么重要2.1 Windows 原生跑微调的痛很多新入行的朋友第一台电脑是 Windows 笔记本这本没什么好责怪的。但必须坦诚地讲Windows 原生环境跑大模型微调会碰到一系列挺折磨人的问题。比如 bitsandbytes 这个库在 Windows 上常年存在编译困难比如各种依赖库在 Windows 上预编译的 wheel 不全再比如 mingw 的 GCC 时而不可用。你会发现自己把大量时间花在让一个底层 C 库编译通过上而不是花在研究模型本身。Windows 上新推出的设备尤其是 Surface 系列或 AMD 核显轻薄本还有一个锐龙特有的坑——PyTorch 官方在 Windows 端并没有把 ROCmAMD 显卡的计算底座支持做到和 Linux 一样完善。那怎么办最合理、且已经被验证过无数次的办法是直接拥抱 WSL 2。WSL全称是 Windows Subsystem for Linux它的含义并不是虚拟机而是一层在 Windows 内运行的完整 Linux 内核。你在 Windows 里装一个 Ubuntu然后在 Ubuntu 的终端里跑 Linux 版本的 PyTorch几乎所有的网络教程、样板代码都能直接照搬。Windows 10 22H2 及以上版本打开命令行输入一次即可wsl --install --distribution Ubuntu-22.04装完重启按提示设置一个 Unix 用户名和密码。整个过程大约 10 分钟。进入 Ubuntu 之后你拥有一个干净的 Linux 环境有原生的 bash、GCC、Python、glibc大模型微调的学习体验瞬间轻松很多。2.2 为什么选择 Miniconda 而不是 Anaconda进入 Linux 环境之后配置 Python 首推的是用 Miniconda 而不是 Anaconda。Anaconda 预装了几百个科学计算包体积动辄几个 GB但真正训练时 90% 的包你根本不会用到。Miniconda 是精简版只保留 conda 这一个包管理器本身安装包只有几十 MB使用时完全够用。有人会问为什么不用系统自带的 pip venv这里我的经验是conda 适合统一管理 CUDA 相关依赖而 Python 的 venv 在切换不同深度学习项目时容易混乱。举个例子我用一个 RTX 3090 机器同时维护着 4 个项目一个用 PyTorch 1.13一个用 PyTorch 2.1一个用 TensorFlow还有一个用 JAX。要是全放在一个环境里它们之间版本冲突能把人逼疯。conda 的好处在于每个环境相互隔离想要哪个版本就开哪个环境就像在电脑上开不同的用户账号。安装步骤进入 Linux 终端后三条命令搞定wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh source ~/.bashrc注意国内网络环境下 Anaconda 官网可能下载缓慢。如果遇到这个情况可以考虑从清华大学的镜像源下载。安装完成后运行conda --version显示 conda 版本号就代表成功了。2.3 Python 版本选 3.10 还是 3.12不少新手一上来就装最新版 Python 3.12结果第二天就发现某些库还在编译期报错信息牛头不对马嘴。从我的实际经验看PyTorch 生态和 Transformers 生态目前对 Python 3.10 和 3.11 的支持最稳妥。3.12 对 einsum、torch.compile 等特性的支持还做不到那么全面另有一些 C 扩展如 flash-attention 在 3.12 上需要额外编译。因此如果你不是非要尝鲜建议直接建一个 Python 3.10 的环境。我目前的主力环境就是 3.10.12。等到将来生态完善了再平滑迁移不迟。重要的是在创建环境时记得指定版本而不是默认安装最新版conda create -n llm python3.10 -y conda activate llm3. 核心实操从驱动检查到 PyTorch 装上能用 GPU3.1 检查 NVIDIA 驱动和 CUDA 的一个关键误区这里必须强调一个高频误区。用nvidia-smi查看时右上角显示了一个 CUDA Version但这行字代表的是“当前驱动最高支持的 CUDA 版本”并不代表你的电脑里已经装了那个版本的 CUDA Toolkit。我发现很多人看到写着 CUDA 12.4就以为万事俱备结果跑 PyTorch 时还是提示找不到 CUDA就是这个原因。驱动是驱动CUDA 是 CUDA。驱动的层次更底层负责连接操作系统和 GPU 硬件CUDA Toolkit 是让 PyTorch 这类框架能调用 GPU 做并行计算的库。好消息是我们做 PyTorch 开发时并不需要单独完整安装 CUDA Toolkit因为 PyTorch 的 pip 安装包中已经内嵌了自己需要的 CUDA runtime 组件。你只需要确保安装的 PyTorch 版本对应 CUDA 算子的编译版本和驱动支持的能力范围兼容就行。那什么时候必须装完整 CUDA Toolkit只有需要从源码编译 flash-attention 这类扩展或者写 CUDA kernel 时才需要考虑。对普通零基础微调来说跳过它没有问题。检查驱动到位与否ls /usr/local/ | grep cuda如果没有任何输出说明根本没有装过独立 CUDA但我们也不需要它。只需确认nvidia-smi能看到显卡驱动版本足够新就继续往下走。3.2 安装 PyTorch选择 index-url 和 cu 版本号PyTorch 官方提供了一套智能的安装指引在官网首页选择你的环境即可拿到对应的命令。但是直接运行默认命令你会装上一个 CUDA 12.1 或 12.4 的版本如果你驱动较旧可能不匹配。更稳妥的办法是先去 NVIDIA 官网对比驱动版本和 CUDA 版本对应关系再决定。下面是两种典型场景如果你拿到一台相对新一点的机器驱动版本是 555.42 及以上建议直接用支持 CUDA 12.4 的编译版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124如果你用的老显卡或者驱动版本在 515 附近可以用 CUDA 11.8 的编译版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118执行之前建议先激活刚才建的 conda 环境。装完后别急着继续先用一行 Python 代码验证 GPU 是否能被 PyTorch 正确识别。这是整个环境搭建中最不能跳过的一步import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果第二行输出 True第三行输出你的显卡型号说明 GPU 环境已经通了。如果输出 False大概率是 PyTorch 版本和驱动不匹配换一个 CUDA 编译版本再试。3.3 安装零基础微调要用的核心依赖PyTorch 只是底座。真正做微调还需要处理数据集、定义模型、管理训练循环。目前主流的一套近乎固定的组合是 Transformers Datasets PEFT Accelerate bitsandbytes。简单说下各自分工TransformersHugging Face 提供的模型加载、tokenizer、训练入口 API最核心的库Datasets统一处理数据集格式的库加载 JSON、CSV、parquet 都很方便PEFT参数高效微调库例如 LoRA 就靠它实现Accelerate简化多 GPU 训练和混合精度训练的框架bitsandbytes提供 8-bit 优化器和量化功能适合显存有限的场景。安装命令pip install transformers datasets peft accelerate bitsandbytes我这边的经验是不要盲目追最新版。假设今天是 2025 年你安装的这些库最新版本整体可用但偶尔会遇到 transformers 和 tokenizers 版本不同步导致冲突。建议安装时带上合理的下限约束pip install transformers4.44,5 datasets2.19 peft0.11 accelerate0.30装完后可以写一个最小测试加载一个 mini 模型跑一遍前向from transformers import AutoModelForCausalLM, AutoTokenizer model_name sshleifer/tiny-gpt2 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name) inputs tokenizer(你好大模型, return_tensorspt) outputs model(**inputs) print(outputs.logits.shape)不用在意模型大小tiny-gpt2 只有巴掌大。如果这段代码顺利跑完说明你的环境已经从“能装”到了“能用”的阶段。很多朋友在这一步会因为网络问题扣了时间后面我专门讲。4. 一条龙实操从空白机到跑通一次最小微调4.1 完整命令清单照着做就行的版本这里给一份我习惯用的完整命令序列适用于一台刚装好 Ubuntu 22.04 的机器。如果你用的 WSL同样适用。每一步后面注明它在做什么防止你失去上下文。# 1. 更新系统软件包 sudo apt update sudo apt upgrade -y # 2. 安装编译工具有些库的源码安装需要 gcc sudo apt install build-essential curl git -y # 3. 安装 Miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b source ~/.bashrc # 4. 创建并激活虚拟环境 conda create -n llm python3.10 -y conda activate llm # 5. 安装 PyTorch 带 CUDA 12.4 支持 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124 # 6. 安装微调依赖 pip install transformers datasets peft accelerate bitsandbytes # 7. 验证 GPU 与核心库 python -c import torch; print(cuda:, torch.cuda.is_available()); print(torch.__version__)完成这些步骤之后你的机器已经具备了最基本的大模型微调能力。为了避免“看着命令跑完但心里没底”的情况再补充一个更有现实意义的验证手段。4.2 用多轮小模型微调验证整套链路环境搭建的终极验证不是打印一行版本号而是完整地跑一次微调循环。这里我写一个最短的 LoRA 微调脚本用于验证 transformers 和 peft 能否协同工作同时不耗太多资源。选用的模型是 Qwen2.5-0.5B-Instruct0.5B 参数约 1GB这是一个 CPU 都能跑动的模型4GB 显存也没问题。先准备一小段训练数据格式是最简洁的对话式[ {instruction: 中国的首都是哪里, output: 北京}, {instruction: 11等于几, output: 2}, {instruction: Python中如何打印信息, output: print(hello)} ]保存为 train.json。然后写训练脚本import json from transformers import AutoModelForCausalLM, AutoTokenizer from peft import LoraConfig, get_peft_model from datasets import Dataset from transformers import TrainingArguments, Trainer model_name Qwen/Qwen2.5-0.5B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) tokenizer.pad_token tokenizer.eos_token data json.load(open(train.json)) texts [f问{x[instruction]}\n答{x[output]} for x in data] tokenized tokenizer(texts, paddingTrue, truncationTrue, max_length256, return_tensorspt) ds Dataset.from_dict({ input_ids: tokenized[input_ids], attention_mask: tokenized[attention_mask], labels: tokenized[input_ids].clone(), }) lora_config LoraConfig( r8, lora_alpha16, target_modules[q_proj, k_proj, v_proj, o_proj], lora_dropout0.05, ) model AutoModelForCausalLM.from_pretrained(model_name) model get_peft_model(model, lora_config) args TrainingArguments( output_dir./minimal-checkpoint, per_device_train_batch_size1, num_train_epochs3, logging_steps5, save_strategyno, report_to[], ) trainer Trainer(modelmodel, argsargs, train_datasetds) trainer.train()在这个脚本里有几个细节值得注意target_modules指定的 q_proj/k_proj/v_proj/o_proj 是 Qwen2.5 架构中典型的 LoRA 作用模块这是参考 Qwen 官方微调示例得到的结论save_strategyno省去 checkpoint 写入避免磁盘占用report_to[]防止 Trainer 尝试连接 WandB 导致意外报错。这些都跑通就说明你的环境不是“能导入包”而是“能完成一次完整的训练闭环”。执行训练python train_lora.py如果看到进度条走动、loss 数字下降恭喜你你已经完成了人生第一次大模型微调。3 轮跑完大约只需要几分钟。此时环境搭建这件事可以正式打勾了。5. 常见报错与排查技巧实录5.1 环境搭建常见问题速查表在这个阶段大约 80% 的问题都是固定套路。我整理了一个速查表基本覆盖了零基础读者最常遇到的情况。现象原因排查与解决nvidia-smi提示未找到命令驱动没装或者 PATH 没配置装驱动若在 WSL 中共享了 Windows 驱动尝试export PATH$PATH:/usr/lib/wsl/libPython 中torch.cuda.is_available()为 FalsePyTorch 装成 CPU 版卸载后按--index-url指定 cu 版本重装安装 PyTorch 时速度极慢官方源在国外用--index-url的同时可以将--proxy-host指向国内镜像但不建议修改全量 pip 源conda 创建环境时 network 报错conda 默认源响应不稳定换清华、阿里 conda 镜像然后再次创建Transformers 加载模型提示OSError: Cant load tokenizer模型没有正确传 tokenizer 名称检查模型仓库名确认是官方且有 tokenizer_config.json训练刚启动即报 OOMout of memorybatch size 太大或模型加载没做优化调小 batch sizemodel model.to(cuda)使用torch.cuda.empty_cache()清理缓存反复出现CUDA out of memory但代码没变同类进程残留占了显存用nvidia-smi查看进程kill -9 PID清理僵尸进程训练脚本运行时报 bitsandbytes 加载错误最初装了不兼容版本pip uninstall bitsandbytes -y; pip install bitsandbytes -w或直接降到 0.43.1 再测试报错ImportError: cannot import name extract_commit_hashtransformers 版本混杂清理升级pip install --upgrade transformers这张表并不是随便列举。每一个条目都来自我亲身踩过的坑或者带新人时反复遇到的高频问题。其中 bitsandbytes 在 WSL / Windows 下的表现尤其特殊许多无解的问题最终方案都是退回老版本。5.2 几个值得单独说透的细节关于环境搭建有几句节点性的体会想分享给大家。第一个是“版本一致性”思维。绝不要“凭印象”装库也绝不要用全局 Python 当实验环境。我以前吃过亏笔记本上既有 Python 3.8 又有 3.10pip 3.10 装了 PyTorch代码却用 python3 指向了 3.8 去跑结果报了一堆莫名其妙的错。后来养成习惯——所有深度学习工作一律先进 conda 环境再往前走。进入环境后执行which python确认路径往往能瞬间定位很多问题。第二个是内存管理和 swap。微调时若出现“系统卡住不动”但 CPU 占用不太高可以检查内存是否被吃满。方法是在nvidia-smi之外执行free -h。如果内存压力大千万别急着加训练数据先考虑为 Linux 配置大小合理的 swap 文件保证系统不会因为瞬时内存高峰 OOM。第三个是关于模型下载的网络问题。下载 Hugging Face 模型时国内直连经常断断续续。这里给一个比较通用的思路设置环境变量export HF_ENDPOINThttps://hf-mirror.com随后再执行 Python 脚本模型就会从镜像站拉取。实测下来对于 Transformers 库的下载很有用。5.3 踩坑复盘我第一次搭环境的真实经历我自己的环境搭建过程远没有教程里这么顺畅而且是在 Windows 下一个坑接一个坑踩过去的。第一台训练机器装的是 Windows 10 Anaconda。当时的操作顺序是先安装 Anaconda、后装 NVIDIA 驱动、再装 PyTorch。看起来顺序正常但训练第一天就出了问题——报错信息指向 CUDA 版本冲突。后来我花了整整一个晚上排查最后发现两个根源变量交织在一块一是 Anaconda 里预装的 numpy 版本和 PyTorch 1.13 不兼容二是nvidia-smi显示的驱动版本虽然支持 CUDA 11.8但我用 pip 装的是 CUDA 12.0 编译的 PyTorch。这个经历给我一个惨痛教训环境搭建不是“装好新东西就行”而是“新旧配对正确才行”。之后我再也不追求“哪个版本最新装哪个”而是先找一个经过大量验证的组合再一步步往上调。也正是因为这次经历我现在面对所有新环境第一反应都是先固定以下三样东西再讨论其他操作系统语言与版本Ubuntu 22.04 / Windows 11 WSLPython 版本3.10.xPyTorch 编译版本cu118 或 cu124 之一。只要这三样确定其他包版本再变环境也不会彻底崩盘。6. 环境搭建的收尾检查与后续扩展建议6.1 给自己留一张“环境自检清单”为了让环境问题不再反复建议你在环境搭好之后手动生成一份自己的自检清单。把下面这些命令保存到一个checkenv.sh脚本中以后每次遇到奇怪问题先跑一遍能省下大量时间#!/bin/bash echo 1. Python 版本 python --version echo 2. PyTorch 版本 python -c import torch; print(torch.__version__) echo 3. CUDA 可用性 python -c import torch; print(cuda available:, torch.cuda.is_available()) echo 4. GPU 型号 python -c import torch; print(torch.cuda.get_device_name(0)) echo 5. 显存使用情况 nvidia-smi --query-gpumemory.used,memory.total --formatcsv这份清单我几乎每次换工作机都会用。它能快速判断是环境问题还是代码问题。如果你跑完发现 CUDA 可用但训练还是慢那问题往往出在矩阵运算或数据加载上而不是环境上。6.2 下一步还能做什么显存不够时的三个扩展方向环境搭好之后很多人紧接着问我想微调一个更大的模型但只有 16GB 显存怎么办三个方向的思路供参考。第一个方向是量化。典型组合是bitsandbytes的 4-bit 量化加载模型时传入load_in_4bitTrue。7B 模型 4-bit 后约需 4GB 显存加上少量推理上下文16GB 卡能跑推理甚至轻量微调没问题。第二个方向是参数高效微调也就是 LoRA 及其变体 QLoRA。它们的核心思路是冻结原模型权重只训练一小部分可插拔的旁路矩阵。这套技术目前已经是消费级显卡微调 7B 模型的事实标准。我在第 3 节中演示的训练脚本就是最小化的 LoRA 示例。你只需要把模型从 0.5B 换成更大的并且把训练脚本中的target_modules按你模型的实际名称进行调整即可在显存允许范围内尝试更大的模型。第三个方向是梯度累积和混合精度。这属于 CPU/显存层面的策略优化混合精度把计算类型从 FP32 降到 BF16能减少一半的显存占用梯度累积把多个 batch 的梯度先存入内存再统一更新能显著降低峰值显存。拿预算有限的玩家举例一张 8GB 的卡配合梯度累积和 4-bit 量化也能把 7B 模型的一次最小微调跑下来——只是时间上会久一点我和圈子里的朋友都验证过这种组合。6.3 关于“环境永远不坏”的小技巧最后补一个实用小技巧让环境保持稳定关键之一是把环境导出成配置文件。每次搭好一个能用的环境我建议立刻执行conda env export llm_env.yaml以后在任何新机器上只需要执行conda env create -f llm_env.yaml就能复现一套完全一致的 Python 环境。这种做法听起来简单但真的能在三个月后帮你省掉一整个晚上。另外不建议一上来就学 Docker 镜像打包环境。对入门阶段来说过于复杂等你在同一台机器上要跑两套互相冲突的环境时再引入 Docker 也不迟。从这一路走来我自己的感触是环境搭建是微调学习中最枯燥、最没有“成就感”的一环却是所有后续实验的地基。地基如果只用了“尽量能跑”的标准来打后面楼越高越容易返工。严格按照这套流程走一遍你的工作台就真正具备了做大模型微调的基础——“零基础”这三个字从这篇教程开始就不再是门槛了。