这两年AI圈最不缺的就是各种热词但我留意到一个挺有意思的搜索趋势——《build a reasoning model from scratch》、AI Engineering from scratch。越来越多的人不满足于调API、套框架而是想亲手把模型从零搭一遍。甚至有朋友跑来问我现在开源模型一堆为什么要自己从零折腾我入这行快十年从传统机器学习一路做到大模型训练和推理工程我的答案很明确从零构建一次AI工程不是为了证明自己能造轮子而是要把黑盒打开。数据怎么清洗、词表怎么切、模型为什么梯度爆掉、loss为什么震荡、推理时为什么总是复读——只有亲手踩过这些坑你才真正有底气说一句我懂AI工程。这篇文章我把自己做从零AI工程的完整思路、实操流程和踩坑记录整理出来适合想深入理解Transformer训练机制、准备做推理模型微调/从零预训练、或者单纯想搞懂AI背后工程细节的读者没有数学基础也能读懂大部分内容。1. 整体设计从零开始到底在造什么1.1 从零构建不等于重复造轮子先说个容易劝退的问题自己从零干究竟图什么现在HuggingFace上随便一个开源模型都比我本地能训练出来的强对吧从实用主义角度确实如此。但从学习和技术掌控角度我建议你把从零构建拆成两个层次来看模型层从零从随机初始化参数开始自己设计词表、自己写Transformer、自己跑预训练/后训练。这条路的上限极低、成本极高训练一百小时可能只达到GPT-2入门水平。但它的价值在于把神经网络如何学习语言这件事彻底讲明白了。工程管线从零不依赖一键脚本而是自己搭数据管道、训练框架、评估闭环、推理服务。这条路的实用价值非常高哪怕最终训练的是开源模型底座这套工程能力也是通用资产。我做这个项目时按下述思路规划小模型完全从零预训练用来验证原理同时把从零搭建的训练/评估/推理管线直接复用到更大型号上做微调。这样既避免了纯造轮子被性价比劝退又拿到了完整的工程掌控力。1.2 推理能力从哪来思维链不是玄学搜索热词里频繁出现 build a reasoning model from scratch为什么大家突然对推理模型这么感兴趣因为从2024年开始行业发现一个规律模型的聪明程度不只取决于模型大小还取决于它思考的时间。传统模型像脱口秀演员看到问题直接给答案快但容易出错。而推理模型在输出答案之前会先内部生成一段思考过程——把问题拆解、试错、验证最后才给出结论。这套机制在论文里的名字是思维链Chain of Thought工程上实现它有两种主流方式数据方式在训练数据里加入大量包含分步推理过程的样本让模型模仿这种思考方式。磁力数据不需要多豪华但格式要统一。RL方式让模型自己生成多条推理路径用结果是否正确的奖励信号强化/惩罚路径。这是DeepSeek-R1类模型的核心手段训练成本很高但泛化能力更强。我在从零项目里用的就是第一种因为它实现简单且能直观看到模型学会推理这件事发生在哪个阶段。1.3 方案选型微调底座还是完全预训练很多人在动手前卡在了方案选型上。我直接给结论维度从零预训练小模型本项目微调开源底座生产力路线硬件需求单张消费级显卡8-16G显存即可显存越大越好最好多卡时间成本几十小时到几天几小时到几天可控性完全可控每个细节都清楚受制于底座能力边界学习价值极高适合理解原理中等偏重工程经验生产可用性低高我这种曲线救国打法对你个人的成长收益更大先在500M甚至70M参数的微型模型上把整个流程跑通再带着为什么不这样设计的直觉去微调大模型遇到问题时的排查速度完全不一样。2. 数据准备先喂对再喂饱2.1 数据质量优先于数据规模把AI模型比作一个人的话预训练阶段是塑造常识后训练阶段是塑造性格。而这个常识和性格很大程度由训练数据决定。第一次做从零项目时我的直觉是多找点数据结果甩进去好几个G的网页文本模型训练出来语义不清、语法混乱说三句就开始重复。事后排查才发现数据里有大量重复段落、乱码、纯数字表格。后面我强制给自己上了一条规则训练数据先小后大先能过质量关再谈数量关。清洗数据这里有几个动作是真正实操中在产出按文档频率做全局去重删除大量重复出现的段落比如网络上的热门段子、SEO垃圾站内容。清洗超长无空格字符串、表情符过滤文档中超过80%是数字或标点的行。如果是中文数据要单独处理统一简繁体、用规则识别并删除源码片段一堆代码会让模型学到奇怪的循环结构。最后做一遍困惑度筛选用一个小型参考模型打分把不像人类写的数据剔除。这一轮完成之后如果你的训练数据量只剩原来一半不用心疼这很正常。喂模型不需要实惠量大需要干净营养。2.2 构造推理样本思维链怎么写进训练集从零构建推理模型时样本质量比样本数量更容易决定成败。我用的最小可行格式长这样问题一个笼子里有鸡和兔共35个头、94只脚。问鸡和兔各有多少只 思考过程 假设35只全是鸡那么脚数应该是 35×270 只。 实际脚数94只比假设多了 94-7024 只。 每把一只鸡换成一只兔头数不变脚数增加2只。 需要换 24÷212 只即兔有12只鸡有 35-1223 只。 答案鸡23只兔12只。这种数据教给模型的核心不是数学而是一种先分解再计算的路径。我建议你至少准备2000条这种带思维链的样本内容不要局限于数学还可以写代码解释、逻辑判断题、常识推理题领域越杂越好。把思维链写进样本时注意两点思考过程不要跳步。一旦跳步模型就学会用直觉拼凑答案而不是走完整推理链路。答案必须是确定性的一个样本只对应一个标准答案。如果样本答案模棱两可模型会学着两头堵这是灾难。2.3 tokenizer把文本切成模型能消化的单位很多人做从零模型最容易忽略的一步tokenizer。模型看不懂字只看得懂数字。tokenizer就是把文本切成一串数字ID本质是字/词/子词 → 索引的映射字典。最常见的算法是BPE字节对编码思路很朴素从单字节开始统计文本中最常出现的相邻字符对把它们合并成一个新token反复迭代。比如机器学习会被拆成[机, 器, 学, 习]合并之后变成[机器, 学习]再合并可能变成[机器学习]词汇表就这样一步步长出来。实操时不必自己写BPE直接复用一个现成实现就行但有两个参数需要自己定词表大小vocab_size我习惯设在8000~16000之间。模型越小词表越不要贪大否则embedding矩阵占大部分参数量纯属浪费。特殊token|pad|填充、|endoftext|文档分隔、|human|和|assistant|后训练用都要在词表里预留位置并且永不出现在文本切分结果中。Tokenizer的训练数据要和模型训练数据保持一致它只负责分词不出词义词义由后面的神经网络负责学习。3. 模型与训练实操核心环节逐段拆3.1 选一个 decoder-only 的迷你 backbone模型架构选择上我的建议是最少花哨的decoder-only Transformer这已经是行业验证过的标准答案。为什么要选它因为它是因果语言模型天然适配给定上文预测下一个token的训练目标。推理模型本质上还是语言模型只是数据里多了思维链。先训好说话能力再训思考能力这是最平滑的路径。开源生态完善相关库直接可用排查问题时容易找到资料。我的迷你版配置单大致是这样# config.py model_config { vocab_size: 12000, # 词表大小 max_seq_len: 512, # 最大序列长度 hidden_size: 384, # 隐藏层维度 num_layers: 8, # 层数 num_heads: 8, # 多头注意力头数 dropout: 0.1, # 正则化 activation: gelu, # 激活函数 }这个配置的参数量大概在70M~100M之间单张家用显卡就能训练跑一轮验证迭代也就几分钟非常适合作为调试起点。如果你的显卡性能更好可以再把hidden_size提到512、层数提到12收益依然正向。3.2 位置编码模型知道词的先后顺序吗Transformer本身不像RNN天然有顺序信息所以必须给每个token注入位置信息。我重点说下旋转位置编码RoPE理由是它是Llama和Mistral都在用的方案行业验证充分。它对长序列外推更好——训练时序列512tokens预测时可以外推到1024tokens效果优于绝对位置编码。实现不复杂在attention计算前给Q和K矩阵做一次旋转变换就行。用代码理解import torch import math def apply_rope(q, k, seq_len, head_dim, theta10000.0): # 生成频率 inv_freq 1.0 / (theta ** (torch.arange(0, head_dim, 2).float() / head_dim)) # 生成位置索引 pos torch.arange(seq_len, dtypetorch.float32, deviceq.device) freq torch.einsum(i,j-ij, pos, inv_freq) # [seq_len, head_dim/2] # 构造旋转角度奇偶对用同一角度 angles torch.cat([freq, freq], dim-1) # [seq_len, head_dim] cos angles.cos() sin angles.sin() # 对q/k做旋转 q1 torch.stack([q[..., ::2], q[..., 1::2]], dim-1).reshape(q.shape) # 简化写法用复平面旋转实现 q_complex torch.view_as_complex(q.reshape(*q.shape[:-1], -1, 2)) freq_complex torch.view_as_complex(freq.unsqueeze(0)) q_rot torch.view_as_real(q_complex * freq_complex).reshape(q.shape) k_rot torch.view_as_real(torch.view_as_complex(k.reshape(*k.shape[:-1], -1, 2)) * freq_complex).reshape(k.shape) return q_rot, k_rot这个代码是手写理解版实际生产中可以直接用库里的现成实现。重点是理解RoPE的本质它让位置差异变成一个可微的旋转角度使得相对位置信息被直接编码进注意力分数里。3.3 训练循环与超参数一份可以直接抄的配置模型和数据就位之后真正费心的是训练超参数。我试过几十组配置最后稳定产出的组合是超参数推荐值说明优化器AdamW带权重衰减的Adam配合loss收敛更稳beta1 / beta20.9 / 0.95Adam动量参数PyTorch默认即可微调学习率峰值3e-4预训练/ 1e-5SFT微调预训练可略高微调必须低调度器warmup 10% cosine退火前10%步数梯度更新用于稳定启动batch_size32 ~ 64小模型batch可以略微激进梯度累积根据显存调整等价增大batch_size权重衰减0.1对embedding和norm层一般不加梯度裁剪1.0防止梯度范数爆炸混合精度fp16 GradScaler显存直接减半速度翻倍训练循环骨架我用PyTorch写的话长这样for step, batch in enumerate(train_loader): input_ids batch[input_ids].to(device) labels batch[labels].to(device) with torch.autocast(device_typecuda, dtypetorch.float16): logits model(input_ids, labelslabels) loss logits.loss optimizer.zero_grad() scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) scaler.step(optimizer) scaler.update() lr_scheduler.step() if step % 100 0: writer.add_scalar(loss, loss.item(), global_stepstep)别小看这几个细节warmup不能省。刚开始训练时模型的参数分布和真实分布差距极大学习率给大了容易直接把loss打磨到坏点回不来。梯度裁剪务必加。Transformer在小batch下很容易出现梯度尖峰裁剪1.0就能稳定住。embedding层不加权重衰减因为embedding就是查表正则化反而会让它失去表达能力。3.4 日志、评测与断点续训工程化的底气训练日志一定要记录完整这不是为了好看是为了事后排查。我每次训练都记录四样东西step步数、loss、lr、grad_norm这四个是最基础的状态量。每个epoch的验证集loss用于判断是否过拟合。每500步做一次free text generation输入法国的首都是看它能不能接出巴黎这个能直观感受模型进度。每1000步存一次checkpoint包括优化器状态。说到checkpoint两个容易踩坑的地方提醒一下只存模型权重可能让你之前的学习率进度白费。续训时优化器状态必须一起存否则Adam的二阶动量丢失学习率调度重头开始会有很长一段假进度。模型命名里一定要带step数。我遇到过训练到8000步时发现6000步的checkpoint最好如果没有step标记那个版本早被覆盖了。老生常谈但重要保存checkpoint的磁盘要留足空间我见过因为磁盘满了、模型直接崩溃的例子训练几千步白费的那种痛体验一次就能记一辈子。4. 评估与踩坑实录把会聊天变成会推理4.1 loss居高不下先排查这五件事训练中loss迟迟降不下去不要急着调模型先按下面顺序排查我90%的问题都出在这些环节dataloader喂进去的数据是不是对的。先用一个batch打印input_ids和解码后的文本确认tokenize和decode没有错位。尤其是labels错位会导致模型根本无法学习。loss是不是真的在降。很多人看loss是平滑后的图被波动误导。我习惯同时保存原始loss和滑动平均loss对比着看趋势。学习率是否过低或过高。峰值3e-4训不动就试1e-3如果loss直接炸掉出现NaN那就是太高了。batch_size小梯度噪声大。梯度累积到64等效batchloss曲线会立刻平滑很多。模型够大吗。极小模型参数量低于20M确实可能学不会人类语言别对它要求太高。这也是我一直强调先用大一点模型做冒烟测试再把模型缩小观察的原因。如果这些都排查完还在3.x附件徘徊那大概率是数据问题。去检查你的数据集里有没有大量新闻标题、网址列表这种无信息量文本模型学到的全是噪音loss自然下不去。4.2 复读机问题解码策略比想象中重要训练loss只有4.0但生成文本时模型疯狂复读这是所有从零项目都会遇到的事。我第一次遇到时以为是模型练坏了结果后来发现训练没毛病是解码策略没调好。模型的推理过程有两个阶段训练阶段预测下一个token的概率分布推理阶段从这个概率分布里挑一个token。如果每次都选概率最高的那个文本会很机械甚至卡在循环里。我采用的解码策略组合是temperature 0.7控制概率分布的尖锐程度稍微留一点随机性。top_p 0.9只从累计概率前90%的token里采样避免小概率词拉低质量。repeat_penalty 1.1对已经出现过的token做一点惩罚打断复读循环。max_new_tokens限制生成长度防止无限生成。在我实测中temperature0.7top_p0.9这对组合能同时保证生成质量和多样性。如果你发现生成的内容逻辑明显变差优先把temperature调回0.5检查。4.3 显存不够怎么办三板斧降内存从零训练最让人崩溃的就是显存溢出CUDA OOM。我的经验是三步走第一板斧梯度检查点。把模型前向传播时每层的中间激活值丢掉反向传播时再重新计算。这是用时间换显存的最优雅方案开启后显存占用能降30%-50%。第二板斧混合精度fp16/bf16。训练时用16位代替32位表示梯度显存减半现代显卡几乎零损耗。第三板斧减小序列长度。很多人512序列塞不下就咬死不放反过来想你的任务真的需要512个token吗指令微调128甚至64都能干活预训练阶段先把数据切成适配目标长度的文本就行。如果还不行就用梯度累积效果等同于调小batch_size。切记batch_size不能调到1以下——梯度噪声大到模型根本学不会。4.4 怎么判断模型真的学会了推理训练结束后我最喜欢做的一件事是拿一套模型没见过的问题测试它。注意是同类题型但数字和题干细节要换不然可能测的是记忆不是泛化。怎么测才更有说服力我按难度分了三档基础档常识问答比如太阳从哪边升起。模型能答对说明预训练学到了基本知识。推理档上文中那种鸡兔同笼题换成完全不同的数字。模型还能按假设—比较—调整路径得出正确结果说明思维链不是死的而是学会了一种通用方法。提防档故意把题干改成有歧义或信息缺失的问题。模型要是能主动说条件不足无法确定而不是硬编一个答案那才说明它对推理本身有了一点点元认知。个人经验是很多从零项目在前两档都能过关第三档全军覆没。能把条件不足这种拒绝回答学会的模型数据里一定要有大量的类似样本比例至少10%以上否则模型学不会我不知道。这次从零做AI工程我最深的体会是AI工程不是一个单向的训练-部署流水线而是一个数据—模型—评估—再补数据的闭环。以前用开源模型时总觉得模型是一个完成品自己从零走了一遭才发现推理能力不是凭空冒出来的是数据里一点一点编织进去的。在做完这个项目之后再去看各种官方技术报告里写的数据配置和训练细节感受完全不一样——那些报告里轻描淡写的clean数据、mix比例、训练稳定措施每一个背后都是真金白银的显卡时和无数次的失败调试。最后分享一个实操小技巧我在训练到中期时会把一段固定的评测集冻结下来每次参数变动后必测一遍。表面上看是给自己找麻烦实际上这个固定评测集就是模型的回归测试——一旦哪次改动让某个能力意外退化我立刻就能定位到是哪一步引起的。这个习惯我从训练模型一直延续到做模型微调几乎不踩改进一个能力废掉另一个能力的坑。