【AI术语】

一、基础阶段

  1. 预训练用海量无标注文本让模型自学语言、常识、逻辑，产出基础基座模型，是第一步打底训练。
  2. 基座模型只完成预训练、没经过指令优化的原始大模型，只会续写文字，听不懂人类提问。
  3. 训练（广义）完整打造可用大模型的全过程，包含预训练、SFT、RLHF 所有阶段。
  4. 微调不在空白模型从头学，基于已训练好的基座小幅更新参数，成本远低于预训练。

二、监督微调（SFT）

  1. SFT（监督微调）：拿人工标注好的「指令 - 标准答案」数据集训练，教会模型听懂问题、规范回答。
  2. LORA ：低秩微调主流轻量化微调方案，冻结主干模型，只训练少量小参数，节省显卡显存。
  3. 过拟合：模型死记训练数据，遇到新问题就答不好，微调会控制轮数避免该问题。

三、RLHF（人类反馈强化学习）

  1. RLHF（人类反馈强化学习）在 SFT 之后，靠人类打分优化回答质量、修正价值观、减少胡说。
  2. RM 奖励模型：人工给多条回答优劣排序后训练出的打分模型，自动评判回答好坏。
  3. PPO：RLHF 里核心强化学习算法，依据奖励模型RM分数 迭代优化主模型。
  4. KL 散度损失：PPO 训练的约束惩罚项，衡量新模型和原始基座输出差异，防止模型学歪、丢失原有知识。

四、训练通用概念

  1. 损失：模型预测和标准答案的差距，差距越大损失越高，训练目标就是降低损失。
  2. 交叉熵损失：预训练、SFT 阶段使用，用来衡量文字预测准确度。
  3. Prompt 模板：固定格式封装用户问题，让模型分清提问和回答边界。