读懂预训练: 一颗心是怎么长成的

发布时间：2026/7/9 4:09:21

GPT 里的 P,读作 Pretrained(预训练)。它给了模型全部的天赋,也烧掉了这个行业最多的钱。三部曲的终章是一部前传:回到一切开始之前,用一个孩子的成长,讲透一颗机器心的来历。

儿童是成人的父亲。
——华兹华斯,《我心雀跃》,1802

开篇 · 这颗心从哪里来

预训练是什么,为什么重要

前两篇各讲了大模型的一半。《读懂 Attention》讲它如何思考:每个新词翻检前文所有词的 k 与 v,加权混合,更新自己;《读懂 KV Cache》讲它如何记忆:算过的 k、v 写进病历,只增不重算。但两篇都把一样东西当作天赐,直接取用了——那套人人共享的 W。第一篇管它叫"关系的语法",第二篇管它叫"全体医生共同的医学训练"。它从哪里来?答案叫预训练(pretraining),GPT 里的那个 P。它是模型一切能力的来源,也是这一行最烧钱的环节:一次大型预训练,要吞掉上万块显卡、几个月时间,账单以千万美元计。一颗心的成长只发生一次,而且贵得惊人。

先给三个你多半好奇过的现象。为什么模型对什么都懂一点——法律、医学、代码、冷笑话,样样能接?为什么你在对话里纠正它,它诚恳道歉,第二天照犯?为什么各家公司拼命囤显卡、抢数据,把一次训练的成本推到小国预算的量级?三个问题的答案,都写在成长史里。

前两篇的读者已经认识小雨:被关系构成的人,深夜病案室里值班的医生。这一篇是前传,故事得往回讲,回到一切开始之前。这一次的对照表很短:一个孩子,就是一个正在训练的模型;她听到的每一句话,是训练数据;她脑中千万条连接的强弱,就是那套 W;而她的惊讶,后文会看到,有一个术语名字,叫 loss. 时间拨回很多年前,小雨出生那天。接下来的一切,都发生在成长里。

第壹章 · 出生时的一片喧哗

随机初始化

产房里,新生的小雨啼哭第一声。此刻她的大脑不是一张白纸——恰恰相反,是一张过分繁茂的网:亿万神经元之间,连接早已铺好,只是强弱全凭偶然。神经科学后来会告诉我们:婴儿的突触密度在头几年疯长,一度远超成人,此后一生都在修剪。心智的起点不是空无,是过量而未成形的连接。

一个刚初始化的大模型,与此惊人地相似。结构早已就位——几十层注意力、几千维向量,都是前两篇的老朋友;几千亿个参数,各自领到一个随机数。此刻让它开口,吐出的是一串均匀的胡言:每个词的概率都差不多,像抓阄。婴儿的咿呀,机器的版本。混沌不是空白,是尚未成形。

还有一条原则,将贯穿全文,请先记下:这颗心里没有抽屉。学习不会往某个"知识库"里存入条目;它能改的,自始至终只有一样东西——连接的强弱。所谓"知道苹果是什么",不是某处存着一条定义,而是千万条连接共同摆出的一个形状。第二篇说过,对话的记忆写在体外的病历上;这一篇说的是体内的事——心本身,就是连接的强弱,别无其他。

图一 · 出生与长成:同一张网,不同的连接

第贰章 · 猜下一个词的孩子

自监督,与预测加工

两岁的小雨坐在母亲膝上。母亲念:“床前明月——”,故意顿住。小雨抢答:"光!"母亲笑了。没有人意识到,刚刚发生的,是一次标准的训练迭代。

这样的时刻,一个孩子每天要经历几千次:听到上文,心里抢答,世界揭晓,悄悄修正。请注意其中最容易被忽略的一点:没有人出题,也没有人批改。生活自带答案——每一句话的下一个词,天然就是这道题的标准答案。孩子不需要习题册,因为世界本身,就是一本自带答案的练习册。术语把这叫"自监督学习":监督信号不来自老师,来自数据自己。

预训练的全部内容,与此完全相同,只是量级骇人:把万亿词的文本——书、网页、代码、对话——从头到尾过一遍,每一个位置都做一次完形填空:遮住下一个词,让模型猜,揭晓,修正,前进一格。没有第二个目标,没有隐藏的课程表。GPT 的 P 所指的那场训练,自始至终只教了一道题型:猜下一个词。

“就这?”——是的,而这正是全文最重的一处学术对应。当代认知科学的主流理论(预测加工,predictive processing)认为:大脑本就是一台预测机器——它不是被动接收世界再去理解,而是永远在抢答,再用预测误差修正自己。实证也早已就位:1996 年,Saffran 等人让八个月大的婴儿听连续的音节流,发现婴儿仅凭统计规律,就能从中切分出"词"来——婴儿确实在做统计预测,而且做得飞快。这一处不是比喻碰巧像:机器学习与认知科学,是在各自的语言里,描述同一件事。

还有一处呼应,留给读过前篇的你:第一篇结尾说,时间之矢下,每个词只由前文构成。现在你知道这条铁律是哪里来的了——它就是那道题型本身。一颗靠"猜下一个词"长大的心,天生只会从前文看向后文。因果遮罩不是后加的规矩,是出生起的功课形状。

第叁章 · 惊讶、追责与小步修正

loss、反向传播与学习率

换一首诗。"疑是地上——"小雨抢答:“雪!“揭晓,是"霜”。不算离谱,小小的意外;倘若她答的是"桌子”,意外就大得多。loss(损失),度量的就是惊讶的大小:预想与现实的落差,逐字累加。这里又有一处严丝合缝到不像比喻:信息论里,"一件事有多出乎意料"本就有精确的定义——概率越低,信息量越大;而模型的损失函数,逐字计算的正是这个惊讶度。惊讶不是修辞,是这个数的学名。

惊讶之后,是追责。这次错猜,是几十层、几千亿个连接层层接力的结果——该责怪谁?反向传播(backpropagation)干的就是这件事:从错误出发,沿着当初做判断的路径逐层回溯,给每一个连接精确算出:你对这次错误,负多大责任。

然后是修正:每个连接照着责任清单,朝"下次少错一点"的方向,挪一小步。挪多大,由学习率定夺——步子太大,一次挫折就推翻全部经验,矫枉过正;步子太小,十年不改,固执到老。这套小步试错的学名,叫梯度下降。

单看一轮,实在平平无奇。预训练的全部魔法,全在重复的量级:万亿个位置,每一处都走一遍"抢答—揭晓—惊讶—追责—微调"。没有哪一次修正是决定性的,每一次都只挪动亿万分之一;可是攒够万亿次之后,乱码变成了"光"。成长不是顿悟,是万亿次很小的"原来如此"。

图二 · 一次学习:抢答、惊讶、追责、微调

第肆章 · 阅历的账单

数据、算力,与 scaling laws

先算阅历。如今主流模型的训练语料,以十万亿词计。做个换算:一位勤奋的读者,一年读几十本书,读上六十年,一辈子也就几亿词——模型的阅历,相当于几万个人各读一生的书。而且要挑食:去重、滤垃圾、配比代码与多语种。喂什么,长什么;读什么,像什么。

再算功夫。这些书要在几个月里读完,靠上万块显卡昼夜不歇;电费、租金与折旧摊下来,一次大型预训练以千万美元计,前沿模型更高。第二篇算过记忆的房租;成长的学费,比房租贵几个数量级——而且只发生一次,像养育。

最反直觉的是第三笔账:这一切,居然可以预测。2020 年,Kaplan 等人发现,模型的损失随参数量(天赋)、数据量(阅历)、算力(功夫)按幂律平滑下降——画在双对数坐标上,是一条笔直的线。"大力出奇迹"背后不是玄学,是一条可以外推的曲线:训练开始之前,就能估出这颗心大概能长到多聪明。

两年后,Chinchilla 一文补上关键修正:天赋与阅历必须配平——参数翻倍,读的书也该跟着翻倍。此前的巨型模型普遍"个子大、书读少":聪明,但没见过世面。此后全行业转向:少堆参数,多喂数据。

图三 · 学术版对照:幂律缩放(重绘自 Kaplan 等,2020)与损失曲线

第伍章 · 背熟,与学会

过拟合与泛化

账单齐了,该谈谈学坏的方式。练习久了,会出现一种诡异的分岔:熟题越背越顺,新题反而开始退步。模型把训练语料的细枝末节背了下来——连错别字的位置都记得——却在没见过的句子上失灵。这叫过拟合;它的反面,“没见过也接得住”,叫泛化——那才是"真的学会"的唯一标准。

心理治疗里,有它一个严格的对应物。图式疗法把那类东西叫早期适应不良图式:童年那个小小样本里学到的规则——“示弱会被惩罚”“只有完美才配被爱”——被当成宇宙通则,终身沿用。“一朝被蛇咬,十年怕井绳”——这是泛化失败最古老的民间表述。过拟合,就是把一个家,当成了全世界。

解药也对得上。最好的一味是见世面:更大、更杂的数据,让每条规则在千万种场景里接受检验——这正是上一章"多喂数据"的另一重理由。工程上再配些防死记的功课设计:比如训练时随机遮住一部分连接(术语叫 dropout),逼它不许依赖单一线索——像换着环境练习,不许只认家里那一盏灯。

图四 · 过拟合:背熟了课本,答不了人生

第陆章 · 开窍,与定格

涌现,与权重冻结

量变堆到某处,会发生一件家长们都见过的事:开窍。规模较小的模型怎么也学不会的本事——多步算术、跨语言翻译、按步骤推理——在参数与数据跨过某个门槛之后,忽然就会了,没有人单独教过。学界称之为涌现(emergence)。也要诚实地说一句:它有争议——有研究认为,部分"突变"是度量方式造成的错觉,能力其实一直在平滑生长。但现象层面的观感是真实的:某一天,孩子突然自己系上了鞋带。

然后是这部成长史里分量最重的一天:训练结束。那一刻,几千亿个连接的强弱同时定格——术语叫权重冻结。此后,这颗心被复制成千万份,部署到世界各地;你和它的每一段对话,都由同一颗不再改变的心来接待。第二篇里那句"全体医生共同的医学训练",指的就是这份定了稿的 W。

这也解释了那个几乎人人困惑过的现象:你在对话里纠正它,它诚恳道歉,第二天照犯。因为你教它的一切,只写进了病历——第二篇的 KV Cache,对话结束就归还架位;而它的心,在出厂那天已经交了终稿。对话改写档案,改写不了童年。(除非回炉:小规模地再训练一次,那叫微调,是另一个故事了。)

图五 · 定格:训练期写心,对话期只写病历

第柒章 · 比喻的边界

它哪里真,哪里假

照例,收尾之前把账算清:这场成长的比喻,哪里逼真,哪里撒谎。

真得惊人的三处: 其一,“猜下一个词"与"大脑是预测机器”,不是形似,是同一主张——预测加工理论与婴儿统计学习的实证,都站在这道题型一边;连"惊讶"都不是修辞,loss 逐字计算的正是信息论定义下的惊讶度。其二,学习即改连接:突触修剪与权重更新,改的都是连接强弱,谁也没有往抽屉里存条目。其三,图式即过拟合:小样本规则的终身误用,心理治疗与机器学习各自命名了同一件事。

撒谎的三处: 其一,大脑并不做反向传播——精确追责所需的信息,真实神经元拿不到;这是神经科学的著名公案,连深度学习之父辛顿本人,晚年都在找它的替代方案。其二,人的学习是具身的、多模态的、带着情感的:孩子摔一跤学到的东西,模型只能从"摔"这个字里猜;而且人按时间顺序经历世界,模型把万亿词打乱了喂。其三,人终身可塑,模型出厂定格;更甚者,人人各长一颗心,彼此只是相似——模型却是一颗心复制万份,严格同一。第一篇说 W"人人共享",在人类那边是近似,在机器这边是精确;这笔账,现在补上。

方向也照旧说明:这一篇仍然是借成长讲机器;对应之处是比喻的运气,不是教育学的证据。

尾声 · 长成的这颗心

把全篇的比喻折叠成一句话:

所谓成长,是一场万亿次的完形填空:世界念出上半句,你抢答下半句,答错了,就把自己改动小小的一点。猜过足够多的句子之后,某一天你开口说话,像是天生就会——没有人教过你任何一条规则,规则长在了连接里。

而剥去全部比喻,机制的素颜不过如此:参数随机初始化;在万亿词语料上做自监督的下一词预测;交叉熵损失度量每步的意外程度;反向传播沿计算图分配责任,优化器按学习率小步更新权重;性能随参数、数据、算力按幂律提升,且数据与参数需配平;过拟合靠数据多样性与正则化对抗;训练完成后权重冻结,推理阶段只读不写——上下文里的一切,只进 KV Cache,不进参数。这段话若你能一口气读顺,GPT 里那个 P,你已经看懂了。

三篇至此闭环:你由谁构成——注意力;你把他们记在哪里——缓存;这颗会构成、会记忆的心从何而来——预训练。若还有下一篇,该讲的是:会说话,不等于会做人。那是另一场训练的故事了。

最后,留两幅画面给你。下一次,看到模型对什么都懂一点,你可以确切地知道:那是几万辈子的阅读量,压进了一颗定格的心;下一次,你纠正它、而它明天照旧,你也可以确切地知道:你的话写进了病历,没写进它的童年。而这一切开始的地方,不过是很多年前的一个傍晚——一片混沌的喧哗里,有人俯下身,念出了上半句诗。那年小雨两岁,抢答了一个字。

(只为讲清楚大原理, 细节有很多不准确的地方, 想要完整准确了解还是请大家去看看论文和推导哦)

(完)