基座模型这个概念是2021年斯坦福大学提出的简单说就是在大规模数据上做预训练、然后可以通过微调适配到各种下游任务的大模型。最典型的就是GPT系列、BERT、LLaMA这些。你问它和下游任务模型的关系我分几个层面来说。第一个先有预训练才有基座模型。预训练就是在大规模无标注数据上让模型自己学最常见的就是预测下一个词这个任务。模型看过海量文本之后它就学会了语言的基本规律、常识知识、甚至一些推理能力。预训练产出的就是基座模型也叫Base Model——它是一个通才啥都会一点但啥都不精。第二个基座模型到下游模型中间靠的是迁移学习。预训练学的是通用能力但你要用在具体场景比如客服、代码生成、医学问答就得让模型往那个方向再学一学。这个过程就是微调Fine-tuning或者提示工程Prompt Engineering。微调就是用特定任务的数据继续训练模型让它适应你的场景。我们之前项目里做过医疗问答的微调就是拿LLaMA当基座然后用医学文献数据微调效果比直接用GPT好很多因为领域知识更垂直。第三个基座模型是基础设施下游模型是上层应用。这个关系有点像安卓系统和手机APP的关系——基座模型提供通用能力下游模型专注特定任务。好处是你不用从零训练一个模型成本大幅降低坏处是基座模型有啥缺陷下游模型也会继承。有个坑我之前踩过基座模型参数特别大部署成本高所以后来出现了各种蒸馏、量化方案把大模型的知识迁移到小模型里用叫什么知识蒸馏。这个方向现在挺火的因为不是所有场景都承受得起千亿参数的推理成本。
