🌞欢迎来到人工智能的世界
🌈博客主页：卿云阁

💌欢迎关注🎉点赞👍收藏⭐️留言📝

📆首发时间：🌹2026年5月19日🌹

✉️希望可以和大家一起完成进阶之路！

🙏作者水平很有限，如果发现错误，请留言轰炸哦！万分感谢！

---

目录

开源大模型

开源大模型和闭源大模型

开源大模型对比

开源大模型的应用场景

大模型微调

模型微调效果和简介

模型微调的流程

数据收集

模型选择

模型微调

模型评估

开源大模型

开源大模型和闭源大模型

闭源大模型的局限性

缺乏灵活性：无法自定义，限制业务创新和优化。

依赖供应商：受制于第三方，存在价格波动和服务中断风险。

隐私风险：数据上传到外部，可能不符合法规要求。

成本高：按量计费，长期使用费用较高。

开源大模型的优势

可定制：可以灵活调整，满足业务需求。

低成本：减少对高价 API 的依赖。

数据安全：可以私有部署，防止数据泄露，符合合规要求。

（开源大模型可以私有化部署，成为垂直领域的专有大模型）

开源大模型对比

开源大模型的应用场景

开源大模型在医疗健康领域的应用表现对比

开源大模型（如 LLaMA）在医疗场景下 专业性不足

专业医疗大模型通过 领域微调或知识增强，能提供更精准、可执行的医疗建议

大模型微调

模型微调效果和简介

微调的核心就是给大模型大量“指令-输入-输出”示例，让它学会在指定场景下产生专业且高质量的

输出。通过这种方式，模型能够从通用大模型转变为 垂直领域专家模型，例如医疗、环境、金融

等专业领域。

数据格式：包含三部分

instruction → 模型要做的任务（策略和目标）

input → 模型执行任务的具体信息（上下文，可为空）

output → 模型的目标输出（训练/微调的参考答案）

模型微调的流程

数据收集（01）：收集领域相关的指令-输入-输出数据，用于微调大模型。

模型选择（02）：选择适合微调的基础大模型（如 LLaMA、Qwen 等）。

模型微调（03）：使用收集的数据对模型进行微调训练，使模型掌握领域知识和特定任务能力。

模型评估（04）：对微调后的模型进行性能评估，确保生成内容符合预期并具备专业性。

微调比例影响模型的能力平衡

同时保留通用能力和提升领域能力，需要合理混合通用数据与领域数据

领域微调必须注意避免灾难性遗忘

数据收集

通用微调数据集的收集

收集的通用微调数据既有问答、翻译、对话任务，也有编程和多模态任务。

英文数据和代码数据在微调中承担保护基础能力和增强专业能力的双重作用。

领域微调数据集的收集

网页爬取：从行业相关网站、论坛、文档中爬取结构化或非结构化数据，形成训练数据。

大模型蒸馏:使用已有的大模型生成高质量领域问答或文本，通过“教师模型→学生模型”方式获取微

调数据。

基于下游任务的数据集构造:针对具体任务（如医疗问答、环境监测报告分析、金融风控文本理

解）构造训练数据，确保数据与实际业务场景高度相关。

网页爬取：提取网页数据→数据清洗→构建数据

模型选择

基于模型榜单能力选型：、

微调多语言聊天机器人，优先选多语言评分最优的；

处理中文医疗问答（需复杂知识查询与推理），选择知识、推理评分双高的。

微调医疗领域大模型流程：明确临床医疗问答、术语标准化等微调任务，选定 chatglm3‑6B、

qwen‑7B 等候选模型；收集 10 道相关测试题，通过答题打分评估模型性能，择优确定微调基模

型。

模型微调

全参数微调

更新模型全部参数

缺点：显存成本高、训练效率低、小样本易过拟合

适用场景：算力充足、拥有大规模训练数据

PEFT 参数高效微调（冻结大部分参数，仅训练少量参数）

添加型方法

适配器（Adapters）：代表 BN Adapter，在 Transformer 层插入可训练模块

软提示（Soft Prompts）：代表 Prefix‑Tuning，在输入嵌入中增加可训练张量

选择型方法

冻结法（Freeze）：冻结模型浅层，仅训练深层语义层

重参数化法

LoRA 低秩适配：主流 PEFT 方法，增设低秩旁路矩阵，参数与显存消耗大幅降低，效果接近全参

数微调。

Swift 工具：适合有一定模型训练经验的用户，追求极致速度和效率。

LLaMA-Factory 工具：适合没有模型训练经验的人，提供可视化操作界面，快速上手。

全栈微调工具LLaMA-Factory：https://github.com/hiyouga/LLaMA-Factory

轻量级微调工具Swift：https://github.com/modelscope/ms-swift

模型评估

自动化评估偏向客观、量化，适合可标准化测量的任务。

人工/大模型评估偏向主观、质量多维度评价，适合创意或复杂文本生成。