拓冰网站定制 
Awesome-Chinese-LLM 实战指南100 中文 LLM 资源从选底座到私有化部署一篇讲透【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM从一个具体任务说起手头 4 张 3090没有 A100方向是中医药目标是一个能辨证论治的模型。选底座没头绪、数据算力查不到、微调参数不知道怎么定——这些问题可以先翻开 Awesome-Chinese-LLM。这是一个持续整理开源中文大语言模型、垂直应用、数据集与教程的资源清单以规模较小、可私有化部署、训练成本较低的模型为主目前收录 100 个资源。本文用做一个中医药模型这条线把流程走一遍怎么在清单里导航、怎么选底座、怎么核对数据与算力、怎么跑通最小推理、最后怎么选部署与评测工具。清单怎么逛三步找到你需要的东西这个仓库像一个整理有序的零件仓库README.md 的目录就是货架图共八个分区模型文本 LLMChatGLM、Qwen、Baichuan、LLaMA 系列、DeepSeek 等与多模态 LLM 两类应用垂直领域微调按医疗、法律、金融、教育、科技、电商、网络安全、农业八个领域分节另含 LangChain 应用与其他应用数据集预训练、SFT、偏好三类训练微调框架 / 推理部署框架 / 评测训练、部署、质检三件套教程基础知识、提示工程、应用开发、实战四类相关仓库其他精选清单可横向延伸这张思维导图是理解仓库最快的方式中心是项目本身左右两翼分别是 BLOOM、Baichuan、CPM-Bee、InternLM 等底座组和 ChatGLM、LLaMA 两大底座组再往外挂在各底座上训练出的衍生模型——MedicalGPT 出自 Ziya-LLaMA、Lawyer LLaMA 与 QiZhenGPT 各自基于哪台引擎一眼可查。想不起某个项目在哪个货架时直接看 doc/ 目录下的 md 文件doc/LLM.md 是底座→衍生模型的树doc/Medical.md、doc/Legal.md、doc/Financial.md 是三个主要领域的说明书每个项目的底座、数据、算力、出品机构都列在里面。垂直领域微调一节还按领域各配了一张思维导图法律领域的长这样底座怎么挑参数规模、训练长度、授权看三列底座是引擎清单里给了一张引擎参数对照表README.md 的常见底座模型细节概览核心就看三列底座常见参数规模训练最大长度商用ChatGLM6B2K/32K可商用LLaMA7B~70B2K/4K部分可商用Baichuan7B/13B4K可商用Qwen7B~110B8K/32K可商用BLOOM1B/7B/176B2K可商用InternLM7B/20B200K可商用Yi6B/9B/34B200K可商用三条选择建议对应三种处境显存吃紧单卡或多卡 24G选 6B~7B 档ChatGLM-6B、Baichuan-7B、Qwen-7B、BLOOM-7B 都在这档配合 4-bit 量化即可跑起来要长文本看训练最大长度列Qwen 到 32KYi 与 InternLM 到 200K明显领先要商用落地核对商用列LLaMA 是部分可商用签约前务必读协议。 做中文向任务可以额外看清单里的中文适配底座Chinese-LLaMA-Alpaca扩充中文词表并用中文数据二次预训练、Chinese-Alpaca-Plus 等。本文后半段核实的中医药模型底座正是 Chinese-Alpaca-Plus-7B。领域模型的数据与算力怎么核对以中医药为例引擎定了接着是给它装哪套专用改装件微调数据以及你的机器跑不跑得动。拿医疗分节举例清单收录了神农ShenNong-TCM-LLM、本草BenTsao、华佗GPT、扁鹊等二十多个项目。清单的价值不在名字而在每份说明书都能被核对。神农在 doc/Medical.md 里的记录是基座模型Chinese-Alpaca-Plus-7B微调方式LoRArank16数据ShenNong_TCM_Dataset以开源中医药知识图谱为基础用实体中心自指令entity-centric self-instruct方法调用 ChatGPT 生成记录规模为 11wREADME 中 ChatMed 条目为 2.6w 规模的中医药指令数据集同属中医药指令数据可互为参照配置速览神农训练配置项配置底座Chinese-Alpaca-Plus-7BLoRAr16lora_alpha32dropout0.05量化4-bitNF4 类型算力4×NVIDIA 3090训练量10 个 epochs总计约 28 小时数据的知识覆盖也值得记下中药 8,236 种、方剂 5,641 个、证型 7,123 个指令模板覆盖性味归经查询、配伍禁忌判断、辨证分析等题型全部是标准 JSONinstruction-input-output结构可直接用于 SFT。⚠️ 自造指令数据时两个坑一是剂量单位要统一成g可参照《中国药典》别让钱两这类传统单位混进去模型容易学乱二是显存不够时启用梯度检查点gradient checkpointing约省 40% 显存、训练时间多 15%batch size 可降到 4 并配合梯度累积。环境怎么配不翻车从 clone 到第一次推理这一节跑最小闭环克隆仓库 → 装依赖 → 加载 4-bit 量化模型 → 输出一段完整的辨证论治回答。环境准备bashgit clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM cd Awesome-Chinese-LLM conda create -n tcm-llm python3.8 conda activate tcm-llm pip install torch transformers peft accelerate bitsandbytes加载模型pythonfrom transformers import AutoTokenizer, AutoModelForCausalLM tokenizer AutoTokenizer.from_pretrained(./ShenNong-TCM-LLM) model AutoModelForCausalLM.from_pretrained( ./ShenNong-TCM-LLM, load_in_4bitTrue, # 4-bit 量化依赖 bitsandbytes device_mapauto, # 自动分配设备 )推理python给一组症状让它做证型判断prompt 以下是中医辨证论治系统请根据症状给出证型判断及治则建议。 症状患者面色淡白头晕心悸神疲乏力纳差经量少而色淡舌淡苔薄白脉细弱。 证型 inputs tokenizer(prompt, return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokens150, temperature0.6, do_sampleTrue) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))⚠️ 部署时两个细节temperature建议压到 0.6 左右降低输出随机性应用层要自建输入校验对毒性中药、超量使用这类高风险查询做拦截——模型输出只能作为执业医师的参考不是诊断结论。训练完之后部署与评测工具怎么选模型训好了按场景挑工具。清单的LLM推理部署框架与LLM评测两个货架上有现成选项框架特点适合场景vLLM吞吐量比 HuggingFace Transformers 高 14~24 倍大批量 Prompt、高吞吐服务LMDeploy推理性能达 vLLM 的 1.8 倍以上4bit 量化性能达 FP16 的 2.4 倍以上NVIDIA 设备上的量化服务MNN / MLC LLM端侧高效推理覆盖手机与 PC移动端与边缘部署AirLLM4GB 单卡可跑 70B 推理显存极度受限DeepSpeed-MII多机负载均衡、量化推理大规模集群评测别只凭感觉挑一个基准验一遍C-Eval13,948 题覆盖 52 个学科、CMMLU67 个主题的中文知识与推理、SuperCLUE匿名对战 Elo 榜。医疗场景有专门的 PromptCBLUE——把 16 种医疗 NLP 任务转成提示词生成任务是中医药模型最直接的质检线。落地效果方面社区卫生服务中心的实测中中医大模型让年轻医师的辨证准确率提升 37%、病历书写时间缩短 52%、患者满意度提升 28%。下一步走这里接着挖的方向先跑起来回到环境配置一节的 git clone 命令拉下清单想先核对中医药模型的数据直接打开 doc/Medical.md 找到神农(ShenNong-TCM)条目对照本文逐行看底座、数据、算力三列。挖数据数据集货架上可直接接手的有 Huatuo-26M2600 万医疗问答对、Chinese medical dialogue data792,099 个分科室问答对、ShareGPT 中文 9 万条对话、CValues145k 偏好数据。补理论教程货架里的 HuggingLLM入门向、吴恩达提示工程系列课程中文版以及 LLMsNineStoryDemonTower、llm-action 这类实战项目。清单在持续更新新模型、新数据集、新框架还在不断收录维护者也欢迎通过 PR 补充未收录的资源。现在就可以迈出这一步跑一遍 clone打开 doc/Medical.md把神农的条目核对完。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Awesome-Chinese-LLM 实战指南：100+ 中文 LLM 资源，从选底座到私有化部署一篇讲透
Awesome-Chinese-LLM 实战指南100 中文 LLM 资源从选底座到私有化部署一篇讲透【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM从一个具体任务说起手头 4 张 3090没有 A100方向是中医药目标是一个能辨证论治的模型。选底座没头绪、数据算力查不到、微调参数不知道怎么定——这些问题可以先翻开 Awesome-Chinese-LLM。这是一个持续整理开源中文大语言模型、垂直应用、数据集与教程的资源清单以规模较小、可私有化部署、训练成本较低的模型为主目前收录 100 个资源。本文用做一个中医药模型这条线把流程走一遍怎么在清单里导航、怎么选底座、怎么核对数据与算力、怎么跑通最小推理、最后怎么选部署与评测工具。清单怎么逛三步找到你需要的东西这个仓库像一个整理有序的零件仓库README.md 的目录就是货架图共八个分区模型文本 LLMChatGLM、Qwen、Baichuan、LLaMA 系列、DeepSeek 等与多模态 LLM 两类应用垂直领域微调按医疗、法律、金融、教育、科技、电商、网络安全、农业八个领域分节另含 LangChain 应用与其他应用数据集预训练、SFT、偏好三类训练微调框架 / 推理部署框架 / 评测训练、部署、质检三件套教程基础知识、提示工程、应用开发、实战四类相关仓库其他精选清单可横向延伸这张思维导图是理解仓库最快的方式中心是项目本身左右两翼分别是 BLOOM、Baichuan、CPM-Bee、InternLM 等底座组和 ChatGLM、LLaMA 两大底座组再往外挂在各底座上训练出的衍生模型——MedicalGPT 出自 Ziya-LLaMA、Lawyer LLaMA 与 QiZhenGPT 各自基于哪台引擎一眼可查。想不起某个项目在哪个货架时直接看 doc/ 目录下的 md 文件doc/LLM.md 是底座→衍生模型的树doc/Medical.md、doc/Legal.md、doc/Financial.md 是三个主要领域的说明书每个项目的底座、数据、算力、出品机构都列在里面。垂直领域微调一节还按领域各配了一张思维导图法律领域的长这样底座怎么挑参数规模、训练长度、授权看三列底座是引擎清单里给了一张引擎参数对照表README.md 的常见底座模型细节概览核心就看三列底座常见参数规模训练最大长度商用ChatGLM6B2K/32K可商用LLaMA7B~70B2K/4K部分可商用Baichuan7B/13B4K可商用Qwen7B~110B8K/32K可商用BLOOM1B/7B/176B2K可商用InternLM7B/20B200K可商用Yi6B/9B/34B200K可商用三条选择建议对应三种处境显存吃紧单卡或多卡 24G选 6B~7B 档ChatGLM-6B、Baichuan-7B、Qwen-7B、BLOOM-7B 都在这档配合 4-bit 量化即可跑起来要长文本看训练最大长度列Qwen 到 32KYi 与 InternLM 到 200K明显领先要商用落地核对商用列LLaMA 是部分可商用签约前务必读协议。 做中文向任务可以额外看清单里的中文适配底座Chinese-LLaMA-Alpaca扩充中文词表并用中文数据二次预训练、Chinese-Alpaca-Plus 等。本文后半段核实的中医药模型底座正是 Chinese-Alpaca-Plus-7B。领域模型的数据与算力怎么核对以中医药为例引擎定了接着是给它装哪套专用改装件微调数据以及你的机器跑不跑得动。拿医疗分节举例清单收录了神农ShenNong-TCM-LLM、本草BenTsao、华佗GPT、扁鹊等二十多个项目。清单的价值不在名字而在每份说明书都能被核对。神农在 doc/Medical.md 里的记录是基座模型Chinese-Alpaca-Plus-7B微调方式LoRArank16数据ShenNong_TCM_Dataset以开源中医药知识图谱为基础用实体中心自指令entity-centric self-instruct方法调用 ChatGPT 生成记录规模为 11wREADME 中 ChatMed 条目为 2.6w 规模的中医药指令数据集同属中医药指令数据可互为参照配置速览神农训练配置项配置底座Chinese-Alpaca-Plus-7BLoRAr16lora_alpha32dropout0.05量化4-bitNF4 类型算力4×NVIDIA 3090训练量10 个 epochs总计约 28 小时数据的知识覆盖也值得记下中药 8,236 种、方剂 5,641 个、证型 7,123 个指令模板覆盖性味归经查询、配伍禁忌判断、辨证分析等题型全部是标准 JSONinstruction-input-output结构可直接用于 SFT。⚠️ 自造指令数据时两个坑一是剂量单位要统一成g可参照《中国药典》别让钱两这类传统单位混进去模型容易学乱二是显存不够时启用梯度检查点gradient checkpointing约省 40% 显存、训练时间多 15%batch size 可降到 4 并配合梯度累积。环境怎么配不翻车从 clone 到第一次推理这一节跑最小闭环克隆仓库 → 装依赖 → 加载 4-bit 量化模型 → 输出一段完整的辨证论治回答。环境准备bashgit clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM cd Awesome-Chinese-LLM conda create -n tcm-llm python3.8 conda activate tcm-llm pip install torch transformers peft accelerate bitsandbytes加载模型pythonfrom transformers import AutoTokenizer, AutoModelForCausalLM tokenizer AutoTokenizer.from_pretrained(./ShenNong-TCM-LLM) model AutoModelForCausalLM.from_pretrained( ./ShenNong-TCM-LLM, load_in_4bitTrue, # 4-bit 量化依赖 bitsandbytes device_mapauto, # 自动分配设备 )推理python给一组症状让它做证型判断prompt 以下是中医辨证论治系统请根据症状给出证型判断及治则建议。 症状患者面色淡白头晕心悸神疲乏力纳差经量少而色淡舌淡苔薄白脉细弱。 证型 inputs tokenizer(prompt, return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokens150, temperature0.6, do_sampleTrue) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))⚠️ 部署时两个细节temperature建议压到 0.6 左右降低输出随机性应用层要自建输入校验对毒性中药、超量使用这类高风险查询做拦截——模型输出只能作为执业医师的参考不是诊断结论。训练完之后部署与评测工具怎么选模型训好了按场景挑工具。清单的LLM推理部署框架与LLM评测两个货架上有现成选项框架特点适合场景vLLM吞吐量比 HuggingFace Transformers 高 14~24 倍大批量 Prompt、高吞吐服务LMDeploy推理性能达 vLLM 的 1.8 倍以上4bit 量化性能达 FP16 的 2.4 倍以上NVIDIA 设备上的量化服务MNN / MLC LLM端侧高效推理覆盖手机与 PC移动端与边缘部署AirLLM4GB 单卡可跑 70B 推理显存极度受限DeepSpeed-MII多机负载均衡、量化推理大规模集群评测别只凭感觉挑一个基准验一遍C-Eval13,948 题覆盖 52 个学科、CMMLU67 个主题的中文知识与推理、SuperCLUE匿名对战 Elo 榜。医疗场景有专门的 PromptCBLUE——把 16 种医疗 NLP 任务转成提示词生成任务是中医药模型最直接的质检线。落地效果方面社区卫生服务中心的实测中中医大模型让年轻医师的辨证准确率提升 37%、病历书写时间缩短 52%、患者满意度提升 28%。下一步走这里接着挖的方向先跑起来回到环境配置一节的 git clone 命令拉下清单想先核对中医药模型的数据直接打开 doc/Medical.md 找到神农(ShenNong-TCM)条目对照本文逐行看底座、数据、算力三列。挖数据数据集货架上可直接接手的有 Huatuo-26M2600 万医疗问答对、Chinese medical dialogue data792,099 个分科室问答对、ShareGPT 中文 9 万条对话、CValues145k 偏好数据。补理论教程货架里的 HuggingLLM入门向、吴恩达提示工程系列课程中文版以及 LLMsNineStoryDemonTower、llm-action 这类实战项目。清单在持续更新新模型、新数据集、新框架还在不断收录维护者也欢迎通过 PR 补充未收录的资源。现在就可以迈出这一步跑一遍 clone打开 doc/Medical.md把神农的条目核对完。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考