拓冰网站定制 
通义千问开源大模型本地部署完整指南三步从零跑通到生产落地【免费下载链接】QwenThe official repo of Qwen (通义千问) chat pretrained large language model proposed by Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen想自己部署一个开源大模型却总被三个问题劝退模型怎么选、显存够不够、代码能不能一次跑通这篇文章的主角——阿里云开源的通义千问Qwen开源大模型项目恰好把这三个问题一次打包解决。它不只是几个权重文件而是一整套推理 量化 微调 部署的完整工具链。接下来我会以普通开发者的视角带你走一遍认识它 → 跑起来 → 玩进阶 → 绕开坑的完整流程看完你也能独立搭出一个可用的本地模型服务。一、认识Qwen全系列模型从1.8B到72B一张表看懂选型Qwen 把大语言模型做成了一条完整的尺寸光谱1.8B、7B、14B、72B四个档位每一档都同时发布基座模型Qwen和对话模型Qwen-Chat。打个比方基座模型是会答题的学霸对话模型是会聊天、会用工具的助理而对话模型的 Int4/Int8 量化版本则是压缩了大脑体积但依然好使的便携款。模型档位预训练数据量上下文长度Q-LoRA微调最低显存Int4推理最低显存Qwen-1.8B2.2T tokens32K5.8GB2.9GBQwen-7B2.4T tokens32K11.5GB8.2GBQwen-14B3.0T tokens8K18.7GB13.0GBQwen-72B3.0T tokens32K61.4GB48.9GB从上表能读出两个关键信息最轻的 1.8B 在 Int4 下只需要 2.9GB 显存普通显卡甚至纯 CPU 都能带起来而72B 也支持 32K 超长上下文足以一次读完一整份长文档。无论你的硬件是什么档次总有一档适合你。性能方面官方在 MMLU、C-Eval、GSM8K、HumanEval 等主流榜单上给了完整数据。以旗舰 Qwen-72B 为例MMLU 77.4、C-Eval 83.3、GSM8K 78.9、CMMLU 83.6中文能力在同尺寸开源模型里属于第一梯队。对于主要面向中文场景的开发者这个分数很有参考价值。图Qwen-7B 与同体量开源模型在 MMLU、C-Eval、GSM8K 等任务上的表现对比中文场景优势明显二、Qwen开源大模型本地部署教程三条三分钟跑通的路径部署的第一步是准备环境官方要求很低Python 3.8、PyTorch 1.12、Transformers 4.32装了 Flash Attention 2 后长序列推理更快更省显存但它只是可选项不装也能正常跑。然后安装依赖git clone https://gitcode.com/GitHub_Trending/qw/Qwen cd Qwen pip install -r requirements.txt接下来有三条路径按你的习惯任选一条。路径A命令行对话零界面零门槛仓库根目录的cli_demo.py是一个开箱即用的交互式命令行工具支持多轮对话、查看历史、调整随机种子和生成参数。跑起来只需要一行命令python cli_demo.py --checkpoint-path Qwen/Qwen-7B-Chat图在终端里输入文字即可与 Qwen-Chat 对话:h可查看全部命令路径BWeb 图形界面浏览器里直接聊如果更习惯图形化操作运行根目录的web_demo.py即可启动一个本地网页版聊天机器人带输入框、历史清空等基础功能适合团队内部快速试用。python web_demo.py --server-port 8080图浏览器访问本地端口即可体验 Web 版对话界面路径COpenAI 兼容 API一套代码无缝切换服务这是我最推荐的一条路径。openai_api.py用 FastAPI 实现了一个与 OpenAI 接口完全兼容的本地服务启动后你现有的 OpenAI 客户端代码只需要改一下base_url就能直连本地模型python openai_api.py --checkpoint-path Qwen/Qwen-7B-Chat # 服务启动在 http://localhost:8000接口文档在 /docsimport openai client openai.OpenAI( base_urlhttp://localhost:8000/v1, # 指向本地 Qwen 服务 api_keyEMPTY, ) resp client.chat.completions.create( modelQwen-7B-Chat, messages[{role: user, content: 你好}], streamTrue, # 支持流式输出 )图用标准 OpenAI 客户端代码即可调用本地 Qwen 服务支持流式返回这套兼容层意味着今天你用 OpenAI 写的业务代码明天可以无缝切到本地 Qwen数据不出内网成本也可控。三、进阶玩法一开源大模型工具调用让AI学会动手做事基础对话只是开胃菜。Qwen 真正值得玩的是**工具调用Tool Use**能力——模型不仅能想还能做。用代码解释器终结AI算错数大模型直接算大数乘法经常翻车但接上代码解释器后Qwen 会自己写代码、执行代码、检查结果形成一个思考→执行→验证的闭环。比如计算 23 的阶乘纯文本推理会给出错误结果而启用代码解释器后输出正确无误。图同一个问题未用工具时算错调用代码解释器后结果精确更进一步你甚至可以上传 CSV 数据文件让模型自己写 pandas 代码完成数据读取、分析和绘图全程不需要你手动写一行代码。图上传 CSV 后Qwen 自动生成代码完成散点图绘制用 ReAct 框架编排多个工具Qwen 内置了 ReActReasoning Acting推理框架可以按需调用代码解释器、图像生成、搜索等多种工具。比如让它画一只可爱的猫咪模型会先想好调用图像生成工具再返回生成结果整个过程自动完成。想深入理解原理可以读仓库里的examples/react_prompt.md和examples/react_demo.py前者是完整的提示词模板后者是可运行的示例。用系统提示词一句话塑造人设与规则72B 和 1.8B 的对话版强化了**System Prompt系统提示词**能力你可以设定角色、规定行为边界、绑定私有密钥规则。官方给出了多组对照演示见examples/system_prompt.md例如把模型设定成某个角色后对话风格会完全切换。图通过系统提示词设定角色后模型的回复风格立即切换四、进阶玩法二量化部署与低成本微调显存不够也能玩Int4 量化部署把72B塞进一张卡量化就是把模型权重的精度从 BF16 压到 Int8/Int4显存需求随之大幅下降换来的是普通卡也能跑大模型。官方实测数据如下模型BF16 显存Int4 显存Int4 生成速度1.8B4.23GB2.91GB71.07 tok/s7B16.99GB8.21GB50.09 tok/s14B30.15GB13.01GB38.72 tok/s72B144.69GB2×A10048.86GB11.32 tok/s72B 从 140GB 压到 49GB 以内意味着原来必须上多卡集群的模型现在一张 80GB 的 A100 就能独立扛起来7B 压到 8.2GB 后一张 12GB 的消费级显卡也能流畅对话。加载量化模型与普通模型写法完全一致把模型名换成Qwen/Qwen-7B-Chat-Int4即可。仓库还提供了run_gptq.py支持对微调后的模型继续做 GPTQ 量化以及 KV cache 量化进一步压显存。Q-LoRA 微调小显存也能定制专属模型想让模型懂你的业务黑话、回答风格像你的客服不用全量重训用LoRA / Q-LoRA参数高效微调即可。官方提供的finetune.py配合finetune_lora_ds.sh、finetune_qlora_ds.sh等脚本7B 模型 Q-LoRA 微调最低只需约 11.5GB 显存单卡就能完成。训练数据格式也很简单——一个 JSON 数组每个样本是一条多轮对话记录[ { id: identity_0, conversations: [ {from: user, value: 你是谁}, {from: assistant, value: 我是由你定制的通义千问模型。} ] } ]准备数据后执行bash finetune/finetune_qlora_single_gpu.sh即可recipes/finetune/目录下还提供了多卡、单卡、全参、LoRA 的全套 Jupyter 教程跟着走基本不会迷路。长上下文32K 窗口里的大海捞针72B 的 32K 上下文不是摆设。官方用大海捞针测试验证过在 4K 到 32K 不同长度的文档里随机埋入一个事实模型都能高准确率地把它捞出来。这意味着读完一整份长报告、法规条文或代码库后再提问是实打实可用的能力。图横轴为上下文长度4K–32K纵轴为事实埋藏深度颜色越深代表检索准确率越高五、避坑指南新手最常踩的五个坑模型名写错导致加载失败模型标识要写完整如Qwen/Qwen-7B-Chat或Qwen/Qwen-7B-Chat-Int4且记得加trust_remote_codeTrue。忽略了 14B 的上下文限制从官方表格看14B 的上下文是 8K其余档位是 32K长文档任务优先选 1.8B/7B/72B。安装顺序问题装完requirements.txt后再决定是否装 Flash Attention它是可选项装失败不要卡住先跑通再优化。微调版本不匹配官方要求peft0.8.0与 DeepSpeed 配合且 pydantic 版本可能冲突按 README 中的版本要求安装能少踩很多坑。用旧代码跑新模型README 多次强调确保使用最新代码如果本地代码较旧请先拉取仓库最新版本再加载模型。此外生产环境部署时仓库还提供了 vLLM 集成吞吐更高、FastChat 服务化、基于 CUDA 11.4/12.1 的 Docker 镜像一键起服务甚至针对昇腾 910 和 DCU 也准备了ascend-support、dcu-support目录异构环境也能跑。六、写在最后照着这份行动清单开始如果你还在观望这里给一张按硬件和场景的速选表只有 8GB 显存 / 想跑 CPU直接上Qwen-1.8B-Chat-Int4约 2.9GB做日常问答、信息提取完全够用。有 12–24GB 消费级显卡Qwen-7B-Chat或Qwen-7B-Chat-Int4是性价比之王对话、总结、代码辅助都稳。要处理长文档或高难度推理Qwen-72B-ChatInt4 约 49GB或 14B 档配合 vLLM 做服务化。要给模型注入业务知识7B 起步用 Q-LoRA 微调显存 12GB 左右即可起步。下一步建议很具体先git clone https://gitcode.com/GitHub_Trending/qw/Qwen装好依赖用cli_demo.py跑一次对话再启动openai_api.py把现有代码的base_url指过去最后挑一个业务小数据集做一次 Q-LoRA 微调完整走一遍下载→推理→量化→微调→服务化的闭环。走完这四步你手里就有一套完全属于自己、可迭代、可控成本的通义千问开源大模型服务了。【免费下载链接】QwenThe official repo of Qwen (通义千问) chat pretrained large language model proposed by Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 通义千问开源大模型本地部署完整指南：三步从零跑通到生产落地
通义千问开源大模型本地部署完整指南三步从零跑通到生产落地【免费下载链接】QwenThe official repo of Qwen (通义千问) chat pretrained large language model proposed by Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen想自己部署一个开源大模型却总被三个问题劝退模型怎么选、显存够不够、代码能不能一次跑通这篇文章的主角——阿里云开源的通义千问Qwen开源大模型项目恰好把这三个问题一次打包解决。它不只是几个权重文件而是一整套推理 量化 微调 部署的完整工具链。接下来我会以普通开发者的视角带你走一遍认识它 → 跑起来 → 玩进阶 → 绕开坑的完整流程看完你也能独立搭出一个可用的本地模型服务。一、认识Qwen全系列模型从1.8B到72B一张表看懂选型Qwen 把大语言模型做成了一条完整的尺寸光谱1.8B、7B、14B、72B四个档位每一档都同时发布基座模型Qwen和对话模型Qwen-Chat。打个比方基座模型是会答题的学霸对话模型是会聊天、会用工具的助理而对话模型的 Int4/Int8 量化版本则是压缩了大脑体积但依然好使的便携款。模型档位预训练数据量上下文长度Q-LoRA微调最低显存Int4推理最低显存Qwen-1.8B2.2T tokens32K5.8GB2.9GBQwen-7B2.4T tokens32K11.5GB8.2GBQwen-14B3.0T tokens8K18.7GB13.0GBQwen-72B3.0T tokens32K61.4GB48.9GB从上表能读出两个关键信息最轻的 1.8B 在 Int4 下只需要 2.9GB 显存普通显卡甚至纯 CPU 都能带起来而72B 也支持 32K 超长上下文足以一次读完一整份长文档。无论你的硬件是什么档次总有一档适合你。性能方面官方在 MMLU、C-Eval、GSM8K、HumanEval 等主流榜单上给了完整数据。以旗舰 Qwen-72B 为例MMLU 77.4、C-Eval 83.3、GSM8K 78.9、CMMLU 83.6中文能力在同尺寸开源模型里属于第一梯队。对于主要面向中文场景的开发者这个分数很有参考价值。图Qwen-7B 与同体量开源模型在 MMLU、C-Eval、GSM8K 等任务上的表现对比中文场景优势明显二、Qwen开源大模型本地部署教程三条三分钟跑通的路径部署的第一步是准备环境官方要求很低Python 3.8、PyTorch 1.12、Transformers 4.32装了 Flash Attention 2 后长序列推理更快更省显存但它只是可选项不装也能正常跑。然后安装依赖git clone https://gitcode.com/GitHub_Trending/qw/Qwen cd Qwen pip install -r requirements.txt接下来有三条路径按你的习惯任选一条。路径A命令行对话零界面零门槛仓库根目录的cli_demo.py是一个开箱即用的交互式命令行工具支持多轮对话、查看历史、调整随机种子和生成参数。跑起来只需要一行命令python cli_demo.py --checkpoint-path Qwen/Qwen-7B-Chat图在终端里输入文字即可与 Qwen-Chat 对话:h可查看全部命令路径BWeb 图形界面浏览器里直接聊如果更习惯图形化操作运行根目录的web_demo.py即可启动一个本地网页版聊天机器人带输入框、历史清空等基础功能适合团队内部快速试用。python web_demo.py --server-port 8080图浏览器访问本地端口即可体验 Web 版对话界面路径COpenAI 兼容 API一套代码无缝切换服务这是我最推荐的一条路径。openai_api.py用 FastAPI 实现了一个与 OpenAI 接口完全兼容的本地服务启动后你现有的 OpenAI 客户端代码只需要改一下base_url就能直连本地模型python openai_api.py --checkpoint-path Qwen/Qwen-7B-Chat # 服务启动在 http://localhost:8000接口文档在 /docsimport openai client openai.OpenAI( base_urlhttp://localhost:8000/v1, # 指向本地 Qwen 服务 api_keyEMPTY, ) resp client.chat.completions.create( modelQwen-7B-Chat, messages[{role: user, content: 你好}], streamTrue, # 支持流式输出 )图用标准 OpenAI 客户端代码即可调用本地 Qwen 服务支持流式返回这套兼容层意味着今天你用 OpenAI 写的业务代码明天可以无缝切到本地 Qwen数据不出内网成本也可控。三、进阶玩法一开源大模型工具调用让AI学会动手做事基础对话只是开胃菜。Qwen 真正值得玩的是**工具调用Tool Use**能力——模型不仅能想还能做。用代码解释器终结AI算错数大模型直接算大数乘法经常翻车但接上代码解释器后Qwen 会自己写代码、执行代码、检查结果形成一个思考→执行→验证的闭环。比如计算 23 的阶乘纯文本推理会给出错误结果而启用代码解释器后输出正确无误。图同一个问题未用工具时算错调用代码解释器后结果精确更进一步你甚至可以上传 CSV 数据文件让模型自己写 pandas 代码完成数据读取、分析和绘图全程不需要你手动写一行代码。图上传 CSV 后Qwen 自动生成代码完成散点图绘制用 ReAct 框架编排多个工具Qwen 内置了 ReActReasoning Acting推理框架可以按需调用代码解释器、图像生成、搜索等多种工具。比如让它画一只可爱的猫咪模型会先想好调用图像生成工具再返回生成结果整个过程自动完成。想深入理解原理可以读仓库里的examples/react_prompt.md和examples/react_demo.py前者是完整的提示词模板后者是可运行的示例。用系统提示词一句话塑造人设与规则72B 和 1.8B 的对话版强化了**System Prompt系统提示词**能力你可以设定角色、规定行为边界、绑定私有密钥规则。官方给出了多组对照演示见examples/system_prompt.md例如把模型设定成某个角色后对话风格会完全切换。图通过系统提示词设定角色后模型的回复风格立即切换四、进阶玩法二量化部署与低成本微调显存不够也能玩Int4 量化部署把72B塞进一张卡量化就是把模型权重的精度从 BF16 压到 Int8/Int4显存需求随之大幅下降换来的是普通卡也能跑大模型。官方实测数据如下模型BF16 显存Int4 显存Int4 生成速度1.8B4.23GB2.91GB71.07 tok/s7B16.99GB8.21GB50.09 tok/s14B30.15GB13.01GB38.72 tok/s72B144.69GB2×A10048.86GB11.32 tok/s72B 从 140GB 压到 49GB 以内意味着原来必须上多卡集群的模型现在一张 80GB 的 A100 就能独立扛起来7B 压到 8.2GB 后一张 12GB 的消费级显卡也能流畅对话。加载量化模型与普通模型写法完全一致把模型名换成Qwen/Qwen-7B-Chat-Int4即可。仓库还提供了run_gptq.py支持对微调后的模型继续做 GPTQ 量化以及 KV cache 量化进一步压显存。Q-LoRA 微调小显存也能定制专属模型想让模型懂你的业务黑话、回答风格像你的客服不用全量重训用LoRA / Q-LoRA参数高效微调即可。官方提供的finetune.py配合finetune_lora_ds.sh、finetune_qlora_ds.sh等脚本7B 模型 Q-LoRA 微调最低只需约 11.5GB 显存单卡就能完成。训练数据格式也很简单——一个 JSON 数组每个样本是一条多轮对话记录[ { id: identity_0, conversations: [ {from: user, value: 你是谁}, {from: assistant, value: 我是由你定制的通义千问模型。} ] } ]准备数据后执行bash finetune/finetune_qlora_single_gpu.sh即可recipes/finetune/目录下还提供了多卡、单卡、全参、LoRA 的全套 Jupyter 教程跟着走基本不会迷路。长上下文32K 窗口里的大海捞针72B 的 32K 上下文不是摆设。官方用大海捞针测试验证过在 4K 到 32K 不同长度的文档里随机埋入一个事实模型都能高准确率地把它捞出来。这意味着读完一整份长报告、法规条文或代码库后再提问是实打实可用的能力。图横轴为上下文长度4K–32K纵轴为事实埋藏深度颜色越深代表检索准确率越高五、避坑指南新手最常踩的五个坑模型名写错导致加载失败模型标识要写完整如Qwen/Qwen-7B-Chat或Qwen/Qwen-7B-Chat-Int4且记得加trust_remote_codeTrue。忽略了 14B 的上下文限制从官方表格看14B 的上下文是 8K其余档位是 32K长文档任务优先选 1.8B/7B/72B。安装顺序问题装完requirements.txt后再决定是否装 Flash Attention它是可选项装失败不要卡住先跑通再优化。微调版本不匹配官方要求peft0.8.0与 DeepSpeed 配合且 pydantic 版本可能冲突按 README 中的版本要求安装能少踩很多坑。用旧代码跑新模型README 多次强调确保使用最新代码如果本地代码较旧请先拉取仓库最新版本再加载模型。此外生产环境部署时仓库还提供了 vLLM 集成吞吐更高、FastChat 服务化、基于 CUDA 11.4/12.1 的 Docker 镜像一键起服务甚至针对昇腾 910 和 DCU 也准备了ascend-support、dcu-support目录异构环境也能跑。六、写在最后照着这份行动清单开始如果你还在观望这里给一张按硬件和场景的速选表只有 8GB 显存 / 想跑 CPU直接上Qwen-1.8B-Chat-Int4约 2.9GB做日常问答、信息提取完全够用。有 12–24GB 消费级显卡Qwen-7B-Chat或Qwen-7B-Chat-Int4是性价比之王对话、总结、代码辅助都稳。要处理长文档或高难度推理Qwen-72B-ChatInt4 约 49GB或 14B 档配合 vLLM 做服务化。要给模型注入业务知识7B 起步用 Q-LoRA 微调显存 12GB 左右即可起步。下一步建议很具体先git clone https://gitcode.com/GitHub_Trending/qw/Qwen装好依赖用cli_demo.py跑一次对话再启动openai_api.py把现有代码的base_url指过去最后挑一个业务小数据集做一次 Q-LoRA 微调完整走一遍下载→推理→量化→微调→服务化的闭环。走完这四步你手里就有一套完全属于自己、可迭代、可控成本的通义千问开源大模型服务了。【免费下载链接】QwenThe official repo of Qwen (通义千问) chat pretrained large language model proposed by Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考