“养龙虾”这个系列折腾到第三期很多朋友已经明白我起名的套路了——所谓养龙虾其实就是把 AI 大模型当成水生生物来伺候模型文件是幼苗运行环境是水质API 密钥是饲料然后你这个养殖户要做的就是不断调试水质、投放饲料、清理烂叶最后让这缸龙虾长得又大又肥。这一期我一次性把 Ollama 本地模型、阿里百炼 API key 导入、以及一个叫“阿里 copaw”的工具串起来讲核心解决三件事本地怎么把模型跑起来、云端的 key 怎么配置进来、以及怎么在 copaw 里把它们统一调度。你要是也想在自己的电脑上本地跑 qwen 这类大模型同时又不想放弃阿里百炼的高配模型那这篇文章完全可以当一份带避坑说明的操作笔记直接抄。1. 这一期到底在折腾什么1.1 “养龙虾”系列的由来和本期目标“养龙虾”这个系列名字最早是我在准备本地模型环境时随口说的。本地部署 AI 大模型表面上看只是装个软件、下个文件、跑个服务实际上它和养鱼虾非常像你得准备一个合适的“池子”操作系统、显卡驱动、内存/显存要保证“水质”依赖库、端口、环境变量没有污染还要给“龙虾”喂够料模型权重、token、提示词一旦水质突变或者饲料不对龙虾立刻给你脸色看——报错、卡死、生成一堆乱码。这一期第 0003 篇目标非常明确。先把 Ollama 本地模型跑通然后去阿里百炼申请 API key最后把两个通道都接进一个叫“copaw”的工具里。copaw 是我近期用得比较顺手的一个阿里生态 AI 客户端它允许你同时配置本地模型和云端模型相当于一个“遥控器”加“中转台”不用在多个页面之间来回切。整个项目做完之后我这边的工作流是隐私内容走本地 Ollama重活累活走阿里百炼 qwen-plus/qwen-max两边用一个工具切换。如果是纯新手这一篇读完至少能把 Ollama 装起来知道模型怎么下、API key 怎么填。如果已经有基础那可以直接跳到第 4 节看 copaw 的配置方法和第 5 节的避坑记录里面写到的好几个坑都是我拿真机实测出来的。1.2 本地模型和云端 API我为什么两个都要很多人的第一个问题是既然阿里百炼有大模型 API为什么还要在本地装 Ollama这里的关系不是二选一而是互补。我整理了一个很直白的对比表格对比维度本地 Ollama阿里百炼 API算力位置自己电脑的 CPU/GPU阿里云服务器数据隐私全部留在本机请求会传到云端响应速度取决于本地硬件取决于网络和排队成本结构电费 硬件折旧按 token 量计费可跑的模型规模受显存和内存限制可以随时上调到更大模型网络依赖完全离线可用必须联网典型场景隐私内容、快速联调、免费试错高难度生成、长文本、最强模型理解了这个差异你就明白为什么我两个都要。本地 Ollama 适合调试阶段。你在写提示词、搭工作流、测试 agent 时反复调用 API 会产生费用但本地模型基本不要钱虽然效果略弱用来验证流程完全够。阿里百炼则负责真正出结果。比如复杂推理、长文总结、代码理解这些任务本地 7B 模型往往顶不住切到云端大模型一次就能搞定。另外还有一类场景是数据敏感。商业文档、个人隐私、未公开代码这些内容塞给云端 API 总会有点心理负担放到本地模型跑至少数据不出网。所以我的结论是本地模型不是替代云端 API而是给它打底。这也是 copaw 这类工具存在的意义——它把两种通道统一管理让我不用记住十几个 endpoint。1.3 copaw 在整个链路里的定位copaw 这个名字听起来有点像在叫“copilot”其实它在我这里的定位就是“AI 入口层”。你可以把 Ollama 想象成你自家院子里的水井把阿里百炼想象成自来水公司而 copaw 就是接入家里各个水龙头的总管阀门。有了这个阀门你不用关心水是来自井里还是自来水厂拧开龙头就能用。copaw 在配置层面核心支持两类来源一类是本地 OpenAI 兼容服务也就是 Ollama 默认启动的localhost:11434另一类是云端 OpenAI 兼容接口阿里百炼提供了https://dashscope.aliyuncs.com/compatible-mode/v1这样一个兼容地址。所以理论上只要写对 Base URL、API Key、模型名两类模型都能被 copaw 拉起来。如果你之前用过任何 OpenAI 兼容客户端那 copaw 的上手成本会非常低。它就是把你手头的模型统一到一个聊天/调试界面里同时保留编程补全、连续对话、多轮上下文这些功能。下面两章我先分别把 Ollama 和百炼 key 准备到位再统一进 copaw。2. Ollama 本地模型的安装与模型下载2.1 Ollama 装好本地 AI 服务才算有地基Ollama 是一个可以把大模型打包成本地服务的工具底层原理是把 GGUF 格式的模型权重变成一个 HTTP API 服务你只需要在终端敲ollama run qwen2.5:7b本地就运行起了一个模型。客户端、代码、甚至浏览器插件都能通过 HTTP 请求来调用它。在 Windows 下安装 Ollama 很“傻瓜”。去官网下载ollamasetup.exe双击安装一路下一步装完之后在 CMD 或 PowerShell 里执行ollama --version只要能看到类似ollama version 0.5.x的输出说明安装成功。然后拉模型ollama run qwen2.5:7b第一次运行会自动下载模型文件qwen2.5:7b 的量化版大小约 4.7GB视网速可能要等几分钟到几十分钟。下载完成后会进入一个交互式对话界面直接打字它就会回。如果这一步能跑通本地模型的“地基”就算打好了。Linux 上相对麻烦一点官方给的curl -fsSL https://ollama.com/install.sh | sh在国内网络下经常超时所以我更推荐先下载离线安装包或者用 Docker 方式。Docker 部署其实非常干净docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama这个命令把模型目录映射到 Docker 卷里同时把 11434 端口暴露给宿主机后面本机所有程序都能访问这个容器里的 Ollama 服务。如果你不想让系统环境变得乱七八糟Docker 部署是我自己的首选。2.2 ollama 下载慢镜像源和离线包是解药关于 ollama 下载慢的问题我估计十个人有九个都遇到过。官方模型库的文件基本都存放在海外存储上国内直连非常折磨人。我实测最直接有效的方法是去国内可访问的模型社区比如魔搭 ModelScope下载 GGUF 模型文件再用 Ollama 手动导入。具体步骤是在魔搭社区搜索你想要的模型比如Qwen/Qwen2.5-7B-Instruct-GGUF。下载对应的qwen2.5-7b-instruct-q4_k_m.gguf文件。写一个Modelfile内容至少包含路径和模板FROM ./qwen2.5-7b-instruct-q4_k_m.gguf执行创建命令ollama create qwen2.5-7b -f Modelfile之后就能像官方模型一样用ollama run qwen2.5-7b了。这个方法绕开了 GitHub 和官方 registry 的缓慢链路。对于安装包本身如果你的网络连官网安装包都下载不下来可以留意国内一些代码托管平台的加速镜像比如cnb.cool这类站点上有人同步了最新版的ollamasetup.exe下载体验明显比海外直连好。但我要提醒一句安装包能拿到就好务必要校验文件签名或哈希值别人转发的安装包永远有供应链风险。2.3 模型选择qwen2.5、deepseek、hunyuan 怎么取舍Ollama 支持一大堆模型但实际能跑哪个取决于你的硬件。我自己用过三套组合给个参考表模型名称显存要求适合场景qwen2.5:0.5b / qwen3:2b2GB 左右CPU 都能跑测试链路qwen2.5:7bq4_K_M6GB 左右综合能力均衡日常问答qwen2.5:14b10GB 以上更强推理需要好显卡deepseek-r1:7b6GB 左右推理任务回答风格偏“分析”hunyuan 系列看量化版本中文语义理解不错有些特殊场景新手建议从 2b 或 7b 起步。2b 模型基本不挑机器但效果也只能说能用。7b 是甜点级普通 8GB 显存的显卡就能流畅跑。如果只有 CPU16GB 内存跑 qwen2.5:7b 的 q4 量化也不是不行就是生成速度慢大概每秒钟几个 token但也够做功能验证。在 Ollama 里模型标签有很多花头。q4_K_M是 4-bit 量化体积小、速度相对快但精度损失轻微q8_0是 8-bit 量化更接近原始效果体积更大。我日常用 q4_K_M 就够除非你要做严格的知识型任务否则没必要追求高精度量化。2.4 把模型装到 D 盘避免 C 盘“爆缸”Windows 上玩 Ollama最大的坑就是默认模型目录在C:\Users\你的用户名\.ollama\modelsC 盘很容易被几个模型文件塞满。强烈建议装完 Ollama 第一时间把模型目录换到 D 盘。方式是通过环境变量OLLAMA_MODELS。步骤右键“此电脑” - 属性 - 高级系统设置 - 环境变量。在用户变量里新建一个变量变量名填OLLAMA_MODELS变量值填D:\ollama_models目录可以自己定。保存后重启终端然后运行ollama list看看是否正常。这个环境变量不仅影响模型存放还会影响后续模型下载。我在第一次折腾时没设这个变量导致 C 盘红了三个 G 才发现后面我每次重新部署 Ollama 都会先干这一件事。同样值得设置的是OLLAMA_HOST默认是127.0.0.1:11434如果想让局域网内其他设备也能访问比如手机上连就设成0.0.0.0:11434。3. 阿里百炼 API key 的获取和导入3.1 API key 是连接云端大模型的钥匙本地模型跑起来之后下一步就是把云端能力接进来。阿里百炼是阿里云的大模型服务平台你可以理解成“大模型超市”里面有 qwen-turbo、qwen-plus、qwen-max 等多个规格按 token 计费。API key 就是你进这个超市的钥匙客户端通过 key 来证明“你是谁、你有多少余额”。简单说Ollama 是本地自家水井不需要钥匙百炼是云端的自来水厂必须凭卡取水。这个“卡”就是 API key。它通常是一串形如sk-开头的字符串在配置文件中直接粘贴使用。这里有一个关键的认知百炼的 API key 不要随便暴露。它等同你的钱包密码。如果有人拿到你的 key就可以用它疯狂调用模型产生账单。所以代码里、博文截图里、GitHub 仓库里所有出现 key 的地方都要打码。3.2 申请百炼 key 的完整流程申请 API key 并不复杂大致走一遍打开阿里云官网登录你已有的账号没有就先注册实名认证是必需的。进入阿里云百炼控制台首次使用需要开通“模型服务”/“百炼”服务。开通通常免费只有在真正调用模型时才产生费用。在控制台左侧找到“API-KEY”管理页点击“创建 API-KEY”。系统会生成一个新的 key复制保存到你自己的密码管理器里。注意很多平台只在创建时完整显示一次之后再看就是脱敏的。顺手在“模型广场”里确认一下你想用的模型名比如qwen-plus、qwen-max、qwen-turbo后面配置要精确匹配。开通服务时如果没有余额或者未实名可能会提示各种错误。我的建议是先充 10 块钱或者用免费额度测试跑通了再决定要不要大量调用。百炼通常会有新用户免费额度够你折腾好久。还有一个容易忽略的配置百炼的 OpenAI 兼容接口地址是https://dashscope.aliyuncs.com/compatible-mode/v1。这个地址用于几乎所有支持 OpenAI 格式的客户端。如果你配置的 Base URL 写成了百炼控制台首页那种域名一定会鉴权失败。3.3 在 copaw 中导入百炼 API key 的两种方式copaw 中导入 API key按我的经验有两种主流方式。第一种是图形界面直接填。在设置页找到“模型供应商”或者“API 设置”选择“阿里百炼/阿里云”预设然后粘贴 API Key填写 Base URL保存。这里建议立刻做一个测试对话如果返回“鉴权失败”多半是 key 复制多了空格或者 Base URL 尾部多了斜杠。第二种是配置文件方式。如果你用的 copaw 版本支持config.yaml或config.json可以手动编辑。示例大概长这样{ providers: [ { name: aliyun-bailian, baseUrl: https://dashscope.aliyuncs.com/compatible-mode/v1, apiKey: sk-xxxxxxxxxxxxxxxx, models: [qwen-plus, qwen-max] } ] }这种方式适合要在多台机器上同步配置的人也适合后续用脚本批量管理。但我更推荐新手用图形界面毕竟手动改配置容易把 JSON 括号写坏出现问题又不知道从哪查。4. 阿里 copaw 安装 本地/云模型配置实战4.1 copaw 的安装和初始化copaw 这个工具现在相当于是阿里云 AI 生态里的一个入口客户端不同版本可能界面有差异但核心能力一致把本地 Ollama 和云端百炼 API 统一到一个对话/调试面板里。安装方式跟我前面讲的大同小异下载安装包、双击安装、打开后用阿里云账号登录。登录之后它会提示你选择使用模式。我建议不要急着接任何云端服务先把本地模式跑通。打开设置添加模型源选“Ollama”填http://localhost:11434点测试连接。如果显示成功说明 copaw 已经发现你本地运行的服务。这里有个细节Ollama 服务必须保持后台运行copaw 才能连上它。你可以单独开一个终端窗口跑ollama serve也可以让它常驻后台。Windows 用户安装 Ollama 的时候会自带开机自启服务不用每次手动启动。初始化完成后你会看到模型列表自动出现比如你刚才下载的qwen2.5:7b。选一个模型进入聊天页面发一条消息如果本地模型正常几秒钟内就会有响应。这部分成功之后我们再接云端。4.2 在 copaw 中接入本地 Ollama 模型接入本地模型的核心配置就三个端点是http://localhost:11434、接口协议是 Ollama 原生或 OpenAI 兼容、模型名要和ollama list里的完全一致。我在 copaw 里的设置路径大致是进入“模型管理” - “新增模型源” - “Ollama”。Base URL 填http://localhost:11434。点“获取模型列表”copaw 会调起ollama list的接口把已经安装的模型自动同步过来。选择默认本地模型比如qwen2.5:7b。如果获取模型列表为空最可能的原因是本地 Ollama 没有在运行。检查方式很简单浏览器打开http://localhost:11434如果能看到Ollama is running字样说明服务正常。如果打不开就回到终端跑ollama serve看报错。另外一个容易被忽略的点是端口占用。如果 11434 端口被别的程序抢了Ollama 会起不来copaw 自然就连接失败。排查方法用netstat -ano | findstr 11434看看是什么进程占用了再针对性处理。4.3 在 copaw 中接入阿里百炼云端模型本地模型接好之后再添加一个云端来源。新增模型源时选择“阿里百炼”然后按下面配置配置项填写内容类型OpenAI 兼容Base URLhttps://dashscope.aliyuncs.com/compatible-mode/v1API Key你自己的sk-开头字符串模型名qwen-plus或 qwen-turbo/qwen-max这里有个容易踩的坑有些客户端会要求填“模型 ID”和“显示名称”两个字段显示名称是给你看的模型 ID 才是实际请求用的千万别填反。另外百炼的模型名是区分大小写的qwen-plus不能写成Qwen-Plus否则会报 model not found。配置完之后点“测试连接”如果返回正常说明云端通道已经打通。我建议把默认模型先设成qwen-plus因为它在能力、价格、速度之间最均衡。运行一次测试对话确认它真的能响应再继续下一步。4.4 让本地和云端模型协同干活copaw 最有价值的地方是支持在一个会话里切换模型。实际操作中我通常会开两个对话窗口一个固定在本地qwen2.5:7b一个固定在云端qwen-plus。本地窗口负责处理以下内容个人隐私问题比如“帮我看一段我自己的私密笔记”调试提示词把思路先跑通再上云端离线环境下的临时问答云端窗口负责真正干活长文本会议纪要总结复杂代码重构需要最新知识或更强逻辑推理的任务如果 copaw 支持多轮上下文共享你甚至可以让本地模型先做初稿再把初稿复制到云端模型里精细化。这样做的好处是省钱因为本地模型不产生 token 费用只有最终优化那一步才花钱。5. 我在实操中踩过的坑5.1 qwen2.5 报 500 Internal Server Error 的真相我猜不少人是搜“qwen2.5 error 500”进到这篇文章的因为我自己也遇到过这个错。现象就是执行ollama run qwen2.5:7b然后终端返回一行很扎眼的Error: 500 Internal Server Error: llama-server process ...这个 500 错误几乎都出在加载模型环节原因集中在三块。第一是模型文件损坏。下载到一半中断、磁盘没空间都可能导致 GGUF 文件不完整解决方式就是删除重来ollama rm qwen2.5:7b ollama pull qwen2.5:7b第二是显存或内存不足。Ollama 默认会尝试把模型全部载入内存/显存如果你机器只有 8GB 内存跑 7B 模型很容易 OOM。解决办法是换更小的量化版本比如qwen2.5:3b或者用OLLAMA_MAX_LOADED_MODELS这类环境变量限制并发但这些方法治标不治本最好还是换小模型。第三是 Ollama 版本太旧。新版模型文件可能用到旧版 llama-server 不兼容的特性直接更新 Ollama 版本通常能解决。Windows 下可以下载新版安装包覆盖安装Linux 可以用包管理器更新。5.2 环境变量不生效、端口被占用我在第 2 节提过OLLAMA_MODELS环境变量但很多朋友会发现设置完了ollama list里还是老模型甚至新下载的模型还是跑到了 C 盘。原因很简单Ollama 服务是在你设置变量之前就启动的环境变量只能影响新启动的进程。Windows 上改完环境变量除了重启终端还必须在任务管理器里结束所有ollama.exe进程再重新执行ollama serve或让它自启。端口占用也是老问题。默认 11434 端口有时候会被其他服务抢走尤其是开发机上面跑了一堆微服务。遇到连接不了时先用这个命令看netstat -ano | findstr 11434看到最后一行有 PID再去任务管理器查这个 PID 是谁如果确实是被无关程序占用就改 Ollama 的端口或者停掉那个程序。5.3 AnythingLLM、LM Studio、Docker 部署选哪个和 Ollama 搭配的图形界面工具不止 copaw 一个我也不拒绝别人问“AnythingLLM 和 Ollama 怎么接”“LM Studio 和 Ollama 哪个好”。这三个东西的定位其实不太一样工具定位适合场景Ollama模型运行服务 CLI给程序员/API 调用做底层LM Studio图形化模型管理与聊天不想记命令、纯聊天、GUI 控AnythingLLM知识库/RAG 桌面端要结合文档库做检索问答Docker Ollama服务化部署服务器、多端隔离、自动重启我的建议是如果你只是想找个界面聊聊天LM Studio 确实更简单如果你想搭本地知识库AnythingLLM 会更顺手但你要像我这篇文章一样把本地模型接入 copaw 这类客户端那底层还是得靠 Ollama 因为 copaw 直接识别的是 Ollama 的服务端口。如果你想要稳定的生产环境Docker 部署是加分项。它能把 Ollama 隔离在容器里不污染宿主机也能通过docker compose管理依赖。唯一要注意的是容器内要挂载 GPU 驱动Windows 下 Docker Desktop 对 GPU 的支持没有宿主机直接跑那么直接所以日常折腾我还是推荐原生安装。5.4 关键时刻的排查命令速查表我最后把常用命令整理成一份速查清单直接保存就能用# 查看已安装模型 ollama list # 查看当前正在运行的模型进程 ollama ps # 查看模型详情确认量化格式/参数规模 ollama show qwen2.5:7b # 手动启动服务便于前台看日志 ollama serve # 测试 API 是否正常 curl http://localhost:11434/api/generate -d {\model\: \qwen2.5:7b\, \prompt\: \hi\} # 强行停止当前模型 ollama stop qwen2.5:7b # 删除损坏的模型 ollama rm qwen2.5:7b这几条命令解决了我 80% 的本地模型问题。遇到连接失败先跑ollama serve看日志遇到模型加载失败先用ollama ps看资源占用遇到模型名字写错用ollama list对照。最后再分享一个小经验每次改完环境变量或配置文件别急着开 copaw先在终端把 Ollama 服务和 API 测试通了再走。节点分开验证是最省时间的排查方式我前期经常在 copaw 里看到“Connection refused”绕了一圈才发现是 Ollama 服务根本没起。现在固定下来的习惯是改端口先 curl、改 key 先测试、换模型先 ollama show都通过后再进客户端稳稳当当。