拓冰网站定制 
简介这份资源是一份面向AI推理部署与深度学习开发者的DeepSeek模型本地部署指南适合希望摆脱云服务成本、深入理解大语言模型底层运行机制的研究员与工程师。内容围绕Ollama安装、按显存规模选择DeepSeek-R1参数量版本、Docker与Open WebUI容器化辅助部署以及命令行与浏览器图形界面初次登录验证等环节展开覆盖从环境搭建到服务启动的完整链路。资源包为1个docx文档大小约15KB以图文步骤与命令说明为主便于按章节对照操作。目前已有5221人学习下载读者可借此掌握一套通用的大模型本地部署方案理解不同硬件条件下的模型选型逻辑并积累容器管理与Web服务提供的实践经验为后续自然语言处理与机器学习项目落地提供可复用的参考路径。1. 为什么要在本地跑 DeepSeek从显存账单说起很多人第一次动本地部署的念头是因为 API 调用开始按量计费或者数据不能出内网。DeepSeek 系列模型在中文理解和代码生成上表现扎实但真正决定你能不能在本机跑起来的不是模型参数量而是显存和量化格式。一个 7B 级别的模型FP16 权重约 14GBINT4 量化后压到 4GB 上下这才让消费级显卡有了入场资格。Ollama 的价值在于把这套量化、加载、推理服务化的流程封装成几条命令。它内置了模型仓库、量化转换和 HTTP 服务你不用自己写 transformers 加载脚本也不用折腾 CUDA 版本匹配。适合三类人想在内网做私有推理的运维、需要离线调试 prompt 的算法工程师、以及想低成本试跑大模型的开发者。这一章先把「本地部署 DeepSeek Ollama」这件事的边界讲清楚后面再落到安装、拉模型、调参和排错。2. Ollama 安装与国内网络下的模型拉取2.1 Ollama 安装包获取与验证Linux 下最常见的做法是一行脚本安装但生产环境我更倾向于手动下载二进制方便校验和固定版本。# 下载安装脚本并保存避免直接管道执行 curl -fsSL https://ollama.com/install.sh -o ollama_install.sh # 查看脚本内容确认下载地址和安装路径 less ollama_install.sh # 执行安装 sh ollama_install.sh # 验证版本与服务状态 ollama --version systemctl status ollama逻辑说明先落盘再执行是为了避免脚本中途被篡改或网络中断导致半成品安装。systemctl status ollama能看到服务是否自动拉起Ollama 默认监听127.0.0.1:11434。参数上安装脚本支持OLLAMA_MODELS环境变量指定模型存储目录默认在/usr/share/ollama/.ollama/models磁盘紧张时提前改掉。macOS 直接下载 dmg 拖入应用即可Windows 用安装包装完托盘会出现 Ollama 图标。三端命令一致差别只在服务管理方式。2.2 国内镜像源与离线模型导入ollama pull慢是高频痛点原因是默认从境外 registry 拉取。常见做法是配置镜像加速或者干脆离线导入 GGUF。# 方式一设置镜像地址后拉取 export OLLAMA_HOST127.0.0.1:11434 export OLLAMA_MODELS/data/ollama/models # 拉取 DeepSeek 量化模型以 7B 为例 ollama pull deepseek-r1:7b # 方式二离线 GGUF 导入先写 Modelfile cat Modelfile EOF FROM ./deepseek-r1-7b-q4_k_m.gguf PARAMETER temperature 0.6 PARAMETER num_ctx 4096 EOF ollama create deepseek-local -f Modelfile ollama run deepseek-local逻辑说明OLLAMA_MODELS决定模型落盘位置迁移磁盘时直接改这个变量再重启服务。ollama create会把本地 GGUF 注册成一个可run的模型名FROM指向文件路径PARAMETER是默认推理参数。离线导入的好处是不依赖网络坏处是要自己确认 GGUF 的量化等级和上下文长度是否匹配硬件。量化等级7B 显存占用13B 显存占用适用显卡Q4_K_M约 4.5GB约 8GBRTX 3060 12GQ5_K_M约 5.5GB约 10GBRTX 4060Ti 16GQ8_0约 8GB约 14GBRTX 4080FP16约 14GB约 26GBA100 40G提示显存不够时优先降num_ctx上下文从 8192 降到 2048 能省下可观的 KV Cache比换量化等级更立竿见影。2.3 服务化配置与开机自启装完只是第一步让它稳定对外提供服务需要改 systemd 配置。# 编辑服务覆盖配置 systemctl edit ollama # 写入以下内容 [Service] EnvironmentOLLAMA_HOST0.0.0.0:11434 EnvironmentOLLAMA_MODELS/data/ollama/models EnvironmentOLLAMA_NUM_PARALLEL2 EnvironmentOLLAMA_KEEP_ALIVE30m systemctl daemon-reload systemctl restart ollama逻辑说明OLLAMA_HOST改成0.0.0.0才能被局域网其他机器访问只在本机用就保持默认。OLLAMA_NUM_PARALLEL控制并发请求数显存小就设 1。OLLAMA_KEEP_ALIVE决定模型在内存里驻留多久设长一点避免频繁冷启动设短一点省显存。3. 模型运行、参数调优与 API 调用3.1 交互式运行与常用参数ollama run是最直接的验证方式但默认参数未必适合你的任务。# 带参数启动 ollama run deepseek-r1:7b --verbose # 进入交互后可用 /set 调整 /set parameter temperature 0.3 /set parameter num_ctx 8192 /set parameter top_p 0.9 /set parameter repeat_penalty 1.1逻辑说明temperature越低输出越确定代码任务建议 0.2 到 0.4创意写作可以到 0.8。num_ctx是上下文窗口直接吃显存8K 是多数 7B 模型的舒适区。top_p配合 temperature 做核采样repeat_penalty抑制复读。--verbose会打印 token 速率和加载耗时用来判断瓶颈在加载还是推理。3.2 通过 HTTP API 接入现有系统Ollama 暴露的是兼容 OpenAI 风格的接口这让codex 接入 deepseek、vscode 接入 deepseek这类需求变得简单。import requests import json url http://127.0.0.1:11434/api/chat payload { model: deepseek-r1:7b, messages: [ {role: system, content: 你是一个严谨的代码助手}, {role: user, content: 用 Python 写一个快速排序} ], stream: False, options: { temperature: 0.3, num_ctx: 4096 } } resp requests.post(url, jsonpayload, timeout120) data resp.json() print(data[message][content])逻辑说明/api/chat是对话接口/api/generate是单轮补全接口。stream设 False 方便一次性拿完整结果设 True 则逐块返回适合前端打字机效果。options里的参数和交互式/set一一对应。注意messages里的tool_calls字段在部分版本需要模型支持函数调用普通对话不要带。接口用途关键字段/api/generate单轮文本补全prompt, options/api/chat多轮对话messages, stream/api/tags列出本地模型无/api/ps查看已加载模型无/api/embeddings生成向量prompt, model3.3 低显存运行模型的取舍显存吃紧时除了量化和降上下文还有几个可调项。# 限制 GPU 层数把部分层放到 CPU ollama run deepseek-r1:7b --num-gpu 20 # 或者用环境变量控制 export OLLAMA_GPU_OVERHEAD0 export OLLAMA_MAX_LOADED_MODELS1逻辑说明--num-gpu指定放到 GPU 的层数剩下的走 CPU速度会降但能跑起来。OLLAMA_MAX_LOADED_MODELS1保证同一时间只驻留一个模型避免多个模型抢显存。CPU 推理时内存要够7B Q4 大约需要 6GB 系统内存。注意CPU 推理的 token 速率可能只有 GPU 的十分之一交互体验会明显变差适合批处理而非实时对话。4. 排错、验证与进阶技巧4.1 常见报错的定位路径拉模型卡住、服务起不来、推理 OOM这三类占了绝大多数。# 查看服务日志 journalctl -u ollama -f # 检查端口占用 ss -tlnp | grep 11434 # 查看模型是否加载 ollama ps # 手动测试接口连通性 curl http://127.0.0.1:11434/api/tags逻辑说明journalctl能看到拉取进度和 CUDA 初始化错误。端口被占通常是之前残留进程ss找到 PID 后 kill。ollama ps显示当前驻留模型和显存占用为空说明模型已卸载。curl /api/tags是最轻量的健康检查返回 JSON 就说明服务正常。4.2 用 Modelfile 固化一套可复现配置调好的参数不要每次手敲写进 Modelfile 一次成型。cat Modelfile.deepseek EOF FROM deepseek-r1:7b PARAMETER temperature 0.3 PARAMETER num_ctx 8192 PARAMETER top_p 0.9 SYSTEM 你是一个中文技术助手回答简洁代码带注释 EOF ollama create deepseek-coder -f Modelfile.deepseek ollama run deepseek-coder逻辑说明FROM可以基于已有模型再定制不必从 GGUF 开始。SYSTEM固化系统提示词团队共享时保证行为一致。ollama create生成的新模型名可以推到私有 registry也可以导出给同事。4.3 验证推理质量与性能基线部署完要有个量化标准否则不知道调参有没有效果。# 记录首 token 延迟和生成速率 time ollama run deepseek-coder 解释一下什么是 KV Cache --verbose逻辑说明--verbose输出的eval rate是生成速率prompt eval rate是预填充速率。7B Q4 在 RTX 3060 上生成速率 30 tokens/s 以上算正常低于 10 就要查是不是走了 CPU。首 token 延迟高通常是模型冷加载OLLAMA_KEEP_ALIVE设长能缓解。指标正常范围7B Q4 / 3060异常时排查方向生成速率25-40 tokens/s是否走 CPU、量化等级首 token 延迟0.5-2s热模型是否卸载、磁盘 IO显存占用4-6GBnum_ctx 是否过大并发响应2 路以内稳定OLLAMA_NUM_PARALLEL把deepseek-coder这个定制模型接到编辑器或内部工具时接口地址填http://你的内网IP:11434/v1模型名填deepseek-coder就能当 OpenAI 兼容端点用。真正影响长期体验的不是装没装上而是num_ctx、KEEP_ALIVE和量化等级这三个值有没有按你的硬件调到位。本文还有配套的精品资源点击获取 本地部署 DeepSeek 与 Ollama 实战：量化、显存优化与 API 接入
简介这份资源是一份面向AI推理部署与深度学习开发者的DeepSeek模型本地部署指南适合希望摆脱云服务成本、深入理解大语言模型底层运行机制的研究员与工程师。内容围绕Ollama安装、按显存规模选择DeepSeek-R1参数量版本、Docker与Open WebUI容器化辅助部署以及命令行与浏览器图形界面初次登录验证等环节展开覆盖从环境搭建到服务启动的完整链路。资源包为1个docx文档大小约15KB以图文步骤与命令说明为主便于按章节对照操作。目前已有5221人学习下载读者可借此掌握一套通用的大模型本地部署方案理解不同硬件条件下的模型选型逻辑并积累容器管理与Web服务提供的实践经验为后续自然语言处理与机器学习项目落地提供可复用的参考路径。1. 为什么要在本地跑 DeepSeek从显存账单说起很多人第一次动本地部署的念头是因为 API 调用开始按量计费或者数据不能出内网。DeepSeek 系列模型在中文理解和代码生成上表现扎实但真正决定你能不能在本机跑起来的不是模型参数量而是显存和量化格式。一个 7B 级别的模型FP16 权重约 14GBINT4 量化后压到 4GB 上下这才让消费级显卡有了入场资格。Ollama 的价值在于把这套量化、加载、推理服务化的流程封装成几条命令。它内置了模型仓库、量化转换和 HTTP 服务你不用自己写 transformers 加载脚本也不用折腾 CUDA 版本匹配。适合三类人想在内网做私有推理的运维、需要离线调试 prompt 的算法工程师、以及想低成本试跑大模型的开发者。这一章先把「本地部署 DeepSeek Ollama」这件事的边界讲清楚后面再落到安装、拉模型、调参和排错。2. Ollama 安装与国内网络下的模型拉取2.1 Ollama 安装包获取与验证Linux 下最常见的做法是一行脚本安装但生产环境我更倾向于手动下载二进制方便校验和固定版本。# 下载安装脚本并保存避免直接管道执行 curl -fsSL https://ollama.com/install.sh -o ollama_install.sh # 查看脚本内容确认下载地址和安装路径 less ollama_install.sh # 执行安装 sh ollama_install.sh # 验证版本与服务状态 ollama --version systemctl status ollama逻辑说明先落盘再执行是为了避免脚本中途被篡改或网络中断导致半成品安装。systemctl status ollama能看到服务是否自动拉起Ollama 默认监听127.0.0.1:11434。参数上安装脚本支持OLLAMA_MODELS环境变量指定模型存储目录默认在/usr/share/ollama/.ollama/models磁盘紧张时提前改掉。macOS 直接下载 dmg 拖入应用即可Windows 用安装包装完托盘会出现 Ollama 图标。三端命令一致差别只在服务管理方式。2.2 国内镜像源与离线模型导入ollama pull慢是高频痛点原因是默认从境外 registry 拉取。常见做法是配置镜像加速或者干脆离线导入 GGUF。# 方式一设置镜像地址后拉取 export OLLAMA_HOST127.0.0.1:11434 export OLLAMA_MODELS/data/ollama/models # 拉取 DeepSeek 量化模型以 7B 为例 ollama pull deepseek-r1:7b # 方式二离线 GGUF 导入先写 Modelfile cat Modelfile EOF FROM ./deepseek-r1-7b-q4_k_m.gguf PARAMETER temperature 0.6 PARAMETER num_ctx 4096 EOF ollama create deepseek-local -f Modelfile ollama run deepseek-local逻辑说明OLLAMA_MODELS决定模型落盘位置迁移磁盘时直接改这个变量再重启服务。ollama create会把本地 GGUF 注册成一个可run的模型名FROM指向文件路径PARAMETER是默认推理参数。离线导入的好处是不依赖网络坏处是要自己确认 GGUF 的量化等级和上下文长度是否匹配硬件。量化等级7B 显存占用13B 显存占用适用显卡Q4_K_M约 4.5GB约 8GBRTX 3060 12GQ5_K_M约 5.5GB约 10GBRTX 4060Ti 16GQ8_0约 8GB约 14GBRTX 4080FP16约 14GB约 26GBA100 40G提示显存不够时优先降num_ctx上下文从 8192 降到 2048 能省下可观的 KV Cache比换量化等级更立竿见影。2.3 服务化配置与开机自启装完只是第一步让它稳定对外提供服务需要改 systemd 配置。# 编辑服务覆盖配置 systemctl edit ollama # 写入以下内容 [Service] EnvironmentOLLAMA_HOST0.0.0.0:11434 EnvironmentOLLAMA_MODELS/data/ollama/models EnvironmentOLLAMA_NUM_PARALLEL2 EnvironmentOLLAMA_KEEP_ALIVE30m systemctl daemon-reload systemctl restart ollama逻辑说明OLLAMA_HOST改成0.0.0.0才能被局域网其他机器访问只在本机用就保持默认。OLLAMA_NUM_PARALLEL控制并发请求数显存小就设 1。OLLAMA_KEEP_ALIVE决定模型在内存里驻留多久设长一点避免频繁冷启动设短一点省显存。3. 模型运行、参数调优与 API 调用3.1 交互式运行与常用参数ollama run是最直接的验证方式但默认参数未必适合你的任务。# 带参数启动 ollama run deepseek-r1:7b --verbose # 进入交互后可用 /set 调整 /set parameter temperature 0.3 /set parameter num_ctx 8192 /set parameter top_p 0.9 /set parameter repeat_penalty 1.1逻辑说明temperature越低输出越确定代码任务建议 0.2 到 0.4创意写作可以到 0.8。num_ctx是上下文窗口直接吃显存8K 是多数 7B 模型的舒适区。top_p配合 temperature 做核采样repeat_penalty抑制复读。--verbose会打印 token 速率和加载耗时用来判断瓶颈在加载还是推理。3.2 通过 HTTP API 接入现有系统Ollama 暴露的是兼容 OpenAI 风格的接口这让codex 接入 deepseek、vscode 接入 deepseek这类需求变得简单。import requests import json url http://127.0.0.1:11434/api/chat payload { model: deepseek-r1:7b, messages: [ {role: system, content: 你是一个严谨的代码助手}, {role: user, content: 用 Python 写一个快速排序} ], stream: False, options: { temperature: 0.3, num_ctx: 4096 } } resp requests.post(url, jsonpayload, timeout120) data resp.json() print(data[message][content])逻辑说明/api/chat是对话接口/api/generate是单轮补全接口。stream设 False 方便一次性拿完整结果设 True 则逐块返回适合前端打字机效果。options里的参数和交互式/set一一对应。注意messages里的tool_calls字段在部分版本需要模型支持函数调用普通对话不要带。接口用途关键字段/api/generate单轮文本补全prompt, options/api/chat多轮对话messages, stream/api/tags列出本地模型无/api/ps查看已加载模型无/api/embeddings生成向量prompt, model3.3 低显存运行模型的取舍显存吃紧时除了量化和降上下文还有几个可调项。# 限制 GPU 层数把部分层放到 CPU ollama run deepseek-r1:7b --num-gpu 20 # 或者用环境变量控制 export OLLAMA_GPU_OVERHEAD0 export OLLAMA_MAX_LOADED_MODELS1逻辑说明--num-gpu指定放到 GPU 的层数剩下的走 CPU速度会降但能跑起来。OLLAMA_MAX_LOADED_MODELS1保证同一时间只驻留一个模型避免多个模型抢显存。CPU 推理时内存要够7B Q4 大约需要 6GB 系统内存。注意CPU 推理的 token 速率可能只有 GPU 的十分之一交互体验会明显变差适合批处理而非实时对话。4. 排错、验证与进阶技巧4.1 常见报错的定位路径拉模型卡住、服务起不来、推理 OOM这三类占了绝大多数。# 查看服务日志 journalctl -u ollama -f # 检查端口占用 ss -tlnp | grep 11434 # 查看模型是否加载 ollama ps # 手动测试接口连通性 curl http://127.0.0.1:11434/api/tags逻辑说明journalctl能看到拉取进度和 CUDA 初始化错误。端口被占通常是之前残留进程ss找到 PID 后 kill。ollama ps显示当前驻留模型和显存占用为空说明模型已卸载。curl /api/tags是最轻量的健康检查返回 JSON 就说明服务正常。4.2 用 Modelfile 固化一套可复现配置调好的参数不要每次手敲写进 Modelfile 一次成型。cat Modelfile.deepseek EOF FROM deepseek-r1:7b PARAMETER temperature 0.3 PARAMETER num_ctx 8192 PARAMETER top_p 0.9 SYSTEM 你是一个中文技术助手回答简洁代码带注释 EOF ollama create deepseek-coder -f Modelfile.deepseek ollama run deepseek-coder逻辑说明FROM可以基于已有模型再定制不必从 GGUF 开始。SYSTEM固化系统提示词团队共享时保证行为一致。ollama create生成的新模型名可以推到私有 registry也可以导出给同事。4.3 验证推理质量与性能基线部署完要有个量化标准否则不知道调参有没有效果。# 记录首 token 延迟和生成速率 time ollama run deepseek-coder 解释一下什么是 KV Cache --verbose逻辑说明--verbose输出的eval rate是生成速率prompt eval rate是预填充速率。7B Q4 在 RTX 3060 上生成速率 30 tokens/s 以上算正常低于 10 就要查是不是走了 CPU。首 token 延迟高通常是模型冷加载OLLAMA_KEEP_ALIVE设长能缓解。指标正常范围7B Q4 / 3060异常时排查方向生成速率25-40 tokens/s是否走 CPU、量化等级首 token 延迟0.5-2s热模型是否卸载、磁盘 IO显存占用4-6GBnum_ctx 是否过大并发响应2 路以内稳定OLLAMA_NUM_PARALLEL把deepseek-coder这个定制模型接到编辑器或内部工具时接口地址填http://你的内网IP:11434/v1模型名填deepseek-coder就能当 OpenAI 兼容端点用。真正影响长期体验的不是装没装上而是num_ctx、KEEP_ALIVE和量化等级这三个值有没有按你的硬件调到位。本文还有配套的精品资源点击获取