简介这份资源是一份面向AI推理部署与深度学习开发者的DeepSeek模型本地化部署指南适合希望摆脱云服务成本、深入理解大语言模型底层运行机制的研究员与工程师。内容围绕Ollama安装、按显存规模选择DeepSeek-R1参数量版本、Docker容器化与Open WebUI图形界面搭建等环节展开兼顾命令行操作与浏览器端交互帮助读者建立一套可复用的本地LLM部署方案。资源包为1个docx文档约15KB以图文步骤与命令清单形式组织便于对照执行与快速检索。目前已有5221人学习下载说明该方案在中文开发者社区中具有较高的实用参考价值。读者可从中获得从环境准备、模型拉取到服务启动的完整流程梳理以及不同硬件条件下的版本选型建议为后续自然语言处理实验与机器学习项目落地提供可迁移的部署思路。1. 为什么要在本地跑 DeepSeek显存账、隐私账与离线可用性云端 API 调用一次几厘钱为什么还有人折腾本地部署我见过最实在的理由是三类一是数据不能出内网合同、日志、代码片段丢给云端接口过不了合规二是断网环境要能用比如工厂内网、实验室隔离机三是成本可预期高频调用场景下电费和显卡折旧比按 token 计费便宜。DeepSeek-R1 系列是推理型模型输出里带思维链本地跑起来能直接看到中间推理过程这对调试 prompt 和理解模型行为很有价值。Ollama 是目前门槛最低的本地推理运行时它把模型权重、量化格式、推理引擎打包成一条ollama run命令Windows、macOS、Linux 都有安装包。但门槛低不等于没坑显存不够会退化到 CPU 推理速度从每秒几十 token 掉到个位数模型标签选错会下载几个 G 的无效文件国内网络直连官方仓库经常卡在拉取层。这篇按「装运行时 → 选模型规格 → 命令行跑通 → 容器化加图形界面 → 排错与调优」的顺序拆一遍参数和命令都能直接抄。2. Ollama 安装与运行时的目录结构2.1 各平台安装方式与验证Windows 和 macOS 直接去 ollama.com 下安装包双击装完托盘会出现常驻图标。Linux 我一般用脚本装比手动解压省事# Linux 一键安装脚本会自动识别架构并配置 systemd 服务 curl -fsSL https://ollama.com/install.sh | sh # 验证运行时是否就绪正常会返回版本号 ollama --version # 查看服务监听状态默认端口 11434 curl http://localhost:11434/api/tagsinstall.sh做三件事下载对应架构的二进制到/usr/local/bin、创建ollama系统用户、注册 systemd 服务并启动。ollama --version返回版本号说明二进制可用/api/tags返回 JSON 说明后台服务在跑。Windows 下如果托盘图标在但命令找不到多半是 PATH 没刷新重开一个 cmd 窗口即可。2.2 模型存哪了OLLAMA_MODELS 与磁盘规划默认模型目录在各平台不一样这是很多人 C 盘爆满的根源平台默认模型目录环境变量WindowsC:\Users\用户\.ollama\modelsOLLAMA_MODELSmacOS~/.ollama/modelsOLLAMA_MODELSLinux/usr/share/ollama/.ollama/modelsOLLAMA_MODELS一个 32B 的量化模型大约 20GB70B 能到 40GB 以上。装之前先确认目标盘剩余空间改路径的做法是设环境变量后重启服务# Linux 下把模型目录迁到数据盘 sudo mkdir -p /data/ollama/models sudo chown -R ollama:ollama /data/ollama/models # 通过 systemd 覆盖配置注入环境变量 sudo systemctl edit ollama # 在打开的编辑器里写入 # [Service] # EnvironmentOLLAMA_MODELS/data/ollama/models sudo systemctl daemon-reload sudo systemctl restart ollamasystemctl edit生成的是 override 文件不会污染原始 unit升级时也不会被覆盖。改完必须daemon-reload再restart只 restart 不 reload 环境变量不生效。Windows 下在「系统属性 → 环境变量」里加OLLAMA_MODELS然后退出托盘图标重新启动程序。2.3 国内拉取慢的镜像与代理配置官方 registry 在国内经常几十 KB/s一个 7B 模型要下半小时。常见做法是走镜像加速或者提前用离线方式把模型文件搬进去。Ollama 支持通过OLLAMA_HOST指定服务地址但模型拉取走的是 registry镜像方案一般是替换 registry 域名或使用内网缓存。更稳的办法是在能正常拉取的机器上ollama pull完把整个 models 目录拷到目标机目录结构保持一致即可Ollama 启动时会扫描本地 blob。提示拷贝模型目录时保持blobs和manifests两个子目录的相对结构只拷 blobs 不拷 manifests 会导致ollama list看不到模型。3. DeepSeek 模型规格选择与 ollama run 实操3.1 参数量、量化与显存对照选模型本质是算显存账。显存需求约等于「参数量 × 每参数字节数 上下文缓存」量化等级决定每参数字节数。Q4 量化下大约每 10 亿参数占 0.60.7GB 显存再留 2GB 给上下文和运行时开销模型规格Q4 量化显存需求推荐显卡适用场景1.5B约 2GB核显/入门独显验证流程、低配笔记本7B/8B约 6GB8GB 显存日常问答、代码补全14B约 10GB1216GB 显存复杂推理、长文总结32B约 20GB24GB 显存接近可用的推理质量70B约 40GB40GB 以上或多卡高质量推理、研究显存不够时 Ollama 会自动把部分层放到 CPU表现为首次响应极慢、ollama ps里显示 CPU/GPU 混合。判断是否全量上卡跑起来后用ollama ps看 PROCESSOR 列显示 100% GPU 才算跑满。3.2 拉取与运行命令拆解# 拉取模型但不立即运行适合提前下载 ollama pull deepseek-r1:7b # 运行并进入交互式对话首次会自动拉取 ollama run deepseek-r1:7b # 查看当前加载的模型及其显存占用 ollama ps # 查看本地已有模型清单 ollama listpull和run的区别在于前者只下载后者下载完直接进 REPL。交互界面里/bye退出/clear清空上下文/set parameter num_ctx 8192可以临时改上下文长度。ollama ps的 UNTIL 列显示模型在显存里保留多久默认 5 分钟无请求后卸载频繁调用可以设OLLAMA_KEEP_ALIVE-1常驻。3.3 用 Modelfile 固化参数每次手敲参数不现实Modelfile 能把系统提示词、温度、上下文长度固化成一个自定义模型# 保存为 Modelfile.deepseek FROM deepseek-r1:7b # 系统提示词约束输出语言和风格 SYSTEM 你是一个中文技术助手回答简洁代码带注释。 # 上下文窗口越大越吃显存 PARAMETER num_ctx 8192 # 温度推理任务建议低一些 PARAMETER temperature 0.6 # 限制单次最大输出 token PARAMETER num_predict 2048# 基于 Modelfile 创建自定义模型 ollama create my-deepseek -f Modelfile.deepseek # 运行自定义模型 ollama run my-deepseeknum_ctx是显存杀手从 2048 提到 8192 可能多吃 12GB长文档场景才需要调大。temperature对 R1 这类推理模型建议 0.50.7太高思维链会发散。num_predict限制输出长度能防止模型陷入循环生成把显存拖爆。4. Docker 与 Open WebUI给命令行套上图形界面4.1 容器化部署的取舍命令行够用但多人共用、要历史记录、要文件上传时图形界面省事。Open WebUI 是自托管的 Web 前端通过 Docker 跑连本机 Ollama 服务。前提是 Docker Desktop 已装好并重启过系统。容器和宿主机通信有个坑容器里的localhost指向容器自己连不到宿主机的 Ollama所以要用host.docker.internal这个特殊域名。4.2 启动命令与端口映射# 启动 Open WebUI映射到宿主机 3000 端口 docker run -d \ -p 3000:8080 \ --add-hosthost.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main逐段说明-p 3000:8080把容器内 8080 映射到宿主机 3000浏览器访问http://localhost:3000--add-host让容器内能解析host.docker.internal到宿主机网关这是连本机 Ollama 的关键-v open-webui:/app/backend/data用命名卷持久化对话记录和配置容器删了数据还在--restart always保证开机自启。启动后docker ps看到容器状态 Up 即可。4.3 连接 Ollama 与常见连接失败排查首次打开页面要注册管理员账号这是本地账号数据存在卷里。登录后进「设置 → 连接」Ollama 地址填http://host.docker.internal:11434。如果列表拉不到模型按顺序查# 1. 确认宿主机 Ollama 在监听 curl http://localhost:11434/api/tags # 2. 进容器内部测试连通性 docker exec -it open-webui curl http://host.docker.internal:11434/api/tags # 3. 看容器日志里的报错 docker logs --tail 50 open-webui第 1 步不通说明 Ollama 服务没起第 2 步不通多半是--add-host没加或 Docker 网络模式问题第 3 步日志里出现 connection refused 基本就是地址填错。Linux 下如果 Ollama 只监听 127.0.0.1容器也连不上需要设OLLAMA_HOST0.0.0.0后重启服务。注意把 Ollama 暴露到 0.0.0.0 会让同网段其他机器也能访问内网环境才这么做公网机器务必配合防火墙限制来源。5. 性能调优与故障定位的几条硬经验5.1 用 ollama ps 和日志判断瓶颈模型跑得慢先分清是显存不够还是 CPU 瓶颈。ollama ps的 PROCESSOR 列如果显示40%/60% CPU/GPU说明有层被卸载到 CPU速度会被内存带宽拖死。这时要么换更小的量化版本要么降num_ctx。日志里能看到每层的分配决策# Linux 下看服务日志 journalctl -u ollama -f # 关注这几类关键字 # offloading N layers to GPU 卸载了多少层到显卡 # llm_load_tensors 张量加载情况 # CUDA error 显卡相关报错offloading的层数越接近总层数越好全部卸载才是纯 GPU 推理。出现 CUDA out of memory 就是显存真的不够降规格或减上下文。5.2 上下文长度与并发数的权衡num_ctx和OLLAMA_NUM_PARALLEL是两个最影响显存的参数。并发数默认按显存自动算手动调大能让多人同时用但每个并发实例都要独立上下文空间# 限制并发为 2避免多人用时显存爆掉 sudo systemctl edit ollama # [Service] # EnvironmentOLLAMA_NUM_PARALLEL2 # EnvironmentOLLAMA_MAX_LOADED_MODELS1OLLAMA_MAX_LOADED_MODELS1保证同时只加载一个模型防止切换模型时旧模型没卸载导致显存叠加。多人共用的机器上这两个参数比调模型规格更管用。5.3 一个验证部署是否合格的检查清单部署完别急着用跑一遍这套检查能提前发现大部分问题。第一ollama list能看到目标模型且大小合理7B 的 Q4 大约 45GB明显偏小说明拉的是空壳。第二ollama ps显示 100% GPU。第三发一条长 prompt 测上下文比如贴 3000 字让它总结不报错说明num_ctx够。第四断开网络再发一条能正常回复说明完全离线。第五重启机器后服务自动起来curl /api/tags直接可用。这五条过了这套本地部署才算真正落地而不是「装完能跑一次」。本文还有配套的精品资源点击获取