九.Docker中安装ollama及相关操作

1.基础部署（带模型持久化）

核心是通过-v参数挂载宿主机目录，实现模型文件持久化（避免容器删除后模型丢失，同时自定义模型存放位置）：

在宿主机新建模型存放文件夹，示例：D:\Docker\ollama\models
打开 PowerShell，执行以下部署命令：

docker run-d `--name ollama `--restart always `-p 11434:11434 `-v D:\Docker\ollama\models:/root/.ollama/models ` ollama/ollama:latest

参数说明：

-d：后台运行容器
–name ollama：设置容器名称为 ollama
–restart always：开机自启，容器异常自动重启
-p 11434:11434：端口映射，将容器内 11434 端口映射到宿主机
-v 宿主机路径:/root/.ollama/models：挂载模型目录，容器内默认模型路径为/root/.ollama/models

启用 GPU 加速部署

在基础命令上添加–gpus all参数，即可启用 GPU 加速，大幅提升模型运行速度：

docker run-d `--name ollama `--restart always `--gpus all `-p 11434:11434 `-v D:\Docker\ollama\models:/root/.ollama/models ` ollama/ollama:latest

2.Docker Compose 部署（推荐，方便管理）

适合长期使用、需要和其他服务集成的场景，通过docker-compose.yml文件统一管理配置：

1. 新建文件夹 D:\Docker\ollama，在文件夹内新建docker-compose.yml文件，内容如下：

   version:'3.8'services: ollama: image: ollama/ollama:latest container_name: ollama restart: always ports:-"11434:11434"# 模型持久化挂载volumes:-./models:/root/.ollama/models# GPU加速配置（无GPU可删除deploy段）deploy: resources: reservations: devices:-driver: nvidia count: all capabilities:[gpu]

2. 在该文件夹内按住 Shift 右键，打开 PowerShell，执行启动命令：

   docker-compose up-d

3. 常用管理命令：

   # 停止容器docker-compose down# 查看容器日志docker-compose logs-f

3. Docker 部署验证与使用

1. 执行docker ps，查看 ollama 容器状态为Up，即部署成功。

2. 进入容器运行模型：

   docker exec-it ollama ollama run llama3

3. 宿主机直接访问 API：和原生安装一致，浏览器访问127.0.0.1:11434，显示Ollama is running即正常，可直接对接各类前端、二次开发项目。

4.安装模型3种方法（任选一种）

方法 1：最常用 → 直接在 Windows 终端执行（推荐）

打开 PowerShell，直接运行：

docker exec-it ollama ollama pull 模型名称

示例：

# 安装 llama3 8Bdocker exec-it ollama ollama pull llama3# 安装 qwen 通义千问docker exec-it ollama ollama pull qwen# 安装 glm4docker exec-it ollama ollama pull glm4# 安装 通义千问7B 量化版docker exec-it ollama ollama pull qwen:7b

方法 2：进入容器内部安装

docker exec-it ollama/bin/bash

进入后直接执行：

ollama pull llama3#默认8B

常用模型下载命令（直接复制）

# Llama 3docker exec-it ollama ollama pull llama3# Qwendocker exec-it ollama ollama pull qwen# GLM-4docker exec-it ollama ollama pull glm4# 14Bdocker exec-it ollama ollama pull qwen:14b# Gemmadocker exec-it ollama ollama pull gemma

查看已安装模型

docker exec-it ollama ollama list

模型会自动保存在你之前挂载的目录（例如 D:\Docker\ollama\models）删除容器不会丢模型！ 下次重建容器直接能用。