当前位置: 首页 > news >正文

Ollama本地部署大模型

说明

本文是我于2025-05-31在某SDN上发布的,但是即使是这样一篇简单基础甚至有点简陋的文章在原平台也是经常“被付费观看”,于是我决定还是在博客园这也同步发布,希望能给大家带来一点帮助。

安装

1.下载ollama并进行安装

前往Ollama官方网站下载

image

2.检查是否安装成功

ollama -v

3.路径迁移(可选)

因为Ollama默认安装到C盘了,下载的模型也会默认放C盘,所以我更改了软件和模型存放位置,新位置在 D:\Software\Ollama\models

按照路径找到软件安装文件夹和模型存放文件夹,然后一起剪切到目标文件夹。

默认的安装目录:

C:\Users\%username%\AppData\Local\Programs\Ollama

如果安装了模型,模型默认目录:

C:\Users\%username%\.ollama\models

4.修改环境变量(可选)

进入此电脑文件夹,右键选择属性,选择高级系统设置,修改用户变量和系统变量。

image

修改用户变量中的Path,将ollama软件位置修改到新的位置。

image

如果你也改了位置,则改动后可以将环境变量中旧的位置删掉,同时可以把旧位置的Ollama和模型也删了。

注: 若删掉原来的路径,则将不能自动启动,且需要修改原来快捷方式的路径和图标。

在用户变量中添加:

OLLAMA_HOST 为 0.0.0.0OLLMA_ORIGINS 为 *

如下图:

image

在系统变量中添加:

OLLAMA_MODELS 为 D:\Software\Ollama\models

如下图:

image

然后重启计算机。

Ollama其他环境变量列表:

此部分参考的是知乎AiBot的文章Ollama 安装与配置与添加模型。

  1. OLLAMA_HOST:这个变量定义了Ollama监听的网络接口。通过设置参数值为 0.0.0.0,我们可以让Ollama监听所有可用的网络接口,从而允许外部网络访问。如果你想让内网其他机器访问你的Ollama服务,这个很重要!
  • Windows (PowerShell): $env:OLLAMA_HOST="0.0.0.0:11434" (注意: 0.0.0.0 表示监听所有网络接口)
  • Linux/macOS: export OLLAMA_HOST="0.0.0.0:11434"
  • 别忘了在防火墙里放行11434端口(或者你自定义的端口)!
  1. OLLAMA_MODELS:这个变量指定了模型镜像的存储路径。通过设置参数值为新模型所在路径,如E:\ollama\models,我们可以将模型镜像存储在E盘,避免C盘空间不足的问题。

  2. OLLAMA_KEEP_ALIVE:这个变量控制模型在内存中的存活时间。设置参数值为24h可以让模型在内存中保持24小时,提高访问速度。

  3. OLLAMA_PORT:这个变量允许我们更改Ollama的默认端口。例如,设置参数值为8080可以将服务端口从默认的11434更改为8080。

  4. OLLAMA_NUM_PARALLEL:这个变量决定了Ollama可以同时处理的用户请求数量。设置参数值为4可以让Ollama同时处理两个并发请求。

  5. OLLAMA_MAX_LOADED_MODELS:这个变量限制了Ollama可以同时加载的模型数量。设置参数值为4可以确保系统资源得到合理分配。

  6. OLLAMA_ORIGINS: 允许的源列表,星号*或使用逗号分隔。

8.代理设置 (内网环境经常遇到):如果你的网络需要通过代理才能访问外网,一定要设置HTTP/HTTPS代理!否则Ollama可能无法下载模型。

Windows (PowerShell):
$env:HTTP_PROXY="http://your-proxy-server:port"
$env:HTTPS_PROXY="http://your-proxy-server:port"Linux/macOS:
export HTTP_PROXY="http://your-proxy-server:port"
export HTTPS_PROXY="http://your-proxy-server:port"

使用

5.启动Ollama

双击刚才修改的快捷方式启动,或者进入Ollama文件夹双击ollama app.exe启动。

image

启动成功后,ollama 将在本地 11434 端口启动一个 API 服务。

6.拉取模型

通过Ollama模型市场获取模型拉取命令。

ollama pull deepseek-r1:1.5b

image

7.Ollama本地运行一个大模型

上面已经拉取了一个模型到本地,那么我们可以运行:

ollama run deepseek-r1:1.5b

简单的运行模型并通过命令行窗口进行对话。

如果需要可视化界面或者使用RAG增强,可以使用像AnythingLLM或者 其他软件 | 插件 实现,这里就不再展开。

8.Ollama命令以及作用

ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息  
ollama ps            #查看运行模型及其占用
ollama run model_name --verbose  #模型运行中提供tokens数据(模型运行快慢的指标)
http://www.gsyq.cn/news/132590.html

相关文章:

  • Java毕设选题推荐:基于springboot的人力资源管理系统的设计与实现员工管理,部门管理,员工考勤管理,请假申请管理【附源码、mysql、文档、调试+代码讲解+全bao等】
  • 【毕业设计】基于springboot的演唱会购票系统的设计与实现(源码+文档+远程调试,全bao定制等)
  • 从开发一个AI美女聊天群组开始
  • 【毕业设计】基于springboot的养宠物指南服务平台系统的设计与实现(源码+文档+远程调试,全bao定制等)
  • 27、老虎和小猫
  • Java毕设项目:基于springboot的演唱会购票系统的设计与实现(源码+文档,讲解、调试运行,定制等)
  • 无需训练数据即可控制语言生成模型的技术突破
  • Java毕设项目:基于springboot的养宠物指南服务平台系统的设计与实现(源码+文档,讲解、调试运行,定制等)
  • 挖到宝了!这些国产儿童鞋服品牌超绝 - 品牌测评鉴赏家
  • 2025年线下儿童羽绒服选购指南:宝妈实测口碑品牌,这些细节决定质量好坏 - 品牌测评鉴赏家
  • 儿童鞋服选购经验分享:如何为孩子挑选合适的穿着? - 品牌测评鉴赏家
  • [G32R] 使用 vscode+cmake 开发 G32R501
  • 8个AI论文工具,助研究生高效完成毕业写作!
  • Gemini-3-Flash-Preview API调用示例:介绍+教程+国内使用大全
  • Thinkphp和Laravel冬奥会奥运会管理网站3.3vue
  • LeetCode 453 - 最小操作次数使数组元素相等
  • 提示工程架构师必读:Agentic AI技术生态标准化与开源社区发展报告
  • 环境搭建-运行前端工程(vue) - 努力-
  • U9C采购退货单-无来源的实现
  • @ant-design/colors 相似的库
  • AI 领域职业发展分享总结(吴恩达新课内容分享)
  • 环境搭建-运行前端工程(Nginx) - 努力-
  • C++ 工厂模式
  • 潮爸潮妈必看!2025年12月儿童羽绒服品牌测评 - 品牌测评鉴赏家
  • 【课程设计/毕业设计】基于Springboot的智能物流管理系统基于springboot的校园智能物流管理系统的设计与实现【附源码、数据库、万字文档】
  • 【课程设计/毕业设计】基于springboot的食品仓库管理系统的设计与实现Springboot+vue仓库管理系统的设计与实现【附源码、数据库、万字文档】
  • Java计算机毕设之基于Spring Boot的智慧物流系统的设计与实现基于springboot的校园智能物流管理系统的设计与实现(完整前后端代码+说明文档+LW,调试定制等)
  • C++20和C++23 在内存管理、并发控制和类型安全相关优化方式的详细技术分析
  • 现代cpp在传统内存分配上的改进
  • L2层差错控制与HARQ协议介绍 - 实践