AnythingLLM 学习-拓冰企业网站定制

AnythingLLM 学习笔记（本地知识库搭建指南）

一、为什么搭建本地知识库

市面上的知识管理工具（有道、为知、思源等）各有优点，但普遍存在几个痛点：

知识量累积后，想借助 AI 对已有内容进行总结、问答，往往需要付费。
资料存在云端，隐私和安全性无法保证。
广告多、存储空间受限。

因此选择AnythingLLM自建本地知识库，理由如下：

开源免费、平台广：支持 Windows、Linux、macOS（Intel / Apple 芯片）。
离线可用：配合本地大模型，文档、向量数据全部留在本机。
零代码：既可做知识库检索问答，也能用拖拽式工作流编排。
官网：https://anythingllm.com/desktop

二、部署本地大模型

AnythingLLM 本身不提供模型，需要配置一个"大脑"。本地方案主流是Ollama + DeepSeek：

安装 Ollama（模型运行时，默认监听11434端口）。
https://ollama.com/download/OllamaSetup.exe
拉取模型，例如：
```
ollama pull deepseek-r1:1.5b
```

常用命令速查：

ollama list# 查看本地已有模型ollama run<name># 启动模型对话ollamarm<name># 删除模型

验证：ollama list能看到模型即为部署成功。内存紧张时选小参数量量化模型（如 1.5b / 7b），有 GPU 可选更大模型。

不想折腾本地模型的用户，可跳过本节，直接接入在线 API。

三、知识库部署及配置

3.1 下载与安装

前往官网按操作系统下载对应版本。
macOS：将AnythingLLM.app拖入Applications，首次打开若提示"来自互联网的 App"直接确认即可。
Windows：按向导默认路径安装即可。
安装完成后打开主界面。
Download | AnythingLLM

3.2 配置大语言模型（LLM）

点击左下角设置，进入设置页。
左侧选择大语言模型（LLM）。
LLM 提供商选择Ollama，程序会自动识别本地已运行的模型。
Ollama Base URL填http://127.0.0.1:11434。
点击保存。

3.3 界面偏好设置

在偏好设置中调整主题与语言（建议设为中文），让后续操作更顺手。

四、知识库使用

4.1 新建工作区

点击左侧+号，输入工作区名称后保存。
工作区相互隔离：各自拥有独立的对话历史、文档和权限。

4.2 调整系统提示词

在工作区的聊天设置里可以修改系统提示词，让 AI 扮演指定角色或限定回答风格。
默认提示词大致为：“根据对话、相关背景以及后续问题，仅基于上述信息回答用户，若知识库中没有相关信息则如实说明。”
-

4.3 理解"聊天"与"查询"的区别

模式	行为	适用场景
聊天	结合 LLM 通用知识 + 检索到的文档上下文作答，文档没相关内容时也可能"硬答"	通用助手、头脑风暴
查询	仅当命中文档上下文时才回答，不命中就不答	严格的知识库问答、客服

4.4 上传文档并向量化（喂语料）

上传文档：支持 pdf、Office 文档、txt、音视频、csv 等格式，并可分类管理。
将文档拖入目标工作区，系统进行分割（chunking）与向量化。
只有向量化成功，之后提问才能检索到对应内容。

4.5 设置可用模型

如果工作区没有勾选可用模型，对话时会报错model is required。
因此新建工作区后，记得先在工作区设置里选定可用的模型。

4.6 开始聊天

提问后，深度思考类模型会先展示"思考过程"，再输出答案。
每条回复都可以点击查看引用的上下文来源，便于核实答案、避免幻觉。

五、接入在线大模型

如果想追求更强的推理能力，或省去本地模型的硬件负担，可以接入在线 API：

在 LLM 设置中把提供商切换为DeepSeek（或 OpenAI 等）。
填入API Key，聊天模型选deepseek-reasoner一类的推理模型，保存。
注意：切换后仍需在工作区里把对话模型切换为对应的在线模型。

若报错Could not respond to message. 402 Insufficient Balance，表示在线账户余额不足，充值即可。

资讯详情

AnythingLLM 学习