拓冰网站定制 
让手机上的LLM真正动手Off Grid AI工具调用与MCP服务器接入实战【免费下载链接】OGAMThe Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.项目地址: https://gitcode.com/gh_mirrors/of/OGAMOff Grid AI是一款完全运行在本地设备上的离线 AI 助手——手机或 Mac 上的 LLM 不仅能聊天还能工具调用联网搜索、计算器、知识库检索甚至接入MCP 服务器把 Linear、Notion、GitHub 等外部工具挂到模型上。无需账号、无需 API Key所有数据都留在你的设备上。本文将带你从零上手这套让 LLM 真正动手干活的本地 AI 工具调用体系。什么是工具调用从只会说到能动手普通聊天机器人只会说——它无法查实时新闻也无法真的执行一个计算。而工具调用Tool Calling的工作方式是你把一批工具函数的说明书随提示词发给 LLM模型在回答时输出一个结构化的工具调用比如调用 web_search参数是 query今日金价应用替它执行把结果塞回对话模型基于真实结果给你最终答案。Off Grid AI 把这个过程做成了一个全自动工具循环并且内置了防失控机制每一轮最多执行多少次工具调用maxToolCalls设置、每次工具结果的最大长度都会兜底避免小模型在小屏手机上绕圈死循环。核心循环实现在 generationToolLoop.ts。开箱即用6 个内置工具清单 打开工具页面你会看到这些免费内置工具全部由 registry.ts 定义工具能干什么需要联网Web Search实时联网搜索返回标题、摘要和链接是Calculator精确计算数学表达式否Date Time获取当前日期时间支持指定时区否Device Info查询本机电量、存储、内存等硬件信息否Knowledge Base检索你上传到项目知识库的 PDF/文本文档否URL Reader抓取任意网页的完整正文是小知识search_knowledge_base会自动出现在项目对话里——你上传的文档会被分块、用设备端嵌入模型向量化存在本地 SQLite 中检索全程离线。三步开启工具最快配置方法进入 Tools 页面在聊天界面打开工具入口进入 ToolsScreen拨动开关每个工具行右侧有一个 Switch按需打开需要联网的工具旁边有 wifi 小图标提示直接提问回到对话直接问现在纽约几点或搜一下 XX 的最新价格模型会自动挑对工具、执行、再总结。回答气泡下方会出现一个Tools sent in request (N)折叠行ToolsSentCollapsible点开后能看到这一轮模型实际拿到了哪些工具——调试时非常直观。官方提示开启超过 3 个工具时界面会弹出黄色提醒——工具太多会迷惑模型、拖慢首字响应。2-3 个工具是最佳实践。接入 MCP 服务器把外部世界装进离线 LLM MCPModel Context Protocol是一个开放标准让 AI 助手能统一连接外部工具和数据源。Off Grid AI 把它做进了Pro Tools工具页最顶部有一行带皇冠图标的入口——Email, calendar and MCP serversToolsScreen 源码。接入流程大致是添加服务器在 Pro Tools 里填入 MCP 服务器地址如 Linear、Notion、GitHub 对应的 MCP 服务OAuth 登录需要授权的服务器会拉起系统内嵌浏览器完成登录令牌安全存入设备钥匙串Keychain/Keystore回跳地址是应用私有的offgrid://oauth/callbackmcpOAuthNativeAdapters.ts起草—批准Pro 工具遵循先起草、后批准哲学——模型帮你起草回复或工单你不点确认什么都不会真正发出去。MCP 编排层的完整行为测试可以在 mcpService.test.ts 中阅读同目录下还有 OAuth、客户端、schema 裁剪等一系列测试。为什么手机上跑工具循环依然流畅 ⚡接了多个 MCP 服务器后几十个工具说明书如果全部塞进提示词模型要先预填充完才能开口回答首字延迟会很难看。Off Grid AI 用三个工程手段解决嵌入路由选工具复用 RAG 那个约 25MB 的 MiniLM 嵌入模型对你的问题 每个工具的描述做向量匹配只把最相关的一批工具Top-K默认 12 个交给主模型嵌入结果还有磁盘缓存toolEmbeddingRouter.ts错误永远有类型工具抛错不会让整轮崩溃而是被归类为 timeout / network / validation / not-found / internal 五类之一模型能分辨重试可能有用还是调用本身错了toolResult.ts结果永不假成功空结果会被显式标记为empty失败时回传给模型的字符串永远非空且明确说明失败——这正是小模型最容易把没连上服务器当成查无数据的坑。常见坑与实用建议别贪多同时开启 5 个以上工具小模型的选择准确率明显下降首字变慢分清联网工具Web Search 与 URL Reader 需要网络其余全部离线可用——断网时关掉这两个最省心MCP 授权失败确认设备有可用的系统浏览器令牌保存在钥匙串里卸载重装应用会清除需要重新登录想排查它为什么没用工具点开回答下方的 Tools sent in request确认目标工具确实被路由进了这一轮。延伸阅读源码地图 ️内置工具定义与 OpenAI 格式转换src/services/tools/registry.ts工具执行分发搜索、计算、知识库src/services/tools/handlers.ts自动工具循环与防失控预算src/services/generationToolLoop.tsMCP OAuth 原生适配器src/services/mcpOAuthNativeAdapters.tsMCP 测试套件tests/pro/mcp/Pro 授权与工具策略说明docs/pro-licensing-plan.md项目总览与工具调用特性介绍README.md一句话总结Off Grid AI 的工具调用 MCP 接入让离线 AI不再只是安静的聊天框而是一个能查、能算、能读你的文档、还能连接外部工作流并且每一步都经你确认的本地 AI 助理。【免费下载链接】OGAMThe Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.项目地址: https://gitcode.com/gh_mirrors/of/OGAM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 让手机上的LLM真正动手：Off Grid AI工具调用与MCP服务器接入实战
让手机上的LLM真正动手Off Grid AI工具调用与MCP服务器接入实战【免费下载链接】OGAMThe Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.项目地址: https://gitcode.com/gh_mirrors/of/OGAMOff Grid AI是一款完全运行在本地设备上的离线 AI 助手——手机或 Mac 上的 LLM 不仅能聊天还能工具调用联网搜索、计算器、知识库检索甚至接入MCP 服务器把 Linear、Notion、GitHub 等外部工具挂到模型上。无需账号、无需 API Key所有数据都留在你的设备上。本文将带你从零上手这套让 LLM 真正动手干活的本地 AI 工具调用体系。什么是工具调用从只会说到能动手普通聊天机器人只会说——它无法查实时新闻也无法真的执行一个计算。而工具调用Tool Calling的工作方式是你把一批工具函数的说明书随提示词发给 LLM模型在回答时输出一个结构化的工具调用比如调用 web_search参数是 query今日金价应用替它执行把结果塞回对话模型基于真实结果给你最终答案。Off Grid AI 把这个过程做成了一个全自动工具循环并且内置了防失控机制每一轮最多执行多少次工具调用maxToolCalls设置、每次工具结果的最大长度都会兜底避免小模型在小屏手机上绕圈死循环。核心循环实现在 generationToolLoop.ts。开箱即用6 个内置工具清单 打开工具页面你会看到这些免费内置工具全部由 registry.ts 定义工具能干什么需要联网Web Search实时联网搜索返回标题、摘要和链接是Calculator精确计算数学表达式否Date Time获取当前日期时间支持指定时区否Device Info查询本机电量、存储、内存等硬件信息否Knowledge Base检索你上传到项目知识库的 PDF/文本文档否URL Reader抓取任意网页的完整正文是小知识search_knowledge_base会自动出现在项目对话里——你上传的文档会被分块、用设备端嵌入模型向量化存在本地 SQLite 中检索全程离线。三步开启工具最快配置方法进入 Tools 页面在聊天界面打开工具入口进入 ToolsScreen拨动开关每个工具行右侧有一个 Switch按需打开需要联网的工具旁边有 wifi 小图标提示直接提问回到对话直接问现在纽约几点或搜一下 XX 的最新价格模型会自动挑对工具、执行、再总结。回答气泡下方会出现一个Tools sent in request (N)折叠行ToolsSentCollapsible点开后能看到这一轮模型实际拿到了哪些工具——调试时非常直观。官方提示开启超过 3 个工具时界面会弹出黄色提醒——工具太多会迷惑模型、拖慢首字响应。2-3 个工具是最佳实践。接入 MCP 服务器把外部世界装进离线 LLM MCPModel Context Protocol是一个开放标准让 AI 助手能统一连接外部工具和数据源。Off Grid AI 把它做进了Pro Tools工具页最顶部有一行带皇冠图标的入口——Email, calendar and MCP serversToolsScreen 源码。接入流程大致是添加服务器在 Pro Tools 里填入 MCP 服务器地址如 Linear、Notion、GitHub 对应的 MCP 服务OAuth 登录需要授权的服务器会拉起系统内嵌浏览器完成登录令牌安全存入设备钥匙串Keychain/Keystore回跳地址是应用私有的offgrid://oauth/callbackmcpOAuthNativeAdapters.ts起草—批准Pro 工具遵循先起草、后批准哲学——模型帮你起草回复或工单你不点确认什么都不会真正发出去。MCP 编排层的完整行为测试可以在 mcpService.test.ts 中阅读同目录下还有 OAuth、客户端、schema 裁剪等一系列测试。为什么手机上跑工具循环依然流畅 ⚡接了多个 MCP 服务器后几十个工具说明书如果全部塞进提示词模型要先预填充完才能开口回答首字延迟会很难看。Off Grid AI 用三个工程手段解决嵌入路由选工具复用 RAG 那个约 25MB 的 MiniLM 嵌入模型对你的问题 每个工具的描述做向量匹配只把最相关的一批工具Top-K默认 12 个交给主模型嵌入结果还有磁盘缓存toolEmbeddingRouter.ts错误永远有类型工具抛错不会让整轮崩溃而是被归类为 timeout / network / validation / not-found / internal 五类之一模型能分辨重试可能有用还是调用本身错了toolResult.ts结果永不假成功空结果会被显式标记为empty失败时回传给模型的字符串永远非空且明确说明失败——这正是小模型最容易把没连上服务器当成查无数据的坑。常见坑与实用建议别贪多同时开启 5 个以上工具小模型的选择准确率明显下降首字变慢分清联网工具Web Search 与 URL Reader 需要网络其余全部离线可用——断网时关掉这两个最省心MCP 授权失败确认设备有可用的系统浏览器令牌保存在钥匙串里卸载重装应用会清除需要重新登录想排查它为什么没用工具点开回答下方的 Tools sent in request确认目标工具确实被路由进了这一轮。延伸阅读源码地图 ️内置工具定义与 OpenAI 格式转换src/services/tools/registry.ts工具执行分发搜索、计算、知识库src/services/tools/handlers.ts自动工具循环与防失控预算src/services/generationToolLoop.tsMCP OAuth 原生适配器src/services/mcpOAuthNativeAdapters.tsMCP 测试套件tests/pro/mcp/Pro 授权与工具策略说明docs/pro-licensing-plan.md项目总览与工具调用特性介绍README.md一句话总结Off Grid AI 的工具调用 MCP 接入让离线 AI不再只是安静的聊天框而是一个能查、能算、能读你的文档、还能连接外部工作流并且每一步都经你确认的本地 AI 助理。【免费下载链接】OGAMThe Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.项目地址: https://gitcode.com/gh_mirrors/of/OGAM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考