ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

10行JSON让Mobius大模型接上外部工具:原生函数调用(Function Call)实战教程

10行JSON让Mobius大模型接上外部工具:原生函数调用(Function Call)实战教程 10行JSON让Mobius大模型接上外部工具原生函数调用Function Call实战教程【免费下载链接】Mobius大模型Mobius大模型是开放原子基金会开源项目采用OpenAtom-Model-License-V1.0协议。具备强大的自然语言理解与生成能力支持多场景应用开发代码完全开放可商用助力开发者快速构建智能应用推动AI技术开源生态发展。项目地址: https://ai.gitcode.com/mobius-org/MobiusMobius 大模型是开放原子基金会开源的 12B 参数大语言模型基于 RWKV v6 架构FP16 下仅需约 22G 显存即可本地运行并且原生支持 Function Call函数调用——你只需用 10 行左右的 JSON 描述一个工具Mobius 就能自主决定何时调用、如何传参让大模型真正动手干活。本文面向新手带你一步步理解并跑通 Mobius 大模型的工具调用流程。一、为什么 Mobius 大模型适合做本地智能体Mobius 是融合 RNN、CNN 与 Transformer 优势的混合架构模型相比同类开源大模型它有 4 个让人眼前一亮的特性特性说明⚡ 高效本地运行FP16 仅需约 21.9G 显存INT8 约 13.7G个人工作站就能跑 中文能力强针对中文理解与生成深度优化对话自然流畅 超长上下文稳定支持 16K 上下文处理长文本、长对话不吃力原生函数调用开箱即用支持 Function Call无需额外改造即可接入外部工具其中原生函数调用是本文的主角。很多大模型需要复杂的 Prompt 工程甚至二次微调才能稳定调用工具而 Mobius 在预训练阶段就学会了这一技能你在 README.md 的核心特性中可以直接看到官方对这一能力的说明。模型的核心参数可以在 config.json 中查到32 层、5120 维隐藏层、65536 词表、线性注意力机制——这些配置正是它长上下文 低显存的底气所在。二、Function Call 原理大模型如何使用工具先建立一个直觉Mobius 调用工具的过程本质上是一场结构化的对话你User → 问一个问题例如100 美元能换多少欧元 MobiusAssistant→ 判断我不知道实时汇率需要工具输出工具调用 你的程序 → 解析 JSON执行真实函数得到结果 你Observation→ 把执行结果喂回对话 MobiusAssistant→ 基于真实结果给出最终自然语言回答整个过程就像教一个新员工你不替他查汇率而是告诉他你有一台汇率查询机怎么用他自己就会去操作。Mobius 约定的对话角色如下User用户的输入Assistant模型的输出Observation工具执行的真实结果这个约定在 README.md 的工具调用 (Tool Calling)一节有完整示例建议配合阅读。三、10行JSON工具定义手把手写出第一个工具Mobius 使用标准的 JSON Schema 格式定义工具。假设我们要教它一个汇率查询工具完整定义如下{ name: get_exchange_rate, description: Get the exchange rate between two currencies, parameters: { type: object, properties: { base_currency: { type: string, description: The currency to convert from }, target_currency: { type: string, description: The currency to convert to } }, required: [base_currency, target_currency] } }别被代码吓到核心就 5 个字段字段作用新手注意name工具的名字用下划线连接的英文如get_weatherdescription工具干什么用越清楚模型选得越准这是最重要的字段parameters.type固定写object照抄即可parameters.properties每个参数的类型和说明每个参数都要写type和descriptionparameters.required必填参数列表数组形式列出参数名黄金建议description写得像给同事的口头说明——查两种货币之间的实时汇率比汇率三个字有效得多。模型是靠这些文字来决定要不要用这个工具、参数填什么的。四、完整对话流程从提问到工具执行把工具定义交给 Mobius 后一次真实的工具调用对话是这样的摘自 README.mdUser:Hi, I need to know the exchange rate from USD to EURAssistant:识别到需要汇率工具输出get_exchange_rate的调用参数为 USD / EURObservation:你的程序执行汇率接口后返回的真实结果如 1 USD 0.92 EURAssistant:基于真实汇率用自然语言给出最终回答注意两个关键点Observation 不是模型编的而是你的代码真实执行函数后得到的结果——这就是函数调用与模型幻觉的根本区别数据是实打实的。一次对话中可以连续调用多个工具Assistant 和 Observation 可以成对出现多轮模型会自己决定查完汇率还要不要查别的东西。五、上手准备加载 Mobius 大模型运行 Function Call 之前先确认环境硬件参考来自 README.mdFP16约 21.9G 显存INT8约 13.7G 显存NF4约 7.2G 显存使用 Ai00 server加载模型使用 Hugging Face Transformers关键是trust_remote_codeTrue——因为仓库自带了定制代码模型结构定义modeling_rwkv6.py分词器实现tokenization_rwkv_world.py模型配置configuration_rwkv6.pyconfig.json中的auto_map字段会自动把AutoModelForCausalLM指向上面的定制模型类所以标准 Transformers 接口就能无缝加载。推荐采样参数官方建议见 README.mdTemperature: 1Top_p: 0.3。注意工具调用场景对格式稳定性要求较高如果你的输出经常跑偏格式可适当调低 Top_p 试试。六、实战清单3 步跑通 Mobius 函数调用按下面清单操作10 分钟即可完成第一次工具调用✅ Step 1加载模型与分词器按 README.md 中的部署示例用AutoModelForCausalLMAutoTokenizer加载 Mobius 大模型记得开启trust_remote_codeTrue。✅ Step 2写好工具定义 JSON参照第三节的 10 行模板把你自己的工具查天气、查股价、订日程……按name / description / parameters三要素写好。✅ Step 3实现对话循环在代码里写一个简单的 while 循环把 User 输入 工具定义发给模型检查 Assistant 输出中是否包含工具调用工具名 参数 JSON若有本地执行对应函数把结果作为Observation追加到对话若无说明是最终回答输出给用户结束本轮循环第 3→2 步即可支持多轮工具调用。⚠️安全提醒模型输出的参数 JSON 建议做基本校验类型检查、参数范围再执行真实函数避免把异常参数传给外部接口。七、新手常见问题 FAQQ1Mobius 的 Function Call 和提示词工程有什么区别A提示词工程是让模型装出调用行为格式不稳定Mobius 是原生能力在预训练时就学会了User / Assistant / Observation这套工具调用对话协议稳定性更高这是 README.md 中列为核心特性之一的原因。Q2能同时挂多个工具吗A可以。把多个工具定义 JSON 一并放入对话上下文即可模型会根据每个工具的description自行选择最匹配的那个。Q3工具执行很慢会影响对话吗AFunction Call 流程中模型是等待 Observation的所以慢工具如复杂计算、大模型套小模型会拉长响应时间。建议对耗时操作做超时控制。Q4中文工具调用效果如何AMobius 本版本针对中文深度优化工具描述和对话都可以直接用中文撰写日常场景下表现良好。Q5本地跑不动 FP16 怎么办A优先尝试 INT8 量化约 13.7G 显存显存更紧张时可关注 NF4 方案约 7.2G。八、写在最后Mobius 大模型把12B 参数 24G 显存 16K 上下文 原生函数调用装进了一个可对外的开源项目配合开放原子模型许可证见 LICENSE代码完全开放可商用——对个人开发者和中小企业来说这是低成本构建本地智能应用的优质选择。从本文的 10 行 JSON 开始你可以继续探索 给 Mobius 接一个天气查询 API做成会看天气的助手 接一个日程工具让它帮你安排明天上午 10 点的会 接搜索引擎构建一个带实时信息检索的本地问答机器人动手试试吧——你的第一个 Mobius 工具调用就差那 10 行 JSON 了。【免费下载链接】Mobius大模型Mobius大模型是开放原子基金会开源项目采用OpenAtom-Model-License-V1.0协议。具备强大的自然语言理解与生成能力支持多场景应用开发代码完全开放可商用助力开发者快速构建智能应用推动AI技术开源生态发展。项目地址: https://ai.gitcode.com/mobius-org/Mobius创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表