当前位置: 首页 > news >正文

一个接口调用三个模型,我只用了一个反向代理

最近项目里接了三个模型——Qwen做长文本总结,DeepSeek做代码生成,千帆做特定领域问答。每个模型都有自己的SDK和鉴权方式。 最初的版本是前端直接分别调三个接口,代码散落在各种service里,切换模型要改业务代码。更烦的是计费——三个供应商的费用要分别算,月底对账很头疼。 后来我加了一层反向代理,整体架构变成了:前端→统一网关→模型路由表→供应商。 核心实现就三步: 1. 前端只调一个 /api/chat 接口,请求体里加一个 model 字段 2. 网关根据 model 字段查路由表,匹配供应商和真实endpoint 3. 做一个简单的协议适配层——OpenAI格式进来,千帆格式出去 Qwen的DashScope和DeepSeek的OpenAI兼容格式差异不大,主要是千帆需要先用API Key换access_token,这个token有两小时有效期。我在内存里做了个带过期时间的缓存,并发情况下用singleflight避免重复请求。 计费方面,在每个请求的响应拦截器里记录token使用量,按供应商的单价换算成人民币,写到独立的计费表。月底直接拉报表。 踩过的坑: - 千帆的流式返回和标准SSE有细微差异,content字段名不一样,需要额外做字段映射 - DeepSeek的token计数方式比较特别,同样一段中文比Qwen多算30%的token - 高峰期并发量大时,千帆的access_token刷新成为瓶颈,后来换了互斥锁+提前刷新解决了 这个方案的代码量不大,核心就一个路由表和两个适配器。但带来的收益很明显——切模型零代码改动,计费统一,新增供应商只需要加一行路由配置。 如果你也在做多模型接入,可以试试这个思路。

http://www.gsyq.cn/news/1590873.html

相关文章:

  • 如何挑选性价比高的塑料模具工厂?内行人的这几个建议太实用了
  • 前端唯一的护城河?结合 AI 将字节组件库 Headless 化后的感想~
  • 基于密码学的工业物联网(IIoT)分层纵深安全体系完整研究方案
  • ytarchive:YouTube 直播录制,从开播那一刻开始
  • 安卓开发 -- 实现累计当天计时(实例:实现记录当日累计运动时间)
  • 从Miller-Rabin到确定性素数检验:二次域框架下的Kpℓ−1型数证明
  • 终极指南:如何在Unreal Engine中实现运行时音频导入功能
  • 矿山数字化安全升级,一文读懂 AI 视觉在煤矿落地场景与核心价值
  • 东莞注塑模具加工厂真实体验怎么样?
  • Java Map 循环:遍历方式与性能对比
  • RS485 通信信号线使用共模电感,这几个关键点一定要注意
  • MTX双面解析:从多线程互斥锁到游戏微交易系统设计
  • 研究技术软件工程研究方法的实证研究与案例研究对比
  • Embedding 模型微调实战:从 22% 到 97.9% 的踩坑记录
  • AI 建议加索引后查询仍变慢:从联合索引、回表与分页排序看慢 SQL 排查
  • ESPHome:用配置文件搞定智能硬件开发
  • AI模型访问控制机制与能力评估实践指南
  • 抖音账号与手机号关联验证:合规路径、技术实现与风险规避指南
  • 不用注册就能用的 Web 应用合集
  • 协同线程与协同函数
  • 【题目讲解】 算法系列之定长类滑动窗口解析(上)
  • Kubernetes Pod 完全指南:从入门到实战,轻松掌握容器编排核心
  • V 语言精选资源库
  • 分类评估指标实战指南:从混淆矩阵到业务价值落地
  • 截断流Witt代数的模表示:基于p-特征与高度的简单模分类与构造
  • 抖音无水印视频下载终极指南:3分钟搞定批量下载与智能管理
  • Apple Silicon Mac 电池健康管理终极指南:开源架构设计与实现原理
  • GraalVM原生镜像构建实战:十分钟让你的Java应用启动速度快100倍
  • 2026年国内口碑较好的工艺品设计平台有哪些值得关注
  • VMware虚拟机导出OVF:绕过ovftool命令行的3种GUI替代方案,小白也能10分钟完成合规打包