拓冰网站定制 
1. 从一个真实痛点说起为什么我们需要LLM Gateway过去一年我帮三四个团队做过大模型应用的落地几乎每一家都踩过同一个坑项目刚开始的时候业务代码里直接写死一个模型厂商的SDK调通就上线。等到第二个月老板说“换个更便宜的模型试试”或者“这个场景用国产模型合规一点”整个代码库就开始遭殃——改调用方式、改参数格式、改返回解析、改错误处理牵一发动全身。更别提后面还要加限流、加计费、加审计、加缓存每加一个能力都要在业务代码里再糊一层。这就是LLM Gateway大模型网关要解决的核心问题。你可以把它理解成传统微服务架构里API网关在大模型场景下的“特化版本”所有对模型的请求不再由业务代码直接发起而是统一打到网关由网关负责路由、鉴权、限流、缓存、计费、日志、降级。业务侧只认一个统一的接口背后接的是OpenAI、Claude、通义、文心、本地Ollama还是vLLM业务代码完全不用关心。这篇文章我想聊的不是“怎么装一个开源网关”这种操作手册而是把LLM Gateway这件事拆开揉碎它到底解决什么问题、核心模块怎么设计、参数怎么算、坑在哪里。适合正在做大模型应用开发、准备把demo推向生产、或者被多模型接入折磨过的同学。看完你应该能自己判断我的项目现在到底需不需要一个网关需要的话该怎么做。2. LLM Gateway到底在解决什么问题2.1 多模型接入的“巴别塔”困境先说最直观的问题接口不统一。OpenAI的Chat Completions是一套格式Claude的Messages API是另一套通义千问、文心一言、智谱各有各的字段命名和鉴权方式。就连同一个厂商不同版本之间参数都可能变。业务代码如果直接对接等于把“厂商差异”这个复杂度泄漏到了整个系统里。我见过最夸张的一个项目业务代码里有一个if-else链根据模型名字走不同的调用分支足足两百多行。这种代码的维护成本极高加一个新模型就要动核心逻辑测试回归范围巨大。LLM Gateway的第一层价值就是协议归一化对外暴露一套统一的、兼容OpenAI格式的接口这是事实标准几乎所有客户端和框架都支持对内做协议转换。业务侧永远只发一种请求网关负责翻译成各家厂商能听懂的“方言”。2.2 治理能力限流、计费、审计、缓存接口统一只是入门真正让网关在生产环境不可替代的是治理能力。这里我列几个实际项目里最刚需的限流与配额大模型调用是按Token烧钱的一个死循环或者一次爬虫攻击可能几分钟烧掉几百块。网关可以在入口做QPS限流、Token配额、按用户/按租户的额度控制。计费与成本归因哪个业务线、哪个用户、哪个功能消耗了多少Token必须能算清楚。网关是唯一能拿到全量请求的地方天然适合做成本统计。审计与合规谁在什么时候问了什么、模型答了什么需要留痕。金融、医疗这类场景这是硬要求。缓存相同或相似的Prompt可以直接命中缓存省下真金白银。这就是热搜里提到的redis缓存治理在大模型场景的典型应用。降级与容灾主模型挂了自动切备用模型或者高峰期把非核心请求路由到更便宜的模型。这些能力如果散落在业务代码里每个团队都要重复实现一遍而且实现质量参差不齐。收敛到网关一次做好全公司复用。2.3 它和传统API网关的区别很多人会问我直接用Spring Cloud Gateway或者Nginx不行吗热搜里还有个词叫springcloud网关 path/api 开头说明不少人在用传统网关做路由。答案是传统网关能做一部分但不够。传统网关擅长的是HTTP层的路由、鉴权、限流它不理解“Token”这个概念不理解流式响应SSE的特殊性不理解Prompt和Completion的语义。LLM Gateway需要在传统网关能力之上增加语义层的处理能力维度传统API网关LLM Gateway路由按路径/Header按模型名/能力/成本策略限流按QPS按QPS Token数 并发数计费按请求数按输入/输出Token分别计价缓存URL级缓存Prompt语义级缓存响应完整响应支持SSE流式透传与改写容灾服务级熔断模型级降级与重试所以我的建议是LLM Gateway通常部署在传统网关之后作为专门处理大模型流量的一个独立服务。两者是互补关系不是替代关系。3. 核心模块拆解与设计思路3.1 统一接入层协议适配器怎么设计统一接入层的核心是适配器模式。每个模型厂商对应一个AdapterAdapter负责三件事请求转换、响应转换、错误码映射。请求转换是把统一的内部格式翻译成厂商格式。这里有个设计要点内部格式建议直接采用OpenAI的Chat Completions格式因为生态最全客户端、SDK、评测工具都认它。你不需要自己发明一套格式那只会增加学习成本。响应转换要处理流式和非流式两种情况。流式SSE是难点因为不同厂商的流式分片格式不一样有的按字符有的按Token有的还会在中间插入心跳。网关需要把各家的流式响应重新组装成统一的SSE格式再吐给客户端。错误码映射同样重要。厂商A返回429表示限流厂商B可能返回rate_limit_exceeded网关要统一映射成标准错误码业务侧才能写统一的错误处理逻辑。# 适配器接口的简化示意 class BaseAdapter: def transform_request(self, unified_req: dict) - dict: 统一格式 - 厂商格式 raise NotImplementedError def transform_response(self, vendor_resp: dict) - dict: 厂商格式 - 统一格式 raise NotImplementedError def transform_stream_chunk(self, chunk: str) - str: 流式分片转换 raise NotImplementedError def map_error(self, vendor_error) - GatewayError: 错误码归一化 raise NotImplementedError提示适配器一定要做成可插拔的。新接一个模型应该是“新增一个文件”而不是“修改核心代码”。这是判断网关架构好坏的一条硬标准。3.2 路由与负载均衡不只是随机挑一个路由策略决定了请求打到哪个模型。最基础的是按模型名路由但生产环境往往需要更复杂的策略按成本路由简单任务走便宜的小模型复杂任务走大模型。可以基于Prompt长度、是否包含特定关键词、或者让一个轻量分类器先判断。按可用性路由主模型健康检查失败时自动切备用。按租户路由VIP客户走专属通道普通用户走共享池。加权负载均衡同一个模型部署了多个实例比如本地vLLM集群按权重分发。这里有个容易忽略的点路由决策要可观测。每次请求走了哪条路由、为什么这么走都要记录。否则出了问题根本没法排查。3.3 缓存治理Redis怎么用才不亏缓存是大模型网关里性价比最高的模块之一。热搜里的redis缓存治理用在这里非常贴切。但大模型缓存和传统缓存有个本质区别它不是精确匹配而是语义匹配。精确缓存很简单把Prompt的哈希值作为key命中就返回。适合那些完全重复的请求比如系统提示词固定的场景。语义缓存复杂一些把Prompt做Embedding在向量库里找相似度超过阈值的缓存结果。这能命中“换个说法但意思一样”的请求。但要注意阈值设置——设太高命中率低设太低会返回不准确的答案。我的经验是相似度阈值设在0.92到0.95之间比较稳妥具体要看业务对准确性的容忍度。# Redis缓存key的设计示例 # 精确缓存 llmgw:cache:exact:{sha256(promptmodelparams)} # 语义缓存索引配合向量库 llmgw:cache:semantic:{embedding_id} # 缓存TTL设置建议 # 事实类问答24小时 # 时效性内容1小时 # 代码生成7天代码变化慢注意缓存一定要考虑多租户隔离。A公司的缓存结果绝不能返回给B公司这是数据安全问题。key里必须带租户ID。3.4 限流与配额Token级别的精细控制传统限流按QPS算但大模型场景下QPS没有意义——一个请求可能消耗10个Token也可能消耗10000个Token。所以限流必须做到Token级别。实现思路是请求进来时先估算Token数可以用tiktoken这类库检查是否超过配额超过就拒绝请求完成后用实际消耗的Token数做结算。这里有个细节流式响应的Token数是逐步产生的需要在流式过程中实时累加一旦超过配额要能中断。配额维度通常有这几层全局配额整个网关的总预算租户配额每个业务方的额度用户配额每个终端用户的额度模型配额某个昂贵模型的专属额度这四层是叠加的任何一层超了都要拒绝。实际实现时可以用Redis的原子操作做计数器配合滑动窗口算法。4. 实操落地从零搭一个最小可用网关4.1 技术选型与部署架构如果你要自己搭我推荐的技术栈是Python FastAPI Redis PostgreSQL。FastAPI的异步特性适合处理流式响应Redis做缓存和限流计数器PostgreSQL存审计日志和计费数据。部署架构上我建议分三层接入层Nginx或云负载均衡做TLS终止和第一层DDoS防护网关层LLM Gateway服务可以水平扩展多个实例存储层Redis集群 PostgreSQL主从网关层必须无状态所有状态放Redis这样才能随意扩缩容。这一点在流量波动大的场景下特别重要。4.2 关键配置参数怎么定参数配置是很多人头疼的地方。我列几个关键参数和我的经验值参数说明建议值依据请求超时单次请求最长等待非流式60s流式300s大模型生成慢尤其长文本连接池大小到上游模型的连接数每实例50-100取决于上游限流重试次数失败重试2次太多会放大故障重试退避重试间隔指数退避基数500ms避免雪崩缓存TTL缓存有效期1-24小时按内容时效性语义缓存阈值相似度阈值0.92-0.95平衡命中率与准确性限流窗口滑动窗口大小60s与业务配额周期对齐超时这个参数特别值得说。非流式请求如果设太短长文本生成会被误杀设太长故障时资源被占住。我的做法是分级超时根据请求的max_tokens动态计算超时时间比如timeout 10 max_tokens * 0.05秒这样短请求快速失败长请求有足够时间。4.3 流式响应的透传与改写流式响应是LLM Gateway最容易出bug的地方。核心难点在于你既要透传上游的流又要在中间做处理比如计费、内容审核、格式转换还不能破坏流的实时性。我的实现方案是用异步生成器网关从上游拿到流后逐块处理处理完立即yield给下游不做缓冲。这样用户感知的延迟和直连几乎一样。async def stream_proxy(request, adapter): 流式代理的核心逻辑 upstream_stream await adapter.call_stream(request) token_count 0 async for chunk in upstream_stream: # 1. 转换格式 unified_chunk adapter.transform_stream_chunk(chunk) # 2. 累计Token用于计费 token_count estimate_tokens(unified_chunk) # 3. 实时检查配额 if token_count request.quota_remaining: yield error_chunk(quota_exceeded) break # 4. 立即透传不缓冲 yield unified_chunk # 5. 流结束后异步结算 await settle_billing(request, token_count)提示流式场景下客户端断开连接要能正确传播到上游。否则用户关了页面上游还在傻傻生成白白烧钱。FastAPI里可以通过监听request.is_disconnected()来实现。4.4 审计日志与成本归因审计日志要记什么我的清单是请求ID、租户ID、用户ID、模型名、输入Token数、输出Token数、耗时、状态码、缓存命中情况、路由决策。这些字段缺一不可尤其是路由决策排查问题时全靠它。成本归因的关键是单价表。每个模型每百万Token的输入输出价格要维护成配置定期更新。计费时用输入Token * 输入单价 输出Token * 输出单价算出来。这里要注意不同厂商的计价单位可能不同有的按千Token有的按百万Token统一换算成百万Token再算。日志写入建议异步化不要阻塞主请求链路。可以用消息队列缓冲后台消费者批量写库。5. 常见问题与排查技巧实录5.1 流式响应中断或卡顿这是最高频的问题。排查思路按顺序来检查Nginx配置Nginx默认会缓冲响应必须关掉。proxy_buffering off;和proxy_cache off;是必须的。这个坑我踩过调了半天代码最后发现是Nginx在缓冲。检查超时设置流式请求的read timeout要设长否则生成到一半连接被掐。检查网关的缓冲逻辑确认代码里没有意外的await asyncio.sleep或者同步IO阻塞了事件循环。检查上游有时候是模型厂商那边的问题用curl直连对比一下。5.2 Token计数不准导致计费偏差Token计数不准通常有三个原因一是用了不匹配的tokenizer比如用GPT-2的tokenizer去算GPT-4的Token二是流式场景下分片边界处理不当把半个Token算重了三是没算上系统提示词和函数调用的Token。解决办法用官方推荐的tokenizer流式场景下先拼接完整再计数或者用增量计数但做好去重计费时把系统提示词也算进去。另外建议定期对账拿网关统计的数字和厂商账单对比偏差超过5%就要查。5.3 缓存命中率低缓存命中率低先分清是精确缓存还是语义缓存的问题。精确缓存命中率低说明请求重复度本来就低这是正常的。语义缓存命中率低通常是阈值设太高或者Embedding模型不适合你的领域。我的调优步骤是先看日志里相似请求的实际相似度分布再定阈值。如果大部分相似请求的相似度在0.88左右那阈值设0.95就永远命中不了。另外缓存key要排除掉随机性参数比如temperature、seed这些参数不同但语义相同的请求应该能命中同一个缓存。5.4 多租户场景下的数据串扰这是最危险的问题一旦发生就是事故。排查要点缓存key、日志、计费记录里是否都带了租户ID向量库的检索是否做了租户过滤Redis的key前缀是否隔离。我的做法是在网关入口就把租户ID注入到请求上下文后续所有模块都从这个上下文取不允许从请求体里临时解析。这样能避免某个模块忘了带租户ID的情况。5.5 常见问题速查表现象可能原因排查方向流式卡顿Nginx缓冲/超时检查proxy_buffering计费偏差大tokenizer不匹配核对tokenizer版本缓存不命中阈值过高/key含随机参数看相似度分布数据串扰租户ID未隔离检查所有存储层上游429频繁限流配置过松调低并发/加退避内存持续增长流未正确关闭检查生成器生命周期6. 一些实操心得和踩坑记录先说一个我自己的教训。早期做网关的时候我把限流做在了业务层结果每个业务团队实现的限流逻辑都不一样有的按用户有的按IP有的干脆没做。后来统一收到网关才发现之前有大量重复请求根本没被拦住。限流这件事越靠近入口做越有效这是血的教训。第二个心得是关于降级策略的。很多人以为降级就是“主模型挂了切备用”但实际场景更复杂。比如高峰期主模型响应慢你是继续等还是切备用我的做法是设置动态阈值当主模型的P99延迟超过正常值的2倍时自动把部分流量切到备用。这个策略要配合监控告警不能全自动否则可能误判。第三个是关于成本优化的。网关是唯一能看到全量请求的地方所以它也是做成本优化的最佳位置。我做过一个简单的优化对长度小于50 Token的简单问答自动路由到便宜的小模型成本直接降了60%而用户几乎无感知。这种优化只有网关层能做业务层做不了。最后说一个架构上的建议网关不要做业务逻辑。我见过有人在网关里加内容审核、加意图识别、加RAG检索结果网关变得极其臃肿改一处影响全局。网关的职责边界要清晰接入、治理、路由、计费就这四件事。业务逻辑放业务层网关只做“管道”。关于后续扩展如果你的团队规模上来了可以考虑把网关拆成控制面和数据面控制面管配置模型列表、路由规则、配额策略数据面管实际请求转发。控制面改动不影响数据面数据面可以独立扩缩容。这是大型系统的标准做法小团队先用单体网关跑起来等真的遇到瓶颈再拆也不迟。 LLM Gateway 大模型网关设计与落地：多模型接入、限流计费与缓存治理
1. 从一个真实痛点说起为什么我们需要LLM Gateway过去一年我帮三四个团队做过大模型应用的落地几乎每一家都踩过同一个坑项目刚开始的时候业务代码里直接写死一个模型厂商的SDK调通就上线。等到第二个月老板说“换个更便宜的模型试试”或者“这个场景用国产模型合规一点”整个代码库就开始遭殃——改调用方式、改参数格式、改返回解析、改错误处理牵一发动全身。更别提后面还要加限流、加计费、加审计、加缓存每加一个能力都要在业务代码里再糊一层。这就是LLM Gateway大模型网关要解决的核心问题。你可以把它理解成传统微服务架构里API网关在大模型场景下的“特化版本”所有对模型的请求不再由业务代码直接发起而是统一打到网关由网关负责路由、鉴权、限流、缓存、计费、日志、降级。业务侧只认一个统一的接口背后接的是OpenAI、Claude、通义、文心、本地Ollama还是vLLM业务代码完全不用关心。这篇文章我想聊的不是“怎么装一个开源网关”这种操作手册而是把LLM Gateway这件事拆开揉碎它到底解决什么问题、核心模块怎么设计、参数怎么算、坑在哪里。适合正在做大模型应用开发、准备把demo推向生产、或者被多模型接入折磨过的同学。看完你应该能自己判断我的项目现在到底需不需要一个网关需要的话该怎么做。2. LLM Gateway到底在解决什么问题2.1 多模型接入的“巴别塔”困境先说最直观的问题接口不统一。OpenAI的Chat Completions是一套格式Claude的Messages API是另一套通义千问、文心一言、智谱各有各的字段命名和鉴权方式。就连同一个厂商不同版本之间参数都可能变。业务代码如果直接对接等于把“厂商差异”这个复杂度泄漏到了整个系统里。我见过最夸张的一个项目业务代码里有一个if-else链根据模型名字走不同的调用分支足足两百多行。这种代码的维护成本极高加一个新模型就要动核心逻辑测试回归范围巨大。LLM Gateway的第一层价值就是协议归一化对外暴露一套统一的、兼容OpenAI格式的接口这是事实标准几乎所有客户端和框架都支持对内做协议转换。业务侧永远只发一种请求网关负责翻译成各家厂商能听懂的“方言”。2.2 治理能力限流、计费、审计、缓存接口统一只是入门真正让网关在生产环境不可替代的是治理能力。这里我列几个实际项目里最刚需的限流与配额大模型调用是按Token烧钱的一个死循环或者一次爬虫攻击可能几分钟烧掉几百块。网关可以在入口做QPS限流、Token配额、按用户/按租户的额度控制。计费与成本归因哪个业务线、哪个用户、哪个功能消耗了多少Token必须能算清楚。网关是唯一能拿到全量请求的地方天然适合做成本统计。审计与合规谁在什么时候问了什么、模型答了什么需要留痕。金融、医疗这类场景这是硬要求。缓存相同或相似的Prompt可以直接命中缓存省下真金白银。这就是热搜里提到的redis缓存治理在大模型场景的典型应用。降级与容灾主模型挂了自动切备用模型或者高峰期把非核心请求路由到更便宜的模型。这些能力如果散落在业务代码里每个团队都要重复实现一遍而且实现质量参差不齐。收敛到网关一次做好全公司复用。2.3 它和传统API网关的区别很多人会问我直接用Spring Cloud Gateway或者Nginx不行吗热搜里还有个词叫springcloud网关 path/api 开头说明不少人在用传统网关做路由。答案是传统网关能做一部分但不够。传统网关擅长的是HTTP层的路由、鉴权、限流它不理解“Token”这个概念不理解流式响应SSE的特殊性不理解Prompt和Completion的语义。LLM Gateway需要在传统网关能力之上增加语义层的处理能力维度传统API网关LLM Gateway路由按路径/Header按模型名/能力/成本策略限流按QPS按QPS Token数 并发数计费按请求数按输入/输出Token分别计价缓存URL级缓存Prompt语义级缓存响应完整响应支持SSE流式透传与改写容灾服务级熔断模型级降级与重试所以我的建议是LLM Gateway通常部署在传统网关之后作为专门处理大模型流量的一个独立服务。两者是互补关系不是替代关系。3. 核心模块拆解与设计思路3.1 统一接入层协议适配器怎么设计统一接入层的核心是适配器模式。每个模型厂商对应一个AdapterAdapter负责三件事请求转换、响应转换、错误码映射。请求转换是把统一的内部格式翻译成厂商格式。这里有个设计要点内部格式建议直接采用OpenAI的Chat Completions格式因为生态最全客户端、SDK、评测工具都认它。你不需要自己发明一套格式那只会增加学习成本。响应转换要处理流式和非流式两种情况。流式SSE是难点因为不同厂商的流式分片格式不一样有的按字符有的按Token有的还会在中间插入心跳。网关需要把各家的流式响应重新组装成统一的SSE格式再吐给客户端。错误码映射同样重要。厂商A返回429表示限流厂商B可能返回rate_limit_exceeded网关要统一映射成标准错误码业务侧才能写统一的错误处理逻辑。# 适配器接口的简化示意 class BaseAdapter: def transform_request(self, unified_req: dict) - dict: 统一格式 - 厂商格式 raise NotImplementedError def transform_response(self, vendor_resp: dict) - dict: 厂商格式 - 统一格式 raise NotImplementedError def transform_stream_chunk(self, chunk: str) - str: 流式分片转换 raise NotImplementedError def map_error(self, vendor_error) - GatewayError: 错误码归一化 raise NotImplementedError提示适配器一定要做成可插拔的。新接一个模型应该是“新增一个文件”而不是“修改核心代码”。这是判断网关架构好坏的一条硬标准。3.2 路由与负载均衡不只是随机挑一个路由策略决定了请求打到哪个模型。最基础的是按模型名路由但生产环境往往需要更复杂的策略按成本路由简单任务走便宜的小模型复杂任务走大模型。可以基于Prompt长度、是否包含特定关键词、或者让一个轻量分类器先判断。按可用性路由主模型健康检查失败时自动切备用。按租户路由VIP客户走专属通道普通用户走共享池。加权负载均衡同一个模型部署了多个实例比如本地vLLM集群按权重分发。这里有个容易忽略的点路由决策要可观测。每次请求走了哪条路由、为什么这么走都要记录。否则出了问题根本没法排查。3.3 缓存治理Redis怎么用才不亏缓存是大模型网关里性价比最高的模块之一。热搜里的redis缓存治理用在这里非常贴切。但大模型缓存和传统缓存有个本质区别它不是精确匹配而是语义匹配。精确缓存很简单把Prompt的哈希值作为key命中就返回。适合那些完全重复的请求比如系统提示词固定的场景。语义缓存复杂一些把Prompt做Embedding在向量库里找相似度超过阈值的缓存结果。这能命中“换个说法但意思一样”的请求。但要注意阈值设置——设太高命中率低设太低会返回不准确的答案。我的经验是相似度阈值设在0.92到0.95之间比较稳妥具体要看业务对准确性的容忍度。# Redis缓存key的设计示例 # 精确缓存 llmgw:cache:exact:{sha256(promptmodelparams)} # 语义缓存索引配合向量库 llmgw:cache:semantic:{embedding_id} # 缓存TTL设置建议 # 事实类问答24小时 # 时效性内容1小时 # 代码生成7天代码变化慢注意缓存一定要考虑多租户隔离。A公司的缓存结果绝不能返回给B公司这是数据安全问题。key里必须带租户ID。3.4 限流与配额Token级别的精细控制传统限流按QPS算但大模型场景下QPS没有意义——一个请求可能消耗10个Token也可能消耗10000个Token。所以限流必须做到Token级别。实现思路是请求进来时先估算Token数可以用tiktoken这类库检查是否超过配额超过就拒绝请求完成后用实际消耗的Token数做结算。这里有个细节流式响应的Token数是逐步产生的需要在流式过程中实时累加一旦超过配额要能中断。配额维度通常有这几层全局配额整个网关的总预算租户配额每个业务方的额度用户配额每个终端用户的额度模型配额某个昂贵模型的专属额度这四层是叠加的任何一层超了都要拒绝。实际实现时可以用Redis的原子操作做计数器配合滑动窗口算法。4. 实操落地从零搭一个最小可用网关4.1 技术选型与部署架构如果你要自己搭我推荐的技术栈是Python FastAPI Redis PostgreSQL。FastAPI的异步特性适合处理流式响应Redis做缓存和限流计数器PostgreSQL存审计日志和计费数据。部署架构上我建议分三层接入层Nginx或云负载均衡做TLS终止和第一层DDoS防护网关层LLM Gateway服务可以水平扩展多个实例存储层Redis集群 PostgreSQL主从网关层必须无状态所有状态放Redis这样才能随意扩缩容。这一点在流量波动大的场景下特别重要。4.2 关键配置参数怎么定参数配置是很多人头疼的地方。我列几个关键参数和我的经验值参数说明建议值依据请求超时单次请求最长等待非流式60s流式300s大模型生成慢尤其长文本连接池大小到上游模型的连接数每实例50-100取决于上游限流重试次数失败重试2次太多会放大故障重试退避重试间隔指数退避基数500ms避免雪崩缓存TTL缓存有效期1-24小时按内容时效性语义缓存阈值相似度阈值0.92-0.95平衡命中率与准确性限流窗口滑动窗口大小60s与业务配额周期对齐超时这个参数特别值得说。非流式请求如果设太短长文本生成会被误杀设太长故障时资源被占住。我的做法是分级超时根据请求的max_tokens动态计算超时时间比如timeout 10 max_tokens * 0.05秒这样短请求快速失败长请求有足够时间。4.3 流式响应的透传与改写流式响应是LLM Gateway最容易出bug的地方。核心难点在于你既要透传上游的流又要在中间做处理比如计费、内容审核、格式转换还不能破坏流的实时性。我的实现方案是用异步生成器网关从上游拿到流后逐块处理处理完立即yield给下游不做缓冲。这样用户感知的延迟和直连几乎一样。async def stream_proxy(request, adapter): 流式代理的核心逻辑 upstream_stream await adapter.call_stream(request) token_count 0 async for chunk in upstream_stream: # 1. 转换格式 unified_chunk adapter.transform_stream_chunk(chunk) # 2. 累计Token用于计费 token_count estimate_tokens(unified_chunk) # 3. 实时检查配额 if token_count request.quota_remaining: yield error_chunk(quota_exceeded) break # 4. 立即透传不缓冲 yield unified_chunk # 5. 流结束后异步结算 await settle_billing(request, token_count)提示流式场景下客户端断开连接要能正确传播到上游。否则用户关了页面上游还在傻傻生成白白烧钱。FastAPI里可以通过监听request.is_disconnected()来实现。4.4 审计日志与成本归因审计日志要记什么我的清单是请求ID、租户ID、用户ID、模型名、输入Token数、输出Token数、耗时、状态码、缓存命中情况、路由决策。这些字段缺一不可尤其是路由决策排查问题时全靠它。成本归因的关键是单价表。每个模型每百万Token的输入输出价格要维护成配置定期更新。计费时用输入Token * 输入单价 输出Token * 输出单价算出来。这里要注意不同厂商的计价单位可能不同有的按千Token有的按百万Token统一换算成百万Token再算。日志写入建议异步化不要阻塞主请求链路。可以用消息队列缓冲后台消费者批量写库。5. 常见问题与排查技巧实录5.1 流式响应中断或卡顿这是最高频的问题。排查思路按顺序来检查Nginx配置Nginx默认会缓冲响应必须关掉。proxy_buffering off;和proxy_cache off;是必须的。这个坑我踩过调了半天代码最后发现是Nginx在缓冲。检查超时设置流式请求的read timeout要设长否则生成到一半连接被掐。检查网关的缓冲逻辑确认代码里没有意外的await asyncio.sleep或者同步IO阻塞了事件循环。检查上游有时候是模型厂商那边的问题用curl直连对比一下。5.2 Token计数不准导致计费偏差Token计数不准通常有三个原因一是用了不匹配的tokenizer比如用GPT-2的tokenizer去算GPT-4的Token二是流式场景下分片边界处理不当把半个Token算重了三是没算上系统提示词和函数调用的Token。解决办法用官方推荐的tokenizer流式场景下先拼接完整再计数或者用增量计数但做好去重计费时把系统提示词也算进去。另外建议定期对账拿网关统计的数字和厂商账单对比偏差超过5%就要查。5.3 缓存命中率低缓存命中率低先分清是精确缓存还是语义缓存的问题。精确缓存命中率低说明请求重复度本来就低这是正常的。语义缓存命中率低通常是阈值设太高或者Embedding模型不适合你的领域。我的调优步骤是先看日志里相似请求的实际相似度分布再定阈值。如果大部分相似请求的相似度在0.88左右那阈值设0.95就永远命中不了。另外缓存key要排除掉随机性参数比如temperature、seed这些参数不同但语义相同的请求应该能命中同一个缓存。5.4 多租户场景下的数据串扰这是最危险的问题一旦发生就是事故。排查要点缓存key、日志、计费记录里是否都带了租户ID向量库的检索是否做了租户过滤Redis的key前缀是否隔离。我的做法是在网关入口就把租户ID注入到请求上下文后续所有模块都从这个上下文取不允许从请求体里临时解析。这样能避免某个模块忘了带租户ID的情况。5.5 常见问题速查表现象可能原因排查方向流式卡顿Nginx缓冲/超时检查proxy_buffering计费偏差大tokenizer不匹配核对tokenizer版本缓存不命中阈值过高/key含随机参数看相似度分布数据串扰租户ID未隔离检查所有存储层上游429频繁限流配置过松调低并发/加退避内存持续增长流未正确关闭检查生成器生命周期6. 一些实操心得和踩坑记录先说一个我自己的教训。早期做网关的时候我把限流做在了业务层结果每个业务团队实现的限流逻辑都不一样有的按用户有的按IP有的干脆没做。后来统一收到网关才发现之前有大量重复请求根本没被拦住。限流这件事越靠近入口做越有效这是血的教训。第二个心得是关于降级策略的。很多人以为降级就是“主模型挂了切备用”但实际场景更复杂。比如高峰期主模型响应慢你是继续等还是切备用我的做法是设置动态阈值当主模型的P99延迟超过正常值的2倍时自动把部分流量切到备用。这个策略要配合监控告警不能全自动否则可能误判。第三个是关于成本优化的。网关是唯一能看到全量请求的地方所以它也是做成本优化的最佳位置。我做过一个简单的优化对长度小于50 Token的简单问答自动路由到便宜的小模型成本直接降了60%而用户几乎无感知。这种优化只有网关层能做业务层做不了。最后说一个架构上的建议网关不要做业务逻辑。我见过有人在网关里加内容审核、加意图识别、加RAG检索结果网关变得极其臃肿改一处影响全局。网关的职责边界要清晰接入、治理、路由、计费就这四件事。业务逻辑放业务层网关只做“管道”。关于后续扩展如果你的团队规模上来了可以考虑把网关拆成控制面和数据面控制面管配置模型列表、路由规则、配额策略数据面管实际请求转发。控制面改动不影响数据面数据面可以独立扩缩容。这是大型系统的标准做法小团队先用单体网关跑起来等真的遇到瓶颈再拆也不迟。