第19章 模型部署与服务学习目标理解大模型服务化的整体架构掌握推理引擎的选择与配置了解高并发服务的工程实践认识部署中的监控、安全与成本问题把训练好的模型变成可用的产品需要完整的部署与服务化工程。本章从服务架构出发讨论推理引擎选型、高并发技术、API 设计、高可用、监控、安全与成本覆盖大模型落地的工程全貌。19.1 服务架构概览19.1.1 从模型到服务一个生产级大模型服务的典型架构用户请求 - API 网关 - 调度器 - 推理引擎 - 模型 - 响应 | | | 鉴权限流 批处理路由 GPU 管理这不是简单的模型 API而是一个涉及网络、调度、显存、并发、容错的复杂系统。19.1.2 服务化要求高并发低延迟服务大量用户响应要快。弹性伸缩流量波动时自动扩缩容。高可用容错故障不影响服务。成本控制GPU 昂贵需高效利用。19.2 推理引擎选型19.2.1 主流引擎对比引擎特点适用场景vLLMPagedAttention 连续批处理高吞吐通用生产部署TensorRT-LLMNVIDIA 极致优化NVIDIA 集群SGLangRadixAttention 结构化生成复杂工作流llama.cpp轻量跨平台边缘/本地TGIHuggingFace 方案快速部署引擎的内部机制PagedAttention、连续批处理、FlashAttention 等与设计要素见 17.7本节聚焦选型决策。19.2.2 选型考量硬件NVIDIA 选 vLLM/TensorRT-LLMCPU/异构选 llama.cpp。吞吐 vs 延迟高吞吐选 vLLM低延迟需调参。模型格式是否支持目标模型的量化/架构。生态维护活跃度、文档、社区。19.3 服务化关键技术19.3.1 连续批处理调度如第17章所述连续批处理在迭代级别动态拼批请求最大化 GPU 利用率。这是高吞吐服务的核心。调度器需平衡吞吐拼大批与延迟小批快响应。公平性避免某请求长期等待。19.3.2 流式输出大模型生成较慢逐 token 流式返回Server-Sent Events, SSE让用户边生成边看到结果显著改善体验、降低首字延迟感知。流式输出是现代对话服务的标配。19.3.3 多模型与多卡调度张量并行服务大模型需多卡张量并行引擎需管理跨卡通信。多 LoRA 服务一个基座 多个 LoRA 适配器按请求动态切换节省显存。模型路由不同请求路由到合适规模的模型。19.3.4 预填充与解码分离Disaggregated Serving预填充Prefill计算密集与解码Decode访存密集对资源需求截然不同16.1.2。分离式服务把二者调度到不同资源/实例预填充用计算强的节点快速处理提示解码用访存优的节点持续生成。这避免了长提示的预填充阻塞解码、两类负载互相干扰的问题提升整体吞吐与延迟。它是 2024-2025 年高并发服务的前沿优化方向。19.4 API 设计19.4.1 OpenAI 兼容接口OpenAI 的 Chat Completions API 已成事实标准多数引擎提供兼容接口POST /v1/chat/completions对话补全。POST /v1/completions文本补全。兼容此接口降低迁移成本便于复用生态工具。19.4.2 请求参数{model:llama-3-70b,messages:[{role:system,content:你是助手},{role:user,content:解释Transformer}],temperature:0.7,top_p:0.9,max_tokens:1024,stream:true}参数对应第16章的解码策略。19.4.3 功能扩展函数调用 / 工具调用模型输出结构化函数调用第23章 Agent 基础。结构化输出JSON mode保证输出可解析。多模态输入图像、音频输入。19.5 高可用与弹性19.5.1 负载均衡多副本分流避免单点过载。基于队列长度或 GPU 利用率路由。长会话亲和性同一会话路由到同一副本利用 KV Cache。19.5.2 弹性伸缩基于 QPS、GPU 利用率自动扩缩容。冷启动慢模型加载耗时需预热与预加载。结合 Spot 实例降本需容忍中断。19.5.3 容错与降级请求重试与超时控制。故障转移副本故障时切换。大小模型级联高峰时降级到小模型保可用。19.6 监控与可观测性19.6.1 关键指标延迟分位P50/P95/P99 延迟P99 反映长尾体验。吞吐与并发tokens/s、活跃请求数。GPU 利用率与显存判断是否瓶颈。错误率与队列长度健康度信号。19.6.2 日志与追踪请求级追踪定位慢请求原因。生成内容审计记录输出用于调试与合规。性能热点分析找出优化点。19.6.3 告警延迟突增、错误率上升、显存溢出预警。告警需可操作避免噪声。19.6.4 成本计量token 用量按输入/输出分别计量二者差价常达 3–5 倍。缓存命中部分通常有大幅折扣各厂商从五折到一折不等计量需区分命中与未命中。网关层按请求聚合用量区分模型档位是成本归因与预算控制的基础。19.7 安全与合规19.7.1 输入安全提示注入防御区分指令与内容过滤恶意指令第15章。敏感信息过滤防止泄露隐私或机密。内容审核过滤违规输入。19.7.2 输出安全有害内容过滤二次审核模型输出。事实性约束结合 RAG 减少幻觉第22章。模型护栏Guardrails规则或小模型拦截不当输出。19.7.3 访问控制API 鉴权API Key、OAuth。配额管理防滥用、控成本。审计日志满足合规要求。19.8 成本优化19.8.1 计算成本GPU 选型按性价比选如 H100 vs A100。利用率连续批处理提升利用率分摊成本。Spot 实例容忍中断的场景用低价实例。弹性调度低谷缩容高峰扩容。19.8.2 模型级优化模型路由简单请求路由到小模型复杂请求到大模型降本。前缀 KV 缓存命中依赖请求前缀相同系统提示、多轮历史由推理引擎自动完成见 17.6。结果级语义缓存对语义相似的请求直接返回缓存答案命中依赖相似度匹配需谨慎设阈值以免错误命中。投机解码小模型加速大模型第16章收益取决于草稿接受率——接受率较高且 TTFT 不受影响时加速最明显见 16.5.2。量化INT4/INT8 降显存提速度第18章。19.8.3 混合部署热模型常驻显存冷模型按需加载。大小模型协作小模型处理多数请求大模型兜底难例。19.9 部署实践案例19.9.1 单机部署单卡/多卡服务适合中小规模或开发测试。Docker 化便于环境管理。19.9.2 集群部署Kubernetes 编排GPU 调度。服务网格管理多副本。适合大规模生产。压测与容量规划用基准工具按业务流量画像压测以目标 TTFT/TPOT 反推副本数与并行配置指标定义见 17.8。19.9.3 边缘部署量化模型 llama.cpp部署到手机、PC、边缘设备。优势低延迟、隐私保护、离线可用。挑战算力与显存受限。小结模型部署是将研究成果转化为生产力的最后一公里。选择合适推理引擎、设计高可用服务架构、做好监控与成本控制是大模型工程落地的核心能力。本书前五部分至此完成从理论到实践的闭环——从数学基础、架构原理到训练、对齐、推理部署。最后一部分将展望扩展方向与前沿。延伸阅读vLLM、TensorRT-LLM、SGLang 官方文档与设计博客。Serving Large Language Models at Scale- 各大公司的工程实践分享。Kubernetes GPU 调度与 NVIDIA Device Plugin 文档。