拓冰网站定制 
后端人工智能模型推理服务集群管理可观测性【免费下载链接】gpustackA GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.项目地址https://gitcode.com/gh_mirrors/gp/gpustack点击查看免费下载在 GPUStack 集群中部署 Qwen3-8B 时选择正确的推理引擎并叠加合理的优化项对吞吐量的影响远超想象。本文基于 GPUStack 官方性能实验室在单张 Ascend 910B NPU 上的实测数据给出从引擎选型、W8A8 量化到前缀缓存Prefix Caching的完整调优路径基线 vLLM 在 ShareGPT 数据集上总吞吐为 3143.94 tok/s经三步优化后提升至 6256.39 tok/s99.0%。读完本文你将掌握 GPUStack 推荐的 MindIE 启动命令、vLLM bench 复现方法以及每个优化项在源码层面的作用机制与适用边界。结论速览推荐的吞吐优化配置GPUStack 官方在 docs/performance-lab/qwen3-8b/910b.md 中给出的推荐优化命令如下# 这是一个简化的 vLLM 风格命令。GPUStack 会将其中的参数映射为对应的 # MindIE JSON 配置并通过 mindieservice_daemon 启动服务。 mindie serve vllm-ascend/Qwen3-8B-W8A8 --enable-prefix-caching优化前后各基准用例的对比结果Benchmark CaseBaseline未做任何优化的 vLLMOptimizedShareGPTTotal TPS: 3143.94Mean TPOT(ms): 27.61Total TPS: 6256.3999.0%Mean TPOT(ms): 796.13Short PromptTotal TPS: 5834.79Mean TPOT(ms): 125.55Total TPS: 16611.86184.7%Mean TPOT(ms): 1131.26Medium PromptTotal TPS: 9589.00Mean TPOT(ms): 140.39Total TPS: 14484.8651.1%Mean TPOT(ms): 122.59Long PromptTotal TPS: 7677.41Mean TPOT(ms): 99.26Total TPS: 11159.0145.4%Mean TPOT(ms): 97.74Very Long PromptTotal TPS: 2890.64Mean TPOT(ms): 344.18Total TPS: 7835.01171.1%Mean TPOT(ms): 169.70在采用这套配置之前需要明确以下边界条件原文档注记基准测试并未穷尽所有优化组合。例如实验以默认配置下表现最优的推理引擎作为进一步调优的起点这种剪枝方式得到的是局部最优解未必是全局最优。还存在依赖具体用户场景的优化手段包括 max batch size、调度配置、扩展 KV cache、CUDA graph、Torch Compile 等本文结论可作为更精细化调优的起点。测试在特定硬件与软件栈上进行推理引擎的演进可能带来新的结论。优化目标本次调优的核心目标非常明确在高并发请求场景下实现高吞吐。它与 docs/performance-lab/qwen3-8b/h100-latency.mdH100 低并发低延迟优化形成互补本实验关注并发压力下的总 Token 吞吐Total TPS而非单请求延迟。实验环境与基准方法模型与硬件模型Qwen/Qwen3-8B结论表中同时使用了 W8A8 量化权重vllm-ascend/Qwen3-8B-W8A8硬件单张 Ascend 910B NPU引擎版本vLLM-Ascend v0.9.1、MindIE 2.1RC1值得说明的是GPUStack 的模型目录 gpustack/assets/model-catalog-modelscope.yaml 中已经为 Qwen3-8B 在 Ascend 910B 上预置了与本文结论一致的规格mode: throughput时使用vllm-ascend/Qwen3-8B-W8A8、后端为 MindIE、后端参数为--enable-prefix-caching与--max-seq-len32768对应文件中第 74–85 行这进一步印证了官方把该配置作为 Ascend 910B 上的默认吞吐优化方案。基准数据集ShareGPT真实对话数据不同序列长度的随机数据集固定随机种子保证可复现Very long prompt32000 输入 token、100 输出 tokenLong prompt4000 输入 token、200 输出 tokenMedium prompt2000 输入 token、100 输出 tokenShort prompt128 输入 token、4 输出 token基准命令使用vLLM bench CLI作为统一的压测工具# 准备 ShareGPT 数据集 wget https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/ShareGPT_V3_unfiltered_cleaned_split.json # 在 ShareGPT 数据集上压测 vllm bench serve --model Qwen/Qwen3-8B --backend openai-chat --endpoint /v1/chat/completions --dataset-name sharegpt --dataset-path ShareGPT_V3_unfiltered_cleaned_split.json --num-prompts 1000 # 在随机数据集上压测固定 seed 保证可复现 vllm bench serve --model Qwen/Qwen3-8B --backend openai-chat --endpoint /v1/chat/completions --dataset-name random --random-input-len 4000 --random-output-len 200 --num-prompts 500 --seed 42其中--random-input-len与--random-output-len需按上面数据集清单中的各档长度分别调整例如 Very Long Prompt 用例使用--random-input-len 32000 --random-output-len 100 --num-prompts 100。实验一推理引擎选型vLLM vs MindIEvLLM 基线启动命令vllm serve Qwen/Qwen3-8BShareGPT 压测结果 Serving Benchmark Result Successful requests: 1000 Benchmark duration (s): 133.23 Total input tokens: 217393 Total generated tokens: 201469 Request throughput (req/s): 7.51 Output token throughput (tok/s): 1512.21 Peak output token throughput (tok/s): 2821.00 Peak concurrent requests: 1000.00 Total Token throughput (tok/s): 3143.94 ---------------Time to First Token---------------- Mean TTFT (ms): 43963.16 Median TTFT (ms): 41177.19 P99 TTFT (ms): 91086.90 -----Time per Output Token (excl. 1st token)------ Mean TPOT (ms): 125.09 Median TPOT (ms): 122.07 P99 TPOT (ms): 269.65 ---------------Inter-token Latency---------------- Mean ITL (ms): 112.90 Median ITL (ms): 78.96 P99 ITL (ms): 280.07 MindIE 默认配置启动命令# 这是一个简化的 vLLM 风格命令。GPUStack 会将其中的参数映射为对应的 # MindIE JSON 配置并通过 mindieservice_daemon 启动服务。 mindie serve Qwen/Qwen3-8BShareGPT 压测结果 Serving Benchmark Result Successful requests: 1000 Benchmark duration (s): 74.36 Total input tokens: 217393 Total generated tokens: 201609 Request throughput (req/s): 13.45 Output token throughput (tok/s): 2711.10 Peak output token throughput (tok/s): 4588.00 Peak concurrent requests: 1000.00 Total Token throughput (tok/s): 5634.45 ---------------Time to First Token---------------- Mean TTFT (ms): 8242.22 Median TTFT (ms): 8298.00 P99 TTFT (ms): 18074.38 -----Time per Output Token (excl. 1st token)------ Mean TPOT (ms): 788.31 Median TPOT (ms): 204.41 P99 TPOT (ms): 6547.97 ---------------Inter-token Latency---------------- Mean ITL (ms): 155.96 Median ITL (ms): 45.35 P99 ITL (ms): 218.57 结论MindIE5634.4 tok/s vLLM3143.94 tok/s引擎切换本身带来了约79.2%的吞吐提升。从实现层面看GPUStack 的 MindIE 后端并不是简单地把参数透传给mindieservice_daemon而是在 gpustack/worker/backends/ascend_mindie.py 中完成了一整套参数 → MindIE JSON 配置的翻译与注入用户以mindie serve传入的 CLI 参数会进入AscendMindIEParameters.from_args_and_envs()第 176 行起解析覆盖各项默认值服务器启动时AscendMindIEServer._start()第 1122 行起从_get_mindie_config_json()读取 MindIE 服务模板配置第 2063 行起再把解析后的参数写入ServerConfig、BackendConfig、ModelDeployConfig、ScheduleConfig等区块最后以mindieservice_daemon为入口在容器内启动服务第 1642–1646 行。这解释了为什么文档中的命令都带有GPUStack maps arguments to the corresponding MindIE JSON configuration的注释——吞吐差异不仅来自引擎本身也来自 GPUStack 启动时注入的默认环境变量例如强制开启连续批处理MINDIE_LLM_CONTINUOUS_BATCHING1、异步调度MINDIE_ASYNC_SCHEDULING_ENABLE1、TASK_QUEUE_ENABLE1、ATB 计算后端与 80% NPU 显存配额NPU_MEMORY_FRACTION0.8等第 1164–1210 行。这些默认就绪的调度与内存配置正是 MindIE 在高并发下拉开差距的原因之一。实验二W8A8 量化MindIE启动命令# GPUStack 会将参数映射为对应的 MindIE JSON 配置 # 并通过 mindieservice_daemon 启动服务。 mindie serve vllm-ascend/Qwen3-8B-W8A8ShareGPT 压测结果 Serving Benchmark Result Successful requests: 1000 Benchmark duration (s): 69.32 Total input tokens: 217393 Total generated tokens: 201315 Request throughput (req/s): 14.42 Output token throughput (tok/s): 2903.93 Peak output token throughput (tok/s): 4799.00 Peak concurrent requests: 1000.00 Total Token throughput (tok/s): 6039.79 ---------------Time to First Token---------------- Mean TTFT (ms): 5834.61 Median TTFT (ms): 5648.87 P99 TTFT (ms): 11181.32 -----Time per Output Token (excl. 1st token)------ Mean TPOT (ms): 822.87 Median TPOT (ms): 188.93 P99 TPOT (ms): 7710.20 ---------------Inter-token Latency---------------- Mean ITL (ms): 148.97 Median ITL (ms): 45.31 P99 ITL (ms): 97.87 在 MindIE 默认配置之上切换到 W8A8权重-激活 8bit 量化权重vllm-ascend/Qwen3-8B-W8A8后总吞吐从 5634.45 进一步提升到 6039.79 tok/s增量约7.2%。这与性能实验室总览文档 docs/performance-lab/overview.md 中量化是最大化吞吐的关键技术的观察一致——W8A8 同时压缩了权重与激活的访存带宽对 Ascend NPU 这类带宽敏感场景收益显著。实验三开启 Prefix Caching前缀缓存启动命令# GPUStack 会将参数映射为对应的 MindIE JSON 配置 # 并通过 mindieservice_daemon 启动服务。 mindie serve vllm-ascend/Qwen3-8B-W8A8 --enable-prefix-cachingShareGPT 压测结果 Serving Benchmark Result Successful requests: 1000 Benchmark duration (s): 66.96 Total input tokens: 217393 Total generated tokens: 201517 Request throughput (req/s): 14.93 Output token throughput (tok/s): 3009.64 Peak output token throughput (tok/s): 4985.00 Peak concurrent requests: 1000.00 Total Token throughput (tok/s): 6256.39 ---------------Time to First Token---------------- Mean TTFT (ms): 5320.32 Median TTFT (ms): 5159.10 P99 TTFT (ms): 10384.83 -----Time per Output Token (excl. 1st token)------ Mean TPOT (ms): 796.13 Median TPOT (ms): 183.35 P99 TPOT (ms): 7267.96 ---------------Inter-token Latency---------------- Mean ITL (ms): 141.91 Median ITL (ms): 43.55 P99 ITL (ms): 115.20 开启前缀缓存后总吞吐达到 6256.39 tok/s比量化后继续提升约3.6%同时 P99 TTFT 从 11181.32 ms 下降到 10384.83 ms。前缀缓存对 ShareGPT 这类包含大量共享 system prompt / 多轮对话前缀的真实流量收益明显——相同前缀只需计算一次 KV可复用给后续请求。在源码层面--enable-prefix-caching的生效路径清晰可见gpustack/worker/backends/ascend_mindie.py参数解析parser.add_argument(--enable-prefix-caching, actionargparse.BooleanOptionalAction, ...)第 509–514 行支持--no-enable-prefix-caching显式关闭配置注入当params.enable_prefix_caching为真时写入schedule_config[enablePrefixCache] True并把plugin_params设为{plugin_type: prefix_cache}第 1466–1472 行兼容性约束_validate()中规定开启前缀缓存时不允许同时使用--rope-scaling第 1088–1092 行且数据并行--data-parallel-size 1时禁止开启第 1102–1105 行这与 MindIE 调度器对缓存一致性的要求有关。实验四Batch Size 调优MindIE启动命令# GPUStack 会将参数映射为对应的 MindIE JSON 配置 # 并通过 mindieservice_daemon 启动服务。 mindie serve vllm-ascend/Qwen3-8B-W8A8 --enable-prefix-caching --max-batch-size400 --max-prefill-batch-size200ShareGPT 压测结果 Serving Benchmark Result Successful requests: 1000 Benchmark duration (s): 69.07 Total input tokens: 217393 Total generated tokens: 201424 Request throughput (req/s): 14.48 Output token throughput (tok/s): 2916.34 Peak output token throughput (tok/s): 6017.00 Peak concurrent requests: 1000.00 Total Token throughput (tok/s): 6063.89 ---------------Time to First Token---------------- Mean TTFT (ms): 6335.34 Median TTFT (ms): 5812.45 P99 TTFT (ms): 11260.65 -----Time per Output Token (excl. 1st token)------ Mean TPOT (ms): 581.93 Median TPOT (ms): 167.14 P99 TPOT (ms): 5501.66 ---------------Inter-token Latency---------------- Mean ITL (ms): 143.92 Median ITL (ms): 70.27 P99 ITL (ms): 281.16 将--max-batch-size从默认 200 提高到 400、--max-prefill-batch-size从默认 50 提高到 200 后吞吐不升反降6039.79 → 6063.89反而低于实验三的 6256.39TTFT 与 ITL 的 P99 也明显恶化。结论在该硬件与并发模型下batch size 调优无正向收益汇总表中标记为 -默认值反而更优。这也提示了一个重要经验batch size 并非越大越好它与显存中 KV cache 的可用量、调度器预取策略以及实际并发度强相关。在 GPUStack 中--max-batch-size的合法范围是 [1, 5000]--max-prefill-batch-size必须落在 [1,--max-batch-size] 区间内gpustack/worker/backends/ascend_mindie.py 第 823–833 行同时 GPUStack 会做max_prefill_batch_size min(max_prefill_batch_size, max_batch_size)的自动收敛第 693–695 行。此外当--max-batch-size 50时GPUStack 会自动关闭异步调度MINDIE_ASYNC_SCHEDULING_ENABLE0第 1491–1492 行说明小 batch 下异步调度收益有限。优化项汇总Optimization OptionThroughput ImprovementEngine SelectionvLLM → MindIE79.2%QuantizationW8A87.2%Prefix Caching3.6%Batch Size Tuning-无收益可以看到引擎选型贡献了绝大部分收益量化与前缀缓存是叠加的锦上添花而 batch size 调优在本场景中并不适用。其他基准用例优化配置的泛化验证为验证优化配置在不同负载下的泛化能力GPUStack 用固定命令mindie serve vllm-ascend/Qwen3-8B-W8A8 --enable-prefix-cachingbaseline 为vllm serve Qwen/Qwen3-8B在长短不一的随机序列与低并发 ShareGPT 场景下做了对比。随机 32K 输入32000 in / 100 outBaselineTotal TPS 2890.64Mean TTFT 559550.01 msMean TPOT 344.18 ms OptimizedTotal TPS 10830.52约 274.7%Mean TTFT 147133.58 msMean TPOT 242.08 ms超长输入是 vLLM 基线的重灾区P99 TTFT 超过 1096 秒优化后虽仍存在较大 TTFT但总吞吐几乎翻了近 4 倍说明优化配置对极长序列同样有效。随机 4K 输入4000 in / 200 outBaselineTotal TPS 7677.41Mean TTFT 132541.20 msMean TPOT 99.26 ms OptimizedTotal TPS 13362.49约 74.1%Mean TTFT 70716.71 msMean TPOT 130.97 ms随机 2K 输入2000 in / 100 outBaselineTotal TPS 9589.00Mean TTFT 53978.52 msMean TPOT 140.39 ms OptimizedTotal TPS 15591.71约 62.6%Mean TTFT 29078.68 msMean TPOT 194.54 ms随机 128 输入128 in / 4 outBaselineTotal TPS 5834.79Mean TTFT 18464.39 msMean TPOT 125.55 ms OptimizedTotal TPS 15040.15约 157.8%Mean TTFT 4491.88 msMean TPOT 1249.72 ms短 prompt 场景128 in / 4 out是提升最显著的一档之一请求吞吐从 44.28 req/s 提升到 113.94 req/s说明优化配置对高频短请求的在线服务场景尤其友好。ShareGPT 低并发Batch Size 4BaselineTotal TPS 164.46Mean TTFT 145.88 msMean TPOT 47.28 ms OptimizedTotal TPS 324.35约 97.2%Mean TTFT 112.38 msMean TPOT 25.42 ms低并发小 batch 下优化配置的总吞吐也接近翻倍且 Mean TPOT 从 47.28 ms 下降到 25.42 ms延迟同样受益。综合各档用例优化配置在 ISL/OSL 差异极大的负载上均呈正向收益总吞吐提升 45%275% 不等但提升比例随输入长度与并发度明显分化——这与 docs/performance-lab/overview.md 中优化配置在不同输入/输出序列长度下通常都有效但提升比例可能差异显著的观察完全吻合。如何在 GPUStack 中落地该配置除直接使用mindie serve命令外GPUStack 还通过以下途径内置了这套优化模型目录自动推荐在 gpustack/assets/model-catalog-modelscope.yaml 中Qwen3-8B 在 Ascend 910B 上的throughput规格默认使用vllm-ascend/Qwen3-8B-W8A8 MindIE 后端 --enable-prefix-caching --max-seq-len32768创建模型实例时即可一键选用MindIE 后端参数透传在 GPUStack 创建模型时通过后端参数backend parameters字段填写--enable-prefix-caching等参数即可GPUStack 的 AscendMindIEParameters 会完成解析、校验与 JSON 配置注入参考关联文档H100 上的低延迟优化方案见 docs/performance-lab/qwen3-8b/h100-latency.md其他硬件/模型组合见 docs/performance-lab/overview.md 及其列出的各实验文档。局限与后续优化建议本实验的结论基于单张 Ascend 910B 特定引擎版本vLLM-Ascend v0.9.1、MindIE 2.1RC1换卡、换版本或换引擎后需重新压测未覆盖的组合还包括调度策略--prefill-policy-type/--decode-policy-type/ split fuse、扩展 KV cache--kv-pool-config、MindIE 的投机解码memory decoding / lookahead等这些都可能进一步优化吞吐或延迟建议结合 docs/performance-lab/overview.md 中关于 deeper tuning 的提示针对自身业务的 ISL/OSL 分布、前缀复用比例与并发度做定向微调——例如你的流量若以超长上下文为主--max-seq-len与 KV cache 的权衡就是下一个调优点。赞分享后端人工智能模型推理服务集群管理可观测性【免费下载链接】gpustackA GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.项目地址https://gitcode.com/gh_mirrors/gp/gpustack点击查看免费下载相关推荐ik_llama.cpp 为 Metal 后端引入 BF16 权重支持原理剖析与实测性能解读ik_llama.cpp 为 Metal 后端引入 BF16 权重支持原理剖析与实测性能解读 BF16bfloat16是当前 LLM 预训练与推理的主流低后端人工智能模型推理服务集群管理可观测性PostHog MCP Analytics 意图聚类实战指南从 Agent 目标聚类到工具可发现性诊断PostHog MCP Analytics 意图聚类实战指南从 Agent 目标聚类到工具可发现性诊断 意图聚类Intent Clustering是 Po后端人工智能模型推理服务集群管理可观测性PTO-ISA TCMP 指令详解Tile 比较与打包谓词掩码的跨平台实现指南PTO ISA TCMP 指令详解Tile 比较与打包谓词掩码的跨平台实现指南 TCMP Tile Compare是 Ascend CANN 并行 Til后端人工智能模型推理服务集群管理可观测性上一篇SingGuard-2b-GGUF部署实战从本地环境到生产环境的完整部署流程下一篇终极指南使用CycloneDX cdxgen生成多语言SBOM的10个关键步骤创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 GPUStack 高并发吞吐优化实战：Qwen3-8B 在 ASCEND 910B NPU 上的 MindIE 调优指南
后端人工智能模型推理服务集群管理可观测性【免费下载链接】gpustackA GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.项目地址https://gitcode.com/gh_mirrors/gp/gpustack点击查看免费下载在 GPUStack 集群中部署 Qwen3-8B 时选择正确的推理引擎并叠加合理的优化项对吞吐量的影响远超想象。本文基于 GPUStack 官方性能实验室在单张 Ascend 910B NPU 上的实测数据给出从引擎选型、W8A8 量化到前缀缓存Prefix Caching的完整调优路径基线 vLLM 在 ShareGPT 数据集上总吞吐为 3143.94 tok/s经三步优化后提升至 6256.39 tok/s99.0%。读完本文你将掌握 GPUStack 推荐的 MindIE 启动命令、vLLM bench 复现方法以及每个优化项在源码层面的作用机制与适用边界。结论速览推荐的吞吐优化配置GPUStack 官方在 docs/performance-lab/qwen3-8b/910b.md 中给出的推荐优化命令如下# 这是一个简化的 vLLM 风格命令。GPUStack 会将其中的参数映射为对应的 # MindIE JSON 配置并通过 mindieservice_daemon 启动服务。 mindie serve vllm-ascend/Qwen3-8B-W8A8 --enable-prefix-caching优化前后各基准用例的对比结果Benchmark CaseBaseline未做任何优化的 vLLMOptimizedShareGPTTotal TPS: 3143.94Mean TPOT(ms): 27.61Total TPS: 6256.3999.0%Mean TPOT(ms): 796.13Short PromptTotal TPS: 5834.79Mean TPOT(ms): 125.55Total TPS: 16611.86184.7%Mean TPOT(ms): 1131.26Medium PromptTotal TPS: 9589.00Mean TPOT(ms): 140.39Total TPS: 14484.8651.1%Mean TPOT(ms): 122.59Long PromptTotal TPS: 7677.41Mean TPOT(ms): 99.26Total TPS: 11159.0145.4%Mean TPOT(ms): 97.74Very Long PromptTotal TPS: 2890.64Mean TPOT(ms): 344.18Total TPS: 7835.01171.1%Mean TPOT(ms): 169.70在采用这套配置之前需要明确以下边界条件原文档注记基准测试并未穷尽所有优化组合。例如实验以默认配置下表现最优的推理引擎作为进一步调优的起点这种剪枝方式得到的是局部最优解未必是全局最优。还存在依赖具体用户场景的优化手段包括 max batch size、调度配置、扩展 KV cache、CUDA graph、Torch Compile 等本文结论可作为更精细化调优的起点。测试在特定硬件与软件栈上进行推理引擎的演进可能带来新的结论。优化目标本次调优的核心目标非常明确在高并发请求场景下实现高吞吐。它与 docs/performance-lab/qwen3-8b/h100-latency.mdH100 低并发低延迟优化形成互补本实验关注并发压力下的总 Token 吞吐Total TPS而非单请求延迟。实验环境与基准方法模型与硬件模型Qwen/Qwen3-8B结论表中同时使用了 W8A8 量化权重vllm-ascend/Qwen3-8B-W8A8硬件单张 Ascend 910B NPU引擎版本vLLM-Ascend v0.9.1、MindIE 2.1RC1值得说明的是GPUStack 的模型目录 gpustack/assets/model-catalog-modelscope.yaml 中已经为 Qwen3-8B 在 Ascend 910B 上预置了与本文结论一致的规格mode: throughput时使用vllm-ascend/Qwen3-8B-W8A8、后端为 MindIE、后端参数为--enable-prefix-caching与--max-seq-len32768对应文件中第 74–85 行这进一步印证了官方把该配置作为 Ascend 910B 上的默认吞吐优化方案。基准数据集ShareGPT真实对话数据不同序列长度的随机数据集固定随机种子保证可复现Very long prompt32000 输入 token、100 输出 tokenLong prompt4000 输入 token、200 输出 tokenMedium prompt2000 输入 token、100 输出 tokenShort prompt128 输入 token、4 输出 token基准命令使用vLLM bench CLI作为统一的压测工具# 准备 ShareGPT 数据集 wget https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/ShareGPT_V3_unfiltered_cleaned_split.json # 在 ShareGPT 数据集上压测 vllm bench serve --model Qwen/Qwen3-8B --backend openai-chat --endpoint /v1/chat/completions --dataset-name sharegpt --dataset-path ShareGPT_V3_unfiltered_cleaned_split.json --num-prompts 1000 # 在随机数据集上压测固定 seed 保证可复现 vllm bench serve --model Qwen/Qwen3-8B --backend openai-chat --endpoint /v1/chat/completions --dataset-name random --random-input-len 4000 --random-output-len 200 --num-prompts 500 --seed 42其中--random-input-len与--random-output-len需按上面数据集清单中的各档长度分别调整例如 Very Long Prompt 用例使用--random-input-len 32000 --random-output-len 100 --num-prompts 100。实验一推理引擎选型vLLM vs MindIEvLLM 基线启动命令vllm serve Qwen/Qwen3-8BShareGPT 压测结果 Serving Benchmark Result Successful requests: 1000 Benchmark duration (s): 133.23 Total input tokens: 217393 Total generated tokens: 201469 Request throughput (req/s): 7.51 Output token throughput (tok/s): 1512.21 Peak output token throughput (tok/s): 2821.00 Peak concurrent requests: 1000.00 Total Token throughput (tok/s): 3143.94 ---------------Time to First Token---------------- Mean TTFT (ms): 43963.16 Median TTFT (ms): 41177.19 P99 TTFT (ms): 91086.90 -----Time per Output Token (excl. 1st token)------ Mean TPOT (ms): 125.09 Median TPOT (ms): 122.07 P99 TPOT (ms): 269.65 ---------------Inter-token Latency---------------- Mean ITL (ms): 112.90 Median ITL (ms): 78.96 P99 ITL (ms): 280.07 MindIE 默认配置启动命令# 这是一个简化的 vLLM 风格命令。GPUStack 会将其中的参数映射为对应的 # MindIE JSON 配置并通过 mindieservice_daemon 启动服务。 mindie serve Qwen/Qwen3-8BShareGPT 压测结果 Serving Benchmark Result Successful requests: 1000 Benchmark duration (s): 74.36 Total input tokens: 217393 Total generated tokens: 201609 Request throughput (req/s): 13.45 Output token throughput (tok/s): 2711.10 Peak output token throughput (tok/s): 4588.00 Peak concurrent requests: 1000.00 Total Token throughput (tok/s): 5634.45 ---------------Time to First Token---------------- Mean TTFT (ms): 8242.22 Median TTFT (ms): 8298.00 P99 TTFT (ms): 18074.38 -----Time per Output Token (excl. 1st token)------ Mean TPOT (ms): 788.31 Median TPOT (ms): 204.41 P99 TPOT (ms): 6547.97 ---------------Inter-token Latency---------------- Mean ITL (ms): 155.96 Median ITL (ms): 45.35 P99 ITL (ms): 218.57 结论MindIE5634.4 tok/s vLLM3143.94 tok/s引擎切换本身带来了约79.2%的吞吐提升。从实现层面看GPUStack 的 MindIE 后端并不是简单地把参数透传给mindieservice_daemon而是在 gpustack/worker/backends/ascend_mindie.py 中完成了一整套参数 → MindIE JSON 配置的翻译与注入用户以mindie serve传入的 CLI 参数会进入AscendMindIEParameters.from_args_and_envs()第 176 行起解析覆盖各项默认值服务器启动时AscendMindIEServer._start()第 1122 行起从_get_mindie_config_json()读取 MindIE 服务模板配置第 2063 行起再把解析后的参数写入ServerConfig、BackendConfig、ModelDeployConfig、ScheduleConfig等区块最后以mindieservice_daemon为入口在容器内启动服务第 1642–1646 行。这解释了为什么文档中的命令都带有GPUStack maps arguments to the corresponding MindIE JSON configuration的注释——吞吐差异不仅来自引擎本身也来自 GPUStack 启动时注入的默认环境变量例如强制开启连续批处理MINDIE_LLM_CONTINUOUS_BATCHING1、异步调度MINDIE_ASYNC_SCHEDULING_ENABLE1、TASK_QUEUE_ENABLE1、ATB 计算后端与 80% NPU 显存配额NPU_MEMORY_FRACTION0.8等第 1164–1210 行。这些默认就绪的调度与内存配置正是 MindIE 在高并发下拉开差距的原因之一。实验二W8A8 量化MindIE启动命令# GPUStack 会将参数映射为对应的 MindIE JSON 配置 # 并通过 mindieservice_daemon 启动服务。 mindie serve vllm-ascend/Qwen3-8B-W8A8ShareGPT 压测结果 Serving Benchmark Result Successful requests: 1000 Benchmark duration (s): 69.32 Total input tokens: 217393 Total generated tokens: 201315 Request throughput (req/s): 14.42 Output token throughput (tok/s): 2903.93 Peak output token throughput (tok/s): 4799.00 Peak concurrent requests: 1000.00 Total Token throughput (tok/s): 6039.79 ---------------Time to First Token---------------- Mean TTFT (ms): 5834.61 Median TTFT (ms): 5648.87 P99 TTFT (ms): 11181.32 -----Time per Output Token (excl. 1st token)------ Mean TPOT (ms): 822.87 Median TPOT (ms): 188.93 P99 TPOT (ms): 7710.20 ---------------Inter-token Latency---------------- Mean ITL (ms): 148.97 Median ITL (ms): 45.31 P99 ITL (ms): 97.87 在 MindIE 默认配置之上切换到 W8A8权重-激活 8bit 量化权重vllm-ascend/Qwen3-8B-W8A8后总吞吐从 5634.45 进一步提升到 6039.79 tok/s增量约7.2%。这与性能实验室总览文档 docs/performance-lab/overview.md 中量化是最大化吞吐的关键技术的观察一致——W8A8 同时压缩了权重与激活的访存带宽对 Ascend NPU 这类带宽敏感场景收益显著。实验三开启 Prefix Caching前缀缓存启动命令# GPUStack 会将参数映射为对应的 MindIE JSON 配置 # 并通过 mindieservice_daemon 启动服务。 mindie serve vllm-ascend/Qwen3-8B-W8A8 --enable-prefix-cachingShareGPT 压测结果 Serving Benchmark Result Successful requests: 1000 Benchmark duration (s): 66.96 Total input tokens: 217393 Total generated tokens: 201517 Request throughput (req/s): 14.93 Output token throughput (tok/s): 3009.64 Peak output token throughput (tok/s): 4985.00 Peak concurrent requests: 1000.00 Total Token throughput (tok/s): 6256.39 ---------------Time to First Token---------------- Mean TTFT (ms): 5320.32 Median TTFT (ms): 5159.10 P99 TTFT (ms): 10384.83 -----Time per Output Token (excl. 1st token)------ Mean TPOT (ms): 796.13 Median TPOT (ms): 183.35 P99 TPOT (ms): 7267.96 ---------------Inter-token Latency---------------- Mean ITL (ms): 141.91 Median ITL (ms): 43.55 P99 ITL (ms): 115.20 开启前缀缓存后总吞吐达到 6256.39 tok/s比量化后继续提升约3.6%同时 P99 TTFT 从 11181.32 ms 下降到 10384.83 ms。前缀缓存对 ShareGPT 这类包含大量共享 system prompt / 多轮对话前缀的真实流量收益明显——相同前缀只需计算一次 KV可复用给后续请求。在源码层面--enable-prefix-caching的生效路径清晰可见gpustack/worker/backends/ascend_mindie.py参数解析parser.add_argument(--enable-prefix-caching, actionargparse.BooleanOptionalAction, ...)第 509–514 行支持--no-enable-prefix-caching显式关闭配置注入当params.enable_prefix_caching为真时写入schedule_config[enablePrefixCache] True并把plugin_params设为{plugin_type: prefix_cache}第 1466–1472 行兼容性约束_validate()中规定开启前缀缓存时不允许同时使用--rope-scaling第 1088–1092 行且数据并行--data-parallel-size 1时禁止开启第 1102–1105 行这与 MindIE 调度器对缓存一致性的要求有关。实验四Batch Size 调优MindIE启动命令# GPUStack 会将参数映射为对应的 MindIE JSON 配置 # 并通过 mindieservice_daemon 启动服务。 mindie serve vllm-ascend/Qwen3-8B-W8A8 --enable-prefix-caching --max-batch-size400 --max-prefill-batch-size200ShareGPT 压测结果 Serving Benchmark Result Successful requests: 1000 Benchmark duration (s): 69.07 Total input tokens: 217393 Total generated tokens: 201424 Request throughput (req/s): 14.48 Output token throughput (tok/s): 2916.34 Peak output token throughput (tok/s): 6017.00 Peak concurrent requests: 1000.00 Total Token throughput (tok/s): 6063.89 ---------------Time to First Token---------------- Mean TTFT (ms): 6335.34 Median TTFT (ms): 5812.45 P99 TTFT (ms): 11260.65 -----Time per Output Token (excl. 1st token)------ Mean TPOT (ms): 581.93 Median TPOT (ms): 167.14 P99 TPOT (ms): 5501.66 ---------------Inter-token Latency---------------- Mean ITL (ms): 143.92 Median ITL (ms): 70.27 P99 ITL (ms): 281.16 将--max-batch-size从默认 200 提高到 400、--max-prefill-batch-size从默认 50 提高到 200 后吞吐不升反降6039.79 → 6063.89反而低于实验三的 6256.39TTFT 与 ITL 的 P99 也明显恶化。结论在该硬件与并发模型下batch size 调优无正向收益汇总表中标记为 -默认值反而更优。这也提示了一个重要经验batch size 并非越大越好它与显存中 KV cache 的可用量、调度器预取策略以及实际并发度强相关。在 GPUStack 中--max-batch-size的合法范围是 [1, 5000]--max-prefill-batch-size必须落在 [1,--max-batch-size] 区间内gpustack/worker/backends/ascend_mindie.py 第 823–833 行同时 GPUStack 会做max_prefill_batch_size min(max_prefill_batch_size, max_batch_size)的自动收敛第 693–695 行。此外当--max-batch-size 50时GPUStack 会自动关闭异步调度MINDIE_ASYNC_SCHEDULING_ENABLE0第 1491–1492 行说明小 batch 下异步调度收益有限。优化项汇总Optimization OptionThroughput ImprovementEngine SelectionvLLM → MindIE79.2%QuantizationW8A87.2%Prefix Caching3.6%Batch Size Tuning-无收益可以看到引擎选型贡献了绝大部分收益量化与前缀缓存是叠加的锦上添花而 batch size 调优在本场景中并不适用。其他基准用例优化配置的泛化验证为验证优化配置在不同负载下的泛化能力GPUStack 用固定命令mindie serve vllm-ascend/Qwen3-8B-W8A8 --enable-prefix-cachingbaseline 为vllm serve Qwen/Qwen3-8B在长短不一的随机序列与低并发 ShareGPT 场景下做了对比。随机 32K 输入32000 in / 100 outBaselineTotal TPS 2890.64Mean TTFT 559550.01 msMean TPOT 344.18 ms OptimizedTotal TPS 10830.52约 274.7%Mean TTFT 147133.58 msMean TPOT 242.08 ms超长输入是 vLLM 基线的重灾区P99 TTFT 超过 1096 秒优化后虽仍存在较大 TTFT但总吞吐几乎翻了近 4 倍说明优化配置对极长序列同样有效。随机 4K 输入4000 in / 200 outBaselineTotal TPS 7677.41Mean TTFT 132541.20 msMean TPOT 99.26 ms OptimizedTotal TPS 13362.49约 74.1%Mean TTFT 70716.71 msMean TPOT 130.97 ms随机 2K 输入2000 in / 100 outBaselineTotal TPS 9589.00Mean TTFT 53978.52 msMean TPOT 140.39 ms OptimizedTotal TPS 15591.71约 62.6%Mean TTFT 29078.68 msMean TPOT 194.54 ms随机 128 输入128 in / 4 outBaselineTotal TPS 5834.79Mean TTFT 18464.39 msMean TPOT 125.55 ms OptimizedTotal TPS 15040.15约 157.8%Mean TTFT 4491.88 msMean TPOT 1249.72 ms短 prompt 场景128 in / 4 out是提升最显著的一档之一请求吞吐从 44.28 req/s 提升到 113.94 req/s说明优化配置对高频短请求的在线服务场景尤其友好。ShareGPT 低并发Batch Size 4BaselineTotal TPS 164.46Mean TTFT 145.88 msMean TPOT 47.28 ms OptimizedTotal TPS 324.35约 97.2%Mean TTFT 112.38 msMean TPOT 25.42 ms低并发小 batch 下优化配置的总吞吐也接近翻倍且 Mean TPOT 从 47.28 ms 下降到 25.42 ms延迟同样受益。综合各档用例优化配置在 ISL/OSL 差异极大的负载上均呈正向收益总吞吐提升 45%275% 不等但提升比例随输入长度与并发度明显分化——这与 docs/performance-lab/overview.md 中优化配置在不同输入/输出序列长度下通常都有效但提升比例可能差异显著的观察完全吻合。如何在 GPUStack 中落地该配置除直接使用mindie serve命令外GPUStack 还通过以下途径内置了这套优化模型目录自动推荐在 gpustack/assets/model-catalog-modelscope.yaml 中Qwen3-8B 在 Ascend 910B 上的throughput规格默认使用vllm-ascend/Qwen3-8B-W8A8 MindIE 后端 --enable-prefix-caching --max-seq-len32768创建模型实例时即可一键选用MindIE 后端参数透传在 GPUStack 创建模型时通过后端参数backend parameters字段填写--enable-prefix-caching等参数即可GPUStack 的 AscendMindIEParameters 会完成解析、校验与 JSON 配置注入参考关联文档H100 上的低延迟优化方案见 docs/performance-lab/qwen3-8b/h100-latency.md其他硬件/模型组合见 docs/performance-lab/overview.md 及其列出的各实验文档。局限与后续优化建议本实验的结论基于单张 Ascend 910B 特定引擎版本vLLM-Ascend v0.9.1、MindIE 2.1RC1换卡、换版本或换引擎后需重新压测未覆盖的组合还包括调度策略--prefill-policy-type/--decode-policy-type/ split fuse、扩展 KV cache--kv-pool-config、MindIE 的投机解码memory decoding / lookahead等这些都可能进一步优化吞吐或延迟建议结合 docs/performance-lab/overview.md 中关于 deeper tuning 的提示针对自身业务的 ISL/OSL 分布、前缀复用比例与并发度做定向微调——例如你的流量若以超长上下文为主--max-seq-len与 KV cache 的权衡就是下一个调优点。赞分享后端人工智能模型推理服务集群管理可观测性【免费下载链接】gpustackA GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.项目地址https://gitcode.com/gh_mirrors/gp/gpustack点击查看免费下载相关推荐ik_llama.cpp 为 Metal 后端引入 BF16 权重支持原理剖析与实测性能解读ik_llama.cpp 为 Metal 后端引入 BF16 权重支持原理剖析与实测性能解读 BF16bfloat16是当前 LLM 预训练与推理的主流低后端人工智能模型推理服务集群管理可观测性PostHog MCP Analytics 意图聚类实战指南从 Agent 目标聚类到工具可发现性诊断PostHog MCP Analytics 意图聚类实战指南从 Agent 目标聚类到工具可发现性诊断 意图聚类Intent Clustering是 Po后端人工智能模型推理服务集群管理可观测性PTO-ISA TCMP 指令详解Tile 比较与打包谓词掩码的跨平台实现指南PTO ISA TCMP 指令详解Tile 比较与打包谓词掩码的跨平台实现指南 TCMP Tile Compare是 Ascend CANN 并行 Til后端人工智能模型推理服务集群管理可观测性上一篇SingGuard-2b-GGUF部署实战从本地环境到生产环境的完整部署流程下一篇终极指南使用CycloneDX cdxgen生成多语言SBOM的10个关键步骤创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考