第21章：并行策略：TP、PP、DP 与专家并行

1. 项目背景

某AI平台团队成功将一个7B模型在单张A100上跑通后，CTO提出了更高的要求：部署公司自研的70B模型，并支撑日均100万次调用。团队采购了8台A100服务器（每台8卡），总计64张GPU——硬件投入超过200万元。

然而，当团队用--tensor-parallel-size 8启动70B模型时，发现吞吐远低于预期。8卡TP的理论吞吐应该是单卡的8倍，但实测只有3.2倍。更奇怪的是，当把模式改为"2卡TP + 4实例DP"时，8张卡的吞吐反而翻了一倍——比全卡TP高出近100%。

与此同时，隔壁团队部署的一个MoE（Mixture of Experts）模型遇到了更诡异的问题：8张GPU中，有3张的利用率在90%以上，另外5张只有20%——GPU负载严重不均衡。排查发现，MoE模型中的某些"热门专家"被过度调用，而其他专家几乎闲置。

痛点：并行策略不是"给更多的GPU就能跑得更快"。TP（张量并行）切分模型权重到多卡，通信开销随卡数增长；PP（流水线并行）切分模型层到多卡，存在"气泡"浪费；DP（数据并行）复制模型到多卡，各实例独立但需要负载均衡。盲目堆GPU而不理解各并行策略的通信模式、适用边界和性能收益曲线，是烧钱最快的方式。

本章将逐一拆解TP/PP/DP/EP四种并行策略的数学本质、通信开销和适用场景，并通过"2卡TP vs 4实例DP"的对比实验，展示"为什么更多GPU有时反而更慢"。

2. 项目设计

（场景：GPU服务器机房。小胖盯着一排A100的功耗指示灯——8张卡都在闪