智算中心建设这事儿最近问的人特别多。不少朋友手里攒着预算和机房上来就聊“百卡集群”“千卡集群”但真正一开工选址、配电、制冷、组网、软件栈每一个环节都能把人折腾到焦头烂额。我过去两年深度参与了几个智算中心项目从立项到验收的全过程其中一个还专门为液冷方案做了完整的可行性研究这里面的坑和心得我觉得有必要一次性写清楚。这篇文章不是讲概念也不是厂商宣传稿而是站在建设方视角的全流程实操梳理。适合三类人看一是企业里负责算力基础设施规划的技术负责人二是数据中心设计院和集成商的工程师三是准备把旧机房改造成智算节点的运维团队。读完你能对“智算中心到底怎么从一张白纸变成能跑大模型训练的实体”有完整认知也能避开我们踩过的那些真实的大坑。1. 开工前的规划阶段算力定位决定整个项目的生死很多人以为智算中心落地第一步是选服务器、买GPU这是大错特错的。第一步要解决的是“算给谁用、跑什么任务、多大规模”这三个问题。这直接决定了你后续的选址标准、电力容量、网络架构甚至决定了你选风冷还是液冷。我记得有个项目客户一开始给的规划是“建一个500P的智算中心”听着很明确但一问细节就露馅了——这500P是FP16稠密算力还是稀疏算力是训练为主还是推理为主推理的话是跑大语言模型的在线推理还是CV模型的批量推理这些问题不搞清楚你连买什么加速卡都定不了因为训练侧重需要高带宽内存和高速互联推理侧重则更看重吞吐量和时延二者对网络和存储的设计逻辑完全不一样。所以在规划阶段我建议至少完成三个维度的确认业务维度明确未来18个月内最主要的三个应用场景。比如“金融行业多模态风控模型训练”“政务大模型私有化推理”“工业视觉检测模型迭代”每个场景配套一个算力需求预估表。规模维度不要只写总算力要细化到“卡数×单卡算力×集群利用率”。通常训练型智算中心按满载规划推理型要留出1.5倍峰值余量因为线上推理的流量波动远大于训练任务。物理维度确认机房可用的建筑条件包括层高、楼板承重、现有配电容量、室外机安装空间。这决定了你的制冷方案是风冷、冷板液冷还是浸没液冷。1.1 选址时大家最容易忽略的三个隐性成本智算中心的选址不光是看当地有没有优惠政策有几个隐性成本绝大多数项目在规划书里根本没体现结果建设中途叫苦不迭。第一个是电价波动机制。智算中心是典型的高耗能设施一个1000卡训练集群的IT负载通常在600千瓦到1兆瓦之间年耗电超过500万度。如果当地峰谷电价差超过0.6元/度你就必须在设计阶段预留储能或削峰填谷的接口否则运营成本会高出预算20%以上。第二个是气候条件对制冷方案的影响。同样的液冷系统在年均温度22℃的昆明和在年均温度18℃的呼和浩特全年自然冷却时长差距能达到30%以上。不要只看冬天冷要算全年干球温度分布这直接决定了冷却塔或干冷器的选型大小。第三个是网络延迟与带宽的“感知差”。很多智算中心选址在郊区工业园区看着便宜但如果你要承接的是中心城市的AI推理业务每增加5毫秒延迟用户体验就会明显下降。更麻烦的是部分园区最后一公里的光纤资源不足运营商只能提供10G接入这对于要同步训练数据或对外提供大模型API服务的场景是不够的至少需要2路100G。1.2 新建与改造两种路径的选型逻辑智算中心建设不全是新建我们做过统计在实际项目中超过一半是旧机房改造。新建路径相对简单按“T3以上等级”设计即可。但改造路径有几个绕不开的现实问题。旧机房最常见的问题是楼板承重不足。风冷GPU服务器整机重量在70到100公斤之间而这个重量集中在4U到8U的机箱内折算到机柜底部一个满配机柜的静载荷可以超过1.2吨。很多办公楼层改造机房的设计承重只有500公斤/平米根本无法直接用。解决方案要么是分散布置机柜但这个会大幅增加制冷和供电的线缆成本要么做结构加固加钢梁或碳纤维布工期和成本都需要提前评估。另一个改造中的高频问题是原配电系统余量不足。旧机房通常按4到6千瓦/机柜设计而智算中心的GPU机柜动辄20千瓦起步液冷机柜更是直接上到40千瓦以上。这意味着低压配电柜、UPS、列头柜基本都要推倒重来。好在这部分电气设备换代成本相对可控真正影响进度的是断电施工窗口如果一个机房承载着在线业务每天只有凌晨4小时能停电作业整个改造周期会被拉得很长。2. 电力与制冷算力中心最难啃的两块硬骨头智算中心和传统数据机房的本质区别就是功率密度。传统机房8千瓦/柜就算高了智算中心的风冷机柜设计密度基本在15到25千瓦/柜液冷机柜则是40到60千瓦/柜。密度一上来电力和制冷就不再是辅助系统而是整个项目的核心工程。我在一个200柜项目中亲眼见过IT设备全部进场后才发现因为前期配电设计没有预留足够的谐波治理空间整个低压系统的功率因数只有0.82变压器发热严重最后不得不临时增加有源滤波器多花了80多万还耽误了20天工期。2.1 电力容量的“1.6倍原则”是怎么算出来的很多人看不懂为什么智算中心的进线总容量是IT负载的1.6倍以为是设计保守。我给你拆解一下。一套完整的供配电链路包括市电进线、变压器、低压配电柜、UPS或HVDC、列头柜、服务器电源。其中92%到94%的转换效率一部分消耗在变压器上一部分消耗在UPS上还有一部分消耗在电源模块上。如果IT负载是1兆瓦那么电网侧输入就需要约1.1兆瓦。再加上制冷系统冷水机组、水泵、冷却塔、精密空调约占IT负载的25%到35%也就是说1兆瓦的IT负载还需要另加0.3兆瓦左右的制冷用电。但所有设备并非同时满负荷运行通常取0.9的同时系数这样算下来总输入功率约等于IT负载的1.55到1.65倍。所以设计上按总容量的0.6折算IT可用负载是经过实践验证的经验值。具体到变压器选型有个细节我建议你盯紧。很多设计院按常规做法选2N冗余变压器但智算场景下GPU训练任务对电压骤降极其敏感——市电切换或UPS转旁路的一瞬间哪怕只有20毫秒的电压跌落就可能造成几十块GPU同时报错整个训练任务需要重新加载模型。所以有条件的话建议给GPU机柜单独配置一路静态转换开关加飞轮UPS别和普通IT负载共用动态切换链路。2.2 液冷方案可行性研究为什么说“风冷为主、液冷试点”是当前最优解液冷这个方向在智算中心建设里已经绕不过去了。尤其是NVIDIA H系列和国产高端加速卡上市后单卡功耗从300瓦涨到700瓦甚至1000瓦风冷散热的天花板已经触顶了。但液冷不是简单把散热器从风换水它涉及一整套二次侧管路、冷源设备和监控逻辑需要要在可研阶段把账算清楚。结合我在液冷可研项目上的实战经验建议关注五个关键维度散热能力匹配冷板式液冷可以带走GPU总热量的70%到80%剩下20%到30%的电源、CPU、内存热量仍需要风冷辅助。如果机房不做密封热通道风冷这部分的热负荷可能会让环境温度超标。水质与防腐冷却液的电导率要控制在0.5微西门子/厘米以下否则微漏电会对服务器主板造成腐蚀。这个需要安装去离子装置并在每个支路加装在线电导率监测仪。漏液防护整个液冷系统最怕的就是接头老化渗漏。我的做法是在每一个快接头下方安装漏液检测绳并联动电磁阀一旦检测到漏液立即关闭该机柜的供液支路。可维护性选择液冷方案前必须确认运维团队是否有能力处理CDU冷量分配单元和管路排气。很多液冷系统故障不是设备坏了而是管路中残留空气造成气阻导致流量不均GPU温度忽高忽低。经济性测算液冷的初投资通常比同等风冷方案高30%到40%但PUE可以从1.4降到1.15以下。以一个1000千瓦IT负载的项目为例每年可节省电费约200万元投资回收周期大概在2到3年。如果项目生命周期超过5年液冷是划算的如果只是短期过渡那就老老实实上风冷。这里要说明的是以上计算方式是基于常见的间接冷板液冷方案的实践总结不同厂家的CDU效率差异较大具体项目还需要用厂商提供的额定参数重新核算不宜直接套用。2.3 风冷与液冷的边界什么时候必须切换我见过一些厂商宣传“风冷液冷灵活切换”听起来很美但现实中你要时刻关注一个临界点单机柜功率密度是否超过25千瓦。低于这个值风冷仍然是最经济的选择超过它风冷的制冷效率会断崖式下跌。为什么因为传统精密空调的送风距离有限高密度机柜中前排服务器进风温度正常后排服务器可能已经吸入了前排排出的热风形成热岛循环。这时候无论你把空调温度调多低机柜后部温度还是压不下来。当机柜密度达到35千瓦以上风冷基本无解必须上液冷。而且液冷方案里还有个细分冷板式和浸没式。冷板式是间接冷却服务器内部芯片通过冷板与冷却液换热服务器形态跟常规的接近浸没式则是把整台服务器泡在绝缘冷却液里散热效率最高但运维方式和服务器硬件都有特殊要求。绝大多数商业项目选冷板式就够了只有做超高密度训练集群且对PUE有极端要求小于1.1的才需要考虑浸没式。3. GPU集群与网络架构选型性能与成本的平衡点算力中心的“心脏”是GPU集群但很多人选型时只看单卡算力忽略了集群的整体性能。这里面的关键逻辑是单卡强不等于集群强。一个千卡集群能不能充分发挥算力取决于卡间互联带宽、节点间网络拓扑和存储系统能否跟上。我先说存储。大模型训练的Checkpoint模型检查点文件动不动几百GB到一个TB如果存储带宽不够每次保存恢复都要等十几分钟算力闲置浪费非常惊人。我的经验是纯训练型集群存储带宽至少要做到每TB算力对应5GB/s以上的读写吞吐且元数据操作性能要特别高——因为训练框架会并发读写大量小文件比如几万甚至几十万个tokenizer缓存文件。3.1 网络拓扑选择两层CLOS还是三层CLOSGPU集群的网络设计在过去几年经历了剧烈变化。早期大家用三层CLOS核心层-汇聚层-接入层架构那时是因为单台交换机的端口密度不够必须分层扩展。但现在主流的100G/400G交换机单台可以提供64到128个端口两层CLOSSpine-Leaf足够支撑几千张卡的互联而且延迟更低、故障域更小。项目规模在128卡以内可以用两层CLOS超过512卡我建议核心层用400GLeaf层用200G这样可以保证东西向带宽不瓶颈。千万别图省钱用25G接入——训练任务的通信模式是All-to-AllGPU之间要不停交换梯度25G的接入会在第一个epoch就把网络打满。3.2 RoCE还是InfiniBand国产化与性价比的博弈互联技术选型也是智算中心争议最大的地方之一。英伟达生态下InfiniBand性能确实最强端到端拥塞控制机制成熟但价格通常是RoCE方案的3到5倍而且生态封闭。RoCERDMA over Converged Ethernet跑在标准以太网上成本低、兼容性好但需要网络工程师细致调优否则拥塞会导致性能剧烈抖动。我的建议是如果你用的是国产加速卡且规模在千卡以内RoCE方案完全够用前提是要做三件事在Leaf交换机上开启PFC优先级流控和ECN显式拥塞通知并设置合理的缓冲区阈值把RDMA流量和非RDMA流量用不同的VLAN和优先级队列隔离开在服务器端关闭无关的中断合并并设置正确的GID索引我们有一个240卡集群用RoCE跑一个大语言模型的预训练任务MFU模型算力利用率做到48%跟同规模InfiniBand方案相比只低了不到5个百分点但网络成本省了接近60%。如果你的项目对训练效率有极致要求比如要做万卡级别的超大规模预训练那还是老老实实上InfiniBand或者NVLink域内扩展这个钱省不了。3.3 计算节点硬件配置的“黄金比例”很多人在服务器CPU和内存配置上容易犯两个极端要么配置过高浪费钱要么配置不足GPU等数据等到天荒地老。以常见的8卡训练服务器为例我的配置经验是CPU双路32核以上主频2.4GHz以上。GPU在做数据预处理和CPU算子下发时对单核性能敏感核心数不够会直接拉长每个step的时间。内存512GB起步推荐1TB。数据加载、模型副本、中间激活值都会吃内存256GB在跑大模型时很快就OOM。系统盘2块480GB SSD做RAID1只装系统和驱动别把数据集放上面。本地缓存盘至少1块3.84TB NVMe用于存放训练数据的预加载缓存可以有效缓解存储系统压力。电源方面8卡训练服务器满载功耗约6.5到7千瓦需要使用标准的CRPS通用冗余电源模块并支持高压直流输入。这里有个小技巧如果用普通服务器电源加转接插头可能会导致供电不稳整柜掉电我们就踩过一次。所以一定要选原厂配套的电源模块和PDU接口别轻易用第三方转接。4. 软件栈与调度平台让裸金属GPU跑起来只是第一步硬件到位只是万里长征走了一半后面的软件栈建设才是决定“这个智算中心能不能真正跑起来”的关键。我见过太多项目硬件部署完了结果调度平台没搭好几十张卡闲置吃灰业务方怨声载道。软件栈设计的核心目标是让算法工程师像用一台大电脑一样使用整个集群。这意味着要提供统一登录方式、资源申请审批流程、标准化的镜像环境以及完善的监控告警。4.1 集群调度选型Slurm还是Kubernetes目前智算中心的主流选择是Slurm和K8s二选一或者两者打通。Slurm在HPC和传统AI训练场景地位非常稳固它对GPU任务的管理粒度细Prolog/Epilog机制让用户可以方便地做作业前环境初始化和作业结束后的清理。Kubernetes则在弹性调度和微服务化的推理部署上优势明显。我的建议是“以Slurm为主跑训练以K8s为辅跑推理和在线业务”二者通过统一的认证入口集成。有人觉得维护两套系统太麻烦但实际推理业务如果跑在Slurm上弹性伸缩能力太弱流量高峰时扩容要排队对线上服务是致命的。而训练任务如果跑在K8s上多节点任务调度经常遇到设备插件分配不等的问题运维复杂度反而更高。4.2 镜像分发与缓存被低估的性能杀手一个千卡集群如果所有节点同时从镜像仓库拉取一个20GB的PyTorch镜像仓库带宽直接被打满光拉镜像就能耗掉半小时。所以软件栈里必须要有镜像分发加速机制至少要做到三级缓存第一级每个计算节点上的本地磁盘缓存存最近用过的镜像层第二级管理网内的高性能镜像仓库做预拉取第三级外网源用于定期同步基础镜像另外建议在官方镜像基础上自己做一套标准AI训练镜像预装好驱动、CUDA、cuDNN、Python环境以及常用的模型框架。这样用户租到资源时不需要再花费时间装依赖直接就能启动训练任务。我们把这项工作叫“镜像瘦身预置”效果非常显著——用户从提交任务到真正开始训练的平均时间从40分钟降到了5分钟以内。4.3 监控告警体系盯住你最容易忽视的金丝雀指标计算节点的CPU、内存、GPU利用率这些基础监控不用多说各家监控系统都能做。我在这里想提的是几个在智算场景下特别容易出问题的“金丝雀指标”GPU温度与降频记录如果GPU因为散热不足触发降频训练速度会下降20%以上但监控面板上利用率可能仍然显示100%极具迷惑性。所以一定要采集每个GPU的当前温度和降频触发次数。NVLink与RoCE的重传率卡间互联的重传比例超过0.1%就说明网络存在拥塞或链路质量劣化需要立刻排查。存储延迟P99平均延迟正常不代表没有瓶颈。训练任务是高度同步的任何一个存储毛刺都会让所有GPU同时等待。我建议运维团队把这三类指标做成独立的告警策略别跟通用监控混在一起。通用监控的阈值往往太宽等触发告警的时候训练任务已经失败好几轮了。5. 实施交付与验收怎么证明这个中心是真的“能用”的到了实施阶段大家关注的就不再是方案设计而是进度、质量和最终验收。这里面最大的挑战是智算中心的“能用”不是电源灯亮就算的它要过“压测关”。我们做最终验收时有一项叫“满负载稳定性测试”用行业典型的大模型训练任务在整集群上连续跑72小时如果期间没有任何节点掉线、训练任务不中断、loss曲线正常下降才算通过。这比看厂商给的《测试报告》硬核得多。5.1 施工顺序与并行工程智算中心施工的特殊性在于IT设备安装可以和基础设施调试部分并行但要卡好关键节点。我们的标准顺序是这样的土建与装修完成机房密闭防水测试通过强电系统变压器、配电柜、UPS上电测试验证三相平衡和带载能力制冷系统调试包括冷水机组联动、管路冲洗、定压补水网络设备上架光纤布线连通做物理链路验收GPU服务器上架加电点亮做单节点稳定测试集群级联调跑通信基准测试和分布式训练demo为什么强调这个顺序因为网络和GPU服务器如果提前上电而制冷和配电还没完全调试好一个电压波动或者温度异常就可能损坏硬件这个风险不值得冒。5.2 验收时的几个专项测试验收阶段有几个专项测试建议委托给第三方测评机构别全听供应商的。我们当时做的几个测试包括整集群的线性加速比测试比如64卡跑到接近理论加速比长时间稳定性测试以及故障切换演练人为拔掉一台服务器检查调度器能否自动重调度任务。故障演练这块特别重要——很多集群在满载运行时会因为某个节点异常导致整个训练任务崩溃如果没有提前演练过重调度机制真出问题时就只能手足无措。还有一个容易被忽略的是制冷系统的故障切换测试模拟一路冷水机组断电观察CDU能否在60秒内完成自动切换GPU温度波动是否在可控范围内。液冷系统尤其要做这个因为如果切换失败冷却液温度会迅速上升几分钟内就可能触发GPU过热保护导致整个训练任务中断。6. 运维与运营的长期账建完不是结束是另一场马拉松最后聊聊所有项目最不性感但最冒风险的部分——建成后的运维运营。智算中心的运维复杂度远高于传统机房主要体现在故障定位难度大、能耗管理要求高、多租户资源隔离复杂这三个方面。6.1 人力配置别指望一个人当三个人用我在不同项目上观察到一个规律一个300卡规模的智算中心至少需要配备4名专职运维工程师——一名负责网络和系统、一名负责存储和计算平台、一名负责机房基础设施、一名负责业务支撑和用户管理。如果上了液冷系统还需要额外增加一名熟悉管路系统和CDU运维的工程师。很多公司觉得“我们有系统集成商做的运维平台一个值班员就够了”结果出了GPU故障后值班员除了重启和报修什么都做不了问题故障定位要等第二天厂商到场一天的训练计划全泡汤。所以我建议算力中心立项时要在预算里明确人力成本招聘时优先找有“高性能计算”背景的工程师而不是普通的数据中心管理员两者对GPU原理和分布式框架的认知差距非常大。6.2 能耗优化从PUE到算力能效的进阶PUE是大家最爱汇报的指标但纯盯PUE会走偏。一个GPU利用率常年只有20%的智算中心哪怕PUE做到1.1整体能效也是极差的。智算中心的运营核心要看算力能效即单位电能产出多少有效算力。这要求你不仅优化制冷效率还要提升资源调度。我们用实际运营数据测算过把集群平均利用率从40%拉到65%节能效果比把PUE从1.3降到1.2更显著。要做到这一点调度策略上需要有“装箱”机制。比如训练任务优先集中分配到部分节点把空闲节点设置成休眠状态按需唤醒而不是让所有节点都低负载运行。这需要在业务允许的前提下做因为休眠唤醒会带来几分钟的启动延迟。6.3 一些真实的踩坑记录最后分享几个我们实际遇到过的故障案例给各位提个醒。第一坑机柜内部理线不当引起光模块过热。某次集群出现间歇性网络丢包排查了很久最后发现是光纤跳线太密挡了交换机的散热风道。这类问题在新集群尤其常见因为满配部署时光纤密度极高散热设计稍弱就中招。后来我们统一改用细径高密度光纤并强制要求弱电施工留出10%的散热孔位。第二坑GPU服务器BIOS设置不当导致性能远低预期。新批次服务器上架后怎么跑性能都只有之前同配置设备的70%。后来逐台检查BIOS发现“Above 4G Decoding”和“Resizable BAR”选项默认是关闭的导致GPU显存无法被CPU直接完整寻址。这个问题在自购服务器时特别容易遇到厂商默认配置不一定适合GPU计算场景。第三坑液冷系统微漏引发的地板积水。发生过一次接头密封圈老化导致的微漏每小时漏约10毫升。量不大但滴在机房防静电地板上会慢慢积累我们直到闻到异味才发现。后来在液冷机柜下方统一加装了防水托盘并且在每台CDU的冷凝水检测基础上又加装了地面漏水感应线——这个教训值不少钱。智算中心建设是一条系统性工程从规划选址、电力制冷、网络拓扑、软件栈到验收运维每一个环节都有它的专业门槛和坑点。我在这篇文章里尽可能把实际操作中的经验浓缩进来希望能帮你少走一些弯路。如果看完还有具体环节需要深入沟通——比如液冷可研的详细模板或者RoCE网络调优的参数表——可以顺着网线来找我我可以专门再写一篇细的。