我从一开始就没打算用传统的塔式机箱。七八张显卡塞进去要么散热不畅要么供电不够扩展性也锁死。所以我把这个项目命名为OpenRig一个真正开放的多 GPU 算力平台。它没有封闭侧板所有硬件都像测试台上一样直接展开显卡竖装在机架两侧电源、主板、散热器全部裸露可见。它能解决的问题很直接多卡协同跑 AI 训练、3D 渲染或者长时间挂着跑一些大吞吐量的计算任务同时保证散热、供电和日常维护都处于最容易操作的状态。如果你是第一次接触这类开放式机架或者想把手里的多张显卡利用起来这篇文章基本能覆盖从选型、组装、系统配置到排障的完整路径。OpenRig 不是某个现成品牌而是我针对实际需求攒出来的一套方案所以很多结论都来自实测不说理论废话。1. 整体设计与方案选型OpenRig 为什么值得搭1.1 开放式结构单卡机箱给不了的扩展余量大多数人第一次看到 OpenRig 的反应是“这不就是个没盖子的机箱吗”。实际上区别很大。塔式机箱内部空间是按照一卡、两卡设计的风道被硬盘位和电源仓切碎显卡一旦超过三张温度就会互相影响。开放式机架没有侧板和前置面板显卡完全暴露在空气中风扇可以直接从前侧和后侧进风散热路径比封闭机箱短得多。另外一个隐性好处是 PCIe 扩展位置。普通机箱里即便你的主板有 7 条 PCIe x16 物理插槽显卡厚度也会挡住至少一半的槽位而开放式机架允许显卡通过 PCIe 延长线竖装在支架上卡与卡之间留出 3 到 5 厘米的间隔通道不浪费拆装也不需要先拔掉周围所有硬件。我的 OpenRig 最初只有 4 个卡位后面为了加一张高功耗显卡直接在机架横梁上多锁了一根延长线支架十分钟就完成了扩容。这种灵活性是封闭机箱给不了的。不过开放式结构也有代价没有防尘网落灰速度很快没有侧板遮挡曾有金属螺丝刀掉在主板上的小事故。所以我在设计时专门留高了显卡供电线的走线位并把机架放在接近地面的位置日常操作时把所有螺丝和工具都放到旁边的托盘里。这些都是长期用下来形成的习惯后面会细讲。1.2 从需求倒推配置先定卡数再选主板电源组 OpenRig 最容易犯的错是先把显卡买齐再随便找一块主板和电源。我的建议是反着来先定要上几张卡再反推主板、CPU 和电源。因为 PCIe 通道总数和电源功率决定了你这个机架能撑到多大规模。拿我这套实测配置举例它最多支持 6 张 GPUCPUAMD 霄龙 737116 核 32 线程PCIe 3.0 通道 128 条主板超微 H11SSL-iSFF ATX 版型支持 7 个 PCIe x16 物理插槽内存128GB DDR4 ECC8 条 16GB插满四通道显卡6 张 NVIDIA RTX 3060 12GB每张 TDP 170W 左右电源双 1200W ATX 电源通过同步启动线并机机架开放式铝合金机架高 520mm显卡竖装位 6 个为什么选这颗 CPU因为单张 RTX 3060 跑训练时主要瓶颈在显存和核心但 6 张卡同时干活CPU 要负责数据预处理和任务调度。如果选普通消费级平台PCIe 通道只有 20 到 28 条插满 4 张卡就会降速而霄龙平台有 128 条通道每张卡都能跑在 PCIe 3.0 x16 上。如果你是跑渲染而不是训练可以把 CPU 换成高主频的英特尔至强但主板必须选支持多条 x16 插槽的工作站型号。一个很实用的判断标准是显卡数量 × PCIe x8 通道 平台总通道数。比如 4 张卡需要至少 32 条通道6 张卡需要 48 条以上消费级芯片组的低端型号直接排除。1.3 机架选型金属结构决定稳定上限网上有不少现成的“矿架”改装套件但拿来组 OpenRig 时要注意三点立柱间距、板材厚度和螺丝位兼容性。我用的铝合金机架单根立柱厚度 3mm螺丝孔位同时兼容 ATX、E-ATX 和 SSF 主板。有些便宜的机架用的是 1.5mm 冷轧钢板长时间挂重型显卡后横梁会变形导致显卡倾斜、金手指接触不良。如果你的显卡是 3090、4090 这种大尺寸卡务必确认机架横梁上有没有额外的显卡固定孔。我后来加装了一张 3090光是原装三风扇就已经快 1.2kg单靠主板插槽不可能撑住。我在机架顶部加了一根横撑用铜柱和轧带把显卡挡板位置固定住相当于给显卡做了一个“吊床”。这个问题在封闭机箱里其实也存在但开放式机架没有侧板遮挡视觉上更明显反而提醒你早做处理。2. 硬件组装与供电风道照着做能少走很多弯路2.1 机架与显卡固定先装电源和主板再装显卡硬件组装的顺序很关键。我的习惯是先把机架放在工作台上然后将电源固定在机架底部或侧边再锁主板。因为开放式机架的电源位通常设计在主板下方或侧面如果把主板先装上电源的螺丝孔会被挡住。主板安装时要先用铜柱比划一下孔位。ATX 主板有 9 个固定孔但机架上的孔位不一定全部对齐。不要强拧螺丝先用手把六角铜柱拧到机架底板上再把主板放上去确认 I/O 挡板位置和后置 USB 接口能对齐最后才锁紧螺丝。如果强迫螺丝对齐轻则划伤 PCB 走线重则导致主板变形内存插槽接触不良。显卡固定是重点。OpenRig 的显卡不是水平插在主板上而是通过延长线竖装。这里要用两样东西PCIe 延长线支架和显卡横条挡板。延长线的一端插在主板 PCIe x16 槽里另一端固定在机架竖梁的显卡位置上。注意延长线是单向的插槽面和插头面不能反否则点不亮。插之前先看延长线上的标签一般标了 “3M” 或 “Pcie” 朝向。安装显卡时先把显卡挡板螺丝卡在机架横条上再插入延长线。每一颗固定螺丝都要垫垫片防止铝合金表面氧化后接触不良。插好后左右晃动一下显卡确认不会松脱。三风扇显卡尾部很容易下沉一定要用顶部吊装或者底部支撑。2.2 供电系统功率计算与双电源启动OpenRig 最常见的翻车点在供电。我算一下这台机器的典型功耗6 张 RTX 3060每张 TDP 170W满负载下 6 张约 1020WCPU霄龙 7371 TDP 180W满负载加 AVX 指令会到 200W 左右主板、内存、风扇、延长线损耗约 80W硬盘和远程调试设备约 20W总功耗大约在 1320W 到 1450W 之间。如果按电源长期 70% 负载比较稳的经验值单电源至少要选 2000W。现在市面上大功率 ATX 电源价格偏高所以最便宜且稳的方案是双电源并机。双电源并机不能直接把两个电源的输出并联要用一根同步启动线它把两个电源的 24pin 主接口中的 PS-ON 信号并联插在主板上的是“主电源”副电源通过一根启动线接收同一信号。简单来说开机时主板给主电源发启动信号主电源再通过同步线通知副电源一起启动。市面上有专门的“双电源同步线”二十几元一条装起来很省事。功率分配不能凭感觉。我的分配方式主板、CPU、内存和其中两张显卡接在主电源上另外四张显卡接在副电源上。如果有一张卡峰值功耗特别高尽量把它放到主电源那一路避免副电源瞬间过载掉电。显卡供电线要尽量独立不要用一根 PCIe 8pin 线转出两个 8pin 接同一张高功耗卡因为单根线材的过流能力有限。RTX 3060 这种 170W 卡用一个 8pin 没问题但如果换成 300W 以上显卡建议每张卡至少接两根独立 8pin 线。开机测试时不要直接插满所有显卡。先把主板、CPU、一张显卡接好确认能点亮再逐步增加。一次装好全部设备然后开机失败排查起来非常痛苦。2.3 风道设计开放式不等于乱堆开放式机架虽然没有机箱风道但要遵循基本的空气流向冷空气从下方进入热空气从上方和侧向排出。我的 OpenRig 机架是全敞开结构显卡竖装时风扇朝向外侧所以每张卡的风扇都能直接吸入空气但是如果两张卡间距小于 3 厘米上方的卡吸到的是下方卡排出的热风。我在显卡之间留了约 4 厘米间隔并把机架放在房间温度最低的位置。机架底部装了两个 140mm 风扇向上吹向显卡进风口顶部没有装风扇因为热空气靠自然上升就能排走。实测满载 30 分钟后最上面一张 3060 的温度比最下面一张高 6 到 8 度这属于正常现象。如果温差超过 12 度说明间距不够或者底部风扇风量不足。灰尘是开放式机架的大敌。我每个月用压缩空气罐清理一次主要是显卡风扇叶片和主板散热片不建议用潮湿抹布直接擦元器件容易静电击穿。如果房间灰尘大可以在机架外面套一层防尘布只露出显卡和电源进风口。这个方案牺牲一点美观但能显著降低维护频率。3. 系统配置与算力验证让所有显卡真正跑起来3.1 BIOS 设置与系统安装OpenRig 装完硬件后软件设置决定了你能否真正用满全部 GPU。以超微 H11SSL-i 为例我进入 BIOS 后做了三件事开启Above 4G Decoding开启Resizable BAR把Primary Video Adapter设为板载 VGA 或第一张 PCIe 显卡Above 4G Decoding 是必须的。主板默认只能访问 4GB 以下物理内存地址空间多显卡时每张卡占用显存映射地址不开这个选项会导致第二张卡后的 GPU 无法识别或者在系统中报错。Resizable BAR 能让 CPU 直接访问整个显存减少小数据块传输延迟对深度学习框架有一定的性能提升顺手开掉就行。系统我推荐 Ubuntu 22.04 LTS。NVIDIA 驱动和 CUDA 对 Linux 的支持比较稳而且多 GPU 的上下文切换调度比 Windows 干净。安装驱动时不要从浏览器随便下 run 包直接用官方驱动源的软件包管理器安装。具体命令不展开了记住一个原则安装驱动前先卸载系统自带的 Nouveau 驱动并禁用相关模块。如果先安装再禁用重启后大概率停留在黑屏或者进不了图形界面。装好驱动后运行nvidia-smi应该能看到 6 张卡全部列出。如果只显示 4 张卡不要先怀疑硬件先按后面的常见问题排查。在 Windows 下同理要先在设备管理器里确认是否有多余的未知设备。3.2 GPU 识别与压力测试驱动识别不代表真的能稳定跑满。我习惯用两种方式验证第一种是显存和核心压力测试比如gpu-burn。它会持续压占全部 GPU 的核心和显存让卡跑到接近 TDP 的功耗水平。我跑了 15 分钟同时观察功率和温度。正确结果应该是 6 张卡都维持在 165W 到 175W 左右没有一张掉到 0W。只要有一张卡中途掉到 0W就说明它可能触发了功耗保护或供电不足。第二种是实际计算任务验证。我跑了一个小型 PyTorch 视觉模型训练脚本批处理大小设得比较大确保 6 张卡都能拿到数据。观察工具的输出能看到每张 GPU 的利用率在 90% 以上显存占用也比较均匀。如果某张卡利用率只有 30%大概率是数据加载瓶颈或者 PCIe 链路速度过低。温度方面我设定了一个保守的上限核心温度不超过 82 度。RTX 3060 的官方安全温度在 93 度左右但我长期跑训练不希望温度过高导致供电模块老化。实测在室温 26 度环境下满载 30 分钟后的最高温度稳定在 76 度左右风扇转速在 65% 到 80% 之间。如果你发现任何一张卡超过 85 度先检查显卡间距和底部风扇再考虑降低显卡功耗上限。4. 常见问题与调试实战我的排查记录4.1 显卡不识别先查链路再查电源OpenRig 使用延长线后显卡不识别是频率最高的故障。我的排查顺序固定如下重新插拔这根显卡的延长线尤其是主板端和显卡端。延长线的金手指非常容易因为插不到位而接触不良。换一个 PCIe 插槽试试确认是不是槽位问题。把显卡直接插到主板上不用延长线看能否识别。这一步能区分是显卡问题还是延长线问题。检查显卡供电线有没有插紧特别是 8pin 端子的锁扣。有一次我碰到第三张卡可以识别但跑负载就黑屏最后发现是延长线的 PCIe 供电小 4pin 没有接。部分延长线在插槽旁边带一个 4pin 供电口负责给信号重定时芯片供电不接的话轻则信号不稳定重则烧卡。我后来用了一个更简单的方法买延长线时优先选不带重定时芯片的短款线长 15cm 以内可靠性比长线高一个量级。4.2 双电源不工作问题往往在一根线双电源系统最容易出的问题是开机时副电源没启动。症状是按下开机键主板风扇转一下又停或者显卡供电指示灯不亮。排查方法先确认同步线是否插紧。同步线一端的 24pin 头插在主电源上另一端插在副电源上需要和主板的 24pin 完全平行。关机断电后把副电源的 24pin 从主板上拔下来只插同步线。重新开机看副电源风扇是否转动。如果副电源没转换一根同步线试。便宜的同步线内部只有一根跳线接触不良会导致故障。我的亲身经历有次连续三次启动失败最后发现是副电源的 24pin 头只插了一半因为机架底部空间太小手伸不进去插头没有完全卡到位。后来我先插副电源再固定电源支架避免安装顺序把线顶松。4.3 高温与噪音的妥协打法OpenRig 全开放结构散热和噪音是两难关系。6 张卡满载时风扇噪音实测在 75 分贝左右放在工作室里尚可接受放在卧室肯定受不了。我的处理方式是在 BIOS 里把系统风扇曲线调成温和模式让机架底部风扇在 50 度以上才提速同时给显卡刷了一个更保守的风扇曲线让风扇转速不超过 80%。温度从 76 度上升到 80 度但噪音明显下降。如果环境温度能控制在 24 度以下这个方案非常实用。另外可以考虑把机架移到独立的储物间或阳台用长 DP/HDMI 线连接显示器并通过网络远程操控。开放式机架没有机箱的屏蔽长线传输时注意不要和市电大功率线平行走容易引入干扰。4.4 常见问题速查表现象可能原因解决办法系统只识别部分显卡没开 Above 4G Decoding进 BIOS 开启该选项某张卡满载后掉到 0W供电不足或电源线接触不良独立插一根 8pin 线重新拔插开机风扇转一下又断电副电源未启动检查同步线和 24pin 插头显卡跑负载黑屏延长线供电口未接或信号不稳换短延长线并接好 4pin 供电显卡温度明显偏高卡间距太小拉大卡间距至 4cm 以上增加底部风扇内存无法插满识别安装顺序不当先装靠近 CPU 的槽位再逐步插满最后一类问题容易被忽略主板和机架之间的螺丝固定位置。如果主板变形或螺丝过紧内存插槽会出现接触不良导致开机报警。OpenRig 的铝制机架比普通机箱软锁铜柱时不要用大力气拧到刚好带住即可这一条也是我踩坑踩出来的一条经验。5. 后续扩展方向OpenRig 还能怎么进化OpenRig 装完后我一直在琢磨让它更自动化。目前已经做了两件事一是把开机键接到主板上的开机排针做了一个远程开机开关二是通过路由器的远程管理功能下班后在外面也能看整机的功耗和温度。距离完全自动化还差一个坏卡自动感知脚本我准备在系统里跑一个小服务定期读取nvidia-smi输出一旦发现某张卡温度或利用率异常就发通知邮件。硬件方面后续想加一组电容阵列给显卡供电做缓冲减少瞬时负载波动对电源的冲击。还有一个想法是做一个亚克力侧板能防尘又不影响观察不过还没找到防静电且透光率足够好的材料。这套 OpenRig 之所以叫“Open”不仅因为结构开放更因为所有配置和走线都可以被快速看懂、复制和改进。组装过程中遇到的大多数问题其实都和供电、接触、散热这三个词有关只要想清楚这三条线剩下的都是时间问题。如果你也打算搭建一个多卡算力平台先别看现成整机用自己的需求倒推一遍配置再动手会比直接抄作业可靠很多。