ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

开放式多GPU机架OpenRig搭建指南:从设计选型到装配调试

开放式多GPU机架OpenRig搭建指南:从设计选型到装配调试 1. 项目概述OpenRig 是什么解决什么问题1.1 它不是一台整机而是一套开放思路我第一次看到 OpenRig 这个词第一反应是“又有人把整机方案包装成开源项目了”。真正研究之后才发现OpenRig 代表的并不是某个厂商的成品矿机或工作站而是一种开放式多 GPU 机架的设计思路与硬件组合方案。它的核心逻辑很简单不用买昂贵的服务器整机不用迁就品牌机的散热和扩展限制自己用铝型材、3D 打印件、通用 ITX 主板和转接线搭一台能同时承载多张高功耗显卡的计算平台。这套方案最初流行于区块链计算和加密货币挖矿圈后来随着 AI 推理、3D 渲染、视频编解码等场景的普及越来越多做本地大模型部署和渲染农场的人也开始关注 OpenRig。你不需要有多深的电子工程背景只要有基础的动手能力和一点硬件常识就能把散件变成一台可以长时间高负载运行的机器。1.2 适合哪些人玩如果只是日常办公、打游戏一台普通台式机完全够用没必要碰 OpenRig。它真正适合的是下面这几类人本地跑大模型的爱好者手上有两三张 RTX 3090 或 4090想组一台显存够大的推理机器。做 3D 渲染或视频后期的工作室渲染农场对 GPU 数量要求高但服务器整机溢价严重OpenRig 可以用相对低的成本扩展显卡规模。区块链计算参与者需要长时间运行多卡设备对机架的结构强度、供电稳定性和散热效率有刚需。硬件折腾爱好者享受自己选料、装配、调试的过程愿意花一个周末搞定一台机器。这套方案最大的价值是给了你“自由度”。你不需要被某个厂商的固定槽位数量限制也不用为用不上的冗余硬件买单。想上四张卡就设计四卡布局想以后扩展成八卡机架尺寸和供电余量一开始就可以留好。1.3 与传统整机的关键差异传统服务器整机当然有它的优势结构紧凑、售后完善、BIOS 调校成熟。但价格往往让人劝退尤其是那些标注“支持多 GPU”的专业整机溢价主要来自机箱设计、定制背板和品牌服务。OpenRig 的思路刚好相反它把外围成本压到最低裸机架、开放式结构、标准 ATX 电源所有部件都是市面上容易买到的通用件。牺牲的是“美观”和“灰尘防护”换来的是低成本、易扩展、散热直接高效。用一句话概括整机是买个省心OpenRig 是用时间换灵活。2. 整体设计拆解机架怎么选部件怎么搭2.1 框架方案铝型材为什么是主流OpenRig 项目的结构件选择看起来五花八门但绕了一圈你会发现大家都在用两种方案铝型材和 3D 打印加强件组合或者全金属冲压钣金机架。铝型材比如欧标 4040、4080 规格是我个人最推荐的选择。它的好处是连接件完全标准化角码、T型螺母、螺栓都是通用件设计错了拆掉重装就行不用焊接也不用打孔。4040 型材的承重能力对三卡、四卡的设备来说绰绰有余水平方向的变形非常小。4080 则适合八卡级别的大型机架横梁更粗稳定性更好。3D 打印在这个项目里的角色是“补位”显卡尾部支撑、电源固定支架、Riser 卡固定底板、风扇集线器支架这些形状不规则的小零件用 PLA 或 PETG 打印成本极低坏了随时重打。机架主体承担受力打印件只做定位和辅助两者配合非常舒服。2.2 核心硬件清单从主板到转接线很多第一次装 OpenRig 的人以为最难的是显卡其实真正决定成败的是主板和转接方案。主板方面最常用的并不是那些昂贵的服务器板而是带足够 PCIe 插槽的消费级主板。比如支持 8 卡的老型号 H81 BTC 主板或者带 3~4 个 PCIe x16 插槽的 B450、B550、Z690 主板。关键指标是 PCIe 通道拆分能力和 BIOS 里是否有“Above 4G Decoding”选项。如果是新平台打开 Resizable BAR 和 4G 解码多卡识别率会高很多。转接线Riser是 OpenRig 的核心配件之一。它的作用是让显卡绕开物理空间限制竖着或者横着插在机架任意位置。PCIe x1 转 x16 的转接线对多数计算场景完全够用因为挖矿和推理任务的数据交换量并没有你想象的那么大x1 的带宽不会成为瓶颈。如果跑的是需要大量显存交换的 AI 训练任务建议用 x4 或 x8 的转接线兼容性更好但不支持并行拆分的老主板可能无法识别。所以选转接线之前先确认主板芯片组的 PCIe 通道分配方式。2.3 供电设计思路功率怎么算供电是 OpenRig 翻车率最高的环节没有之一。我见过不少朋友显卡列表看起来很美电源却用了两个 650W 的旧 ATX 电源并联。并联本身没问题但必须确保两个电源同时启动否则就可能出现部分设备无法初始化的问题。最简单的做法是买一个“双电源启动线”24pin 的 PWM 同步分线器让主电源开机时同步触发副电源。还有一种更稳妥的方案直接用 1600W 或 2000W 的服务器电源改装单电源带一个大功率板统一管理避免共地导致的电流环流。功率计算要从两个维度入手整机峰值功耗和单路 12V 电流。以三张 RTX 3090 为例每张卡的 TDP 是 350W三张就是 1050WCPU 和主板、硬盘、风扇加一起算 150W 比较安全整机峰值在 1200W 左右。如果用的是 1600W 电源余量 400W属于非常健康的水平。注意 3090 的瞬时功耗可能超过标称 TDP峰值能到 500W 以上所以余量必须留足。供电分配还有一个容易忽略的点转接线的供电口。大多数 Riser 上面有一个 SATA 供电口或大 4PIN 口转接卡本身的功耗不大不需要给它单独接一条 8PIN。但要保证 68PIN 或者 88PIN 的显卡供电线是从电源独立引出而不是用一拖二分线器串联两张卡。分线器偶尔用一次可以长时间高负载运行触点发热问题会被无限放大我在这上面烧过不止一根线后面详细说。2.4 风冷与空间布局开放式机架在散热上天然有优势没有机箱壁阻挡直接向环境排热。但“开放式”并不等于“乱放”。最理想的气流路径是从机架底部进风从顶部和后侧出风。显卡竖装时风扇面朝下吸风热风从背板向上飘正好被顶部风扇抽走。如果显卡横装叠放卡与卡之间间距至少要留两个 PCIe 槽位以上否则中间那张卡会吸到上面那张卡的尾气温度直接飙升。风扇方面建议用 12cm 以上的机箱风扇不用迷信高转速重要的是风压和风量。1200 转左右的 12cm 风扇噪音适中通风量足够。每张卡上面放一个风扇向下吹风效果比在后面排风更直接。机架两侧不要靠墙太近至少留 20cm 空隙否则热空气循环排不出去。3. 实操过程从零装好一台 OpenRig3.1 第一步确定布局和尺寸开工之前先想清楚要装几张卡、用什么电源、机架放在哪里。我这次装配的是一台四卡 OpenRig配置如下部件型号/规格机架4040 铝型材长 600mm、宽 500mm、高 480mm主板B550 主板支持 PCIe 4.04 个 PCIe x16 插槽CPUR5 5600X65W TDP显卡4 张 RTX 3060 Ti单卡 200W电源1200W 金牌 ATX 电源转接线4 条 PCIe x1 转 x16带 6PIN 辅助供电口硬盘1 块 512GB NVMe SSD 1 块 4TB HDD这个布局选择横排三层最底层放电源和硬盘中间层放主板最上层和侧边挂显卡。这样做的原因是主板在下层显卡通过转接线延伸到上层显卡重量由机架承托而不是压在主板插槽上对 PCIe 插槽非常友好。3.2 第二步组装机架主体铝型材组装没多少技术含量但有几个细节要注意先画一个草图画清楚每个型材的长度用角码连接。别上来就把所有螺栓拧死把整体框架先搭起来确认对角线长度一致后再逐个紧固。很多朋友装出来机架歪的就是因为一开始就锁紧导致误差无法调整。竖梁和横梁连接处至少用双角码单角码在长期振动后容易松动。机架底部四个角装上橡胶垫脚一方面减震另一方面避免金属直接磨地板。电源安装位置要提前留好导轨如果打算用 1200W 以上的大电源建议在机架底部横向设计两条加固梁因为这类电源重量普遍在 2kg 以上时间长了会拉扯型材。3.3 第三步主板与电源安装主板建议用铜柱垫高选 6mm 长的 M3 铜柱不要直接贴金属安装防止短路。主板托盘自己切割一块亚克力板或者用 3D 打印的支撑条固定到机架中层型材上然后用铜柱锁主板。主板供电线走线要提前规划。ATX 24PIN 和 CPU 8PIN 线从机架侧面或者底部穿过去尽量不要横跨主板表面。电源放在主板隔壁位置短线直接走长线用魔术贴绑带固定在型材凹槽里。开放式机架最大的问题就是线材裸露杂乱走线不仅难看还容易在搬运时勾到东西把接口扯掉。硬盘安装位置建议放在电源的侧面既方便接线又不会挡住风道。SSD 用减震垫固定HDD 固定时螺丝不能拧太死否则震动会顺着机架传开晚上听着很心烦。3.4 第四步Riser 与显卡安装这是整个 OpenRig 装配中容错率最低的一步。操作顺序是先把 Riser 卡的 x1 端插入主板的 PCIe 插槽。注意方向不要用蛮力插到底后卡扣会自然扣紧。Riser 的 x16 端固定在机架的显卡横梁上。这一步最好用 3D 打印的 Riser 固定支架没有的话用尼龙扎带也可以但一定要保证 x16 插槽开口向上且水平。显卡插入 Riser 的 x16 槽听到咔嗒声后在显卡尾部加一个支撑件。开放式机架因为不受机箱限制显卡会“悬臂”在机架上尾部如果不支撑长期运行可能拉弯 PCB。Riser 供电口不要接错。部分 Riser 板上有红色跳线默认是 SATA 供电模式如果你自己改成 6PIN 辅助供电一定要用电表确认电压极性一致。Riser 供电和显卡主供电推荐接在同一路电源的输出线上可以减少电势差。3.5 第五步接线、开机与系统验证接线完成后不要急着盖顶盖开放式机架也没有顶盖。先裸板点亮不插显卡只接主板、CPU、单根内存和电源开机确认能进入 BIOS。插一张显卡开机确认系统可以识别。用lspci | grep NVIDIALinux或设备管理器Windows确认。依次插入剩余显卡每加一张都确认一次识别。全部识别后进入系统用 NVIDIA 官方驱动安装重启之后运行nvidia-smi。nvidia-smi输出的信息很关键要重点看 Power、Temp 和 Memory 三列。如果某张卡的功率一直显示 0W驱动程序可能没有正确加载或者转接线 x1 带宽导致驱动异常重启后再看仍然不行就换一条 Riser。系统层面如果跑的是计算任务建议直接用 Ubuntu Server 22.04 LTS加装nvidia-driver-535。Windows 用来做渲染和 AI 工具也可以但长时间多卡运行稳定性不如 Linux。注意 Windows 下如果开了快速启动多卡识别经常出问题关机再开机大概率正常但这属于“能用但是心头疙瘩”建议在电源选项里直接关掉快速启动。4. 常见问题与排查技巧实录4.1 显卡只认一半怎么办四张卡插上去系统只认到两张甚至一张这是 OpenRig 新手最经常撞到的墙。先别怀疑显卡坏了。90% 的原因是 PCIe 通道分配不合理。消费级平台的 PCIe 通道数量有限比如 B550 主板CPU 直出 4 通道给 M.2 和显卡芯片组再分出若干通道。当你插入四张卡主板会自动禁用部分插槽。解决思路有三个进 BIOS开启Above 4G Decoding这是必选项。关闭 CSM使用 UEFI 启动模式。确认主板 BIOS 版本老版本对多卡支持极差更新到最新通常能解决识别数量不对的问题。如果这三步都做了还是只能认部分卡可以尝试把 Riser 的 x1 插到另一个插槽。有些主板的 PCIe 槽位是共享带宽的比如 PCIe x16 和第二个 M.2 共用通道M.2 插着 SSD 就会把显卡槽流量吃掉。这种排查方式比较费时间但踩过一次之后后面更换硬件就轻车熟路了。4.2 Riser 供电导致的怪异现象Riser 供电不足的表现很诡异显卡能亮但一跑负载就黑屏系统正常但某张卡在事件查看器里反复掉线或者 GPU-Z 里显示 PCIe x16 连接但实际带宽只有 x1。我遇到的典型案例是这样的一张 RX 580 通过 Riser 接到主板3D 渲染一开始就黑屏风扇全速转。排查了一圈发现是 Riser 板上用的是 SATA 供电口而我用的 SATA 线是从另一块旧电源上的模组线接口接触不良电压一高就掉到 10.8V。换了新线后问题消失。这里分享一个原则显卡功耗在 150W 以上的Riser 的供电口尽量接独立 6PIN 线不要用 SATA 一拖二转接线。即便 Riser 本身功耗不高但接触电阻大的劣质接口会让电压跌落导致不稳定。4.3 温度高、降频问题OpenRig 是开放式机架温度一般不会高到危险但如果摆放位置不对照样会出现降频。有一种典型场景机架放在墙角后面 10cm 是墙顶部又堆放杂物热空气排不出去四张卡互相加热核心温度直逼 85 度明显降频。我的建议是机架顶部放两个 140mm 抽风风扇排热方向朝上。每张显卡风扇正下方保留至少 5cm 进风空间不要让转接线的线材挡住进风面。如果环境温度本身超过 30 度别折腾风扇了直接上空调或者水冷。3090/4090 级别的卡在高温环境里再怎么吹也只是延缓降频压不住绝对值。实测数据参考环境温度 26 度四张 3060 Ti 满载 200W通风良好的 OpenRig 可以把核心温度压在 65~68 度。同样的卡放进闷罐机箱温度轻松破 80 度。4.4 重启掉盘与供电不足另一个高频问题四张卡跑得好好的突然自动重启重启后系统找不到 NVMe 硬盘要重启两次才能回来。这种基本是电源瞬态响应能力不够。显卡负载从 20% 跳到 100% 时瞬时电流可能比额定功率高出 50%劣质电源或者标称功率虚标的电源会瞬间触发过流保护直接断电重启。排查方式很简单用功耗插座软件记录整机实时功耗比如用米家智能插座或者带功率显示的电量计。如果整机功耗离电源额定功率还有 200W 以上就重启基本判断电源老化或虚标。换个口碑好的品牌电源问题立刻消失。掉盘是因为断电瞬间 NVMe 正在写入缓存掉电保护机制触发后要重新初始化。4.5 我的几条独家建议装过几台 OpenRig 之后我总结了几条便宜又实用的经验线材是最大的成本陷阱。不要贪便宜买几块钱一根的显卡供电延长线接头发热出问题的时候损失远超线的价格。Riser 买多一备一。这是全机故障率最高的配件我以前一次性买五条坏一条换一条不用停机等快递。机架的铝型材切割尺寸要留余量。多出 5~10mm 没关系太短了反而装不上。真装不上也别硬掰型材是可以微调的但偏差超过 1mm 就得重切。记录每一张卡的序列号和功率。四卡以上的设备如果某张卡温度异常偏高用nvidia-smi查出索引编号和序列号对应上后续质保、排查都方便。不要长时间满负荷运行不重启。我说的不是“需要关机散热”而是 Linux 内核长时间运行后某些 GPU 驱动版本会出现显存泄漏定期一周重启一次省掉不少奇怪的故障。从我个人的实操体会来说OpenRig 项目的魅力不在于“省钱”本身而在于它让你完全掌握自己的设备。品牌整机是一锤子买卖出了问题只能等售后OpenRig 的每一根线、每一个螺丝都是自己拧上去的故障时你能很快定位到具体环节。你用什么显卡、用什么电源、怎么布置风道全部由自己说了算。这种掌控感带来的踏实比参数表上的跑分更有价值。最后再分享一个小技巧如果未来有升级卡数到八卡的打算机架尺寸一开始就按八卡设计电源预留 2000W不要等插满之后再重建整套系统。铝型材和电源的升级成本是最高的提前布局能省下后面一整天的折腾时间。
返回列表