四张Tesla T10配上巴掌大的NUC迷你主机组一套64GB显存的多卡算力节点——这套配置单第一次发给朋友看的时候他回了四个字别闹了吧。后来整套系统跑起来四卡同时满载推理本地大模型看着监控页面上四组占用率齐刷刷冲上去那个体验确实挺爽。这篇装机实录从硬件选型、供电链路、驱动安装到实际跑模型的完整流程我都记录在这里给同样预算有限但想折腾本地AI推理的人一个可以抄作业的参考。先说清楚这次方案的本质NUC并不是把四张T10塞进那个小脑袋里而是由NUC充当控制大脑通过PCIe拆分板把一条x16总线扩展成四条x4通道把四张Tesla T10计算卡外挂在一个开放式铝合金支架上组成一个“小主机 四卡扩展箱”的整体节点。这套配置最大的价值在于用不到一张高端消费级显卡的价格换来64GB显存和四张卡的并行算力跑大语言模型推理有奇效。1. 为什么要把四张T10塞进NUC1.1 T10计算卡到底是什么定位Tesla T10是NVIDIA Turing架构时期推出的推理加速卡16GB GDDR6显存自带640个Tensor Core单卡FP16算力大约125 TFLOPS整卡功耗标称250W。这卡的定位很直白它不是为了游戏或者3D渲染设计的而是专门干模型推理、AI计算的活核心卖点就是那张16GB显存和Tensor Core单元。三年前这卡还是数据中心里的主力军现在大量退役卡流入二手市场价格掉到只有原价的零头。这个时间点入手算是典型的错位捡漏。同样一千出头的预算你去买消费级显卡只能选12GB显存且没有Tensor Core强化的老架构卡而T10直接给你完整的16GB显存再加专用加速单元。为什么不用一台正经的服务器主板因为整套搭建要照顾家里或者工位的用电和空间服务器平台风扇一开就是直升机起飞功耗还高。NUC整机只有0.5升左右上一颗普通中端CPU日常待机也就三五十瓦配上四张T10把重活全交给显卡干反而更符合实际使用环境。1.2 NUC做算力大脑是否靠谱NUC这类迷你主机在大部分人眼里就是个办公上网的小盒子但一些特定型号的NUC有PCIe x16物理插槽。我这次用的是NUC 12 Enthusiast系列官方叫法里它是带计算卡模块的完整主机背面提供了一个能插独立显卡的PCIe x16扩展口电源用的是内置的AC/DC适配器方案。选用NUC做四卡方案的核心原因有三个。第一是功耗控制NUC本身最大也就几十瓦不会给整个节点增加过重的电源负担。第二是体积整个系统加上四张卡和开放式支架占用的只是桌角一小块空间。第三是开发环境NUC跑Ubuntu非常成熟驱动兼容性远好于我试过的各种串流盒子和小主机板。当然NUC也有天花板CPU性能毕竟有限跑AI推理时它主要负责调度、显存管理、前后处理这些逻辑活真正算数据的是T10。因为推理场景里CPU的活不重只要喂得够快NUC这颗中端CPU完全顶得住。1.3 四卡方案在场景上的合理性四张T10组合起来就是64GB显存这个规模非常微妙它刚好卡在“消费级显卡绝对给不了”和“专业卡价格离谱”的中间地带。一张24GB显存的专业级显卡二手价也能到五六千而我这四张卡按二手行情加起来才四千左右还多了并行计算的灵活性。实际跑模型的时候4张16GB卡可以用张量并行方式把一个大模型切到四张卡上比如70B级别的量化模型正好可以塞进64GB的总显存。如果你用单卡跑模型得拆半死才能挤进去速度慢到你怀疑人生四卡并行之后显存带宽翻了四倍推理速度确实有质的提升。这个场景对带宽要求并不苛刻。T10虽然是PCIe 3.0 x16的卡但大语言模型推理时数据搬运和计算是交错进行的每张卡都有独立的16GB显存模型加载一次之后常驻显存里的权重几乎不再通过PCIe总线传输。真正影响性能的是显存带宽和Tensor Core效率PCIe链路降成x4反而影响很小这是整个方案能成立的关键底层逻辑。2. 硬件选型和物料准备2.1 核心物料清单先列一下这次实机使用的全清单省得你反复翻网页对比部件具体型号或规格数量说明控制主机Intel NUC 12 Enthusiast1台带PCIe x16物理插槽计算卡NVIDIA Tesla T10 16GB4张Turing架构被动散热PCIe拆分板1进4出带PLX交换机芯片1块把x16拆成4条x4物理链路转接线PCIe x16转x16延长线4条长度50cm带固定卡扣电源二手服务器电源1000W1台12V输出单路大电流电源转接板服务器电源转ATXPCIe模组线1套提供8pin和6pin供电散热风扇12038工业暴力风扇4个12V / 1.0A直吹卡背支架4040铝型材开放式框架1套固定四张卡和风扇系统盘NVMe SSD 500GB1块装系统与推理环境这笔账算下来很划算。四张T10按当时二手行情大约1000到1200一张NUC 12准系统二手约1800加上拆分板、延长线、电源和所有杂项整套不到7000块就组成了64GB显存的AI推理节点。同价位你要买一张带48GB显存的二手专业计算卡都不够更别提四路并行。2.2 供电与信号链路的关键选择供电是整个多卡方案里最容易翻车的地方必须单独细说。T10的单卡TGP是250W四张全部拉满就是1000W再加上NUC主机、延长线、风扇的损耗整套系统尖峰功耗会在1100到1200W之间波动。我直接选了1000W的二手服务器电源留了一点点余量实际跑推理任务时四卡功耗才800W上下负载率在合理区间。服务器电源转普通PCIe口需要处理一个关键问题T10用的是两个8pin电源口而二手服务器电源的模组口通常是CPU 8pin。我买了专用的12V转接线把两个CPU 8pin转出四个PCIe 8pin。这个转法一定要看线序12V线必须和公共地严格对应接错一根就是板卡报废的事故。建议收到线后先用万用表测一遍每个针脚的通断确认12V和GND配对再上电。PCIe信号链路的选择同样不能马虎。四张T10插在拆分板上拆分板通过一条x16线缆连到NUC的物理插槽。市面上有一种便宜的一拖四拆分板不带交换芯片它依赖主板自带的PCIe bifurcation功能而NUC的BIOS压根没有这个设置项。所以必须选内置PLX芯片的版本PLX芯片本身是个PCIe交换机自己负责把一条x16通道拆成四路x4不需要主板支持系统层面看到的就是四个独立的PCIe设备。2.3 散热方案的取舍T10的散热器是一整块厚重的铝鳍片属于被动散热设计原厂场景里靠服务器机箱内的强风道吹走热量。放到桌面上如果只靠自然对流四张卡同时跑起来半小时内就会顶到90度以上然后开始降频。所以散热方案的本质就是人为制造一条强风道。我用四把12038规格的工业风扇每张卡配一把直接贴着T10的鳍片往外抽风同时支架两侧留出进气通道。风扇转速固定在中高挡实测四张卡同时跑70B模型推理时温度稳定在72到78度之间没有触发降频。代价是整个房间像个机房风扇声音非常大如果你对噪音敏感务必给这套系统安排独立房间或者拿起耳塞。如果你实在不想接受这个噪音也可以改水冷T10有对应的改装水冷头四张卡套装的成本比风扇高不少。我觉得如果预算够且空间允许水冷确实是更好的长期方案但就性价比而言暴力风扇阵已经能解决99%的散热需求了。3. 多卡装机实操全过程3.1 主机改造与显卡固定动手之前先把NUC拆开把自带的PCIe挡板取下露出背面的x16插槽。NUC 12 Enthusiast的设计里这个插槽默认是给独显用的但原装挡板只开了一个槽位我是直接用小型角磨机把挡板开口扩大的这样延长线的接头可以穿出去接到外面的拆分板。四张T10的固定结构我用的是4040铝型材。支架尺寸是长80cm、宽40cm、高28cm上下两层横梁每层放两张卡。T10的PCIe挡板正好可以锁到型材的槽口里用M4螺丝拧紧即可。这里有一点经验不要把卡直接横躺着放一定要竖直安装让热空气从鳍片顶部向上排出风道方向才能一致。每张T10的电口朝向风扇两路8pin供电从支架背面走过来。装卡的时候先不要锁紧挡板螺丝四张卡的挡板高度可能略有差异全部摆到位后再统一调整最后一次性锁紧能避免个别卡悬空导致金手指接触不良。3.2 供电线缆与PCIe信号线施工线路施工顺序建议是先装电源和转接板再接主板供电线最后接PCIe信号线。别一上来就把信号线插好万一电源线接线有误烧了卡的可能就是你自己。电源部分把服务器电源的AC输入接好输出端的12V大电流口分配到四个PCIe 8pin转接头。每条线对应一张卡线和线之间留足活动余量不能绷得太紧否则长时间受力后卡口会松开。实测下来四张卡的供电线走同一个方向、长短一致整线效果最好排查故障时也最省事。信号链路方面NUC的x16物理插槽接一条高质量延长线到拆分板的输入口拆分板再分出四条线分别插到四张T10上。这里有个值得留意的点拆分板上每个输出口都对应固定的PCIe地址安装时最好给线贴上标签标上Slot 0到Slot 3。后面系统里查问题你就能根据报错快速定位是哪一张卡、哪一条链路出了问题。信号线不能弯折过大PCIe信号对布线阻抗很敏感如果线被折出一个锐角跑高速时容易出不稳定情况。我的处理方式是让线从拆分板出来后先走一段垂直方向的自然弧度再用束线带固定在支架上全程不压线。3.3 系统层面识别与驱动安装系统我装的是Ubuntu 22.04 LTS内核版本升级到6.2以上能省掉一部分旧驱动不兼容的麻烦。装完系统后先确认PCIe层面能不能看到四张卡lspci | grep -i nvidia正常情况下应该显示四条“NVIDIA Corporation Device”记录每条对应一个PCIe设备。如果这里只有一条或者根本没显示先别急着装驱动八成是硬件链路没通要回头检查延长线和拆分板。驱动安装我是直接走NVIDIA官方runfile方式没有用系统源里的包。下载对应版本的数据中心驱动比如525.89.02然后在无桌面模式下执行sudo ./NVIDIA-Linux-x86_64-525.89.02.run --dkms这个命令会自动完成DKMS注册之后内核更新时驱动模块能自动重新编译省去手动折腾模块签名的痛苦。安装完成后重启用nvidia-smi就要能看到四张卡的完整信息包括驱动版本、显存容量和当前温度。如果nvidia-smi报错说找不到设备但lspci能看到大概率是驱动模块没有正确加载执行sudo modprobe nvidia手动加载一次试试。还有一种可能是NUC的安全启动拦住了驱动模块需要在BIOS里关掉Secure Boot这个问题几乎所有跑LinuxN卡的主机都会遇到算是通病了。3.4 四卡算力验证驱动装好之后别急着跑沉重的模型先做一轮轻量级的验证。我用CUDA自带的示例程序写了个简单测试让四张卡同时做矩阵乘法和向量运算确认每张卡都能独立工作nvidia-smi --query-gpuindex,temperature.gpu,utilization.gpu,memory.used --formatcsv -l 5这个监控命令可以实时滚动查看每张卡的占用和显存情况。正常状态下四张卡的序号是0到3温度在50度上下显存使用率全是0%。等到跑推理任务时四卡的利用率会同时拉起来温度逐步爬升到70度左右说明数据被正确地分流到了每一张卡上。真正考验四卡并行协同的是张量并行推理。我用HuggingFace生态里的加速框架加载了一个70B参数量的量化模型四卡同时工作生成速度比单卡硬扛快了大概三倍多这是整个项目最有成就感的瞬间。第一次看到监控页面上四组数据和进度完全同步的时候你会觉得前面所有踩坑都值了。4. 常见问题与排查实录4.1 问题速查表多卡装机不是一次就能顺顺利利跑通的我这几天实操里至少踩了四五个坑都整理在下面的表里你可以直接对照排查现象可能原因排查方法解决方式lspci只能看到1张卡延长线接触不良 / 拆分板供电不足先单卡直接插主板测试重新插拔所有连接点换线重试nvidia-smi显示GPU丢失PLX芯片需要外接供电检查拆分板的辅助供电口给拆分板接一路独立8pin供电四卡负载不均匀系统的默认调度没有用满所有卡查看推理框架是否启用张量并行设置环境变量或改配置开启并行跑负载就掉驱动电源瞬时功率不足使用功率计实测尖峰功耗换更大容量电源或加装电容组主机黑屏不启动PCIe扩展设备导致开机自检失败拔掉信号线单独启动NUC在BIOS中关闭CSM设置PCIe为Gen3模式风扇噪音过大暴力风扇全速运行用PWM调速器降低转速固定转速在1800-2200RPM性能可接受4.2 踩过的坑与独家心得我第一个踩的坑就是拆分板供电。一开始我天真地以为拆分板靠PCIe插槽本身的供电就够了结果接上四张卡后系统频繁丢卡两张能稳定三张就开始抽风。后来查资料发现PLX芯片在工作时要驱动多个PCIe端口的信号功耗不低必须额外供电才稳。我用一根6pin转接线给拆分板单独拉了12V供电问题立刻消失。另一个坑在Windows系统上如果你不是用Linux而是用Windows做主力系统四张T10会同时被识别成没有视频输出能力的纯计算卡而NUC自带的核显必须接管显示器输出。Windows的驱动调度逻辑经常搞混哪个卡负责桌面渲染导致蓝屏或者花屏。我最后直接放弃了Windows全套环境放在Ubuntu里眼见为实地省了三天的脑细胞。还有一个很隐蔽的问题延长线会带来一定的PCIe信号衰减如果你把PCIe链路强制跑在Gen4模式设备握手很容易失败表现为系统能识别NUC自带设备但识别不到外挂卡。BIOS里把物理插槽强制指定为Gen3模式问题迎刃而解。T10本身就是PCIe 3.0设备跑Gen3一点损失都没有。4.3 驱动与性能调优建议驱动版本的选择我个人建议稳定优先于新功能。T10在最新驱动里依然有完整支持但我不推荐用又新又大的驱动包去冒险因为在部分版本里Turing架构的Tensor Core调度有细微差异某些老框架反而对新驱动适配不友好。我最终稳定在525系列CUDA版本12.0各类常用推理框架都能直接跑。如果要用这套设备长期跑大模型推理记得调整几个系统配置。一是把显卡的持久模式打开命令是nvidia-smi -pm 1这样驱动常驻内存任务调度的响应速度会快很多。二是给系统设置合理的HugePages大模型推理时页错误少首token生成延迟能降低一些。三是如果有多进程同时推理的需求建议部署时开启MIG或者用CUDA的进程隔离不然显存分配碎片会越攒越多。5. 实测数据与个人体会5.1 功耗与性能实测结果装机稳定运行一周之后我专门做了一轮完整的功耗和性能记录。系统待机时四张卡全部空载加上NUC本体整机功耗大约95W这个数字很满意。跑一个70B量化的对话模型时四卡总功耗稳定在820W左右显存占用接近63GB温度每张卡都在73到80度之间风扇全速但性能没有降频。生成速度上从用户输入到模型开始输出首token延迟大约1.8秒之后每个token大概140到180毫秒换算下来每秒能生成大约5到7个token。这个速度谈不上飞快但对本地私有化部署来说完全实用毕竟你一分钱API费用都不用花模型数据全在自己手里。特别提一下显存带宽在这个方案里的表现。因为四张卡各自维护16GB显存张量并行把大矩阵拆到四卡上每张卡只处理自己那四分之一计算时间大体同步。四条x4链路在小batch推理时几乎感知不到瓶颈只有在超高并发时才会略微受限于PCIe带宽但那种场景本来就不是这种迷你节点该干的活。5.2 这套方案到底值不值值不值这个问题取决于你的使用场景。如果你是想跑规格较小的7B、13B模型做本地研究那四张T10完全大材小用一张卡就够了更省电省心。但如果你要跑大参数模型比如几十B甚至上百B级别的量化模型那么64GB显存带来的红利是实打实的同价位你很难找到第二种方法。从长期持有角度看这套系统有一个隐藏优势T10价格已经跌到低点你再转手卖出也亏不了多少。而四卡并行能力的建立意味着你之后即便换用其他卡整个PCIe拆分、电源链路和机架结构还能继续复用迁移成本也很低。我就直说了这套方案不适合追求省事的人。四卡系统日常维护、驱动调试、散热噪音、电源管理每一样都要花心思。但它给真正愿意折腾的人提供了一条用极限性价比搭设本地大算力的路子而且整套流程完全可以照抄我的步骤每一处坑我都帮你提前踩过了。最后再分享一个小经验。四卡跑起来之后注意观察显存分配情况用nvidia-smi --query-gpumemory.used --formatcsv定期记录一下。如果发现某张卡的显存占用长期明显低于其他几张说明你的并行配置没有生效模型其实还在单卡上硬扛。这时候去检查框架的张量并行参数把并行度改成4我的实测是把70B模型从每秒1个token提高到每秒5个token差距就是这么大。动手调试的乐趣不正在于这种一次配置带来的数倍提升么。