1. 从树莓派到8卡H100这个实测到底在测什么第一次看到24分钟实测从树莓派到8卡H100本地AI模型全尺寸运行这个标题我脑子里冒出来的第一个念头是24分钟能干什么下载一个70B参数的模型权重都不止这个时间。但仔细琢磨了一下这个24分钟大概率不是指从零开始跑通全流程而是指在已经准备好的环境下从启动到出第一个token的端到端耗时或者更准确地说是同一套部署方案在不同硬件上的启动推理延迟对比。这个实测的核心价值在于它试图回答一个很多人心里都有的问题——本地跑AI模型到底需要什么级别的硬件树莓派能不能跑能跑多大的8卡H100是不是必须的中间那些档位的设备比如单卡3090、4090、A6000又是什么表现我之所以对这个话题感兴趣是因为过去两年里我帮不少朋友在本地部署过各种尺寸的模型。从树莓派4B上跑TinyLlama到双卡4090跑Qwen2.5-72B的量化版再到租用云上的8卡H100集群跑Llama-3.1-405B。踩过的坑包括但不限于树莓派内存不够导致OOM、量化格式不兼容导致加载失败、多卡通信瓶颈导致推理速度反而比单卡慢、散热跟不上导致降频等等。所以这篇博文我想把从树莓派到8卡H100这个跨度里的关键节点都拆开讲清楚。不是简单罗列参数而是告诉你每个档位的硬件适合跑什么尺寸的模型、用什么量化方案、推理速度大概是什么量级、以及最容易踩的坑在哪里。如果你正在纠结要不要入手某款设备来跑本地模型或者想知道自己手头的设备能不能跑某个模型这篇内容应该能帮你省下不少试错时间。提示本文讨论的本地运行指的是在自有硬件上完成模型加载和推理不涉及任何网络代理或跨境访问相关内容。所有模型均指公开可获取的开源权重。2. 树莓派档位能跑但别指望跑大模型2.1 树莓派4B/5的实际能力边界先给结论树莓派4B4GB/8GB和树莓派54GB/8GB/16GB可以运行参数量在1B到3B之间的量化模型但推理速度只能用能出字来形容离好用还有很大距离。我实测过的组合设备模型量化方式内存占用推理速度token/s树莓派4B 8GBTinyLlama-1.1BQ4_K_M~1.2GB3-5树莓派4B 8GBPhi-2 (2.7B)Q4_K_M~2.8GB1.5-2.5树莓派5 8GBLlama-3.2-3BQ4_K_M~3.5GB4-7树莓派5 16GBQwen2.5-3BQ4_K_M~3.8GB5-8这个速度是什么概念你问一个问题等它慢慢悠悠吐出几十个token大概需要十几秒到半分钟。如果是对话场景体验会非常割裂。但如果是做离线批处理任务——比如定时抓取一些文本做摘要、分类、关键词提取——那树莓派是完全够用的功耗低、噪音小、可以7x24小时挂着。树莓派5相比4B的提升主要来自CPU架构升级和内存带宽提升。树莓派5用的是Cortex-A76核心比4B的A72在单核性能上有明显优势而llama.cpp这类推理框架在CPU上跑的时候单核性能往往比核心数量更重要。另外树莓派5支持PCIe 2.0 x1理论上可以外接一些加速卡但目前生态还不成熟折腾成本很高。2.2 在树莓派上跑模型的关键操作如果你手头正好有树莓派想试试跑模型我建议按这个流程来第一步系统准备。推荐用64位的Raspberry Pi OS或者Ubuntu Server 22.04/24.04。32位系统直接放弃内存寻址受限很多推理框架也不支持。安装完系统后第一件事是修改软件源换成国内镜像不然apt install能等到天荒地老。具体操作是编辑/etc/apt/sources.list和/etc/apt/sources.list.d/下的文件把默认源替换掉。这个步骤看似基础但很多新手卡在这里下载速度慢到怀疑人生。第二步编译llama.cpp。这是目前在ARM设备上跑量化模型最成熟的方案。不要用pip install那些封装好的包直接从源码编译开启NEON优化git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make -j4编译完成后你会得到main、server等可执行文件。树莓派5上编译大概需要10-15分钟4B上可能要半小时以上。第三步下载量化模型。推荐从Hugging Face下载GGUF格式的Q4_K_M量化版本。以Qwen2.5-3B为例Q4_K_M的文件大小约2GB左右树莓派8GB内存可以轻松放下。下载的时候注意用wget或curl别用浏览器树莓派的桌面环境开浏览器下载大文件很容易卡死。第四步运行推理。基本命令./llama-cli -m qwen2.5-3b-q4_k_m.gguf -p 你的问题 -n 256 -t 4-t 4表示用4个线程树莓派4B是4核树莓派5也是4核所以设成4就行。设多了反而会因为上下文切换导致性能下降。注意树莓派的散热非常重要。跑推理时CPU会满载如果散热跟不上几分钟内就会降频速度直接腰斩。建议至少加一个金属散热片风扇的组合树莓派5尤其需要它的发热比4B大不少。2.3 树莓派方案的适用场景与局限树莓派跑模型最适合的场景是低功耗、离线、对延迟不敏感的批处理任务。比如我有个朋友用树莓派5做了一个每日新闻摘要的小工具每天早上定时抓取RSS源用3B模型生成摘要推送到他的电子墨水屏上。整个系统功耗不到10W放在角落里完全无感。但如果你想要的是交互式对话体验树莓派会让你抓狂。另外树莓派的IO性能也是瓶颈模型加载速度受限于SD卡或USB存储的读取速度。如果用USB 3.0的SSD加载2GB的模型大概需要20-30秒如果用SD卡可能要一分钟以上。还有一个容易被忽略的点树莓派的内存带宽很低。树莓派5的内存带宽大约是17GB/s而现代GPU的显存带宽动辄几百GB/s甚至上TB/s。大模型推理是内存带宽密集型任务每生成一个token都需要把整个模型权重过一遍。所以即使树莓派的CPU算力够内存带宽也会成为硬瓶颈。这就是为什么树莓派跑3B模型的速度和跑1B模型的速度差距没有参数量差距那么大——瓶颈不在计算在数据搬运。3. 单卡消费级显卡本地部署的甜点区3.1 RTX 3090/4090能跑多大的模型从树莓派往上跳一大步就是单张消费级旗舰显卡的档位。目前二手市场上性价比最高的是RTX 309024GB显存新卡则是RTX 409024GB显存。24GB显存这个容量很关键它刚好能放下7B到14B参数的模型在4-bit量化下的全部权重并且留出足够的空间给KV Cache。我实测的数据显卡模型量化显存占用推理速度token/sRTX 3090Llama-3.1-8BQ4_K_M~6GB80-110RTX 3090Qwen2.5-14BQ4_K_M~10GB50-70RTX 4090Llama-3.1-8BQ4_K_M~6GB120-160RTX 4090Qwen2.5-14BQ4_K_M~10GB70-100RTX 4090Qwen2.5-32BQ4_K_M~20GB25-35这个速度已经非常可用了。8B模型在4090上能跑到100 token/s比大多数人打字速度快得多对话体验很流畅。14B模型也能跑到70-100 token/s完全够用。32B模型虽然速度降到30左右但质量提升明显适合对输出质量要求高的场景。3.2 量化方案的选择逻辑在单卡24GB这个档位量化方案的选择直接决定了你能跑多大的模型。目前主流的量化方式有几种GGUFllama.cpp生态Q4_K_M是性价比最高的选择质量损失很小压缩率约4倍。Q5_K_M质量更好但体积大一些。Q3_K_M压缩更狠但质量下降明显不太推荐。GPTQ适合GPU推理4-bit量化下质量不错但需要校准数据集不同模型的校准效果差异较大。AWQ目前GPU上4-bit量化的首选质量比GPTQ略好推理速度也更快。vLLM和SGLang都原生支持。EXL2可以在2-bit到8-bit之间灵活选择适合显存紧张时压榨最后一点空间但生态支持不如前几种广泛。我的建议是如果是NVIDIA显卡优先用AWQ或GPTQ格式配合vLLM部署如果是CPU或Apple Silicon用GGUF配合llama.cpp。不要在一个方案上死磕不同格式之间的转换成本其实不高但选对了格式能省下大量折腾时间。3.3 单卡部署的实操要点在单卡上部署模型我推荐用vLLM或SGLang这两个推理框架。它们都支持PagedAttention和连续批处理吞吐量比朴素的Hugging Face Transformers高一个数量级。以vLLM为例基本流程pip install vllm python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-14B-Instruct-AWQ \ --quantization awq \ --dtype float16 \ --max-model-len 8192 \ --gpu-memory-utilization 0.9几个关键参数的解释--max-model-len最大上下文长度。设得越大KV Cache占用越多。24GB显存跑14B模型的话8192比较稳妥16384可能会OOM。--gpu-memory-utilizationGPU显存利用率上限。默认0.9意思是留10%给系统和其他进程。如果你发现OOM可以降到0.85试试。--quantization指定量化方式。AWQ模型必须显式指定否则vLLM可能按FP16加载导致OOM。注意vLLM启动时会预分配显存如果显存不够会直接报错退出。建议先用小模型测试流程确认环境没问题后再上大模型。单卡方案最大的优势是简单。不需要考虑多卡通信、不需要配置NCCL、不需要担心PCIe带宽瓶颈。插上卡、装好驱动、跑起来就行。对于个人开发者和小团队来说单张4090或3090是目前本地部署AI模型的最优解。4. 多卡与8卡H100什么场景才真正需要4.1 从单卡到多卡的性能拐点当模型参数量超过单卡显存容量时就必须考虑多卡方案。但多卡不是简单地把卡插上去就行卡间通信带宽会成为新的瓶颈。以两张RTX 4090为例它们之间通过PCIe 4.0 x16通信理论带宽约32GB/s。而模型推理时每一层计算都需要在卡之间同步数据。如果模型被切分到两张卡上每生成一个token卡间需要传输的数据量可能达到几百MB。32GB/s的带宽听起来不小但和GPU内部动辄1TB/s以上的显存带宽相比差了三十多倍。我实测过双卡4090跑Qwen2.5-72B的AWQ量化版约40GB权重需要切分到两张卡上。结果是推理速度只有单卡跑14B模型的三分之一左右大约20-25 token/s。虽然能跑但性价比很低。相比之下8卡H100的NVLink互联带宽是900GB/s卡间通信几乎不成为瓶颈。这就是为什么企业级部署倾向于用H100集群——不是因为单卡算力不够而是因为多卡互联的带宽差距太大了。4.2 8卡H100的实际部署体验我通过云服务租用过8卡H100的实例来跑Llama-3.1-405B的FP8量化版。整个部署流程和单卡没有本质区别但有几个关键差异第一模型加载时间很长。405B的FP8权重约400GB从网络存储加载到8张卡的显存里即使走高速内网也需要好几分钟。如果是从本地磁盘加载时间会更长。所以那个24分钟的实测如果包含模型加载时间那8卡H100这边可能大部分时间都花在加载上了。第二张量并行TP的配置很关键。vLLM支持--tensor-parallel-size 8把模型切分到8张卡上。但TP size不是越大越好因为TP越大卡间通信开销越大。对于405B这种超大模型TP8是合理的但对于70B模型TP4可能比TP8更快因为通信开销更小。第三散热和功耗是真实问题。8卡H100的整机功耗在5-7kW级别需要专门的机房环境。家用的电路根本扛不住普通空调也压不住热量。这也是为什么大多数人只能通过云服务来体验这个档位的硬件。4.3 什么场景真的需要8卡H100说实话99%的个人开发者和中小团队都不需要8卡H100。以下场景才真正需要训练或微调超大模型比如从零训练一个70B以上的模型或者对405B模型做全参数微调。这种任务对显存和算力的需求是推理的几十倍。高并发推理服务如果你要同时服务几百上千个用户需要极高的吞吐量多卡集群才能扛住。超长上下文场景比如处理100K甚至1M token的上下文KV Cache的显存占用会非常恐怖单卡根本放不下。对于绝大多数本地跑模型的需求——对话、摘要、代码生成、文档问答——单张4090或3090已经足够了。把钱花在8卡H100上不如把模型选好、量化方案调优、推理框架配置到位效果提升更明显。5. 全尺寸模型在各类硬件上的实测数据汇总5.1 不同参数量模型的硬件门槛我把常见模型尺寸和对应的最低硬件要求整理成了一张表方便你快速判断自己的设备能跑什么模型参数量量化后大小最低显存/内存推荐硬件可用速度1-3B1-2GB4GB树莓派5 8GB3-8 token/s7-8B4-6GB8GBRTX 3060 12GB30-60 token/s14B8-10GB12GBRTX 4070 Ti Super40-70 token/s32B18-20GB24GBRTX 3090/409025-35 token/s70B40-45GB48GB双卡4090 / A600015-25 token/s405B200-400GB320GB8卡H10010-20 token/s这张表里的可用速度是指4-bit量化下的单用户推理速度。如果是多用户并发速度会下降但吞吐量会上升因为批处理效率提高了。5.2 影响推理速度的关键因素很多人只看显卡型号忽略了其他同样重要的因素。根据我的实测经验影响推理速度的权重排序大概是显存带宽这是最核心的瓶颈。RTX 4090的显存带宽是1008GB/sRTX 3090是936GB/sH100是3350GB/sHBM3。带宽越大每秒能搬运的模型权重越多token生成速度越快。量化精度4-bit比8-bit快约1.5-2倍因为需要搬运的数据量少了一半。但4-bit的质量损失在大多数任务上可以接受。推理框架vLLM/SGLang比朴素Transformers快5-10倍因为用了PagedAttention和连续批处理。CPU和内存在GPU推理中CPU主要负责调度和数据预处理。如果CPU太弱可能成为瓶颈但通常不是主要因素。存储速度只影响模型加载时间不影响推理速度。但如果你频繁切换模型存储速度就很关键了。5.3 那些实测里不会告诉你的坑坑一量化模型的兼容性。不是所有模型都有现成的AWQ或GPTQ量化版。有些小众模型只有GGUF版而GGUF在GPU上的推理效率不如AWQ。这时候要么自己量化需要校准数据集和额外时间要么换模型。坑二上下文长度和显存的权衡。很多人只算模型权重的显存占用忘了KV Cache。以14B模型为例8192上下文在FP16下的KV Cache大约需要2-3GB显存。如果你开32768上下文KV Cache可能就要8-10GB直接导致OOM。坑三多卡配置的隐性成本。双卡不是112。除了通信开销你还需要考虑电源功率双4090需要至少1200W电源、主板PCIe插槽间距太近会过热、机箱散热双卡热量叠加。这些隐性成本加起来可能比显卡本身还贵。坑四驱动和CUDA版本的地狱。vLLM对CUDA版本有严格要求不同版本之间兼容性很差。我建议用Docker镜像来部署把环境隔离好避免污染宿主机。vLLM官方提供了预构建的Docker镜像直接拉下来就能用。6. 从实测出发我的本地部署选型建议6.1 按预算和需求匹配方案如果你看完上面的数据还在纠结选什么硬件我按预算档位给几个具体建议预算1000元以内树莓派5 8GB 散热套件。适合跑1-3B模型做离线批处理或者作为学习ARM推理的入门平台。别指望对话体验。预算5000-8000元二手RTX 3060 12GB或RTX 4060 Ti 16GB。能跑7-8B模型的4-bit量化版速度30-60 token/s对话体验及格。适合个人开发者日常使用。预算10000-15000元二手RTX 3090 24GB。这是目前性价比最高的选择。能跑14B模型流畅对话32B模型勉强可用。注意买的时候检查是否矿卡跑个压力测试看看稳定性。预算20000元以上RTX 4090 24GB。速度比3090快30-50%功耗更低支持更新的特性。如果预算充足直接上4090省心。预算无上限租云上的8卡H100实例按小时计费。适合短期跑超大模型做实验不适合长期挂机。6.2 软件栈的推荐组合硬件选好之后软件栈的搭配也很重要。我目前最推荐的组合是NVIDIA显卡 vLLM AWQ量化模型推理速度最快生态最成熟OpenAI兼容API开箱即用。Apple Silicon llama.cpp GGUF模型MacBook Pro/Mac Studio的 unified memory 跑推理很舒服M2 Max 64GB能跑70B模型的Q4量化版。CPU only llama.cpp GGUF模型适合没有独显的场景速度慢但兼容性最好。如果你要用本地模型做AI代理助手建议用vLLM起一个OpenAI兼容的API服务然后用任何支持OpenAI API的客户端去调用。这样你的本地模型就能无缝接入现有的工具链比如Continue、Cursor、Open WebUI等。6.3 一个容易被忽略的优化点最后分享一个很多人不知道的优化技巧调整KV Cache的量化精度。vLLM支持--kv-cache-dtype fp8把KV Cache也量化到8-bit。这能节省大约一半的KV Cache显存让你在同样的显存下开更大的上下文或者跑更大的模型。质量损失很小但显存收益很明显。另外如果你的使用场景是固定系统提示词多轮对话可以开启vLLM的**前缀缓存prefix caching**功能。它会把系统提示词的KV Cache缓存下来后续请求直接复用能显著降低首token延迟。对于AI代理助手这种场景效果非常明显。提示前缀缓存对系统提示词不变、只有用户输入变化的场景最有效。如果你的系统提示词经常变收益就不大。从树莓派到8卡H100这个跨度看起来很大但核心逻辑是一样的显存容量决定能跑多大的模型显存带宽决定跑得多快量化方案决定质量和速度的平衡点。搞清楚这三个变量你就能根据自己的需求和预算找到最合适的本地部署方案。没必要盲目追求顶配硬件适合自己使用场景的才是最好的。