这几年每次在手机发布会看到“端侧大模型”我都会先盯两个数字看能跑多少亿参数、手机内存给到多大。很多人以为手机上跑大模型难在算力其实一半以上的局卡在“内存墙”上——内存墙之下350亿参数想住进一台手机不是堆算力就能解决的事。这篇文章我会把内存墙到底怎么形成的、模型压缩的数学账怎么算、手机硬件和软件生态做到哪一步、以及我实际部署35B档模型的完整路径都摊开讲想入坑端侧AI的朋友可以直接照着抄作业。1. 别把锅甩给算力内存才是那一堵墙先说结论大模型推理吃的不是算力是内存容量和内存带宽。算力不够可以等内存不够直接就“住不进去”。1.1 容量墙350亿参数的物理体积模型参数本质是矩阵里的浮点数。350亿参数如果用FP16半精度一个参数占2字节那这个模型文件就是 35B × 2B 70GB。你手机就算有16GB内存系统已经吃掉4到6GB可用内存也就10GB上下连70GB的零头都塞不下。于是大家开始压缩。常见做法是降到8bit一个参数占1字节35B模型变成35GB还是装不下。再压到4bit一个参数占0.5字节35B模型大约是17.5GB依然大于16GB手机的实际可用内存。只有上了24GB内存的旗舰机扣除系统占用后约19到20GB可用才能勉强塞进一个Q4量化的35B模型还得留几百MB到1GB给上下文缓存KV Cache。这就是“容量墙”最直观的体现。350亿这个数字之所以是分水岭是因为它恰好卡在“4bit量化后比16GB大一点比24GB小一点”的尴尬位置。往下的7B、14B模型4bit量化后只有3.5GB和7GB任何旗舰机都轻松装下往上的70B模型4bit量化后35GB普通手机想都别想。1.2 带宽墙每生成一个字都要把整个模型读一遍容量墙只是第一层带宽墙才是让手机厂商头疼的第二层。大模型是自回归架构每生成一个token大概一个字都要把模型的所有权重从头到尾读一遍。你想想这意味着什么35B参数的Q4模型权重按17.5GB算每生成一个字内存就要把17.5GB的数据传给计算单元。手机的LPDDR5X内存峰值带宽大约在70GB/s到85GB/s的档位。拿70GB/s算每个token读取17.5GB权重理论极限是每秒4个token左右。这个速度用来聊天勉强能忍但稍微复杂的任务、长一点的回答等待时间会非常折磨。对比一下云端英伟达的A100/H100用的HBM高带宽显存带宽在2TB/s到3TB/s以上是手机的30到40倍。同样的35B模型在云端跑单看带宽就能到每秒100多个token。同一个模型云端和手机的体验差距不在智商而在内存带宽。1.3 功耗墙手机不是服务器容量和带宽还不够功耗也在添堵。内存带宽跑满意味着高功耗高功耗意味着发热发热意味着降频降频意味着更慢。这是手机和服务器最本质的区别——服务器可以上水冷、无视噪音手机只有一个被动散热的铝合金中框。我做端侧模型测试时最直观的感受是35B档模型在旗舰机上连续生成两三百个token后机身温度就能摸到40多度然后速度直接从4 tokens/s掉到2 tokens/s左右。这不是模型不行是散热墙把性能卡死了。所以“内存墙”其实是一个三层的组合拳容量墙决定你塞不塞得下带宽墙决定你读得快不快功耗墙决定你持续读的时候稳不稳。理解了这三点再看后面的压缩方案和硬件趋势就全都串起来了。2. 压缩军备赛把350亿参数塞进16GB背后的数学账要打破内存墙最直接的办法不是造一块更大的内存而是让模型“变小”。这个变小的过程学术上叫模型压缩工程上就是一场军备竞赛。2.1 量化把参数从“高清原图”变成“压缩JPG”量化是端侧部署最核心的手段。原理很简单模型参数原本是FP16或FP32的高精度浮点数但大模型的参数分布里有很多冗余不需要每个数字都精确到小数点后好几位。把16bit压到8bit模型体积直接减半质量损失几乎不可感知。压到4bit体积再砍一半35B模型从70GB变成17.5GB质量损失在2%到5%左右。用图像来类比就是把一张无损PNG压成高质量JPG肉眼看不出区别但文件小了好几倍。实际部署时我最常用的是GGUF格式里的Q4_K_M和Q6_K档位。这些量化档位不是简单地把所有数字砍到4bit而是混合了不同粒度的量化策略重要的权重用较高精度次要的用较低精度。我用Qwen2.5-32B做过对比FP16和Q4_K_M在问答、写作场景下几乎分辨不出差异但Q4模型的内存占用只有原来的四分之一。量化算法上学术界主流的GPTQ和AWQ各有侧重。GPTQ基于二阶信息做逐层校准AWQ则关注哪些权重对激活值影响大。工程落地时这些算法已经被集成到GGUF转换工具链里普通人不需要自己实现但理解原理有助于你选量化档位——毕竟不是所有模型都适合暴力压到2bit。2.2 剪枝、蒸馏和稀疏化压缩不只是“砍精度”量化是把数字变粗剪枝则是直接把不重要的结构删掉。研究表明大模型里很多神经元和注意力头是冗余的。结构化剪枝会直接删掉某些层、某些注意力头让模型体积变小代价是精度下降。非结构化剪枝则是把权重矩阵里接近0的数直接置0搭配稀疏计算库跳过这些0理论上能省带宽和存储但目前的手机芯片对稀疏矩阵的硬件加速还远不如NVIDIA成熟所以这条路线在端侧还没完全吃开。蒸馏是我个人最看好的方向之一。它的思路是让一个350亿参数的大模型当“老师”教一个小模型比如5B到7B“抄作业”。小模型学习大模型的输出分布和推理逻辑虽然参数少很多但在特定任务上的表现能逼近大模型。开源社区的很多小模型走的就是这条路——你看到某些7B模型声称打平13B甚至30B模型背后多半是蒸馏高质量数据的功劳。2.3 架构层面的“作弊”MoE省钱又省力还有个更“取巧”的路子不用稠密模型改用MoE混合专家架构。传统稠密模型比如350亿参数每个token的计算都要动用全部350亿参数。而MoE模型比如Mixtral 8x7B总参数有47B但每个token只会激活其中2个专家实际计算量只有13B左右。相当于一个公司挂着几十个专家的名头遇到具体问题只请两三位专家来答剩下的人不用动。MoE对内存墙的意义重大总参数决定模型需要多少存储空间激活参数决定推理时每个token要读多少数据。MoE把“内存占用”和“带宽需求”解耦了——你可以装一个总参数很大的模型但每个token的读取量只有总参数的几分之一。未来端侧大模型大概率会全面MoE化。手机内存里放一个总参数量很大的模型但每次推理只走一小部分权重速度和功耗都能控制在可接受范围。这比单纯压量化位深更体面。2.4 量化后的真实效果4bit是今天的甜点我把不同量化档位下35B模型的内存占用和实际可用性整理了一下写代码前先算明白量化档位每参数位数35B模型体积16GB手机24GB手机FP1616bit70GB装不下装不下8bit (Q8)8bit35GB装不下勉强无余量6bit (Q6)6bit26GB装不下可以KV紧张4bit (Q4_K_M)4bit17.5GB很紧张舒适区2bit (Q2)2bit8.75GB可以轻松结论很明确在今天这个时间点4bit就是甜点档位。再往下压到2bit体积虽然小一半但语言质量明显劣化经常出现逻辑错乱和答非所问。如果有厂商宣传“几百亿参数跑进手机”你可以先默默换算成一栏的4bit体积再看看手机内存容量就知道水分有多大。3. 手机硬件其实也在“开挂”大内存、NPU和系统级调度模型压缩负责把“住进去”的门槛降低手机硬件则负责把“住得舒服”这件事做到位。3.1 内存越来越大带宽越来越宽旗舰手机的运行内存从12GB卷到16GB现在已经有24GB版本上市。这背后不全是多任务的需求端侧大模型才是真正的推手。内存容量决定你能不能同时装下模型和系统内存带宽决定你跑模型时的上限速度。新一代旗舰普遍用上了LPDDR5X甚至LPDDR5T规格拉到8533Mbps或者9600Mbps峰值带宽在70GB/s到85GB/s。单看这个数字可能没什么感觉但回到上一节的计算35B模型的Q4权重是17.5GB85GB/s带宽意味着理论极限接近5 tokens/s。这已经是最低限度的“能聊天”水平了。顺带提一下有些手机会宣传“内存扩展”功能把UFS存储空间当虚拟内存用。对于端侧大模型这个功能是把双刃剑——模型文件可以借此载入但虚拟内存的读写速度比物理内存慢一个数量级真跑到swap上的时候token速度会断崖式下跌。我的建议是能关就关宁可降低量化档位也别依赖swap跑35B模型。3.2 NPU和专用加速单元算力外挂终于能用了苹果A系列芯片的神经网络引擎ANE、高通的Hexagon NPU、联发科的APU这些年都在疯狂堆TOPS算力。但说实话跑大模型这事NPU早期是“够强但难适配”。原因很简单大模型推理框架要真正调度NPU需要厂商开放底层接口。现在的局面比两年前好多了。llama.cpp已经实验性支持高通的QNN后端MLC-LLM可以直接通过Vulkan和OpenCL调用GPU苹果设备走Metal再加上各家自研的推理引擎NPU和GPU开始被真正拉上战场。我个人实测的感受是同一台骁龙8旗舰35B模型的Q4档如果用纯CPU跑速度在1到2 tokens/s基本不可用但如果走Vulkan的GPU后端速度能拉到3到4 tokens/s能适配QNN的模型再翻一倍也正常。关键不在于芯片参数多好看而在于软件能不能吃到这份算力。3.3 系统级内存调度和常驻模型单看“跑一个模型”的App其实不难难的是让模型像输入法一样常驻系统随叫随到。苹果的Apple Intelligence就是这么设计的系统内置一个2B到4B档的小模型常驻内存处理日常的摘要、润色、通知分类遇到更复杂的需求时再动态调用更大参数的模型。这是端侧AI真正成熟的形态——大模型不再是个需要手动加载的App而是系统服务进程的一部分。安卓这边各厂商也开始做类似的“系统级模型服务”把NPU、内存带宽、模型生命周期统一调度。以后你看到的不是“下载一个AI应用”而是“AI能力内嵌到系统里”。顺带一提很多玩家喜欢在手机上装Linux容器跑AI工具链比如Termux里装proot-distro再搭Ubuntu/Alpine环境。这套玩法避开了手机App沙箱的限制直接让模型调度贴近底层硬件可玩性很高。但要注意容器本身会占用内存跑35B模型时内存余量更紧适合折腾7B到14B的档位。3.4 专业设备方向散热和内存的双重堆料游戏手机在这方面走在了前头主动散热风扇、24GB大内存、更激进的温控策略。做端侧大模型实机测试我反而建议直接用游戏手机或带主动散热的设备——毕竟35B模型持续推理时的发热量普通手机根本扛不住。主动散热带来的收益是实打实的同样一颗芯片带风扇的机型可以更长时间保持峰值频率token速度不会断崖下跌。如果你要长期在手机上跑模型散热背夹不是智商税而是刚需。4. 350亿参数在手机上的真实体验能跑和好用是两回事理论算明白了硬件也堆到位了那实际用起来到底是什么感觉4.1 三方博弈速度、内存、发热只能三选二我横评过一批旗舰设备拿35B档模型比如Qwen2.5-32B、GLM-4-32B的Q4_K_M量化版做实测典型结果大致是这样的设备环境量化档内存占用生成速度可用性16GB手机Q4_K_M约18-19GB频繁OOM不推荐24GB手机CPUQ4_K_M约18-19GB1-2 tokens/s打字机勉强聊天24GB手机GPU后端Q4_K_M约18-19GB3-5 tokens/s可日常对话24GB手机散热Q4_K_M约18-19GB稳定4-5 tokens/s舒适但发热明显16GB手机Q2档约9GB2-3 tokens/s能跑但智障感明显这里有个很反直觉的点很多人觉得“能跑”就够了但35B档模型在手机上的实际体验首字延迟Prefill阶段比生成速度更劝退。你问它一个问题它要先读完你的输入把上下文存进KV Cache然后才开始吐字。上下文一长这个准备时间能到十几秒体验非常难受。所以如果你打算日常用我的真心话是350亿模型的手机部署更像“技术验证”和“隐私场景定制品”而不是替代“手机里装个云端AI应用”。真正好用的是7B到14B档Q4量化后3.5GB到7GB内存压力小速度能到10 tokens/s以上首字延迟低发热可控。4.2 现成的工具链从KoboldAI到MLC-LLM现在想在手机上跑35B档模型不用自己从零撸代码。常用方案有几个KoboldAI手机版主打角色扮演和文本生成界面做得很完整支持加载GGUF模型。适合想快速体验的人但它的内存管理比较保守跑32B以上模型需要手动调上下文长度。MLC-LLM基于TVM的推理引擎支持Vulkan和Metal后端安卓和iOS都有现成应用。模型通过HuggingFace仓库直接拉取自动编译后端对新手最友好。Termux llama.cpp自由度最高但需要自己编译和调参适合愿意折腾的玩家。ComfyUI手机版这是图像生成方向的成熟案例说明端侧AI不只有语言模型文生图模型SD1.5、SDXL的轻量版本也已经在手机上跑通了。用这些工具之前先看一眼模型的内存需求。比如下载前用GGUF文件的大小除以量化后的bytes per parameter大概能估算出这个模型在你的手机上会不会OOM。这个习惯能省下很多试错时间。4.3 手机做“瘦客户端”跑不动就换一种用法35B跑不动不代表35B跟手机无缘。更现实的方案是把手机当成AI终端的“前台”把算力放在局域网内的另一台设备上。具体操作是在局域网内的PC或NAS上跑一个llama-server手机用浏览器或客户端连过去用。这台PC可以是一张老显卡的旧机器跑35B模型Q4量化稳得很手机负责输入输出、展示结果不背内存墙这口锅。我经常这么干出差的时候手机连家里的NAS网络上不稳定也能用因为走的是局域网和外网状态无关。反过来手机也可以只作为一个“键盘”通过蓝牙或局域网把另一部旧手机变成输入设备自己专心跑模型推理。这个玩法对“手机做AI终端”的场景特别实用——旧手机电池废了不能带出门但它当外接键盘的资格还是绰绰有余。5. 从零到一在安卓手机上部署35B模型的完整路径如果你看完上面还想自己试一次下面是完整路径。我用一台24GB内存的骁龙8旗舰做示范Termux环境llama.cpp方案。5.1 准备工作硬件建议和模型选型硬件方面内存是第一硬指标。想跑35B的Q4量化24GB内存是底线16GB内存的话只能考虑Q2档或降低到27B模型。其次建议准备一个散热背夹否则长时间推理会把机身烤得厉害。模型选型上我推荐的组合是Qwen2.5-32B-Instruct或GLM-4-32B的GGUF量化版量化档位选Q4_K_M。先在HuggingFace或ModelScope上找到对应仓库下载单文件GGUF格式。注意看文件大小如果看到的是一个30多GB的文件那就是Q8档24GB手机会很危险17GB左右的才是Q4档。5.2 完整部署命令打开Termux先更新源和安装依赖termux-setup-storage pkg update pkg upgrade -y pkg install -y git cmake build-essential然后克隆llama.cpp源码并编译。这里有个关键选项如果手机支持Vulkan建议直接编译Vulkan后端没有Vulkan支持就退回CPU编译git clone https://github.com/ggml-org/llama.cpp cd llama.cpp cmake -B build -DGGML_VULKANON -DCMAKE_BUILD_TYPERelease cmake --build build -j4如果你的设备Vulkan支持有问题把-DGGML_VULKANON换成-DGGML_OPENMPON这样至少能保证CPU多线程推理可用。编译完把下载好的GGUF文件放到手机存储的Download目录然后软链到Termux可访问的位置ln -s /sdcard/Download/qwen2.5-32b-instruct-q4_k_m.gguf ~/model.gguf运行./build/bin/llama-cli -m ~/model.gguf -c 2048 -n -1 -t 4参数含义-c 2048把上下文长度限制在2048 token防止KV Cache把内存撑爆-n -1表示无限生成直到手动结束-t 4指定4个线程线程数不是越大越好要看手机CPU大小核分布。5.3 调参和避坑清单部署过程中最常见的坑我按踩雷频率排个序第一内存直接不够用。现象是刚加载完模型就提示Killed。解决办法是降低量化档位或者把-c从4096降到1024。如果还不行基本就是物理内存到极限了。第二上下文设置过高导致后面变慢。35B模型的KV Cache比小型模型大很多2048 token已经是保守值强行开8192会让内存直接爆炸。第三Vulkan后端编译失败。llama.cpp的Vulkan后端需要额外的Shader编译工具链如果你对编译流程不熟不愿意折腾可以直接用MLC-LLM的现成安卓APK它把TVM和Vulkan后端都预编译好了省心非常多。第四SELinux权限问题。Termux访问存储目录需要你手动授权。执行termux-setup-storage之后系统会弹出文件访问权限申请必须允许否则你软链的sdcard路径会读不到文件。5.4 “手机做AI终端”的外设组合拳跑通部署之后还可以把手机变成一个完整的“AI便携工作站”。我的组合是主手机跑模型用蓝牙键盘输入效率比虚拟键盘高很多一部旧手机装远程键盘类App通过蓝牙或局域网兼职当主手机的副键盘——这个玩法其实就是“一个手机做另一个手机的键盘”在桌面场景下非常好用用OTG外接移动硬盘存模型文件避免把手机存储占满如果有多台设备把模型文件放在局域网共享里多台手机共用一份。这套组合下来你得到的不是一个“能跑分”的演示品而是一个真正能离线写文章、做摘要、改文案的端侧AI终端。6. 墙还在但推墙的方式已经变了最后想聊点趋势判断。内存墙不会消失但“推墙”的路线正在多元化。6.1 推理优化正在绕墙走除了模型压缩推理速度的优化空间也很大。投机采样speculative decoding就是一个典型路子用一个小模型快速生成一串候选token再用大模型验证。大模型每验证一次相当于“确认”了若干个token实际读权重的次数大幅减少。端侧部署时这种方案能把35B模型的生成速度再拉高一倍。KV Cache的量化也值得关注。上下文缓存存的是键值向量占总内存的比重不小。把这部分也压到4bit就能在不降模型档位的情况下把上下文加长。我实测过KV量化的质量损失比权重量化更小端侧优先做这个很划算。6.2 数据侧的路线更强的小模型另一个方向是让小模型越来越强。蒸馏、高质量数据工程、更好的训练方法正在让7B模型逼近两三年前34B模型的能力。这意味着“内存墙”的意义正在被技术稀释——你不需要350亿参数才能干好一件事可能一个聪明的7B配合工具调用就够了。我自己的判断未来手机上的主力不是350亿而是“7B到14B的强模型 系统级调度 工具调用”。350亿参数更像是技术栈里用来展示“最强端侧能力”的秀肌肉产品普通人日常用得最爽的永远是那个适合内存墙厚度的小家伙。6.3 我的一点看法说点个人体会。第一次在真机上把35B模型的Q4量化版跑起来时我看了一眼内存占用盯着那个数字感觉挺奇幻——几个月前它还在云端跑还占着A100的显存现在它缩在我手机的内存里断网也能聊。但真用了一周之后我又老老实实回到了7B的日常主力档位。原因很简单35B在手机上属于“能跑但紧巴巴”生成速度只是底线水平上下文不能开长机身还烫。而7B模型跑起来游刃有余速度翻倍该干的活都能干。端侧AI的核心价值从来不是跑分而是隐私、离线、低延迟。一个跑得舒服的7B比一个勉强喘气的35B更符合这个价值。如果你也想入坑我的建议是先在16GB手机上把7B模型跑通理解量化和内存的换算关系然后借一台24GB设备试一次35B Q4你才会真正理解什么叫内存墙——它不是一道推不倒的墙而是一道逼着你学会取舍的墙。