拓冰网站定制 
多台Mac拼成集群跑671B模型 × exo分布式推理加设备越跑越快【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo大模型装不进单台内存时的选择DeepSeek V3.1有671B参数8-bit权重占掉约700GB内存单台桌面或笔记本根本装不下。你可以租云端GPU也可以接受单台512GB机器的上限。如果你手里已经有两台、四台闲置的Macexo会直接把它们连成一个集群模型切片后分布在每台机器的内存里装得下之后生成速度反而比单机更高。exo的工作原理它靠两个机制运转。第一是自动发现每台设备启动exo后会在局域网里广播自己的存在其他设备听到即组网不需要端口映射和手工配置。类似群聊——进房即进群不需要管理员拉人。第二是拓扑感知的切片加载模型前exo先画一张资源地图记录每台机器的空闲内存、每根连接上的带宽和延迟再挑选切片方案。类似外卖平台的派单逻辑订单不派给最近的骑手而是派给预计等待最短的那个。如果Mac运行macOS 26.2以上、并用雷电5线缆互连exo还会启用RDMA远程直接内存访问通俗说就是一台机器直接读另一台机器的内存跳过传统网络协议栈设备间延迟降低99%。下图是四台Mac组成的集群每台加载约172GB的模型权重图exo集群拓扑视图四台Mac Studio两两互连每台占用约172GB/512GB内存并显示温度与功耗exo多设备推理三个可验证的数据RDMA over Thunderbolt —— 设备间延迟降低99%同样是四台机器走传统TCP协议的方案加机器反而变慢单节点14.8 tokens/s四节点掉到14.6。exo走RDMA则从单节点21.1提升到四节点32.5。数据来自4× M3 Ultra Mac Studio上运行DeepSeek V3.1 671B8-bit的实测图DeepSeek V3.1 671B在1/2/4节点上的吞吐对比ExoRDMA从21.1提升到32.5 tokens/sllama.cppTCP始终在14.8左右张量并行 —— 2台提速1.8倍4台提速3.2倍把模型的权重矩阵切片分散到多台设备各算各的再聚合结果。官方数据2台设备提速1.8倍4台提速3.2倍。一个235B的模型切给4台机器每台只承担约59B参数内存压力随之解除。自动发现与拓扑感知切片 —— 零配置完成模型放置同一局域网内的设备启动后自动互相发现成组。打开 http://localhost:52415/ 的dashboard每台机器的内存占用、温度、功耗都直接可见API兼容OpenAI Chat Completions、Claude Messages和Ollama三种协议现有客户端不用改代码就能接入。从克隆到跑通3步搞定 1. 克隆并构建。每台设备执行以下操作需先装好Node.js和uv完整依赖说明见README.mdgit clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo/dashboard npm install npm run build uv run exo⚡ 2. 多台设备启动。同一局域网内运行exo即自动组网。要低延迟的话升级到macOS 26.2用雷电5线缆把每台机器互连在恢复模式下执行一次rdma_ctl enable。macOS用户也可以直接用Homebrew cask安装菜单栏应用。✅ 3. 打开dashboard创建实例。浏览器访问 http://localhost:52415/选模型和切片策略Pipeline或Tensor点launch即可开始对话。图exo dashboard集群视图中间是四台节点与连接拓扑右侧显示正在运行的DeepSeek与Kimi两个模型实例适合谁三类典型用法家里有两台Mac Studio的开发者 → 双机跑exo并用TB5线缆连接 → 推理速度提升1.8倍不额外买硬件想本地跑DeepSeek 671B的AI爱好者 → 4台512GB Mac组集群 → 本地32.5 tokens/s不依赖云端API同一局域网的团队 → 一人维护exo集群 → 同事的内部工具通过OpenAI兼容API直接接入exo把分散在各处的设备变成一台能装下大模型的集群机器越多吞吐越高。下一步打开docs/architecture.md架构文档开始配置你的集群。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 多台Mac拼成集群跑671B模型 × exo分布式推理：加设备越跑越快
多台Mac拼成集群跑671B模型 × exo分布式推理加设备越跑越快【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo大模型装不进单台内存时的选择DeepSeek V3.1有671B参数8-bit权重占掉约700GB内存单台桌面或笔记本根本装不下。你可以租云端GPU也可以接受单台512GB机器的上限。如果你手里已经有两台、四台闲置的Macexo会直接把它们连成一个集群模型切片后分布在每台机器的内存里装得下之后生成速度反而比单机更高。exo的工作原理它靠两个机制运转。第一是自动发现每台设备启动exo后会在局域网里广播自己的存在其他设备听到即组网不需要端口映射和手工配置。类似群聊——进房即进群不需要管理员拉人。第二是拓扑感知的切片加载模型前exo先画一张资源地图记录每台机器的空闲内存、每根连接上的带宽和延迟再挑选切片方案。类似外卖平台的派单逻辑订单不派给最近的骑手而是派给预计等待最短的那个。如果Mac运行macOS 26.2以上、并用雷电5线缆互连exo还会启用RDMA远程直接内存访问通俗说就是一台机器直接读另一台机器的内存跳过传统网络协议栈设备间延迟降低99%。下图是四台Mac组成的集群每台加载约172GB的模型权重图exo集群拓扑视图四台Mac Studio两两互连每台占用约172GB/512GB内存并显示温度与功耗exo多设备推理三个可验证的数据RDMA over Thunderbolt —— 设备间延迟降低99%同样是四台机器走传统TCP协议的方案加机器反而变慢单节点14.8 tokens/s四节点掉到14.6。exo走RDMA则从单节点21.1提升到四节点32.5。数据来自4× M3 Ultra Mac Studio上运行DeepSeek V3.1 671B8-bit的实测图DeepSeek V3.1 671B在1/2/4节点上的吞吐对比ExoRDMA从21.1提升到32.5 tokens/sllama.cppTCP始终在14.8左右张量并行 —— 2台提速1.8倍4台提速3.2倍把模型的权重矩阵切片分散到多台设备各算各的再聚合结果。官方数据2台设备提速1.8倍4台提速3.2倍。一个235B的模型切给4台机器每台只承担约59B参数内存压力随之解除。自动发现与拓扑感知切片 —— 零配置完成模型放置同一局域网内的设备启动后自动互相发现成组。打开 http://localhost:52415/ 的dashboard每台机器的内存占用、温度、功耗都直接可见API兼容OpenAI Chat Completions、Claude Messages和Ollama三种协议现有客户端不用改代码就能接入。从克隆到跑通3步搞定 1. 克隆并构建。每台设备执行以下操作需先装好Node.js和uv完整依赖说明见README.mdgit clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo/dashboard npm install npm run build uv run exo⚡ 2. 多台设备启动。同一局域网内运行exo即自动组网。要低延迟的话升级到macOS 26.2用雷电5线缆把每台机器互连在恢复模式下执行一次rdma_ctl enable。macOS用户也可以直接用Homebrew cask安装菜单栏应用。✅ 3. 打开dashboard创建实例。浏览器访问 http://localhost:52415/选模型和切片策略Pipeline或Tensor点launch即可开始对话。图exo dashboard集群视图中间是四台节点与连接拓扑右侧显示正在运行的DeepSeek与Kimi两个模型实例适合谁三类典型用法家里有两台Mac Studio的开发者 → 双机跑exo并用TB5线缆连接 → 推理速度提升1.8倍不额外买硬件想本地跑DeepSeek 671B的AI爱好者 → 4台512GB Mac组集群 → 本地32.5 tokens/s不依赖云端API同一局域网的团队 → 一人维护exo集群 → 同事的内部工具通过OpenAI兼容API直接接入exo把分散在各处的设备变成一台能装下大模型的集群机器越多吞吐越高。下一步打开docs/architecture.md架构文档开始配置你的集群。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考