四台机器，把大模型从机房拉回桌面

四台 Mac Studio 摆在一起。

苹果说，这能跑 Muse Spark Open。

这不是小模型。

官方给出的数字是 816B 参数，已经逼近万亿级。

更抓眼的是，四台 M5 Ultra 组合下，生成速度超过 36 tokens/s。

苹果还特意补了一句，已经超过普通人平均阅读速度。

过去这种级别的前沿模型，通常属于集群，机房，云账单。

现在苹果想把它放到桌面上。

故事的主角，其实是 Mac Studio。

苹果不抢模型风头，它抢的是跑模型的桌子

这篇来自 Apple ML Research 的文章，主线很明确。

MLX 新版，Apple silicon，统一内存，本地推理。

单台 Mac Studio 最高 512GB 统一内存。

Qwen 3.8 27B 能跑。

Mistral Medium 3.5 128B 也能跑。

苹果对比了三个模型。

Muse Spark Open 是 816B 的 MoE 模型，推理时只激活一部分专家，测试使用 NVFP4。

Mistral Medium 3.5 是 128B dense 模型，测试使用 FP8。

Qwen 3.8 是 27B dense 模型，测试使用 BF16。

到 Muse Spark Open，单机开始吃紧。

原生 BF16 下，仅模型参数就要超过 1.6TB。

压到 NVFP4 4bit 后，参数占用约 493GB。

推理还要中间计算内存。

苹果的答案很直接。

一台不够，就来四台。

雷电线把 Mac 缝成小集群，这一步挺狠

老实讲，本地跑大模型最难的地方，常常不在芯片。

在机器之间怎么传数据。

苹果这次端出的组合是 RDMA over Thunderbolt 5。

macOS 26.2 提供低延迟 RDMA 驱动。

MLX 0.30.1 之后提供 jaccl 通信层。

再用 mlx.launch 把多台 Mac 拉起来。

几台电脑，被线缝成一台小超算。

苹果给了两种切法。

一种是 pipeline parallelization。

模型按深度切开。

一台跑前半段，另一台跑后半段。

实现简单，代码改动少。

另一种是 tensor parallelization。

模型按宽度切开。

每台机器都拿一部分层内计算。

更快，但通信更碎，也更吃低延迟。

苹果还提到，两台机器用两根 Thunderbolt 线，带宽翻倍。

四台 M5 Ultra 跑 Muse Spark Open，65,536 token 上下文时，TTFT 从约 50.5 秒 缩到 40.6 秒。

跑分很漂亮，但评论区先盯上了对比姿势

数据确实密。

M5 Ultra 对比 M3 Ultra，TTFT 最高快 4.6 倍。

生成速度快 1.6 倍。

统一内存带宽从 819GB/s 提到 1.2TB/s。

峰值功耗约 300W。

苹果还拿烤面包机做对比。

意思是，这东西能放进办公室，不至于把电表干冒烟。

但有意思的是，素材下方的热门评论并不全在鼓掌。

有人直接开嘲。

Meta 花钱做开放权重模型，用户花钱给苹果买硬件来跑，这买卖听起来挺划算。

也有人盯上了基准测试。

把 Meta 模型放在 4bit，把 Qwen 放在 BF16，这种对比很难让人信服。

还有人对上下文长度不满意。

8192 token 的上下文，如今已经不太够用。

这句我挺认同。

本地 Agent 和代码场景，真正吃的是长上下文。

苹果自己也测了 65,536 token。

但有评论指出，最先被看到的 15 到 36 tokens/s，对应的是 8,192 token 上下文。

还有一个更现实的吐槽。

四台 Mac Studio 当然不是普通人的桌面。

这点我不太认同苹果轻描淡写的说法。

right from your desk 听起来很轻松。

但四台 M5 Ultra Mac Studio，已经远超普通桌面。

本地 AI 真正性感的地方，不只是炫技

如果只看跑分，这像一场硬件秀。

但苹果真正想推的是另一件事。

私有环境里的 Agent。

素材里提到，开发者可以用 mlx_lm.server 起一个本地服务。

再用 OpenCode 这类工具接进去。

模型不上传，代码不出门。

对写代码的人来说，这个点很实在。

隐私，延迟，可控性，都能讲出故事。

苹果还强调，Mac Studio 功耗不高，适合家庭和办公室部署。

这部分确实有吸引力。

云端大模型很强。

但总有些场景，不想把数据交出去。

本地跑前沿模型，过去像极客玩具。

现在苹果想把它变成开发者日常。

门槛没有消失，只是换了个样子

写到这里，冲突已经很清楚了。

一边是技术上的兴奋点。

近万亿参数模型，能在 Mac Studio 集群上跑。

MoE，4bit，RDMA，tensor parallelization，全都上桌。

另一边是现实门槛。

四台机器，高配内存，Thunderbolt mesh，还有调参和部署成本。

它离普通用户的即插即用还很远。

更像给研究者，开发者，隐私敏感团队准备的一套方案。

苹果没有发明模型。

它做的是另一件事。

把前沿模型搬进 Apple 硬件生态。

当模型越来越开放，硬件反而成了新的收费站。

所以问题也就来了。

当大模型开始离开机房，落到桌面上的几台 Mac，AI 的门槛是真的降低了，还是只是换了一种更贵的打开方式？

【锐评】：苹果不抢模型风头，它卖的是把大模型搬上桌的硬件门票。

参考链接：
https://machinelearning.apple.com/research/mlx-distributed-inference