Apple、MLXで816BのMuse Spark Openを4台のMac Studioで36 tok/s超

Appleは2026年10月15日、同日リリースのMLX最新版とRDMA over Thunderboltを使い、4台のMac Studio(M5 Ultra)で816BパラメータのMoEモデル「Muse Spark Open」を36 tokens/second超で生成できると公開しました。MLXはAppleの機械学習研究チームが開発する、Appleシリコン向けの配列計算フレームワークです。

評価モデルと単一Mac Studioの性能

AppleはMLX LMのmlx_lm.benchmarkで3モデルを計測し、M5 Ultraと前世代M3 Ultraを比較しました。コンテキスト長は8,192と65,536 tokensです。

モデル	総パラメータ	活性パラメータ	ネイティブ精度	評価精度
Muse Spark Open	816B	42B	BF16	NVFP4
Mistral Medium 3.5	128B	128B	FP8	FP8
Qwen 3.8	27B	27B	BF16	BF16

Qwen 3.8とMistral Medium 3.5は512GBの単一Mac Studioに収まり、65,536 tokens時のRAM使用量はそれぞれ最大68GBと158GBです。

項目	M3 Ultra	M5 Ultra
ユニファイドメモリ帯域幅	819 GB/s	1.2 TB/s
TTFT(M3 Ultra比)	1.0×	最大4.6×
生成速度(M3 Ultra比)	1.0×	1.6×
ピーク消費電力	約200W	約300W

Appleは、TTFTは計算律速でM5世代のGPU Neural Acceleratorが効き、生成速度はメモリ帯域律速だと説明しています。

Muse Spark Openに分散が必要な理由

Muse Spark OpenはBF16ではパラメータだけで1.6TB超のRAMを要します。NVFP4の4-bit量子化で約493GBまで下がりますが、中間計算用メモリを加えると単一マシンには収まりません。Appleは2台のパイプライン並列、2台と4台のテンソル並列で性能を示し、4台テンソル並列で36 tokens/second超(NVFP4、コンテキスト長8,192 tokens)に達しました。

試し方と要件

• 前提: macOS 26.2のThunderbolt 5向け低レイテンシRDMAドライバと、MLX v0.30.1以降の通信コレクティブjaccl
• 接続: 2台構成は2本のThunderboltケーブルで接続(リンク帯域を倍にするため)。4台構成は各Mac Studio間を2本ずつピアツーピア接続
• 単一ノードのベンチマーク: mlx_lm.benchmark --model Qwen/Qwen3.8-27B -p 8192 -g 128 -b 1
• パイプライン並列: mlx.launch --hostfile hostfile.json --backend jaccl -- env MLX_METAL_FAST_SYNCH=1 -- mlx_lm.benchmark --model mistralai/Mistral-Medium-3.5-128B -p 8192 -g 128 -b 1 --prefill-step-size 8192 --pipeline
• テンソル並列: mlx.launch --hostfile hostfile.json --backend jaccl -- env MLX_METAL_FAST_SYNCH=1 -- mlx_lm.benchmark --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 -p 8192 -g 128 -b 1

--backend jacclはRDMA Thunderboltドライバのバックエンドを指定し、MLX_METAL_FAST_SYNCH=1は実験的な高速CPU-GPU同期を有効にします。

並列化方式の違い

パイプライン並列はモデルを深さ方向に分割し、少ないコード変更で実装できます。decode速度は単一マシンとほぼ同じですが、65,536 tokensではコンテキストを8,192 tokensのチャンクに分けて重ねて処理するため、prefillが単一ノード比で最大約1.8倍速くなりました。テンソル並列は幅方向に分割して層ごとの計算を並列化し、推論速度を上げられる一方、トークンと層ごとに小さな通信が多発するため、Thunderbolt RDMAのような低レイテンシ通信が前提になるとAppleは述べています。