Cerebras、約3兆パラメータのKimi K3をWSE-3T 59枚に分割展開

Cerebrasは、約3兆パラメータのオープンソースモデルKimi K3を例に、オンチップメモリ44 GBのWSE-3Tウェハ59枚へモデルを分割し、パイプライン実行する方法を説明しました。記事によると、この構成で多兆パラメータモデルを毎秒1000〜2000トークン超で実行できるとしています。

KimiはMoonshot AIが開発するAIモデルのファミリーで、推論やコーディング、ツール利用を想定したモデルを公開しています。

層ごとのサイズとウェハ配分

CerebrasのSarah Chieng氏による記事は、Kimi K3の重みを4-bit量子化(Hugging Face実装と同様)、KVキャッシュを8-bit、平均リクエストサイズを256kと仮定して計算しています。3兆パラメータを93層で割ると、1層あたり約16 GBになります。

項目	値
WSE-3T 1枚のオンチップメモリ	44 GB
線形アテンション層	69層(1ウェハに2層、2 × 16 GB = 32 GB)
Dense層	24層(1ウェハに1層)
必要ウェハ数	59枚(線形層用35枚 + Dense層用24枚)
ウェハ間通信	RDMA over Ethernet、約2マイクロ秒/ホップ

線形アテンション層はコンテキスト長に依存しない固定サイズの状態だけを持つため、1ウェハに2層を載せられます。Dense層はアクティブな全リクエストの全トークン分のKVを保持するため1ウェハに1層とし、残りのSRAMをKVキャッシュに充てます。

パイプライン実行と同時リクエスト

Cerebrasコンパイラがモデル層をウェハの各領域にマッピングし、ランタイムがウェハ間のトークン経路を設定します。1層16 GBが44 GBのSRAMに収まるため、多くの場合、重みは動かず層もウェハをまたがず、活性値だけが次のウェハへ渡ります。

各ウェハは組み立てラインの1ステージとして動き、異なるステージが異なるリクエストを同時に処理します。各ステージは単一リクエストまたはマイクロバッチを扱い、処理中のリクエスト数はおおよそステージ数×マイクロバッチサイズです。マイクロバッチを小さくすると各リクエストが速くなり、大きくすると総スループットが上がります。本番環境のCerebrasは、例よりはるかに細かいステージを多数使っています。

同時リクエスト数の上限は、Dense層用ウェハに残るKVキャッシュ容量(44 GB − Dense層1層分)を256kリクエスト1件分のキャッシュで割って決まります。記事は、推論システムの評価には同じ出力生成速度での電力あたりトークンスループット(例: tokens/s/MW)がより意味のある指標だとしています。

Kimi K3のベンチマーク

記事が引用するKimi K3のスコアは、Terminal-Bench 2.1で88.3%(GPT-5.6 Solは88.8%)、BrowseCompで91.2%(同90.4%)です。

利用方法

Cerebrasは、無料API(cloud.cerebras.ai)または営業窓口(sales@cerebras.ai)を案内しています。3Tを超えるモデルについても、重みとリクエスト状態に必要なメモリを計算し、ウェハへ分配してパイプラインで接続する同じ手順で拡張できるとしています。