Reflection、501B MoEのオープンモデル「Beam」をApache 2.0で公開

米国の新しいAI研究所Reflectionは2026年10月16日、総パラメータ501B(トークンあたり活性23B)、コンテキスト長1M tokensのオープンモデル「Beam」をHugging Faceで公開しました。ライセンスはApache 2.0で、コーディングとエージェント用途に重点を置いています。

Hugging Faceは、モデルの重みやデータセット、デモを共有するHugging Face Hubを提供する企業です。紹介記事はben burtenshawが執筆し、mervе、Pedro Cuencaが協力しています。

何が新しいか

BeamはReflectionの最初のモデルで、テキスト入力・テキスト出力の疎なMixture-of-Expertsモデルです。1トークンあたり約23Bパラメータだけを計算するため、推論速度は23Bモデル相当ですが、256個の全エキスパートをメモリに保持するため501Bモデル相当のメモリが必要です。ReflectionはオープンソースのRust製専用ハーネス、Transformers実装、vLLM・SGLang対応に加え、SFTと強化学習(Milesによるフルパラメータ RL)のレシピも提供します。DFlash2による投機的デコーディング用のドラフターモデルも用意しています。

アーキテクチャと数値

項目	値
Transformer層数	52(hidden size 5,120)
Attention	43層がsliding-window(512トークン)、9層がglobal
ヘッド	query 48 / KV 8(GQA)
MoE	先頭3層はdense、残り49層に256エキスパート、トークンあたり8選択
ルーター	DeepSeek-V3型のgroup-limited方式(8グループ×32、上位4グループから8選択)、shared expertなし
KVキャッシュ(BF16、1シーケンス)	32Kで1.2 GiB、128Kで4.6 GiB、1Mで36.08 GiB

sliding-window層はRoPEを使い、global層は位置エンコーディングを持たず、可視トークン数に応じてqueryをスケールするscalable-softmaxを用います。全層globalの場合1トークンあたり208 KiB増えるKVキャッシュが、Beamでは36 KiBに抑えられます。残差接続は各ステップkでサブレイヤー出力を1/sqrt(k)で加えて規模を一定に保ち、最終logitsは±30のtanh softcapをFP32で適用します。

Reflection提供のベンチマーク(BF16)では、SWEBench Verified 81.6%、Terminal Bench v2.1 80.1%、SWE Bench Pro v1 66.1%、AIME 2026 97.7%、GPQA Diamond 90.6%、LiveCodeBench 88.3%、MCP Atlas 80.8%です。NVFP4でもSWEBench Verified 80.7%、Terminal Bench v2.1 78.2%と、BF16に近い値を示しています。

ハードウェア要件

形式	容量	対象
BF16	約1 TB(safetensors)	—
FP8	—	Hopper、Ampere
NVFP4	約280 GB	NVIDIA Blackwell

原文は、NVFP4での配信が最も実用的だとしています。H200などBlackwell以前のGPUはNVFP4をネイティブ実行できないため、FP8版を使います。B200(180 GB HBM3e)2基の360 GBでも重みは載りますが、活性化やKVキャッシュの余地はほとんど残りません。そのため推奨構成はB200 4基(720 GB)です。ほかに8xB200ノード、B300(288 GB)2基、8xRTX Pro 6000でも配信できます。Blackwell環境がない場合は、Inference Providers(サーバーレス)で試せます。

試し方

モデルIDはreflection/Beam-1.0-501B-A23Bです。Transformers、SGLang、vLLMがday-0で対応しています。vLLMはPagedAttentionや分散推論を備えた推論・配信ライブラリ、SGLangはRadixAttentionなどを備えた推論フレームワークです。

Transformersは最新版をインストールします。

pip install -U "transformers>=5.20.1"

最も簡単な方法は、text-generation pipelineにdevice_map="auto"を指定して実行することです。より細かく扱う場合は、AutoModelForCausalLMとAutoTokenizerをfrom_pretrainedで読み込みます。

reasoningの強さはlow、medium(デフォルト)、high、xhigh、maxの5段階で、apply_chat_templateのreasoning_effortで指定します。preserve_thinkingを使うと、推論内容をターンをまたいで文脈に残せます。トークナイザーにはレスポンステンプレートが含まれており、parse_responseが推論・回答・ツール呼び出しを別フィールドに分けるため、正規表現で分割する必要がありません。ツール呼び出しでは、ツール定義をapply_chat_templateとparse_responseの両方にtoolsとして渡します。

Hubクレジットの提供

Reflectionは、Beamを使った最優秀プロジェクトに$10,000のHubクレジットを提供します。対象はSpacesのデモ、量子化モデル、合成データセット、RL環境、ベンチマーク結果などで、作成したリポジトリをモデルのリポジトリページで共有すると応募できます。