Thinking Machines Lab、3B活性のローカル向けMoE「Inkling 2 Mini」公開

スペック

総パラメータ~26B
活性パラメータ3B
コンテキスト長1M-token
重みの公開オープンウェイト
配布形式・量子化mixed-precision(NVFP4、MXFP8のエキスパート重み)、GGUF 4-bit (IQ4_NL)、GGUF 8-bit (Q8_0)
4bit量子化の目安メモリ約15.6GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Thinking Machines Labは、総パラメータ~26B・トークン当たり活性3Bのマルチモーダル MoE モデル「Inkling 2 Mini」をオープンウェイトで公開しました。記事によると、比較対象4モデルに対して48件中32件のベンチマークで首位でした。

ループ型トランスフォーマーという新しさ

Inkling 2 Miniは物理24層のデコーダーのうち、中間の層6〜17(12層)を同じ重みで3回通過させます。層0〜5と層18〜23は1回ずつで、トークン当たり48回(6+3×12+6)の層通過を行います。チェックポイントに保存する層は24層のままです。Inkling 2 Smallより小さく、ローカル環境での利用を想定しています。

各パスはいずれも最初の6層の出力から始まり、パス間の情報は「cross-pass messages」で受け渡します。各ループ層は前パスの出力から学習済みクエリでメッセージを読み、小さなゲーティング制御器が現在の入力をどれだけ忘れ、メッセージをどれだけ加えるかを決めます。

項目 値
各層のエキスパート数 128(SwiGLU)
層通過ごとの選択エキスパート数 8
hidden size 2,304
エキスパートの中間幅 1,152
Attentionヘッド query 24、KV 8
スライディングウィンドウ上限 1,024トークン
6層ブロックの構成 sliding-window 5層+full-attention 1層

入力は画像とテキストに対応し、コンテキスト長は1Mトークンです。配布形式はNVFP4・MXFP8のエキスパート重みを含むmixed-precisionで、DSpark drafterを同梱しており、少量の追加メモリと引き換えに推論を高速化できます。

研究版の TML-d24-varloop-research は同じアーキテクチャで、ループ回数を可変にするよう学習されています。3回を1回または2回に減らすと推論が速くなる一方、生成品質がやや下がる可能性があります。記事の著者らは動作を確認したものの、詳細な評価はしていません。

ベンチマーク

記事によると、Inkling 2 MiniはArtificial Analysis Intelligence Index v5(AAv5)で同クラスの最高水準です。Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VLとの比較では48件中32件で首位でした。コーディング系ではFrontierCode v2.0で首位、Terminal-Bench 4.0でQwen3.8-27Bと同率、AutomationBench-AA v1.0.6ではQwenを下回りました。著者らのvibe testでは、少なくともQwen 3.8 27Bと同等という評価です。

試し方

Transformers: AutoModelForMultimodalLM と AutoProcessor で thinkingmachines/Inkling-2-Mini を読み込みます。研究版は thinkingmachines/TML-d24-varloop-research を指定し、2回通過させる場合は text_config={"loop_num_passes": 2} を渡します。reasoning_effort は既定が high(0.9)で、none(0.0)、minimal(0.1)、low(0.2)、medium(0.7)、xhigh/max(0.99)のほか、0.0〜0.99の数値でも指定できます。ツール呼び出しにも対応します。

Llama App / llama.cpp: macOSとWindowsではLlama Appでローカル実行でき、OpenAI互換APIも提供されます。両モデルとも GGUF の4-bit(IQ4_NL)と8-bit(Q8_0)が用意されています。LinuxやCLIでは次のように起動します。

  • 固定版: llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL
  • 研究版: llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL
  • 8-bit版は接尾辞を :Q8_0 に変更

SGLang: 公開初日から対応し、データセンター向けハードウェアでの推論をサポートします。前提としてSM103上での実行が必要で、python -m sglang.launch_server --model-path thinkingmachines/Inkling-2-Mini に --attention-backend fa4 --dtype bfloat16 --tp 1 などを指定して起動します。

MLX: MLXにも対応しています。

背景

llama.cppはggml-orgが公開するC/C++実装の推論ソフトウェアで、Llama Appはその上に同じチームが構築したアプリです。SGLangはLMSYSのもとで公開されている推論フレームワーク、MLXはAppleの機械学習研究チームが開発するAppleシリコン向けの配列計算フレームワークです。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内