Thinking Machines Labは、総パラメータ~26B・トークン当たり活性3Bのマルチモーダル MoE モデル「Inkling 2 Mini」をオープンウェイトで公開しました。記事によると、比較対象4モデルに対して48件中32件のベンチマークで首位でした。
ループ型トランスフォーマーという新しさ
Inkling 2 Miniは物理24層のデコーダーのうち、中間の層6〜17(12層)を同じ重みで3回通過させます。層0〜5と層18〜23は1回ずつで、トークン当たり48回(6+3×12+6)の層通過を行います。チェックポイントに保存する層は24層のままです。Inkling 2 Smallより小さく、ローカル環境での利用を想定しています。
各パスはいずれも最初の6層の出力から始まり、パス間の情報は「cross-pass messages」で受け渡します。各ループ層は前パスの出力から学習済みクエリでメッセージを読み、小さなゲーティング制御器が現在の入力をどれだけ忘れ、メッセージをどれだけ加えるかを決めます。
| 項目 | 値 |
|---|---|
| 各層のエキスパート数 | 128(SwiGLU) |
| 層通過ごとの選択エキスパート数 | 8 |
| hidden size | 2,304 |
| エキスパートの中間幅 | 1,152 |
| Attentionヘッド | query 24、KV 8 |
| スライディングウィンドウ上限 | 1,024トークン |
| 6層ブロックの構成 | sliding-window 5層+full-attention 1層 |
入力は画像とテキストに対応し、コンテキスト長は1Mトークンです。配布形式はNVFP4・MXFP8のエキスパート重みを含むmixed-precisionで、DSpark drafterを同梱しており、少量の追加メモリと引き換えに推論を高速化できます。
研究版の TML-d24-varloop-research は同じアーキテクチャで、ループ回数を可変にするよう学習されています。3回を1回または2回に減らすと推論が速くなる一方、生成品質がやや下がる可能性があります。記事の著者らは動作を確認したものの、詳細な評価はしていません。
ベンチマーク
記事によると、Inkling 2 MiniはArtificial Analysis Intelligence Index v5(AAv5)で同クラスの最高水準です。Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VLとの比較では48件中32件で首位でした。コーディング系ではFrontierCode v2.0で首位、Terminal-Bench 4.0でQwen3.8-27Bと同率、AutomationBench-AA v1.0.6ではQwenを下回りました。著者らのvibe testでは、少なくともQwen 3.8 27Bと同等という評価です。
試し方
Transformers: AutoModelForMultimodalLM と AutoProcessor で thinkingmachines/Inkling-2-Mini を読み込みます。研究版は thinkingmachines/TML-d24-varloop-research を指定し、2回通過させる場合は text_config={"loop_num_passes": 2} を渡します。reasoning_effort は既定が high(0.9)で、none(0.0)、minimal(0.1)、low(0.2)、medium(0.7)、xhigh/max(0.99)のほか、0.0〜0.99の数値でも指定できます。ツール呼び出しにも対応します。
Llama App / llama.cpp: macOSとWindowsではLlama Appでローカル実行でき、OpenAI互換APIも提供されます。両モデルとも GGUF の4-bit(IQ4_NL)と8-bit(Q8_0)が用意されています。LinuxやCLIでは次のように起動します。
- 固定版:
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL - 研究版:
llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL - 8-bit版は接尾辞を
:Q8_0に変更
SGLang: 公開初日から対応し、データセンター向けハードウェアでの推論をサポートします。前提としてSM103上での実行が必要で、python -m sglang.launch_server --model-path thinkingmachines/Inkling-2-Mini に --attention-backend fa4 --dtype bfloat16 --tp 1 などを指定して起動します。
MLX: MLXにも対応しています。
背景
llama.cppはggml-orgが公開するC/C++実装の推論ソフトウェアで、Llama Appはその上に同じチームが構築したアプリです。SGLangはLMSYSのもとで公開されている推論フレームワーク、MLXはAppleの機械学習研究チームが開発するAppleシリコン向けの配列計算フレームワークです。

まだコメントはありません。