inclusionAI、総124B・活性5.1BのMoE「Ling-3.0-flash」を公開

inclusionAIは、総パラメータ124B・活性パラメータ5.1Bのネイティブ・ハイブリッド推論モデル「Ling-3.0-flash」を公開しました。inclusionAIによると、パラメータ規模は従来の1T級フラッグシップRing-2.6-1Tの約12.4%(総)、約8.1%(活性)で、主要ベンチマークでは前世代と同等以上の結果を示しています。ライセンスはMITです。

何が新しいか

Ling-3.0は、事前学習の最初からKimi Delta Attention(KDA)とMLAを5:1で交互に積層するハイブリッド線形アテンション構成を採用しています。KDAには細粒度の対角ゲーティングを加え、MoEは1/64のスパース構成です。コンテキストは8K→32K→256Kの段階で学習しています。

エージェント用途では、10,000以上のインタラクティブな訓練環境を使い、Coding、General、Deep Research Agentタスクをエンドツーエンドで実行できるよう訓練しています。推論基盤としてSGLang HiCacheとMooncakeの階層キャッシュ(物理的なデュアルプールとクラスタ共有のL3キャッシュ)をネイティブ統合しており、長期のやり取りでの再計算を省き、長入力シナリオでTime to First Token(TTFT)を60%から80%超削減するとしています。

アーキテクチャ仕様

項目	値
Transformer層	35 KDA + 7 Gated MLA (5:1)
Dense層数	2
ルーティングされるエキスパート	512
共有エキスパート	1
活性化エキスパート	8
アテンションヘッド	32
隠れ層サイズ	2560
エキスパート中間層サイズ	768
Dense中間層サイズ	6144
語彙サイズ	157184

提供先と推論設定

モデルID inclusionAI/Ling-3.0-flash として、Hugging Face、ModelScope、OpenRouterで提供しています。Thinking modeはデフォルトで有効で、既定パラメータは temperature=0.6, top_p=0.95, top_k=20 です。inclusionAIは、Claude Code、Kilo Code、Qwen Code、Hermes Agent、OpenClawなどのフレームワークで実用上良好に動作すると述べています。

評価条件

SWE-Bench Pro、SWE-Bench Multilingual、Tau3-banking-AA、MCP-Atlas、SkillsBenchなどで評価しています。主な条件は次のとおりです。

ベンチマーク	ハーネス・条件
SWE-Benchシリーズ	OpenHands、temperature=0.6, top_p=0.95, max_new_tokens=32K、256Kコンテキスト
Terminal-Bench 2.1	AAプロトコル、Terminus 2、2時間タイムアウト、3回平均、temperature=0.6, top_p=1.0, max_new_tokens=32K、256Kコンテキスト
MiniAppBench	500タスク、temperature=1.0, top_p=1.0, max_tokens=128K
Tau3-banking-AA	ユーザーシミュレータと判定にGPT-5.4-mini(medium reasoning)
MCP-Atlas	公開500タスク、公式v1ハーネス、20ターン上限、判定にGemini-2.5-Pro
SkillsBench	kilo-code経由、外部API依存を除く87タスク、3回平均
GDPval v2-AA	公開220タスク、Stirrupハーネス、250ターン上限、5時間タイムアウト

AntSWEBenchはJava、JavaScript、Pythonなどを対象に新機能、バグ修正、リファクタリングを含む社内ベンチマークです。