inclusionAIは、総パラメータ560B・トークンあたり活性25B・1M-tokenコンテキストのネイティブ・ハイブリッド推論モデル「Ling-3.1-flash」を、MITライセンスでHugging Face、ModelScope、OpenRouterに公開しました。Ling-3.0-flashを基盤に、アーキテクチャと実世界タスクでの能力を改善したモデルです。
何が新しいか
inclusionAIは、汎用エージェント、検索、オフィス生産性、ソフトウェアエンジニアリングに加え、医療、金融、材料科学での改善を挙げています。評価にはGDPVal-AA V2.1、HealthBench Professional、FrontierSWE、Terminal-Bench 4.0、SWE-bench Pro、Automationbench、MCP-Atlas、SkillsBenchなどを使っています。Claude Code、Kilo Code、Qwen Code、Hermes Agent、OpenClawなどのフレームワークで利用できるとしています。Claude CodeはAnthropicが提供するコーディングエージェントです。
あわせて、オープンソースのコーディングエージェントPiをベースに、数時間・数百ラウンドのツール呼び出しと繰り返しのコンテキスト圧縮を伴う長時間タスク向けに拡張したハーネス「LingCode」も紹介しており、将来のオープンソース化を検討中としています。
アーキテクチャ
アーキテクチャはHybrid-linear MoEです。
| 項目 | 値 |
|---|---|
| Transformer層 | 63 KDA + 9 Gated MLA (7:1) |
| Dense層数 | 4 |
| ルーティングエキスパート | 512 |
| 共有エキスパート | 1 |
| 活性エキスパート | 8 |
| Attention Heads | 64 |
| Hidden Size | 4096 |
| Expert Intermediate Size | 1280 |
| Dense Intermediate Size | 10240 |
| Vocabulary Size | 157184 |
試し方・要件
推奨はSGLangです。day-0イメージはLing-3.1-flash対応、MTP(NEXTN)投機的デコード、Hopper向けdecode最適化を含みます。
- イメージ取得:
docker pull lmsysorg/sglang:dev-ling-3.1-flash - 8x H200(TP8 + EP8)での起動:
python3 -m sglang.launch_server --model-path inclusionAI/Ling-3.1-flash --tp 8 --ep 8 --speculative-algorithm NEXTN --host 0.0.0.0 --port 30000(docker run --gpus all --network host --ipc=host --rmで実行) - 4x GB300では
--tp 4 --ep 4を指定 - Hopper decode最適化(任意、batch-1 decodeが約10%高速化):
SGLANG_ENABLE_FP8_BLOCK_GEMV=1とSGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT=1 - クライアントは
http://localhost:30000/v1/chat/completionsに、enable_thinking: true、temperature=1.0、top_k=20、top_p=0.95を指定して送信
vLLMでは、uvで仮想環境を作り、vLLMリポジトリのvllmブランチをcloneして VLLM_USE_PRECOMPILED=1 uv pip install --editable . --torch-backend=auto を実行します。vllm serve には --trust-remote-code、--tensor-parallel-size 8、--gpu-memory-utilization 0.85、--enable-prefix-caching、--enable-expert-parallel、--mamba-cache-mode align、--enable-auto-tool-choice、--tool-call-parser ling3、--reasoning-parser ling3、--speculative-config '{"method":"mtp","num_speculative_tokens":3}' を指定します。サンプリングは同じくtemperature=1.0、top_p=0.95、top_k=20とenable_thinkingの有効化を推奨しています。
H200、GB300、H800、H100、B200向けの検証済みレシピや、HiCache(Mooncake L3)、reasoningのオン/オフ、ツール呼び出し、精度・速度の実測値は、SGLangのLing-3.1-flash cookbookにまとめられています。
まだコメントはありません。