inclusionAIは、Ling-3.1-flashのアップグレード版「Ling-3.1-flash-1019」をHugging Face、ModelScope、OpenRouterで公開しました。総560B・トークン当たり活性25B、1Mトークンのコンテキストを持つHybrid-linear MoEモデルで、Artificial Analysis Intelligence Index v4.3.2のスコアは前版の41から44に上がっています。ライセンスはMITです。
何が新しいか
inclusionAIによると、追加の事後学習最適化により推論とエージェント用途の性能が向上しました。原文は、複雑な推論、複数段階のタスク実行、エージェント型ワークフローでの改善を挙げています。
| ベンチマーク | 前版 | 1019 |
|---|---|---|
| AA-Briefcase | 約1400 Elo | 1524 Elo |
| AutomationBench-AA | 62% | 68% |
| CritPt | 18% | 26% |
| SciCode | 54% | 57% |
| AA Intelligence Index v4.3.2 | 41 | 44 |
アーキテクチャ
| 項目 | 値 |
|---|---|
| Transformer Layers | 63 KDA + 9 Gated MLA (7:1) |
| Dense Layers | 4 |
| Routed Experts | 512 |
| Shared Experts | 1 |
| Activated Experts | 8 |
| Attention Heads | 64 |
| Hidden Size | 4096 |
| Expert Intermediate Size | 1280 |
| Dense Intermediate Size | 10240 |
| Vocabulary Size | 157184 |
試し方・要件
SGLang(推奨): day-0イメージにLing-3.1-flash対応、MTP(NEXTN)投機的デコード、Hopper向けデコード最適化が含まれます。
docker pull lmsysorg/sglang:dev-ling-3.1-flash- 8 × H200構成(TP8 + EP8)では
--model-path inclusionAI/Ling-3.1-flash --tp 8 --ep 8 --speculative-algorithm NEXTNでポート30000にサーバーを起動します。4 × GB300では--tp 4 --ep 4を使います。 - 任意のHopperデコード最適化は
SGLANG_ENABLE_FP8_BLOCK_GEMV=1とSGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT=1で有効化でき、batch-1デコードが約10%速くなるとしています。 - クライアントは
http://localhost:30000/v1/chat/completionsへOpenAI互換形式でリクエストします。 - H200、GB300、H800、H100、B200向けの検証済みレシピ、HiCache(Mooncake L3)、reasoning on/off、ツール呼び出し、精度・速度の実測値はSGLangのcookbookに掲載されています。
vLLM: pip install uv、uv venv ~/my_ling_env、source ~/my_ling_env/bin/activateの後、git clone -b vllm https://github.com/vllm-project/vllm.gitを取得し、VLLM_USE_PRECOMPILED=1 uv pip install --editable . --torch-backend=autoでインストールします。サーバーは--tensor-parallel-size 8、--enable-expert-parallel、--mamba-cache-mode align、--tool-call-parser ling3、--reasoning-parser ling3、--speculative-config '{"method":"mtp","num_speculative_tokens":3}'などを指定してvllm serveで起動します。
推奨サンプリングはtemperature=1.0、top_p=0.95、top_k=20で、enable_thinkingをtrueにすると性能が上がるとしています。
背景
SGLangはLMSYSのもとで公開されている推論フレームワーク、vLLMは大規模言語モデルの推論とAPI配信のためのライブラリで、いずれもOpenAI互換APIに対応します。inclusionAIは学習内容の公開サマリー(PDF)もあわせて案内しています。
まだコメントはありません。