モデルNEW
SGLang
LMSYSのもとで公開されている、言語モデルやマルチモーダルモデルを配信する推論フレームワーク。単体GPUから分散環境までを対象とする。共通の入力部分を再利用するRadixAttention、連続バッチ処理、構造化出力を備え、OpenAI互換APIにも対応する。
関連記事
ローカルLLM
inclusionAI、Ling-3.0-flash用482MドラフトモデルUBTreeを公開
モデル
Reflection、501B MoEのオープンモデル「Beam」をApache 2.0で公開
モデル
inclusionAI、拡散言語モデルLLaDA2.2-flashを公開 SWE-bench Verified 49.28
ハードウェア
Intel、最大480GB LPDDR5X搭載の推論GPU「D270」を公開
モデル
zai-org、GLM-5.3-Flashを公開 総320B・活性18Bのネイティブマルチモーダル
モデル
inclusionAI、総124B・活性5.1BのMoE「Ling-3.0-flash」を公開
研究
WUSH-KV、データ適応型変換で2-bit KVキャッシュ量子化を実現
モデル
NVIDIA、GLM-5.3をNVFP4量子化した753Bモデルを公開
モデル
NVIDIA、DeepSeek-V4.1-FlashのNVFP4量子化版を公開 552Bで1Mコンテキスト
モデル
InternLM、1TパラメータMoEのIntern-S1-Proを公開
モデル
InternLM、397Bのマルチモーダル基盤モデル「Intern-S2-397B」をApache-2.0で公開
モデル
NVIDIA、DeepSeek-V4-Pro-0813のDSparkドラフトヘッドもNVFP4化した1.65Tモデルを公開
ツール・開発
AMD、veRLのROCm本番対応を発表
ローカルLLM
SGLang-V100がQwen3.8-Flash-Nextに対応
関連ヘッドライン（過去7日）
関連ヘッドラインはありません