モデルNEW
vLLM
大規模言語モデルの推論とAPI配信のためのライブラリ。カリフォルニア大学バークレー校の研究室で開発が始まり、コミュニティが保守する。PagedAttentionによるメモリ管理や連続バッチ処理、分散推論を備え、OpenAI互換APIからモデルを利用できる。
関連記事
ツール・開発
vLLM、GB300 NVL72でDeepSeek-V4.1-Flashを954K tokens/s/GPUで提供
モデル
NVIDIA、4ステップ蒸留の64B画像生成モデルCosmos3を公開
モデル
NVIDIA、64Bの画像→動画モデルCosmos3を4ステップに蒸留し公開
ツール・開発
vLLM、16基のH200でGLM-5.3の1Mトークン長文推論を実現
ツール・開発
vLLM、MiniMax-M3.1-FlashをDay-0対応 GB300で418.9tok/s
ローカルLLM
Ollama v0.40.9、Apple SiliconでPhonon音声生成とd3判断モデルに対応
ツール・開発
InferactとGoogle、TPU向けvLLMバックエンド「vllm-torchtpu」を公開
モデル
DeepSeek、推論フレームワーク「DeepInfer」をApache-2.0で公開
ツール・開発
vLLM、Beam-1.0を初日対応 デコード2.71倍とDFlash2で708 tok/s
モデル
Reflection、501B MoEのオープンモデル「Beam」をApache 2.0で公開
モデル
IBM Granite、1エンドポイントで会話・判定・音声認識を担うGranite Switch 4.1
ツール・開発
vLLM、816B MoEのMuse Spark Openを公開初日から対応
ローカルLLM
NVIDIA、Nemotron-3.5-Bolt-74B向け1.1BドラフトLiLiCorrを公開
ハードウェア
Intel、最大480GB LPDDR5X搭載の推論GPU「D270」を公開
ツール・開発
vLLM、DeepSeek-V4.1-Flashのスループットを3週間で最大5.3倍に
ツール・開発
AMD、ROCm 10.1でhipFILE強化とWSL2対応・LLVM 24移行
ローカルLLM
llama.cppのprompt lookup drafting、最適化で最大140倍高速化
ハードウェア
AMD Quark、Strix HaloでQwen3.6-35B-A3Bを70GBから21GBへ量子化
ツール・開発
LocalAI 4.10.0公開、280PRでフリート運用ダッシュボードとCLIベンチマークを追加
ツール・開発
Unsloth Studio/Desktop、マルチユーザーアカウントとAMD ROCm Dockerイメージを追加
モデル
NVIDIA、DeepSeek-V4.1-FlashのNVFP4量子化版を公開 552Bで1Mコンテキスト
モデル
InternLM、1TパラメータMoEのIntern-S1-Proを公開
モデル
InternLM、397Bのマルチモーダル基盤モデル「Intern-S2-397B」をApache-2.0で公開
モデル
NVIDIA、DeepSeek-V4-Pro-0813のDSparkドラフトヘッドもNVFP4化した1.65Tモデルを公開
ツール・開発
AMD、veRLのROCm本番対応を発表
ローカルLLM
Qwen3.8-27Bを3推論エンジンで比較
ツール・開発
vLLM-Omni、MiniMax H3向けFastH3を統合
関連ヘッドライン（過去7日）
- ツール・開発
vLLMがDeepSeek-V4.1-FlashをGB300 NVL72で954K tokens/sに最適化vLLM Blog記事
- ツール・開発
vLLMがGLM-5.3を16基のH200でPCP/DCPとHybrid HiSparseにより1Mトークン文脈に対応vLLM Blog記事
- ツール・開発
vLLM、MiniMax-M3.1-FlashのDay-0対応をBlackwell/Rubin/MI350向けに公開vLLM Blog記事
- ツール・開発