ExLlamav3が大規模アップデート、新モデルに対応

turboderpが、ExLlamav3の大規模なアップデートをリリースしました。Redditのr/LocalLLaMAでは、ユーザーが要点を投稿し、新モデル対応やオフロード機能を紹介しています。

主な変更点

• Mixture of Experts(MoE)のエキスパートをCPUへオフロードできるようになりました
• Qwen-3.8-Flash-Nextで、ngramのディスクオフロードに対応しました
• GLM-5.3-Flashに対応しました
• 新しい自己校正型の最適化手法(self-calibrated optimization)が追加されました
• そのほか多数の最適化と改善が含まれます

投稿では、NVIDIAのGPUを持っていて最近試していない人に向けて、試用を勧めています。添付画像は、Qwen-3.8-Flash-Next-3.05bpw-exl3で「魔法のカメに乗って宇宙へ向かう子猫」のSVGを生成したものです。