Unsloth、MTP有効化で推論を最大2倍高速化

Unslothは、Qwen3.8-Flash-NextとGLM-5.3-Flashの推論速度を、MTP(Multi-Token Prediction)のデフォルト有効化により最大2倍高速化したと発表しました。MTPは必要に応じて無効化できます。

詳細

今回の新リリースには、170項目を超える改善が含まれています。GLM-5.3-Flashでは、推論の高速化に加えて、MLXによるファインチューニングにも対応しています。

また、Mac上で長いQwenチャットを利用する場合、フォローアップターンの推論を最大30倍高速化したと説明しています。MLX推論の高速化対象は、Mac上の長いQwenチャットにおけるフォローアップターンです。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内