Unsloth、大規模な性能改善と200件超のバグ修正

Unslothが、大規模なパフォーマンス改善とバグ修正を含むリリースを発表しました。prefillとdecodingの性能を20%改善し、200件を超えるバグを修正しています。バイナリサイズは50%削減されました。

主な変更点

• AMD GPUでは、デフォルトでVulkanを使用します。
• Windowsの共有メモリーGPUで、プロンプトキャッシュが再び利用できるようになりました。
• Windowsランタイムでは、モデル起動前に不足しているライブラリを確認します。
• WindowsのCUDAインストールで、PyTorch 2.11のパッケージに対応しました。
• PDFアップロードでは、進行状況をより明確に表示します。
• Figure descriptionsは、再びオプトイン方式になりました。

今回のリリースは、推論処理に関わるprefillとdecodingの性能改善に加え、WindowsやAMD GPU、PDFアップロードなど複数の利用条件に関係する修正を含んでいます。