Unsloth、Nemotron 3.5とMuse Spark Open 816Bのローカル実行に対応

UnslothはNVIDIAのNemotron 3.5 Super VL(120B、活性12B)とNemotron 3.5 Bolt、Metaの816B MoEモデルMuse Spark Openをローカルで実行できるようにしました。あわせてテキスト拡散LLMの学習・チャット、DeepSpeed ZeRO-2/3による学習、Claude CodeやCodex向けのプロンプトキャッシュ改善を追加しています。

Unslothは、AIモデルの実行と学習のためのツール群で、デスクトップアプリ、ウェブ画面、コードから利用できます。

新たに対応したモデル

Nemotron 3.5 Super VLは最大1M tokensのコンテキストを持ち、文書理解、コンピューター操作、長時間稼働エージェント向けのモデルです。Unslothによると、100K入力時にInkling Smallより約5倍速く生成し、知能は同程度です。メモリ使用量は1-bitで約64 GB、4-bitで128 GBです。

Nemotron 3.5 BoltはSuper VLから圧縮した74B(活性9B)、コンテキスト長128Kのモデルです。

Muse Spark Openは活性約42.7B、コンテキスト長1M tokensのMoEモデルで、マルチモーダル推論、コーディング、エージェント型ワークフロー向けです。テキスト・画像・動画・音声を入力でき、reasoning effortはlowからxhighまで選べます。リポジトリ全体の生成や大規模なエンドツーエンドのプロジェクトなど、長期的なコーディングタスクで学習しています。2-bitで約256 GBのメモリで動きます。

試し方・要件

• UnslothはNemotron 3.5モデルとMuse Spark OpenについてGGUFガイドを用意しています。量子化はSuper VLが1-bit/4-bit、Boltが1-bit/2-bit、Muse Spark Openが2-bitです。
• UnslothはデフォルトでBoltにDSpark drafter(メモリ約1〜2 GB増)、Super VLに内蔵MTPを使い、出力を高速化します。どちらも設定で無効化できます。
• Unsloth DesktopはWindows、macOS、Linux x64/ARM64(deb)、Linux x64(AppImage)、Windows ARM64向けに無料のオープンソースで配布しています。

学習機能

• UnslothアプリでLLaDA、Dream、SDAR、LLaDA2、Nemotron-Labs-Diffusion、DiffusionGemmaなどのテキスト拡散LLMを学習・チャットでき、応答はライブのデノイジングキャンバスで表示します。
• DeepSpeed ZeRO-2/ZeRO-3で、4-bit QLoRA、フルファインチューニング、DPO、CPUオフロードに対応しました。
• fast_inference付きGRPOがNemotron 3 Nanoとblock-FP8 MoEモデルで動き、vLLMと重みを共有します。

性能改善

対象	条件	改善幅
Claude Code新規セッション初回応答	ローカルGGUFモデル	最大4倍早く開始
model.generate(Llama、Qwen3)	Python、single-prompt、32Kコンテキスト	最大2.7倍
bitsandbytes 4-bitで2〜4プロンプト同時生成	一部のNVIDIA GPU	最大2.8倍
Nemotron 3 NanoのGRPOロールアウト	fast_inference、デフォルト	最大30%

Claude Code、Codex、OpenCodeをローカルGGUFモデルで動かす場合、後続ターンで再処理する会話量が大きく減ります。

その他の追加機能

• unsloth startに--auto-routeを付けると、クラウドモデル利用中のClaude Code、OpenCode、Codexから、ファイル読み込み・検索・コマンド実行などの定型作業をローカルモデルへ回します。
• Imagesページからsd-server、Ollama、Lemonade、vLLM、llama.cpp、カスタムOpenAI互換URLを通じて画像を生成できます。
• vLLM/SGLangのロード時にFP8 KV cache、GPUメモリ上限、seedを指定できます。MLXリポジトリでは2/4/6/8-bitをGGUFの量子化と同じ方法で選べます。
• CUDA 12より古いNVIDIAドライバーのWindows PCや、ROCm非対応のAMD GPU(RDNA 1、Polaris)ではVulkan版llama.cppを導入します。