Unsloth、16GB RAMで動く26.4BのInkling 2 Miniに対応

スペック

総パラメータ26.4B
活性パラメータ5.4 active
コンテキスト長1M
4bit量子化の目安メモリ約15.8GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Unslothは新リリースで、16GB RAMで動作する26.4BモデルInkling 2 Miniに対応しました。あわせて、8GB GPUでMiniMax-H3-Imageが新規プロンプトを描画する時間を82.7秒から36.7秒に短縮し、MCPチャットが処理するプロンプトトークンを同社のツールテストで83〜87%削減しています。

Unslothは、AIモデルの実行と学習のためのツール群で、デスクトップアプリ、ウェブ画面、コードから利用できます。

何が新しいか

Inkling 2 Miniは活性パラメータ5.4B、コンテキスト長1Mのモデルで、16GB RAMで実行できます。ほかの主な変更点は次のとおりです。

  • Apple Silicon搭載Macで、Video Restyleによりクリップ全体を別スタイルに再描画できます
  • MCPチャットはツール一覧を固定し、メッセージごとに会話全体ではなく新しい部分だけを処理します
  • チャットに添付したスキャン済みPDFをOCRで読み取ります
  • インポートしたClaude CodeとCodexのチャットで画像を保持します
  • テーマファイルで外観設定を共有できます

性能改善の数値

項目 条件 結果
MiniMax-H3-Image 新規プロンプト描画 8GB GPU 36.7秒(従来82.7秒)
GGUF画像モデル読み込みRAM Linux / macOS 52〜66%削減
MCPプロンプトトークン 同社のツールテスト 83〜87%削減
FLUX.1 ステップ時間 重みをシステムRAMからストリーミング 16〜28%短縮
FLUX.3 klein INT8 ステップ時間 T4 13%短縮
Cosmos3-Edge-FP8 L4 約1.45倍高速
SDXL LoRA学習 ステップ時間 T4 / L4 28〜31%短縮
FLUX.2-klein 9B学習 ステップ時間(Auto precision) L4 約30%短縮
AsyncGRPOステップ A100、TRL 1.17以降 1.46〜2.47倍高速
Qwen3.5学習(シーケンスパッキング既定化) AMD ROCm、Strix Halo 約1.4倍のトークン/秒
DoRA学習 ステップ当たり — 約3〜5%高速

MiniMax-H3の再実行では、エンコード済みデータセットを再利用します。

使い方と要件

  • Video Restyle(Mac):Apple Silicon搭載Macが対象で、GPUメモリはbf16で約42 GiB、q8_0で約31 GiB必要です。
  • MCPのツール出力長:Settings > Chatで設定し、llama.cpp、vLLM、Ollama、Custom接続のMCP結果に適用されます。
  • テーマ:Settings > Appearance > Theme fileでエクスポート・インポートします。
  • INT8またはFP8モデルで新しいLoRAを選ぶと、エラーではなく「Reload and generate」を提示します。
  • 推論モデルが思考中にトークンを使い切った場合、案内と「Retry」を表示します。

主な不具合修正

  • Unsloth Desktopが一部のWindows AMD PCで不完全なインストールから進めなくなる問題
  • GTX 16xxで画像描画がNaNエラーで失敗する問題
  • チャット専用GGUFインストールのMacで小さなモデルが「Does not fit」と表示される問題
  • PyTorch 2.14未満で、長さの異なるデータが混在するバッチでGemma-4のLoRA学習が失敗する問題
  • 添付Wordファイルで移動した段落、日付フィールド、ふりがなが失われる問題
  • JSON/JSONLデータセットの日付に00:00:00が付く問題
  • PEFT 0.22への対応と、PEFTモデルでのDPOのクラッシュ
  • セッション更新中の応答消失で全タブがサインアウトされる問題

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内