Janas-LLM、32GBノートで48GBのQwen3-Next-80Bを24tok/s生成

Maurizio “camauri” Cammalleri氏が開発するJanas-LLMは、MoEモデルの専門家をNVMe SSDから必要な分だけ読み込む方式で、32 GB RAMのノートPC上で48.4 GBのQwen3-Next-80B-A3Bを生成24 tok/s(draft併用で37 tok/s)で動かしました。同条件のllama.cppは2.8 tok/sです。

何が新しいか

JanasはCで書かれ、Cライブラリ以外に依存しないAIツール群で、Janas-LLMはその最初のコンポーネントです。重みはディスクに置いたまま、各トークンに必要な専門家をNVMe SSDからストリーミングし、繰り返し使われる専門家をメモリに保持します。GPUの有無を問わず動作します。リポジトリprabanta-dev/janasはGPL-3.0で、スター123、フォーク9です。

llama.cppはC/C++で実装された推論ソフトウェアで、CPUや各社GPUでの実行と量子化に対応します。

llama.cppとの比較

測定機はDebian 13、Intel Core Ultra 9 185H(内蔵Arc GPU)、32 GB DDR5、NVMe SSD(読み込み約5.7 GB/s)で、2026年10月9〜11日に計測しました。プロンプト1,024 tokensの読み込みと生成速度を、Q4_K_Mの13モデルで比べています。

モデル	読み込み Janas / llama.cpp	生成 Janas / llama.cpp
Qwen3-Next-80B-A3B (48.4 GB)	62 / 16 tok/s	24 / 2.8 tok/s
Qwen3-Coder-Next (48.4 GB)	66 / 14 tok/s	22 / 2.2 tok/s
Qwen3.6-35B-A3B	104 / 79 tok/s	19 / 12 tok/s
Qwen3-30B-A3B	135 / 122 tok/s	32 / 15 tok/s
Gemma-4-26B-A4B-it	84 / 76 tok/s	18 / 12 tok/s
Qwen3-4B	193 / 164 tok/s	27 / 18 tok/s
Qwen3-0.6B	939 / 670 tok/s	130 / 45 tok/s

llama.cppはQwen3-Next-80B-A3Bで通常ビルドだとメモリ不足となり、GGML_CPU_REPACK=OFFビルドと--no-host 1 -lm mmapで実行した数値です。例外として、unslothの3bit版Qwen3-30B-A3B(UD-Q3_K_XL)は読み込みが100 vs 112 tok/sでllama.cppに劣りますが、生成は36 vs 11 tok/sです。

janas-benchの標準計測(プロンプト256 tokens、生成64 tokens、3回平均、2026年10月10日)では、Qwen3-Next-80B-A3Bが読み込み64 tok/s、生成22 tok/s、draft併用37 tok/sでした。JANAS_GPU=0ではQwen3-4Bが読み込み85 tok/s、生成27 tok/sです。

試し方・要件

Linux x86-64(Ubuntu 22.04、Debian 12以降):

curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz
tar xf janas-linux-x86_64.tar.gz && cd janas
./janas-chat

Windows 10(1903以降)・11 x86-64ではjanas-windows-x86_64.zipを展開し、janasフォルダーのターミナルで.\janas-chatを実行します。既知のモデルから選ぶとダウンロードと検証が行われ、モデルはHugging Faceから変換済みの.jns形式で提供されます。別マシンでの性能はjanas-benchで測れます。

• GPUを使わない: JANAS_GPU=0
• メモリ使用量の上限: --cache
• 応答中断はCtrl-C、チャット終了はCtrl-D

注意点

実験段階で、公開APIとコマンドラインは予告なく変わります(Hugging Face上のformat version 2の.jnsファイルは以降の版でも読めます)。空きメモリを専門家キャッシュで埋め、O_DIRECTでディスクを全速で読むため、スワップによるデスクトップの応答低下や、GPUドライバーリセットが起きる可能性があります。開発・検証は上記の1台のみで、AMD CPUやディスクリートGPUなどは未検証です。