llama-modchip、GPUなし64GB RAMで284BのDeepSeek-V4-Flashを実行

synchopateはGitHubのllama-modchipリポジトリで、GPUを使わずAMD Ryzen 9 9955HXと64GB RAMの環境で284BのDeepSeek-V4-Flash(活性13.17B)を実行する実装を公開しています。リポジトリは速度を44.36 tok/s(+77%)としています。Hacker Newsでは110ポイント・36コメントを集めました。DeepSeekは言語モデルの研究成果と重みを公開している杭州のAI開発企業です。

何が新しいか

llama-modchipは、CPU中心、またはGPUとCPUのハイブリッドで大規模モデルを動かすための最適化を組み合わせています。原文が挙げる主な手法は次のとおりです。

• Register-Stationary AVX-512 MQA8 FlashAttention(2.0x)とAVX-512化したquantize_row_q8_K
• L2-Quadrature MoE PruningとL1-Local Gate-First SwiGLU
• wo_b * wo_aの厳密なSVD(rankを25%削減してCosSim 99.82%)とO(1) Rollback Fix

対象はDeepSeek-V4-Flashのほか、Qwen3、NVIDIA Nemotron-Hに及び、AMD・Intel・Apple Silicon・ARM64環境に対応すると記載しています。

DeepSeek-V4-Flashの速度

実行環境はAMD Ryzen 9 9955HX、64GB RAM、GPUなしです。モードごとの速度は以下です。

モード	速度
Prefill	43.2–44.4 tok/s
Lossless	9.06–9.95 tok/s
Top-5 L2	9.87–10.15 tok/s
Top-4+SwiGLU	10.41–10.74 tok/s
PVS	11.5–14.7 tok/s

ほかのモデル・環境での数値

モデル/環境	条件	数値
Qwen3-30B-A3B / Qwen3-14B(Q3_K_M / Q4_K_M)	Windows 11、7GB VRAM+16GB RAMのハイブリッド	34.80 tok/s(0 GPU Top-4)、50–58 tok/s(14B、RTX 2080 Ti)
NVIDIA-Nemotron-H-8B-128K(Q8_0 / Q4_K_M)	8–11GBカードにVRAM常駐、システムRAM 0GB	100+ tok/s(RTX 2080 Ti)、147.6 tok/s(CPU pp512)
Ryzen 9 7945HX3D+RX 9070 XT 16GB	Vulkanハイブリッド	80.8 tok/s(256K)
AWS Graviton3 m7g.2xlarge	8 vCPU	44.97 tok/s decode
Apple M4 Pro(24GB Unified)	128Kコンテキスト	KV 384MB

Qwen3ではDynamic MoE Top-Kでexpert数を8から4に減らし、decodeを+38.5%としています。

試し方

• AMD Zen 5向けにはinstall.shを用意しています。
• 対応プロセッサ、GPUハイブリッド構成、最適化フラグの詳細はdocs/HARDWARE_OPTIMIZATIONS.mdにあります。
• Qwen3のWindows 11ハイブリッド実行: --n-cpu-moe N
• AMD 3D V-Cache+Radeon Vulkan構成: -ngl 99 --n-cpu-moe N --load-mode none
• AWS Graviton3: -t 8
• Threadripper PRO 7985WXでは-t 32(CCDあたり4コア)が-t 64より54%速いとしています。
• Windows向けにwindows/modchip_win.ps1、Apple Silicon向けにapple-silicon/、Fedora向けにfedora/nemotron.shを同梱しています。