hyperionaidevはGitHubリポジトリsmolmaxxingで、使用可能RAM約1 GBのXiaomi TV Box S(第3世代)上で260K〜16BパラメータのLLMを動かし、16B MoEのLing-mini-2.0を実チャットで5.1 tok/sで生成した結果を公開しました。2013年製の初代iPad AirでもBonsai-1.7Bを23.7〜25.8 tok/sで動かしています。Hacker Newsでは85ポイント・22コメントを集めました。
何が新しいか
リポジトリはTVボックス、旧型スマートフォン、シングルボードコンピューター、ルーターに載るCPU・RAM・フラッシュを使い、各デバイスで実際に動く最大級のLLMを探るプロジェクトです。すべての数値は実機で計測しています。TV Box Sでは約1 GBのRAMと278 MB/sのフラッシュ読み出しがボトルネックになるため、MoEのエキスパートページング、重みストリーミング、専用カーネルで大きなモデルを動かしています。原文は「X MB/トークンをストリームするモデルは278/X tok/sを超えられない」とし、2Bより上を制約しているのはCPUではなくフラッシュだと述べています。
Xiaomi TV Box Sの結果
構成はAmlogic S7D、Cortex-A55 4コア(2.5 GHz)、RAM 1.9 GB(使用可能約1 GB)、eMMC、Android 14、rootなしです。
| モデル | 生成速度 | 初回→現在 | bits/byte | 主な手法 |
|---|---|---|---|---|
| Qwen3.5-0.8B | 16.8 tok/s(bench) | 7.5→16.8 | ≈1.00 | all-Q4_K、65Kヘッド、fp16 DeltaNet状態 |
| Qwen3.5-2B | 7.7 tok/s(chat) | 0.1→7.7 | 0.909 | all-Q4_K、fused DeltaNet |
| Ternary-Bonsai-4B | 4.3 tok/s(chat) | 2.2→4.3 | ≈0.965 | 3値重みを2-bitフィールドに格納 |
| Bonsai-8B(1-bit) | 5.2 tok/s(chat) | 1.21→5.2 | 0.974 | 1-bit LUTカーネル、headlessモードで全常駐 |
| Moon-Beam-8B-A1B(MoE) | 7.2 tok/s(chat) | 1.87→7.2 | 0.996 | Q2_Kエキスパートをフラッシュからページング、キャッシュ考慮ルーティング、先読み |
| Qwen3.5-9B | 0.27 tok/s(chat) | 0.16→0.27 | 0.885 | 重みストリーミング+MTP |
| Ling-mini-2.0(16B MoE) | 5.1 tok/s(chat) | 4.1→5.1 | 1.054 | Moon-Beamの手法をそのまま適用 |
品質は固定22 KBの英文に対するperplexityをbits/byteに換算した値です(小さいほど良い)。作者はこのボックスでは2Bが速度と品質のバランスで最良とし、Ling-mini-2.0はMoon-Beamの2倍のサイズでもバイトあたりの品質が悪く遅いと評価しています。Moon-Beamはエキスパート2個で10.4 tok/sに達しますが出力が崩れ、整合的な設定では約7〜8 tok/sです。repeat penalty 1.15を256トークンに適用すると、退行した長文回答は13回中12回から13回中1回に減りました。
初代iPad Air(2013)の結果
構成はApple A7、2コア、dotprodなしのNEON、RAM 1 GB、iOS 12.5.7、脱獄済み、CPUのみです。実行条件はCPU 2スレッド、コンテキスト長1,024トークンです。
| モデル | 生成速度 | ピークRSS | 備考 |
|---|---|---|---|
| Bonsai-1.7B Q1_0 | 23.7〜25.8 tok/s(長いチャットで18〜22) | 605 MB | 3問テスト全問正解 |
Bonsai-4B Q1_0(-c 512 -b 64) |
9.4〜11.4 tok/s | 615〜682 MB | サーバー実行では数分以内にiOSがリセット |
Moon-Beam-8B-A1B(-c 512 -b 64) |
3.5〜3.6 tok/s | 約600〜625 MB | --experts 4で4.9〜5.1 tok/s、perplexityは27%増 |
| Ling-mini-2.0(16B MoE) | 2.6〜4.5 tok/s | — | エキスパートをフラッシュからページング |
Bonsai-1.7Bは初回2.75 tok/sから約8.6倍になりました。iPadではdotprodなしのNEON向け1-bitルックアップテーブルカーネルを使い、チャットは端末のSafariから操作します。
試し方・要件
- コードと実験記録はGitHubの
smolmaxxing(MITライセンス)で公開しており、詳細はEXPERIMENT.md(E1〜E160)にあります。 - iPad Air向けはMacからクロスコンパイルし、ビルド手順は
ipad-air/README.md、解説はEXPERIMENT.mdの§21です。 - TV Box Sではモデルごとに、Q2_Kや1-bitのカーネル、重みストリーミング(
O_DIRECT)、MoEエキスパートページング、先読みなどを使い分けます。 - 作者によると、1-bit LUTカーネルは基本NEONだけで動き、他のカーネルはdotprod対応のARMチップで、ストリーミングエンジンはRAMを超えるモデルを扱うLinux/Android端末で使えます。
背景
QwenはAlibaba Cloudが開発するLLMファミリーで、重みを公開し密な構造と専門家混合型のモデルを提供しています。
まだコメントはありません。