Pi 5+Hailo-10HとJetson、Qwen2-VL-2Bの電力は40トークンで逆転

arXivで公開された研究「Seeing at the Edge」は、Raspberry Pi 5(Hailo-10H NPU)とJetson Orin Nano SuperでQwen2-VL-2B-Instructを動かし、NPUオフロードで生成トークン当たりエネルギーが約3分の2減ること、JetsonのGPUとPiのNPUのエネルギー曲線が約40出力トークンで交差することを示しました。QwenはAlibaba Cloudが開発するLLMファミリーで、画像などを扱うマルチモーダルモデルも展開しています。

何を測ったか

研究チームはQwen2-VL-2B-Instructとそのテキスト専用版について、システム全体のエネルギー、遅延、熱挙動を測定しました。各プラットフォームでCPUとアクセラレーターの両方を評価し、リクエストごとの固定エネルギーと、出力長に比例して増える増分エネルギーを分離しています。

項目	内容
プラットフォーム1	Raspberry Pi 5(Hailo-10H NPU / CPU)
プラットフォーム2	Jetson Orin Nano Super(GPU / CPU)
モデル	Qwen2-VL-2B-Instruct、テキスト専用版
測定項目	システム全体のエネルギー、遅延、熱挙動
比較単位	シリコン単体ではなくデプロイスタック

アクセラレーターごとに量子化方式とサービングソフトウェアが異なるため、著者らは結果をハードウェア単体の比較ではなく、デプロイスタック同士の比較と位置づけています。

3つの結果

• NPUオフロードの効果: Pi 5ではHailo-10H NPUへのオフロードで生成トークン当たりエネルギーが約3分の2減り、ホストCPUはほぼ空いたままになります。CPUバックエンドは持続利用時に熱スロットリングに達しますが、NPUはこれを回避しました。
• 画像入力のコスト: 画像は固定エネルギーとトークン当たりエネルギーの両方を増やしますが、一般的な応答長では画像処理より回答生成のほうがはるかに多くのエネルギーを消費します。
• 短い応答と長い応答: Jetson GPUはリクエスト当たりの固定コストが低く短い応答に有利で、Pi NPUは出力トークン当たりのコストが低く長い応答に有利です。両者のエネルギー曲線は約40出力トークン付近で交差します。