Apple SiliconでLLM推論最適化4種を検証、投機的デコーディングは全手法で低速化

研究チームはarXivで、KVキャッシュ枝刈り、投機的デコーディング、移植GPUカーネル、事後学習量子化の4種の推論最適化をApple Silicon搭載マシン4台で評価した結果を公開しました。KVキャッシュ枝刈りは最大1.75倍のエンドツーエンドスループット向上を示した一方、投機的デコーディングは評価したすべての手法でスループットを下げました。

Apple SiliconはAppleが設計するチップで、CPUやGPUをまとめたSoCとユニファイドメモリを特徴とします。

評価の条件

研究チームは、共通の単一リクエスト・デコードワークロードで4台のApple製マシンを測定し、比較可能な場合はRTX 4090とも条件をそろえて比較しました。原文は、推論最適化のほぼすべてがバッチ処理を行うサーバー級NVIDIA GPUで設計・検証されている点を問題意識に挙げています。

最適化ごとの結果

最適化	Apple上の結果	補足
KVキャッシュ枝刈り	エンドツーエンドで最大1.75倍	デスクトップNVIDIA GPUではスループット低下の可能性
投機的デコーディング	評価した全手法でスループット低下	サーバーGPUでは2〜6倍の向上が報告されていた
移植GPUカーネル	移植可能な構成要素でデコード最大1.20倍	CUDAカーネル設計の移植は部分的
事後学習量子化	マシンごとに効果が異なる	—

CUDAカーネル設計が部分的にしか移植できない理由として、研究チームは公開Metalに非同期コピーがないこと、バッチ1のデコードではサービング向けの機構の一部が適用できないことを挙げています。

結論

研究チームは4種の結果を通じて、報告された速度向上は手法単独の性質ではなく、手法、ランタイム、ハードウェアの契約、ワークロード条件の組み合わせで決まると結論づけています。