FPGAでLLM推論、エージェント開発で213 tokens/sに到達

Ankit Gupta氏は、コーディングエージェントを使ってAWS F2インスタンスのFPGA上でLLM推論を動かし、最初のビット完全一致の全モデル実装の6.43 tokens/sから、実測213.13 tokens/s(33.13倍)まで生成速度を引き上げたとブログ(2026年11月20日公開)で報告しました。

何をしたか

Gupta氏はFPGAやVerilogの経験がない状態から、DeepGroveの三値重みアーキテクチャをFPGAで動かせるか試しました。DeepGroveの創業者らによると、このアーキテクチャはメモリ制約のある環境に適しています。Gupta氏はCodexに依頼してAWS F2インスタンスの予約を立ち上げ、Conductor上のクラウドエージェントを数日間走らせました。コードは主にC++で、一部がVerilogです。著者は「もっと創造的に」「2倍速を狙おう」といった簡単な指示が大半だったと述べています。Codexは、OpenAIが提供するコーディングエージェントです。

規模と数値

項目 値
FPGA HBM容量 16 GB
ベースライン 6.43 tokens/s
最終実測 213.13 tokens/s(33.13倍)
最終クロック 225/425 MHz
実験回数 数百回
記述コード 約300万行(実験履歴全体)
解析した出力 3,000万行
トークン費用 $10,000(ClaudeとOpenAI)

最適化は段階的に進み、Host overhead(8.07)、Burst attention(14.02)、New pipeline(49.21)、Head shadow(94.44)、Draft model(105.63)、Attention overlap(134.99)、Weight packing(171.3)、Re-speculation(184.19)を経て、Parallel head loaderで213.13 tokens/sに達しました。最終段階では、ヘッドローダーが両メモリバンクを同時に読むようにし(同一イメージでの有効・無効比較で+17.3%)、実行時のエキスパート先読み方針とルーターのジョブタイミング修正を加えました。231.25 MHzでの連続動作試験でランダムな不具合が出たため、クロックを一段下げています。

検証条件

著者は出力のビット完全一致を要求しました。このため、エージェントはDeepGrove側から共有された設計知見のうち、低精度の活性値、遅延RMSNorm、8ビットKVキャッシュ、online softmax、16ビット確率といった出力ビットを変える5案をすべて不採用にしました。エージェントの振り返りによると、主要な設計案の多くは知見の共有前から計画に入っており、「何時間もかかる作業をしない」というプロセス面の助言では直ちに作業内容が変わりました。モデルについては、AstraとOpusをほぼ互換的に使えたと著者は述べています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内