Ankit Gupta氏は、コーディングエージェントを使ってAWS F2インスタンスのFPGA上でLLM推論を動かし、最初のビット完全一致の全モデル実装の6.43 tokens/sから、実測213.13 tokens/s(33.13倍)まで生成速度を引き上げたとブログ(2026年11月20日公開)で報告しました。
何をしたか
Gupta氏はFPGAやVerilogの経験がない状態から、DeepGroveの三値重みアーキテクチャをFPGAで動かせるか試しました。DeepGroveの創業者らによると、このアーキテクチャはメモリ制約のある環境に適しています。Gupta氏はCodexに依頼してAWS F2インスタンスの予約を立ち上げ、Conductor上のクラウドエージェントを数日間走らせました。コードは主にC++で、一部がVerilogです。著者は「もっと創造的に」「2倍速を狙おう」といった簡単な指示が大半だったと述べています。Codexは、OpenAIが提供するコーディングエージェントです。
規模と数値
| 項目 | 値 |
|---|---|
| FPGA HBM容量 | 16 GB |
| ベースライン | 6.43 tokens/s |
| 最終実測 | 213.13 tokens/s(33.13倍) |
| 最終クロック | 225/425 MHz |
| 実験回数 | 数百回 |
| 記述コード | 約300万行(実験履歴全体) |
| 解析した出力 | 3,000万行 |
| トークン費用 | $10,000(ClaudeとOpenAI) |
最適化は段階的に進み、Host overhead(8.07)、Burst attention(14.02)、New pipeline(49.21)、Head shadow(94.44)、Draft model(105.63)、Attention overlap(134.99)、Weight packing(171.3)、Re-speculation(184.19)を経て、Parallel head loaderで213.13 tokens/sに達しました。最終段階では、ヘッドローダーが両メモリバンクを同時に読むようにし(同一イメージでの有効・無効比較で+17.3%)、実行時のエキスパート先読み方針とルーターのジョブタイミング修正を加えました。231.25 MHzでの連続動作試験でランダムな不具合が出たため、クロックを一段下げています。
検証条件
著者は出力のビット完全一致を要求しました。このため、エージェントはDeepGrove側から共有された設計知見のうち、低精度の活性値、遅延RMSNorm、8ビットKVキャッシュ、online softmax、16ビット確率といった出力ビットを変える5案をすべて不採用にしました。エージェントの振り返りによると、主要な設計案の多くは知見の共有前から計画に入っており、「何時間もかかる作業をしない」というプロセス面の助言では直ちに作業内容が変わりました。モデルについては、AstraとOpusをほぼ互換的に使えたと著者は述べています。

まだコメントはありません。