NVIDIAは技術ブログで、NVIDIA DGX Spark上のMoE推論を高速化する3つの方法を紹介しました。Inclusion AIのLing-3.0-flashをバッチサイズ1で評価したプロファイリングでは、デコードがメモリ帯域律速であり、モデル重みの読み出しが実行時間を左右していました。
背景
NVIDIA DGX Sparkは、NVIDIAが提供する机上でAIモデルや自律エージェントを実行するための小型コンピューターです。Grace Blackwellのチップと共有メモリを搭載し、NVIDIAのAIソフトウェア群を利用できます。
プロファイリングで見えたボトルネック
原文は、トークン生成を速くする出発点は推論性能を制限している要因の特定だと述べています。Ling-3.0-flashをバッチサイズ1で評価した結果、デコードはメモリ帯域律速で、モデル重みの読み出しが実行時間を支配していました。
処理のなかで目立ったのは次の2つです。
| 項目 | 内容 |
|---|---|
| 評価モデル | Ling-3.0-flash(Inclusion AI) |
| 評価環境 | NVIDIA DGX Spark |
| 推論条件 | バッチサイズ1 |
| 支配的な要因 | モデル重みの読み出し(メモリ帯域律速) |
| 目立った処理1 | MoE(mixture-of-experts)計算 |
| 目立った処理2 | モデル全体のスコアを生成する出力層の射影 |
まだコメントはありません。