NVIDIA、AIファクトリーでHBMの1バイトあたり価値を高めるコデザインを解説

NVIDIAはTechnical Blogの記事「Five Ways NVIDIA Co-Design Maximizes the Value of Every Byte in the AI Factory」で、AIファクトリーにおいてHBMの各バイトから得られる価値を最大化するコデザインを説明しました。NVIDIAは、GPUを含むチップ、コンピューターシステム、ソフトウェアを開発する企業です。

トークン生成に使えるメモリを減らす3つの使い方

NVIDIAは、AIファクトリーにおけるHBMを「最速で、最も高価で、最も競争の激しいメモリ階層」と位置付けています。そのうえで、次の用途にHBMを使うと、その分だけトークン生成に使えるメモリが減ると説明しています。

• 冗長な重みのコピー
• アイドル状態のセッションのKVキャッシュ
• 再計算されたプレフィックス

評価軸は容量から「1バイトあたりの仕事量」へ

記事は、問うべきなのはGPUが搭載するメモリ容量ではなく、各バイトがどれだけ有用な処理を生み出すかだとしています。