NVIDIAは技術ブログで、推論システムNVIDIA Vera Rubin NVL72がMLPerf Endpoints v1.0においてエージェント型推論性能をリードしたとする記事を公開しました。NVIDIAはGPUを含むチップ、コンピューターシステム、ソフトウェアを開発する企業です。
何が発表されたか
NVIDIAによると、Vera Rubin NVL72はMLPerf Endpoints v1.0のエージェント型推論でトップの性能を示しました。
MLPerf Endpoints v1.0の評価内容
MLPerf Endpoints v1.0は、APIを通じたコーディングおよびエンタープライズワークフローを用いて、推論システムのサービング能力(serving capacity)と応答性(responsiveness)のバランスを評価するベンチマークです。
| 項目 | 内容 |
|---|---|
| ベンチマーク | MLPerf Endpoints v1.0 |
| 対象システム | NVIDIA Vera Rubin NVL72 |
| ワークロード | コーディング、エンタープライズワークフロー |
| アクセス方法 | API経由 |
| 評価軸 | サービング能力と応答性のバランス |
背景:エージェント型ワークロードの負荷
NVIDIAは、エージェント型ワークロードが推論システムへの要求を高めていると説明しています。AIエージェントはターンをまたいで増え続ける会話履歴を保持し、推論、ツール呼び出し、応答を混在させて生成します。そのため推論システムには、大規模なユーザーを処理しながら応答性を保つことが求められ、MLPerf Endpoints v1.0はこの両立を測る設計になっています。

まだコメントはありません。