NVIDIA Vera Rubin NVL72、MLPerf Endpoints v1.0でエージェント推論首位

NVIDIAは技術ブログで、推論システムNVIDIA Vera Rubin NVL72がMLPerf Endpoints v1.0においてエージェント型推論性能をリードしたとする記事を公開しました。NVIDIAはGPUを含むチップ、コンピューターシステム、ソフトウェアを開発する企業です。

何が発表されたか

NVIDIAによると、Vera Rubin NVL72はMLPerf Endpoints v1.0のエージェント型推論でトップの性能を示しました。

MLPerf Endpoints v1.0の評価内容

MLPerf Endpoints v1.0は、APIを通じたコーディングおよびエンタープライズワークフローを用いて、推論システムのサービング能力(serving capacity)と応答性(responsiveness)のバランスを評価するベンチマークです。

項目 内容
ベンチマーク MLPerf Endpoints v1.0
対象システム NVIDIA Vera Rubin NVL72
ワークロード コーディング、エンタープライズワークフロー
アクセス方法 API経由
評価軸 サービング能力と応答性のバランス

背景:エージェント型ワークロードの負荷

NVIDIAは、エージェント型ワークロードが推論システムへの要求を高めていると説明しています。AIエージェントはターンをまたいで増え続ける会話履歴を保持し、推論、ツール呼び出し、応答を混在させて生成します。そのため推論システムには、大規模なユーザーを処理しながら応答性を保つことが求められ、MLPerf Endpoints v1.0はこの両立を測る設計になっています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内