NVIDIAとMicrosoft、Vera Rubin NVL72のAzure提供とNemotron 3.5展開を拡大

スペック

重みの公開オープンモデル

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

NVIDIAとMicrosoftはMicrosoft Igniteで、Azure上のNVIDIA Vera Rubin NVL72仮想マシンからMicrosoft FoundryでのNemotron 3.5オープンモデル提供、Azure LocalやRTX Spark搭載Windows PCでのAI実行まで、アクセラレーテッドコンピューティングの連携を拡大しました。AzureはMLPerf Training v6.1でDeepSeek-V3を10,240基のNVIDIA GPUにスケールさせています。

Azureのインフラと性能

Vera Rubin NVL72はAzureデータセンターで稼働しており、推論、エージェント型アプリケーション、大規模モデルの学習・推論向けインフラとしてプレビュー提供されています。両社はベアメタルおよびラックスケールAIインフラへの機密コンピューティング拡張にも取り組んでおり、NVIDIA Confidential Computingとアテステーションにより、モデル、データ、鍵を渡す前に計算環境を検証できるとしています。電力効率ではNVIDIA MaxLPSで協業します。

ベンチマーク 構成・モデル 結果
MLPerf Training v6.1 GB200 NVL72、DeepSeek-V3 10,240 GPUs(同ラウンド最大規模)
MLPerf Inference v6.1 GB300 NVL72、DeepSeek-R1 インタラクティブスループットでクラウド提出中10%以上リード(Signal65による)

FoundryでのNemotron 3.5とカスタマイズ

Foundry Managed ComputeはNemotron 3.5 Super(コーディング・調査・業務フローにまたがる長時間稼働エージェント向け)、Lightning(高速応答とツール利用向け)、Embed、Rerank、Parse、Content Safetyを提供します。高スループット・低レイテンシ推論向けのBoltと音声認識向けのTranscribeは近日提供予定です。

  • serverless Programmed Training:基盤インフラはFoundryが管理し、開発者がポストトレーニングのワークフローを制御します。
  • Foundry Managed Compute:カスタムモデル重みのデプロイに対応します。

EYはProgrammed TrainingでNemotronオープンモデルを企業の購買記録分類に適応させ、評価データセットの精度を55%向上させ、プロプライエタリなフロンティアモデル比でコストを15分の1にしました。

ローカル・エッジでの実行環境

  • Foundry LocalでNemotron 3.5のサポートを拡大し、Azure Local環境で推論、コーディング、ツール利用エージェントを実行できます。CosmosなどのNVIDIA physical AIモデルもFoundry Localに加わります。
  • Azure Localはハードウェアパートナー経由でNVIDIA RTX PRO 6000 Blackwell GPUsをサポートし、NVIDIA Jetson Thor、Jetson Orinによるエッジ展開にも対応します。
  • NVIDIA RTX Spark搭載Windows PCでは、Igniteでデバイス上で直接動くローカルLLM体験を実演します。
  • GPUアクセラレーションされたWindows 365 Cloud PCsのDirect Streamは、最大2つの4Kストリームを60 frames per secondで扱います。限定プレビューの登録を受け付けており、パブリックプレビューは2027年初頭の予定です。

Microsoft自身での活用

Microsoft AIはポストトレーニング時の強化学習ロールアウト推論にNVIDIA Dynamoを使い、大規模GPUフリートでの推論、リクエスト管理、モデル更新、障害復旧を調整しています。Bingの検索モデルにはRTX PRO 6000 Blackwell GPUsを使っています。科学分野ではNVIDIA BioNeMo Agent ToolkitとALCHEMI ToolkitがMicrosoft Discoveryのカタログに加わります。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内