NVIDIAとInferact、非同期RL手法REINFORCE Zeroで同期比2.40倍

NVIDIA ResearchとInferactは2026年11月6日、rolloutと学習側のカーネルをビット単位で一致させ、クリップしない重要度サンプリング(IS)で重み遅延を補正する非同期強化学習手法「REINFORCE Zero」をvLLM Blogで発表しました。整合カーネルを使う同期学習に対し、学習ステップスループットは2.40×(68.55 vs 164.77 hours)です。

DeepSeekは深度求索が展開するAI開発企業・ブランドで、KimiはMoonshot AIが開発するAIモデルのファミリーです。

何が新しいか

非同期RLは古い重みで生成したサンプルで学習するため、rolloutとlearnerの間に2種類のずれが生じます。原文はlogprobの差を「重み遅延」と「カーネル差異」に分解しています。重み遅延は滑らかに変化し、ISで補正できます。カーネル差異はバッチ構成や数値実行に依存して揺らぎ、ISを使っても残ります。REINFORCE Zeroはカーネル差異をビット単位の整合で0にし、残る重み遅延をクリップなしのISで補正します。sample-rejection gateは使いません。

手法は次の3点で構成されます。

• rolloutとlearnerのカーネルを整合させ、同じ重みとトークンに対して同じlogprobを計算する
• rolloutが記録した各トークンのlogprobでlearner自身の確率を割ったトークン単位の重要度比を、クリップ・切り捨て・フィルタリングなしで使う
• plain REINFORCEを最適化する。アドバンテージは各応答の報酬からグループ平均報酬を引いた値で、応答内のトークンを平均する。value modelとrejection gateは使わない

検証結果

DeepSeek-R1-Distill-Qwen-1.5Bでは、重要度重みの偏差D3のピーク/中央値比が整合カーネルで1.50×、標準カーネルで442.54×でした。

項目	結果
同期学習(整合カーネル)比の学習ステップスループット	2.40×(16 GPUs、12K updates、68.55 vs 164.77 hours)
標準カーネルでの中央値rollout-to-learner KL	最初と最後の1,000更新の間で83.33×に増加
標準カーネルでのAIME24 pass@1	34.27% → 13.96%
クリップ前の最大勾配ノルム	標準38.27 / 整合0.0555
シーケンスゲートの拒否率(最終1,000更新)	24.48%(REINFORCE Zeroは0)
Qwen3-4B、policy lag 64、5,000 updates	平均報酬 0.287 → 約0.78
Qwen3-30B-A3B(ツール使用、3,000 updates)	macro pass@1 31.29% → 71.55%
Nemotron-3-Nano-Omni-30B、OSWorld(428 updates)	pass@1 50.97% → 56.16%

REINFORCE Zeroは20,000 updatesにわたって安定して学習し、KLも横ばいを保ちました。1.5Bの推論タスクを6,000 updatesで比べると、macro pass@1は同期学習が48.91%、REINFORCE Zeroがlag 2で48.80%、lag 8で48.53%です。標準カーネルを使った変種(IS 45.32%、IS+sequence gate 46.79%、IS+token gate 44.59%)はいずれもこれを下回りました。

整合カーネルを使うコストもあります。OSWorldの平均ステップ時間はREINFORCE Zeroが944.25 sで、標準カーネル+sequence gateの884.17 sより6.8%長くなりました。

フラッグシップモデルとAMDでのゼロミスマッチ

• DeepSeek-V4.1-Flash: FP8・MXFP4重み、MegaMoE、sliding-window sparse attention、DSpark speculative decoding、CUDA graphsをリリース精度のまま使います。16 nodes × 4 GB200、128K contextのSWE-bench Pro agentic RLで、全ステップdiff 0を維持しました。DAPO rollout(128 trajectories per node、最大8K tokens)では、fast baselineの10%以内の速度を保っています。prefix cacheのヒット時とミス時でlogprobが一致することも重視しています。
• Kimi K3.1: day-0のvLLM対応にゼロミスマッチRLを含めました。KDA linear attentionではdecodeがprefillと同じ演算を繰り返すように修正しています。4 nodes × 4 GB300でLoRAを使った100 DAPO stepsがdiff 0を保ち、AIME 24/25/26 mean@8は0.451から0.664に上がりました。
• AMD MI355X: DeepSeek-V4-Flashは4 nodes × 8 MI355Xで、resumeをはさんでも36 GRPO stepsにわたりdiff 0を維持しました。二分探索でバッチ差異の発生源を10個特定しています(hipBLASLt、AITER/CK、Triton、TileLangによる形状依存のカーネル選択など)。ビットを保つ最適化により、サービングスループットの低下は62–66%から7.4–10.1%に縮まりました。

試し方

• 論文の学習コードはNVIDIA-NeMo/labs-moltにあります。
• 全体の成果はInferact/zero-mismatch-rlにまとまっています。
• AMD向けのレシピとイメージはverl#8505です。
• MI355XではVLLM_BATCH_INVARIANTで一貫版と高速版を切り替えます。
• 新しいモデルのカーネル整合には、前回の記事で紹介したagent skillを使います。