ゲート型LLMの極小埋め込みが学習を停止、untiedの52.6%で確認

HF Daily Papersに掲載された論文は、Mamba、Gated DeltaNet、xLSTMなどのゲート型系列モデルで、ノルムが10^{-6}未満の入力埋め込みが勾配を最大35桁増幅し、FP32グローバルノルムクリッピングのオーバーフローを通じて学習更新を黙って失わせる仕組みを示しました。untiedのゲート型・ハイブリッドチェックポイントでは52.6%(20/38)がこの極小埋め込みを含んでいます。

何が起きているか

稀なトークンやテンプレートトークンが事前学習中に入力勾配を受けないまま、AdamWのweight decayでuntied埋め込みが縮小すると、極小ノルムの行が生じます。ゲート型系列モデルでは入力がゼロに近いと現トークンの読み出し係数(SiLUゲートや線形クエリ)が消え、履歴状態の読み出しが抑制されます。残差のRMS値が連続層でRMSNormのフロアの平方根を下回ると、Pre-RMSNormが逆伝播勾配を層あたり最大10^3増幅します。勾配エントリが1.84 × 10^19を超えると、PyTorch、Hugging Face Trainer、FSDP2のFP32グローバルノルムクリッピングが無限大へオーバーフローし、現在のバッチの勾配をゼロにする可能性があります。

Nemotron-3-Nano-4BのTelugu継続事前学習では約20%のステップで更新が破棄され、影響を受けた埋め込み行が凍結しました。テストしたTransformer構成では、非初期位置またはBOSトークンがこの失敗モードを防ぎました。

調査の数値

項目	値
調査したオープンウェイトリポジトリ	291(埋め込みテーブル280種)
極小埋め込みを含むuntied gated/hybrid	20/38(52.6%)
同、weight-tiedモデル	0%
入力埋め込み勾配の増幅	30桁超、最大35桁
Pre-RMSNormの層あたり増幅	最大10^3
オーバーフロー閾値	1.84 × 10^19
Nemotron-3-Nano-4Bで更新破棄されたステップ	約20%

対策: GroupClipとGateFloor

• 公開済みチェックポイント向け: GroupClipは入力埋め込みのクリッピングを64-bitノルムまたは再スケールしたノルムで分離します。再スケール実装は更新損失をなくし、発生した行を1ステップで修復し、測定したエンドツーエンドのオーバーヘッドは無視できる水準でした。
• 事前学習向け: GateFloorはゲートをSiLU(z) + δ(δは0.01〜0.1)とし、入力ゼロでもゲートを正に保ちます。最大370Mパラメータの実験で極小勾配を28桁削減し、perplexityはベースラインと同程度でした。