Google、330MパラメータのTimesFM-3をリリース

Google Researchが、時系列基盤モデル「TimesFM-3」をリリースしました。パラメータ数は3億3000万で、ネイティブな多変量予測に対応します。モデルの重みは「TimesFM Non-Commercial License v1.0」で提供されます。

モデルの構成と学習データ

TimesFM-3は、20レイヤー、モデル次元1280、アテンションヘッド数16の構成です。トークンあたりのパッチサイズは、連続するタイムステップ32個です。

事前学習には、総計1兆以上のタイムポイントが使われています。出力する分位数は9個で、10thパーセンタイルから90thパーセンタイルまでを対象とします。

モデルの対象タスクは、ゼロショット時系列予測です。複数のターゲットを同時に扱えるほか、過去のみの共変量にも対応します。また、祝日や計画プロモーションなど、過去と未来の共変量を入力できます。

すべての予測モードで、ファインチューニングは不要とされています。