DeepSeek-AIは2026年4月24日、Mixture-of-Experts（MoE）モデルのプレビュー版ペアで構成する「DeepSeek-V4」シリーズをリリースしました。公開されたモデルの一つが「DeepSeek-V4-Flash」です。
DeepSeek-V4-Flashの仕様
DeepSeek-V4-Flashは、総パラメータ数284B、活性化パラメータ数13Bのモデルです。コンテキストウィンドウは100万トークンで、MITライセンスで提供されます。
アーキテクチャーは43のトランスフォーマー層で構成され、3種類の異なるアテンションを交互に使用します。各層はプレーンな残差接続ではなく、ハイパーコネクション・ブロック内に配置されています。また、各トークンは256エキスパートを経由します。
まだコメントはありません。