InternLM、1TパラメータMoEのIntern-S1-Proを公開

InternLMは、総パラメータ1T・512 expertsのtrillion-scale MoEマルチモーダル科学推論モデルIntern-S1-Proを、apache-2.0ライセンスでHugging Faceに公開しました。1トークンあたり8 expertsを活性化し、活性パラメータは22Bです。

モデル構成

pipeline_tagはimage-text-to-textで、化学・材料・生命科学・地球科学などのAI4Science領域に加え、一般的なマルチモーダル性能とテキスト性能を対象としています。学習面ではrouter学習にdense gradientを用いるSTE routingと、収束の安定とexpert parallelismの均衡を狙ったgrouped routingを採用しています。位置エンコーディングにはFourier Position Encoding(FoPE)を用い、アップグレードされた時系列モデリングと組み合わせて10^0–10^6 pointsの長く異種な時系列に対応します。性能評価にはOpenCompassとVLMEvalKitを使用しています。

実行環境とサンプリング設定

1Tパラメータのモデルをネイティブのhugging face forwardメソッドで動かすのは難しいため、InternLMはLLM推論エンジンでホストしてAPI経由で利用することを強く推奨しています。対応フレームワークはLMDeploy、vLLM、SGLangで、デプロイ例はModel Deployment Guideに掲載されています。

推奨サンプリングパラメータは次の通りです。

パラメータ	値
top_p	0.95
top_k	50
min_p	0.0
temperature	0.8

Tool Callingにも対応し、OpenAI互換のインターフェースに従うため、OpenAIライブラリと同じ構文で実装できます。モデルカードにはlmdeploy api serverを前提とした気象情報取得のコード例が掲載されています。

背景

vLLMはPagedAttentionによるメモリ管理や連続バッチ処理、分散推論を備えた推論・API配信ライブラリで、SGLangはLMSYSのもとで公開されている推論フレームワークです。いずれもOpenAI互換APIからモデルを利用できます。