InternLMは、科学インテリジェンスと長期ホライズンのエージェントに向けたマルチモーダル基盤モデル「Intern-S2-397B」を公開しました。総パラメータは397B、ライセンスはApache-2.0で、LMDeploy、vLLM、SGLangでデプロイできます。
何が新しいか
InternLMは、Intern-S2-397Bを事前学習・強化学習のタスクカバレッジ・対話的なエージェント環境の3軸でスケールさせたと説明しています。特徴は次の3点です。
第一に、視覚事前学習によって科学文献の生ページから直接学習し、中間的な解析を介さずに記号意味と視覚的関係を共有表現空間で共同モデリングします。これによりテキストと視覚の対応が保持され、空間的・視覚的推論とデータ効率が向上するとしています。
第二に、20を超える分野にまたがる多様な科学的強化学習タスクをスケールさせて同時学習し、オープンソースモデルの中で先行する汎用推論性能と、生体分子の相互作用設計や材料構造生成といった専門タスクでの結果を示すとしています。
第三に、複数のエージェントフレームワークを大規模なサンドボックス環境に接続したブラックボックスのエージェント強化学習により、汎用・科学の両ドメインで長期ホライズンタスクの汎化と能力上限を高めたとしています。
評価条件
評価にはOpenCompass、VLMEvalKit、AgentCompassを用いています。推論長の条件はベンチマークの種類で分かれます。
| 項目 | 値 |
|---|---|
| テキスト推論ベンチマークの最大推論長 | 256K tokens |
| マルチモーダルベンチマークの最大推論長 | 64K tokens |
公開されている性能比較図では、下線がオープンソースモデル中の最良、太字が全モデル中の最良を示します。
試し方と推奨パラメータ
Intern-S2-397Bは、LMDeploy、vLLM、SGLangのいずれの推論フレームワークでもデプロイできます。各フレームワークの詳細なデプロイ例はdeployment_guide.md(Model Deployment Guide)に掲載されています。
推奨サンプリングパラメータは以下の通りです。
| パラメータ | 推奨値 |
|---|---|
top_p |
0.95 |
top_k |
50 |
min_p |
0.0 |
temperature |
0.8 |
Tool Callingについては、lmdeploy api serverを基盤とするOpenAI互換APIから外部ツールやAPIを呼び出す例が示されています。モデルカードには、天気予報を取得する関数を定義してOpenAIクライアント経由で呼び出すPythonコードが掲載されています。
まだコメントはありません。