inclusionAIは、医療推論と多段階の医療ワークフロー実行を一体化したオープンウェイトMoEモデル「LingSante-3.1-flash」を公開しました。総パラメータ560B、トークンあたり活性25Bで、1Mトークンのコンテキストに対応します。
何が新しいか
LingSante-3.1-flashはLing-3.1-flashをベースに、Hybrid-linear MoEアーキテクチャをそのまま継承しています。inclusionAIは、複雑な医療推論、医療専門職としてのコミュニケーション、エビデンスに基づく調査(deep research)、長期の医療タスクを対象に挙げています。医療専門職としての振る舞いを測るベンチマークでは、GPT-6 Astraに次ぐ総合2位としています。複雑な医療推論タスクではオープンソースモデルの中で上位の性能だと述べています。
アーキテクチャ
| 項目 | 値 |
|---|---|
| Transformer層 | 63 KDA + 9 Gated MLA (7:1) |
| Dense層 | 4 |
| ルーティング対象エキスパート | 512 |
| 共有エキスパート | 1 |
| トークンあたり活性ルーティングエキスパート | 8 |
| アテンションヘッド | 64 |
| 隠れ層次元 | 4096 |
| エキスパート中間次元 | 1280 |
| Dense中間次元 | 10240 |
| 語彙サイズ | 157184 |
学習手法
inclusionAIは、事前学習・中間学習・教師ありファインチューニングの全段階で一般データと医療データを併用しました。医療データはドメイン知識と臨床に根ざした学習例を提供し、一般データは推論・コーディング・検索・ツール利用といった汎用能力の維持に役立てる設計です。後学習では医療推論、ツール利用、検索、専門職としての振る舞いに対する強化学習を行い、最後に複数教師によるオンポリシー蒸留で能力を単一モデルに統合しています。背景として、不完全な健康情報、患者間の大きなばらつき、厳格な運用・コンプライアンス要件を挙げています。
提供条件
モデルIDはinclusionAI/LingSante-3.1-flashで、Hugging Face、ModelScopeで配布しています。ライセンスはMIT、pipeline_tagはtext-generationです。Hugging Faceはモデルの重みやデータセットを共有するHugging Face Hubを提供する企業です。
inclusionAIは本モデルを研究・評価向けと位置づけています。医療機器ではなく、診断、処方、治療の独立した根拠として使用してはならないとしています。

まだコメントはありません。