inclusionAI、医療特化MoE「LingSante-3.1-flash」560Bを公開

スペック

総パラメータ560B
コンテキスト長1M tokens
ライセンスmit
重みの公開オープンウェイト
4bit量子化の目安メモリ約336GB(512GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

inclusionAIは、医療推論と多段階の医療ワークフロー実行を一体化したオープンウェイトMoEモデル「LingSante-3.1-flash」を公開しました。総パラメータ560B、トークンあたり活性25Bで、1Mトークンのコンテキストに対応します。

何が新しいか

LingSante-3.1-flashはLing-3.1-flashをベースに、Hybrid-linear MoEアーキテクチャをそのまま継承しています。inclusionAIは、複雑な医療推論、医療専門職としてのコミュニケーション、エビデンスに基づく調査(deep research)、長期の医療タスクを対象に挙げています。医療専門職としての振る舞いを測るベンチマークでは、GPT-6 Astraに次ぐ総合2位としています。複雑な医療推論タスクではオープンソースモデルの中で上位の性能だと述べています。

アーキテクチャ

項目 値
Transformer層 63 KDA + 9 Gated MLA (7:1)
Dense層 4
ルーティング対象エキスパート 512
共有エキスパート 1
トークンあたり活性ルーティングエキスパート 8
アテンションヘッド 64
隠れ層次元 4096
エキスパート中間次元 1280
Dense中間次元 10240
語彙サイズ 157184

学習手法

inclusionAIは、事前学習・中間学習・教師ありファインチューニングの全段階で一般データと医療データを併用しました。医療データはドメイン知識と臨床に根ざした学習例を提供し、一般データは推論・コーディング・検索・ツール利用といった汎用能力の維持に役立てる設計です。後学習では医療推論、ツール利用、検索、専門職としての振る舞いに対する強化学習を行い、最後に複数教師によるオンポリシー蒸留で能力を単一モデルに統合しています。背景として、不完全な健康情報、患者間の大きなばらつき、厳格な運用・コンプライアンス要件を挙げています。

提供条件

モデルIDはinclusionAI/LingSante-3.1-flashで、Hugging Face、ModelScopeで配布しています。ライセンスはMIT、pipeline_tagはtext-generationです。Hugging Faceはモデルの重みやデータセットを共有するHugging Face Hubを提供する企業です。

inclusionAIは本モデルを研究・評価向けと位置づけています。医療機器ではなく、診断、処方、治療の独立した根拠として使用してはならないとしています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内