inclusionAIは、医療特化モデル「Ling-3.0-flash-Sante」のFP8量子化版 inclusionAI/Ling-3.0-flash-Sante-fp8 をHugging Face、ModelScope、Vercelで公開しました。総124B・活性5.1BのMoEで、医療系ベンチマークの平均スコアはBF16版と同じ73.9です。
何が新しいか
Ling-3.0-flash-Sante-fp8は、Ling-3.0-flashを基にした医療特化モデルLing-3.0-flash-Santeのデプロイ向け量子化版です。名前はフランス語で「健康」を意味する santé に由来します。専門家重みにブロック単位のFP8 E4M3量子化(ブロックサイズ128 × 128)を適用し、Ling-3.0-flash-fp8と同じFP8レシピに従っています。重みのメモリ使用量を減らし、ネイティブFP8対応ハードウェアでの推論効率を高めることが狙いです。
アーキテクチャはKimi Delta Attention(KDA)、ゲート付きMLA、スパースMoE層を組み合わせたハイブリッド線形MoEで、学習時のコンテキスト長は256K tokensです。対象は専門医療タスク、複雑な医療推論、医療知識、医療安全に加え、深層調査、ツール利用、マルチエージェント協調です。推論(Thinking)モードはチャットテンプレートでデフォルト有効で、対応サービングフレームワーク経由でツール呼び出しも使えます。ライセンスはMITです。
BF16版との評価比較
| ベンチマーク | BF16 | FP8 |
|---|---|---|
| 平均 | 73.9 | 73.9 |
| Healthbench Professional | 54.3 | 52.9 |
| ReDisQA | 89.7 | 90.6 |
| MedXpertQA-Text | 51.0 | 50.5 |
| MedQA-USMLE | 94.2 | 94.5 |
| MedMCQA | 80.3 | 81.1 |
評価は temperature=1.0、top_p=0.95、推論努力は両チェックポイントとも最上位で、プロンプトとデコード設定は共通です。MedMCQAは標準のvalidationセットを使っています。
試し方・要件
SGLangのLing-3.0対応イメージを使います。
docker pull lmsysorg/sglang:dev-Ling-3.0-flash
公式例では、141GBクラスのGPU 4台または互換の4 GPU Blackwellノードで、256Kコンテキストのサーバーを --tp 4 --ep-size 4 --context-length 262144 --speculative-algorithm NEXTN --mem-fraction-static 0.8 で起動します(環境変数 SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1)。H100またはH800では同じ主要設定で --tp 8 --ep-size 8 を使います。SGLangはチェックポイントの quantization_config からFP8形式を読み取るため、量子化フラグの追加は不要です。
リクエストはOpenAI互換APIの http://localhost:30000/v1/chat/completions に送ります。サンプルでは temperature 0.6、top_k 20、top_p 0.95を指定しています。
SGLangはLMSYSのもとで公開されている推論フレームワークで、OpenAI互換APIに対応します。
利用上の条件
inclusionAIは本モデルを研究用モデルと位置づけ、医療機器ではなく、専門的な医療助言・診断・治療の代替にしてはならないとしています。量子化によって想定用途の範囲は変わりません。高リスク用途では資格を持つ人間によるレビュー、独立検証、プライバシー・セキュリティ・医療規制への準拠が必要です。またFP8の数値挙動や性能はランタイム、カーネル、ハードウェア、並列化設定で変わるため、本番利用前に独自ワークロードでの検証を求めています。
まだコメントはありません。