inclusionAI、Qwen3.8-Flash-Next用の5.18Mガードレール「SingProbe」を公開

inclusionAIは、Qwen/Qwen3.8-Flash-Nextを基盤とするストリーミング・ガードレールinclusionAI/Qwen3.8-Flash-Next-singprobe(SingProbe)をHugging Faceで公開しました。パラメータ数は5.18Mで、デコード時のオーバーヘッドは0.5%未満です。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーです。

何が新しいか

SingProbeは別個の安全性モデルを動かしません。基盤モデルが生成中に持つ隠れ状態を再利用し、トークンごとにクエリ意図、応答の安全性、幻覚リスクをスコア化します。原文はこれを「intrinsic streaming guardrail」と呼んでいます。Sing Teamは技術報告をarXivで公開し、学習コードもinclusionAI/SingProbeで提供しています。

仕様と評価

項目	値
プローブのパラメータ数	5.18M
参照する層	[15, 31, 47]
出力	8 intents + unsafe + hallucination
無害応答の誤検知率	5データセット平均0.03%
デコード時オーバーヘッド	< 0.5%

以下の評価結果は、各タスクに記載したベンチマーク群での平均です。指標はいずれも高いほど良い値です。

タスク	指標	SingProbe	参照ベースライン
クエリ意図分類(6ベンチマーク)	F1	0.8728	YuFeng-XGuard-Reason-8B: 0.8714
応答安全性分類(8ベンチマーク)	F1	0.8714	Qwen3Guard-Gen-8B-strict: 0.8604
ストリーミング安全性(3ベンチマーク)	R-AUC / T-AUC	0.9882 / 0.9320	Qwen3Guard-Stream-8B-strict: 0.9640 / 0.8893
幻覚検出(6ベンチマーク)	AUC	0.8063	DRIFT: 0.8000

試し方・要件

SingProbeは、SGLangの統合ブランチ(token-probe-ling3-flash-main)またはvLLMの統合ブランチ(bailing-v3-token-probe)で動作します。サーバーの起動時に、Hugging Face IDでプローブを指定します。

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.8-Flash-Next \
  --probe-ckpt inclusionAI/Qwen3.8-Flash-Next-singprobe \
  --port 30000

統合機能は、生成したトークンごとにlabel_0〜label_9のスコア辞書を返します。基盤モデルはQwen/Qwen3.8-Flash-Nextに限られ、このチェックポイントと組み合わせて使う必要があります。ライセンスはotherです。

SGLangはLMSYSのもとで公開されている推論フレームワークです。vLLMはLLMの推論とAPI配信を担うライブラリで、カリフォルニア大学バークレー校の研究室で開発が始まりました。