IBM Granite、1エンドポイントで会話・判定・音声認識を担うGranite Switch 4.1

IBM Graniteは2026年10月15日、チャット、意思決定、音声認識を1つのホスト型エンドポイントで切り替えて処理するGranite-Switch-4.1-8Bと-30BをHugging Faceで公開しました。3つの機能と基盤モデルを1モデルに統合し、GPUのVRAM使用量は基盤モデル単体とおおむね同程度だとしています。

Hugging Faceは、モデルの重みやデータセット、実行可能なデモを共有するSpacesを扱うHugging Face Hubを提供する企業です。

何が新しいか

Granite Switchは、基盤モデルに複数のActivated LoRA(aLoRA)アダプターを組み合わせるモジュール型のモデル開発方式です。4.1の8B版と30B版には次の3つを組み込んでいます。

構成要素	用途
Decision aLoRA	一般用途の意思決定(例: v1/systemone)
Guardian aLoRA	安全性関連の意思決定タスク
Granite-Speech-5.0-Turbo-CTC	音声の文字起こし(OpenASR Leaderboardで最速)

アダプターはキャッシュ効率を重視したaLoRAとして作られており、基盤モデルの生成時に作ったKVキャッシュを後続のアダプターによる判定で再利用できます。IBM Graniteは、チームによるvLLMへの低ランクアダプター推論高速化の貢献と、同居させたASRエンコーダーにより、チャット・判定・音声リクエストを高速に切り替えられると説明しています。vLLMは、PagedAttentionや連続バッチ処理を備えたLLM推論・API配信ライブラリです。

性能に関する主張

項目	内容
Guardian aLoRA	安全性関連の意思決定タスクで、平均でJev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions、Clef-Flashを上回る
RAGワークフロー	Granite-Switch-4.1-30B(凍結したGranite基盤+特化aLoRA 4個)が、Jev-27B(凍結したQwen基盤+汎用判定LoRA 1個)より5ステップの実世界RAGワークフローを大幅に速く完了
Doom操作	カスタム3B Granite Switchが60–100 decisions/second。Jevの報告値は10 decisions/second。プレイ中に実況や質問への応答も可能

IBM Graniteは、Granite Librariesの特化アダプターが特化型分類タスクで汎用判定モデルを上回るケースが多く、KVキャッシュを共有するため汎用アダプターの横に特化アダプターを追加するコストはほぼかからないとしています。

試し方

• Hugging Faceのモデルカード: ibm-granite/granite-switch-4.1-8b、ibm-granite/granite-switch-4.1-30b
• 関連モデル: ibm-granite/granite-speech-5.0-470m-turboctc、ibm-granite/granitelib-core-r1.0、ibm-granite/granitelib-guardian-r1.0
• Speech-to-Decisions HF Space: granite-switch-4.1-8bが音声の文字起こし、要約、有害コンテンツのスクリーニング、15個以上のユーザー定義フラグのテストを単一エンドポイントでリアルタイムに実行します
• Granite Switch GitHub Repo、ColabでのaLoRAとLoRAの比較(race)

独自構成と今後

8B版と30B版はあらかじめアダプターを組み込んだ構成ですが、Granite Librariesのアダプターを組み合わせて独自のGranite Switchモデルを構成することもできます。IBM Graniteは、Melleaでアダプターを訓練するためのAdapter SDKをチュートリアルとともに今後公開する予定で、数週間内に追加の詳細とデータを出すとしています。