MLXエンジンが提供するSafetensors形式のGemma 4インポートで、画像および音声入力のチャットに対応しました。対応するモデルサイズやチェックポイントによって、利用できる入力形式が異なります。
画像入力の対応範囲
画像入力には、26B、31B、e-series（トランスフォーマータワー）のチェックポイントが対応します。12Bは、エンコーダーフリーの統合エンベッダーによって画像入力に対応します。
未認識のビジョンアーキテクチャはテキスト専用モデルとして読み込まれ、画像リクエストは拒否されます。
音声入力の対応範囲
音声入力には、e2bおよびe4bのチェックポイントに加えて、12bの統合チェックポイントが対応します。e4bはコンフォーマー音声エンコーダーを使用し、12bは生波形を直接エンベッディングします。
一方、26Bと31Bには音声設定がないため、音声入力を拒否します。
音声クリップの最大長は30秒です。30秒を超えるクリップは、最大30秒のチャンクに均等分割され、ポーズで区切られます。各チャンクは独立してエンコードされます。
まだコメントはありません。