EmbeddingGemma 2、テキスト・画像・音声・動画を単一空間で埋め込み

EmbeddingGemma 2の論文は、テキスト・画像・音声・動画とそれらの組み合わせを単一の空間でネイティブに表現するオープンなマルチモーダル埋め込みモデルを公開しました。全モダリティの包括的な埋め込みベンチマークで新たなパレートフロンティアを確立し、専門モデルや2〜12倍大きいモデルを上回ったとしています。

Gemmaは、Google DeepMindなどGoogleのチームが開発するオープンなAIモデルのファミリーで、Geminiと共通の研究や技術を基にしています。

何が新しいか

論文は主な改良として次の2点を挙げています。

• 簡略化した層ごとの埋め込み(simplified per-layer embeddings)
• モダリティと学習目的を段階的に進めるマルチステージ・カリキュラム

これにより、単一モダリティ(unimodal)、クロスモーダル、混合モーダル(mixed-modal)の各評価で高い品質を確保するとしています。論文には主要な設計判断を分析したアブレーションも含まれます。

リソース制約下での使い方

EmbeddingGemma 2は、リソースの限られた環境向けに次の調整手段を備えます。

機能	内容
選択的なモダリティエンコーダー読み込み	モダリティエンコーダーを選んで読み込める
ビジョントークン予算	予算を調整できる
埋め込み次元	切り詰めて使える
重み	量子化された重みに対応

公開の位置づけ

論文の著者は、さらなる研究を促す目的でEmbeddingGemma 2をリリースすると述べています。