Embedding Gemma Transcribe、M3 MacBook Airで1時間音声を12.6秒

独立プロジェクトの開発者は、Google DeepMindのマルチモーダル埋め込みモデルEmbeddingGemma 2を音声認識モデルに変換した「Embedding Gemma Transcribe」を公開しました。ベースのM3 MacBook Air(8GB)で1時間の音声を12.6秒(288×リアルタイム)で処理し、すべて端末内で完結します。

GemmaはGoogle DeepMindなどGoogleのチームが開発するオープンなAIモデルのファミリーです。EmbeddingGemma 2はApache 2.0で公開されています。このプロジェクトはGoogleと提携しておらず、Googleの承認も受けていません。

何が新しいか

EmbeddingGemma 2はテキスト、画像、音声、動画を単一の共有空間に配置します。声に出した単語の音声は、書かれた単語の近くに位置します。開発者はこの性質を利用し、空間から直接単語を読み出す方式を採りました。

• 音声エンコーダーは一切変更しません。
• 小さな「リーダー」が音声の短い区間をモデルのテキスト空間へ移し、約229,000語の英単語から最も近い語を選びます。
• 句読点と大文字は小型の追加モデルが付与します。
• 学習したのはリーダーだけで、オープンライセンスの英語音声を使い、8×H100で2時間未満です。ベースモデル自体は音声認識用に学習されていません。

速度と精度

モデル	実行	Mac	速度
Embedding Gemma Transcribe	Neural Engine	ベースM3 MacBook Air 8GB	288×(1時間を12.6秒)
IBM Granite Speech 5.0 TurboCTC	GPU(MLX)	ベースM3 MacBook Air 8GB	約150×(1時間を25.7秒)
NVIDIA Parakeet TDT 0.6B v3(FluidAudio)	Neural Engine	M4 Pro	156×
NVIDIA Parakeet TDT 0.6B v3(FluidAudio)	Neural Engine	M5 Pro	335×
Phonon-2(Parakeet v3のファインチューン、FluidAudio)	Neural Engine	M5 Pro	480×

上の2行は開発者が同じベースM3 MacBook Airで測定した値で、下の3行はFluidAudioがより新しく大型のMacと異なる音声で公開したベンチマークです。開発者は直接比較できる順位付けではなく目安としています。

単語誤り率は現時点で約5%で、主要な音声モデルの2〜3%に及びません。開発者は、より良く学習したリーダーで差を縮められると考えており、次のバージョンで取り組むとしています。

試し方・要件

• 対応環境: macOS 14以降、Apple Silicon搭載Mac
• バージョン: v1.6、無料
• モデルは初回起動時にダウンロード(715 MB)
• 音声ファイルを投入して文字起こしするか、Right Optionキーを押しながら話し、離すと任意のアプリへ文字入力します
• MacのNeural Engineで動作し、音声は端末外へ送信されません

Hacker Newsでは239ポイント・58コメントを集めました。