Gradium、端末上で動くTTS「Phonon」を約65MBでオープン公開

Gradiumは、サーバーやネットワークなしで端末上で動作するテキスト音声合成モデル「Phonon」をオープンウェイトで公開しました。モデルサイズは約65 MBと約75 MBで、公開後2週間で20万回超ダウンロードされています。

何が新しいか

Phononは入力テキストを端末内に留めたまま音声を合成します。英語、フランス語、ドイツ語、スペイン語、ポルトガル語の5言語に対応し、100以上の内蔵音声、音声クローン、テキストによる音声設計(Gradium Studio)を利用できます。電話番号、日付、コードの読み上げにも対応します。動作環境はスマートフォン、ノートPC、シングルボードコンピューター、ブラウザタブです。

モデルはPocket TTS系譜に基づき、flow matchingで音声を生成します。原文によると、学習は当初数値的に不安定で、5言語すべてで品質を出すために複数の工夫が必要でした。Gradiumは4月にPhononを発表し、その後6か月かけてパートナーや初期ユーザーと開発を進め、モデルの小型化と言語・カスタム音声対応を加えました。

モデル構成とライセンス

• Phonon 31m: 英語対応、Apache 2.0。商用製品を含め無料で利用可能
• Phonon 40m: 5言語対応、非商用ライセンス
• その他のモデル: CC BY-NC。商用利用時の価格は生成音声量ではなく利用者数に基づく

Transformers上で Phonon 31m のパラメータ数は30,788,354、音声トークナイザーは10,305,313です。生成される音声潜在表現は32次元、音声プロンプトのフレームは512次元です。音声クローンには、話者の同意を得た短い録音が必要です。

Open TTS Leaderboardの結果

Hugging FaceのOpen TTS Leaderboardは、23言語で明瞭性(WER)、速度(逆リアルタイム係数、time-to-first audio)、自然さ(英語はUTMOS、韓国語はKOMOS)を評価します。Phononは明瞭性でドイツ語とスペイン語で1位、評価した全言語でトップ3以内に入りました。原文は、最大100倍のサイズのモデルと並ぶ結果としています。CPUストリーミングのtime-to-first audioベンチマークでも首位でした。

試し方・推論環境

Gradiumは専用推論フレームワーク ptts を開発しました。10超のバックエンドに対応します。

種別	対応バックエンド
CPU	Intel、Arm、WebAssembly
GPU	CUDA、Vulkan、Metal、WebGPU
NPU	Apple Core ML、Snapdragon

ptts が端末上の単一ストリームを担うのに対し、Transformers(v5.21以降)はリファレンスのPyTorch実装として、バッチ生成やfull-graphの torch.compile によるGPUスループットを狙います。Transformers統合はHugging Faceが開発しました。手順は次のとおりです。

1. AutoProcessor.from_pretrained(model_id, device_map="auto") と GradiumPhononTTSForConditionalGeneration.from_pretrained(model_id, device_map="auto") で gradium/phonon-31m-en を読み込む
2. gradium/phonon-voices から hf_hub_download と load_file で事前計算済みの音声(話者潜在表現)を取得する
3. processor.apply_chat_template に音声プロンプトとテキストを渡し、model.generate(**inputs) で潜在表現を生成する
4. processor.decode で音声化し、processor.save_audio(audio, "phonon.wav") で保存する

ほかにも、ExecuTorch変換版がブラウザ上で閲覧者のGPUを使ってPhononを動かし、MicdropがNode.jsアプリへの組み込みを提供しています。