Microsoftは2026年9月3日、音声認識モデル「VibeVoice-ASR-Streaming」の公開を発表しました。音声を受け取りながら、誰が何を話したかを順次文字にするモデルで、重みをHugging Face、推論コードをGitHubで提供しています。
話者と発言をまとめて認識
音声を一定の長さに区切り、少し先の音声と、それまでに認識したテキストを組み合わせて処理します。話者を区別する処理を別工程として設けず、音声の到着に合わせて話者と内容を出力します。人名や専門用語などをホットワードとして指定する機能も備えます。
日本語を含む10言語、2つの規模
対応言語は中国語、英語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語です。15億パラメータの1.5B版と70億パラメータの7B版を公開し、ライセンスはMITです。マイク入力や音声ファイルを使えるデモが用意されています。
従来版との違い
従来のVibeVoice-ASRは、最大60分の音声を一括処理し、話者、時刻、発言内容を出力するモデルで、50を超える言語に対応します。ストリーミング版は録音の終了を待たず、音声の区切りごとに結果を返します。公式資料が示す対応言語数は10言語で、従来版とは異なります。
まだコメントはありません。