オーディオ言語モデル「Sori-1B」が公開

snkii/Sori-1Bというオーディオ言語モデルが公開されました。NVIDIAの凍結されたAudio Flamingo Nextエンコーダーを再利用し、デコーダーをテキストのみの事前学習なしで、オーディオとテキストのペアだけを使ってゼロから訓練した点が特徴です。

詳細

モデル全体の規模は約1Bパラメータで、エンコーダーが61.5%を占めます。デコーダー、埋め込み、出力ヘッド、および音声の概念カテゴリから作った独自トークナイザーをゼロから学習しました。学習には約7,400時間、475万例のデータが使われ、3台のRTX 4090で実施されました。

テキストのみで事前学習した従来型のモデルは、テキスト側の事前知識に頼りやすいとされています。投稿では、Audio Flamingo 3系のモデルがオーディオを無音に置き換えてもMMAUベンチマークで偶然を上回るマージンの約74%を保つと指摘し、Sori-1Bはオーディオに根ざした応答を狙ったとしています。

対応するタスクは、選択式問題(MCQ)、オープン形式の質問応答、キャプショニング、音声認識(ASR)です。推論エンドポイントのハンドラー、合成オーディオのターミナルデモ、MMAU test-miniの評価スクリプトが含まれます。

公開状況

ウェイトはNVIDIAのエンコーダーを再配布するため、非商用・学術利用に限定されたライセンスで提供されます。Hugging Faceのリポジトリは、現時点で「準備中(coming soon)」とされています。