Ollama v0.40.9、Apple SiliconでPhonon音声生成とd3判断モデルに対応

Ollamaはv0.40.9を公開し、Apple Silicon上でPhononによる音声生成を可能にしました。あわせて、vLLM Semantic Routerの判断モデルd3(2B・4B・9B・27B)を追加し、FlintをLinuxとWindowsでも動くようにしています。

Ollamaは、オープンなAIモデルを実行・管理するツールで、REST APIやPython・JavaScriptのライブラリから呼び出せます。

Phononによる音声生成(Speech)

OllamaのSpeech機能は、Apple Silicon上でPhononを使って音声を生成できるようになりました。ollama run は、テキストやチャットモデルの返答を、音声の生成と並行して読み上げます。アプリからはOpenAI互換の /v1/audio/speech エンドポイントを通じて音声をストリーミングできます。

ollama run phonon " Hello from Ollama. "

d3判断モデル

d3は、vLLM Semantic Routerの判断モデルをOllamaで使えるようにするモデル群です。テキスト、構造化状態、画像を入力として受け取り、分類、Yes/No回答、確率付きの選択肢スコアリングを行います。

項目 内容
サイズ 2B、4B、9B、27B
入力 テキスト、構造化状態、画像
出力タスク 分類、Yes/No回答、確率付き選択肢スコアリング

入力と質問は --ask で渡します。

ollama run d3 " A customer says their card was charged twice. " --ask " Is this a billing issue? "

FlintのLinux・Windows対応

Flintは、これまでのmacOSに加えてLinuxとWindowsでも動作するようになりました。

その他の改善

  • OpenAI ResponsesとAnthropic Messagesのストリーミング要求で、部分出力の後に黙って終了せず、生成失敗を報告するようになりました。
  • ollama launch は、cloudモデルのコンテキスト長と能力をコーディングツールへ渡すようになり、誤ったコンテキストやcompaction設定を修正しました。
  • Anthropic互換のウェブ検索は、追跡要求でモデルが対応するthinking設定を使うようになり、回避可能な失敗を防ぎます。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内