Ollamaは2026年9月29日、TypeSafeのJev APIに基づく意思決定モデルへの対応を発表しました。Ollama 0.35以降で新しい/v1/systemoneエンドポイントを使い、Bespoke LabsのNimble 9Bなど3つのモデルをローカルマシンで実行できます。
OllamaはOllamaプロジェクトが開発する、オープンなAIモデルを実行・管理するツールです。REST APIやPython・JavaScriptのライブラリから呼び出せます。
何が新しいか
意思決定モデルは、テキストをstateとして受け取り、名前付きのquestionsに対してyes/noの判定、選択、スコアを1リクエストでまとめて返します。各選択肢の確率も返ります。Ollamaは、ネットワークを経由せずローカルで実行するため低遅延であり、追加コストがかからない点を挙げています。用途として、チケット振り分け、モデルルーティング、コンテンツ・安全性モデレーションを示しています。
Ollamaによると、MacBook Pro M5 Max上でローカル実行したPac-Manの例で、Nimble 9Bは1判断あたり平均91msでした。ゲーム操作やリアルタイムのコンテンツ処理のような高速な判断に使える速度だとしています。
提供モデルと数値
| 項目 | 内容 |
|---|---|
nimble |
Bespoke Labsが開発したオープンソースの9Bパラメータ意思決定モデル |
tev1 |
Together AIによる実験的な4Bモデル |
tev1:0.8b |
Together AIによる実験的な0.8Bモデル |
| 対応バージョン | Ollama 0.35以降、/v1/systemone |
| Nimble 9Bの平均意思決定時間 | 91ms(M5 Maxでのローカル実行、Pac-Man例) |
ベンチマークは、人間ラベル付きの公開データセット13件、計3,880件の意思決定を対象とした平均精度で示されています。NimbleとTev1はOllama上で評価され、Jev 1.13は同じ意思決定に対するBespoke Labsの公開実行結果です。
チケット振り分けのサンプル応答では、usageの入力トークン数が841、出力トークン数が4でした。
試し方
最初に最新版のOllamaをダウンロードまたはアップグレードし、意思決定モデルを取得します。
ollama pull nimble
リクエストはcurl http://localhost:11434/v1/systemoneに対して送ります。ボディにはmodel、state、名前付きのquestionsを含め、質問のtypeとしてchoice、noul、scoreを指定できます。choiceはcriteriaに選択肢の辞書を、scoreはcriteriaに段階の配列を渡します。応答はanswersに質問名ごとの結果を返し、probabilitiesとconfidenceを含みます。
TypeSafeの公式Python SDKを使う場合は、uv add typesafe-sdkまたはpip install typesafe-sdkでインストールし、TYPESAFE_BASE_URL=http://localhost:11434、TYPESAFE_API_KEY=ollama、TYPESAFE_DEFAULT_MODEL=nimbleを設定します。コードではTypeSafeClientのsystem_oneを呼び出し、質問をChoice、Noul、Scoreで定義します。結果はresult.choices["team"].choice、result.nouls["refund"].noul、result.scores["urgency"].scoreのように取り出します。
今後の予定
Ollamaは今回を意思決定モデル対応の最初のリリースと位置づけ、今後の更新としてOllamaのクラウドで提供するモデルの追加、MLXによるAppleシリコン上での高速化、異なる種類の意思決定に特化したモデルの追加を挙げています。MLXはAppleの機械学習研究チームが開発する配列計算フレームワークで、Appleシリコン向けの機械学習を想定しています。
まだコメントはありません。