Ollama v0.40.17、Apple siliconで同時処理とInkling 2 Mini対応

Ollamaはv0.40.17をリリースし、Apple silicon上で複数のリクエストを同時に処理できるようにしました。あわせてThinking Machinesの「Inkling 2 Mini」(総26B・活性5.4B、SWE-Bench Verified 79.2%)に対応しています。

Ollamaは、オープンなAIモデルを実行・管理するツールです。macOS、Windows、Linuxに対応し、コーディングエージェントとの接続機能も備えています。

Inkling 2 Mini

リリースノートによると、Inkling 2 Miniは層を反復利用(looped layers)する構造です。そのため、モデル規模から想定されるより多くの計算をトークンごとに行います。対応する入出力と機能は、テキスト、画像、ツール呼び出し、思考です。

項目 値
開発元 Thinking Machines
総パラメータ数 26B
活性パラメータ数 5.4B
Macでのメモリ目安 約20GB
SWE-Bench Verified 79.2%

実行コマンドは ollama run inkling-2-mini です。

ollama launchの変更

  • ollama launch claude:Claude Codeのツール遅延読み込みに対応しました。MCPツールを一括ではなく、必要になった時点で読み込みます。
  • ollama launch opencode:モデルのメタデータに基づいて思考オプションを設定します。
  • ollama launch pi:サインイン後にPiのモデル一覧を更新し、プロンプト引数を渡します。
  • ollama launch chatgpt --restore:アクティブなプロファイルを切り替える前に確認し、既存の設定とチャット履歴を保持します。ChatGPTを自分で終了した場合は、ChatGPT自身の終了確認を経て終了します。

GPUメモリとAPIまわりの修正

  • Vulkanは統合GPUでmmapを使うようになりました。これにより、共有メモリGPUで発生していた「Failed to allocate pinned memory」によるモデル読み込み失敗を解消しています。
  • Windowsの統合GPUで、モデルを部分的にオフロードした際にKVキャッシュの割り当てが失敗する問題を修正しました。
  • コンテキストシフト設定を変更しても、モデルを再読み込みしなくなりました。
  • API経由で渡すツール定義について、Ollamaが内部で扱わないJSON Schemaキーワードも削除せず保持します。
  • 思考を無効化すると、設定が無視されず、モデルが対応する最低の推論レベルに割り当てられます。

CLIとビルド

  • 非対話シェルで引数なしの ollama を実行すると、エラーではなくヘルプを表示します。
  • 複数行入力の """ ブロック内でCtrl+CまたはCtrl+Gを押すと、次の行を取り込まずに複数行モードを抜けます。
  • ソースからビルドする場合、ビルド済みのMLX-CおよびXGrammarバイナリを利用できます。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内