Perplexity、Mac向け推論サーバ「lily」を公開

Perplexityは2026年9月2日(UTC)、Mac向け推論サーバ「lily」をGitHubの公開リポジトリに追加しました。AppleのMetalを使い、Qwen3.6-35B-A3BのMLX形式4ビット版を実行します。

M5以降のMacに対応

必要な環境はM5以降のApple GPUとmacOS 26以降です。対応するモデルと量子化形式は限定され、GGUFやBF16のチェックポイントなどは使えません。生成時は常に最も確率の高いトークンを選び、モデルの思考モードを無効にします。

実行条件を添えて性能を公開

9月2日付の比較資料では、M5 Maxの40コアGPU、128GB統合メモリを使っています。256トークンの文脈で、生成速度はlilyが毎秒194.7トークン、MLX 0.32.2が毎秒148.5トークンで、比率は1.311倍です。測定はプロセス内の生成処理を対象とし、モデル読み込みやHTTP通信の時間は含みません。

重みを用意してサーバを起動

Hugging Faceから指定のチェックポイントを取得し、Rustでリリースビルドした後、モデルの保存先を指定して起動します。OpenAIのチャット補完APIの一部に対応しますが、入力はテキストに限られ、応答のストリーミングやツール呼び出しには対応しません。lily本体のライセンスはApache-2.0です。