PS5LM、脱獄PS5のGPUでllama.cppを動かしQwen 9Bを55トークン/秒

cobanovは、脱獄済みPS5のRDNA 2 GPU上でllama.cppを動かし、GGUFモデルをネットワーク経由で提供するアプリ「PS5LM」を公開しています。PS5 SlimでQwen 3.5 9B(Q4_K_M)を55 tokens a secondで実行でき、モデルとコンテキストには共有メモリのうち11.4 GBを使えます。

llama.cppは、ggml-orgが公開するC/C++実装の推論ソフトウェアで、OpenAI互換APIサーバーを備えています。

何ができるか

PS5LMは、llama.cppのVulkanバックエンドをコンソールのGPUで動かします。稼働中にPC、クラウド、アカウントは必要ありません。llama.cppが認識するアーキテクチャと量子化形式に対応します。

• OpenAI互換の/v1/chat/completions、Anthropic互換の/v1/messages(原文はClaude Codeで動作すると記載)、ブラウザーのチャット画面を提供
• 画像プロジェクターを持つモデル(Gemma 4、MiniCPM-V、d1)で画像入力に対応
• プランナーが各GGUFを読み、空きメモリに収まる最長のコンテキストと最適なキャッシュを割り当て
• Hugging Faceから内蔵ストレージ、M.2ドライブ、USBドライブへモデルを直接ダウンロード
• Consoleページで温度、電力、GPU・CPU負荷を直近2分または1時間分グラフ表示
• Ollayaの仕組みに倣った決定モデル(d1、Clef、OpenJevなど)を実行し、TypeSafeの/v1/systemone APIで選択肢・スコア・真偽を返答

PS5 Slimでの性能

モデル	サイズ	性能
Qwen 3.5 0.8B, Q4_K_M	0.5 GB	207 tokens a second
Qwen 3.5 9B, Q4_K_M	5.3 GB	55 tokens a second
Qwen 3.8 27B, UD-Q2_K_XL	9.2 GB	about 20 tokens a second、64k context
d1 Omni 600M(決定モデル)	1.1 GB	3問を0.3秒、720p画像と7問を2.9秒

要件と導入手順

対象はファームウェア7.00〜13.60で脱獄済みのPS5です。次のpayloadを読み込みます。

payload	用途
kstuff-lite	homebrewが動くためのカーネルパッチ
etaHEN	homebrewサポート
ShadowMountPlus	PS5LMをホーム画面に配置
elfldr(port 9021)	温度・電力・実際の空き容量の取得

これとは別に、アプリのインストールやPCからのモデルコピー用として、ftpsrv(port 2121)の利用を推奨しています。

1. 最新リリースからps5lm-app-vX.Y.Z.zipをダウンロードして展開します。
2. PPSA99575フォルダーをFTPで/data/homebrewへコピーします。
3. ShadowMountPlusがPS5LMをホーム画面に追加します。
4. PS5LMの「Models > Suggested」からモデルを取得します。手動の場合は.ggufを/data/PS5LM/modelsかUSBドライブのPS5LM/modelsへコピーします。
5. モデルを読み込み、HomeがReadyになったらブラウザーでhttp://<PS5のアドレス>:8081を開くか、OpenAI/Anthropic対応クライアントを接続します。モデル名は任意で、読み込み済みのモデルが応答します。

更新時は新しいフォルダーを上書きコピーし、設定・モデル・ダウンロードは/data/PS5LMに残ります。opencode、Codex、Claude Codeからの利用方法はdocs/CLI.mdにあります。

ライセンスなど

PS5LMはGPL-3.0-or-laterで、リポジトリのスター数は290、フォーク数は66です。リポジトリにはSonyのSDKファイル、鍵、ファームウェア、モデルの重みは含まれず、Sony Interactive Entertainmentとは無関係とされています。Hacker Newsでは84ポイント・25コメントを集めました。