MobileSpec、iPhone 16 Proで8B専門LLMを一晩学習

arXivで発表されたMobileSpecは、順方向パスだけで個人向け専門LLMを学習するシステムで、iPhone 16 Pro上で8Bモデルを一晩で個人化し、スマホ操作エージェントの成功率を6-23%から最大89-100%に引き上げたと報告しています。

何が新しいか

MobileSpecは、共有のオンデバイスモデルをユーザー固有タスク向けの軽量な専門モデルへ適応させます。メモリ負荷の大きいバックプロパゲーションも、ラベル付きデータも使いません。学習信号には、RLVR(検証可能な報酬による強化学習)と同様に、自動的に検証されたタスク結果を使います。

中核アルゴリズムのFuRA-Sは、事前学習済み重みの列ブロックの特異値(block-spectral coordinates)だけを学習します。論文によると、RLVRによる重み変化は特異値をほぼ保ったまま特異ベクトルを回転させる性質があり、ランダム摂動に基づく順方向のみの更新は、摂動がこの変化に似ているときにだけ効率よく進みます。各ブロックを独立にスケーリングすると重み行列内での相対的寄与が変わり、特異ベクトルが回転するため、FuRA-SはRLVRに近い摂動を生成できます。

数値

項目	値
専門モデルのサイズ	1-5 MB
更新するパラメータの割合	0.015-0.05%
スマホ操作エージェント成功率(学習前)	6-23%
スマホ操作エージェント成功率(学習後)	最大89-100%
個人化したモデル規模	8B(iPhone 16 Proで一晩)

RLVRベンチマークでは、FuRA-Sは全パラメータの進化戦略(ES)と競争力があり、LoRAアダプター上のESおよびINT4モデル上の量子化ESを上回りました。

適用条件

• 学習方式は順方向パスのみです。
• 学習信号は自動検証済みのタスク結果です。
• FuRA-Sの更新は層入力の変換として書き換えられるため、INT4モデルも重みを変更せずに適応できます。
• 実行環境の実例はiPhone 16 Proです。iPhoneはAppleシリコンのチップを搭載するAppleのスマートフォンです。