単一GPUのローカルLLM12構成、CyberGym脆弱性再現で27Bが分岐点

研究チームは、単一のコンシューマー向けGPUに収まるオープンウェイトLLMの12構成をCyberGymの脆弱性再現10タスクで評価し、難しいタスクの解決には27Bモデルが必要だったとarXivで報告しました。研究チームは完全な成果物(full artefact)も公開しています。

評価の内容

脆弱性再現は、脆弱性の説明を脆弱なビルドをクラッシュさせる入力へ変換する作業です。原文はこれを、コード理解よりもテスト生成に近い自動分析タスクで、読むのではなく実行が必要なビルドを相手にするものと位置づけています。ローカルで動くモデルはコードをホスト型サービスへ送らずに済む点を、対象とした理由に挙げています。

項目	内容
モデル構成数	12
世代 / アーキテクチャ / 量子化レベル	3 / 2 / 3
タスク	CyberGym脆弱性再現 10個
実行回数	各タスク3回、1つのハーネスで統一
成功判定	脆弱なビルドをクラッシュさせる入力の生成
最小モデル規模	4B

結果

• 4Bモデルを含む全構成が、比較的容易な6タスクの大半を解決しました。構成間の差は残りの4タスクでのみ現れました。
• 難しいタスクでは27Bモデルが必要でした。
• 対応する比較のすべてのペアで、量子化は解決できたタスクを変えず、到達までの速度を変えました。
• Mixture of Expertsは同じスコアに、より短い実時間で到達しました。

エージェントの軌跡分析

研究チームが調べたほぼすべての実行は、失敗例も含めて脆弱な関数を名指しし、正しい仮説を述べていました。解決と未解決を分けたのは、その仮説を実際に動作する入力へ変換できたかどうかでした。