arXivで公開された論文の著者は、PIZZAベンチマーク向けに微調整した0.8Bパラメータの言語モデルを、WebAssemblyにコンパイルしたllama.cppで訪問者のブラウザタブ内だけで実行するWebデモを公開しました。全1,357件のPIZZAテスト注文で、99.0%がサーバー評価と同じ出力になり、exact matchも同じ0.882に達しています。
llama.cppはggml-orgが公開する、C/C++実装の言語モデル推論ソフトウェアです。
何が新しいか
入力された注文を構造化データに変換する小型言語モデルには、2種類の失敗があります。1つはシステムが拒否できる壊れた出力、もう1つは形式は正しいのに誰も入力していない注文を出力する「サイレントエラー」です。著者らの関連研究は後者を危険な方と位置づけており、このデモは訪問者がサイレントエラーを探したり、意図的に起こそうと試したりできる場として作られています。
検証結果
| 項目 | 値 |
|---|---|
| モデル規模 | 0.8B(微調整済み) |
| 評価に使ったPIZZAテスト注文数 | 1,357 |
| サーバー評価と同じ出力になった割合 | 99.0% |
| exact match | 0.882(サーバー評価と同値) |
| レイテンシー測定機 | 消費者向けノートPC 3台 |
試し方と動作
- デモ(
https://wrong.cuyor.com)をブラウザで開きます。 - 注文を入力すると、ページが入力中に注文を解析します。
- 各チケットは、PIZZAベンチマーク独自のmatcherをTypeScriptへ移植した評価機能でスコアリングされます。
- メニュー外の注文には
?を返して拒否するため、オープンなWeb上でモデルを公開できます。 - 推論はすべてブラウザタブ内で完結し、注文テキストはデバイス外へ送信されません。

まだコメントはありません。