0.8Bモデルをllama.cpp WASMでブラウザ実行、注文のサイレントエラー検証デモ

スペック

総パラメータ0.8B
4bit量子化の目安メモリ約0.5GB(16GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

arXivで公開された論文の著者は、PIZZAベンチマーク向けに微調整した0.8Bパラメータの言語モデルを、WebAssemblyにコンパイルしたllama.cppで訪問者のブラウザタブ内だけで実行するWebデモを公開しました。全1,357件のPIZZAテスト注文で、99.0%がサーバー評価と同じ出力になり、exact matchも同じ0.882に達しています。

llama.cppはggml-orgが公開する、C/C++実装の言語モデル推論ソフトウェアです。

何が新しいか

入力された注文を構造化データに変換する小型言語モデルには、2種類の失敗があります。1つはシステムが拒否できる壊れた出力、もう1つは形式は正しいのに誰も入力していない注文を出力する「サイレントエラー」です。著者らの関連研究は後者を危険な方と位置づけており、このデモは訪問者がサイレントエラーを探したり、意図的に起こそうと試したりできる場として作られています。

検証結果

項目 値
モデル規模 0.8B(微調整済み)
評価に使ったPIZZAテスト注文数 1,357
サーバー評価と同じ出力になった割合 99.0%
exact match 0.882(サーバー評価と同値)
レイテンシー測定機 消費者向けノートPC 3台

試し方と動作

  • デモ(https://wrong.cuyor.com)をブラウザで開きます。
  • 注文を入力すると、ページが入力中に注文を解析します。
  • 各チケットは、PIZZAベンチマーク独自のmatcherをTypeScriptへ移植した評価機能でスコアリングされます。
  • メニュー外の注文には ? を返して拒否するため、オープンなWeb上でモデルを公開できます。
  • 推論はすべてブラウザタブ内で完結し、注文テキストはデバイス外へ送信されません。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内