arXivで公開された論文「The Vocabulary Tax: Safely Trimming Unused Tokens from LLMs for On-Device Use」は、Hugging Face Hub上の生成モデルと音声認識モデル1,244個について、配備で使わないトークン行が占める容量(語彙税)を重みをダウンロードせずに測定しました。タイ語・英語配備では、0.5B未満のモデルで語彙税がモデルバイトの中央値4.4%を占め、Gemma 4 E2Bでは1.93 GBに達します。論文はあわせて、BPEトークナイザーを壊さずにトリミングするmerge closureと、分割差を事前に推定するtrim certificateを提案しています。
Hugging Face Hubは、モデルの重みやデータセットを共有する機械学習の共同開発基盤です。GemmaはGoogleのチームが開発するオープンなAIモデルのファミリーです。
何が新しいか
オープンなLLMや音声モデルの語彙は最大262kトークンあります。利用者は必要な言語にかかわらず、入力埋め込み、tieされていない出力ヘッド、近年のオンデバイスモデルでは層ごとの埋め込み表までダウンロードします。論文は、このうち配備で使われない行のバイト数を「語彙税」と定義しました。語彙税は、エッジ端末で動く小規模モデルほど重くなります。
配備先の書記体系に対応する行だけを残す方法は、分割結果を変えません。ユーザー自身のテキストに出現したトークンだけを残す方法は、削減量がずっと大きくなります。ただし従来のやり方では、BPEマージの土台になる中間トークンまで削除してしまいます。その結果、新しいテキストの分割が変わる頻度は、標準的なチェックが報告する値の1.9倍になります。論文の手法は次の2つでこの問題に対処します。
- merge closure: マージに必要な中間トークンを残します。残す行は5.9%増えます。
- trim certificate: トリミングに使ったテキストだけからGood-Turing推定を行い、新しいテキストの分割が変わる割合と、目標を満たすのに必要な追加テキスト量を推定します。
主な数値
| 項目 | 値 |
|---|---|
| 調査モデル数 | 1,244(生成・音声認識) |
| 語彙税(タイ語・英語、0.5B未満) | 中央値4.4% |
| 語彙税(タイ語・英語、8B超) | 中央値2.1% |
| Gemma 4 E2Bの語彙税 | 1.93 GB |
| 出現トークンのみ保持した場合の削減(0.5B未満) | 中央値29.0% |
| merge closureによる追加行 | 5.9% |
| certificateの相関 | 0.996(22言語・300設定) |
| テストデータなしでの分割差 | 2%目標を一度も超えない |
| 従来のkeepルール(テストデータで確認) | 44設定中9〜13設定で2%超 |
モデルの予測が保たれるかどうかは、270M〜3Bパラメータの6モデルを11言語で評価しました。certificateを通過した設定では、中央値89.7%の行を削除しても、bits per characterの上昇は最大2.0%でした。
提供形態
研究チームは、語彙の測定(census)、トリミング、trim certificateをオープンなPythonパッケージとして公開しました。41言語分のモデル別語彙税データも、オープンなデータセットとして公開しています。

まだコメントはありません。