語彙トリミング手法、Hub上1,244モデルの「語彙税」を測定

arXivで公開された論文「The Vocabulary Tax: Safely Trimming Unused Tokens from LLMs for On-Device Use」は、Hugging Face Hub上の生成モデルと音声認識モデル1,244個について、配備で使わないトークン行が占める容量(語彙税)を重みをダウンロードせずに測定しました。タイ語・英語配備では、0.5B未満のモデルで語彙税がモデルバイトの中央値4.4%を占め、Gemma 4 E2Bでは1.93 GBに達します。論文はあわせて、BPEトークナイザーを壊さずにトリミングするmerge closureと、分割差を事前に推定するtrim certificateを提案しています。

Hugging Face Hubは、モデルの重みやデータセットを共有する機械学習の共同開発基盤です。GemmaはGoogleのチームが開発するオープンなAIモデルのファミリーです。

何が新しいか

オープンなLLMや音声モデルの語彙は最大262kトークンあります。利用者は必要な言語にかかわらず、入力埋め込み、tieされていない出力ヘッド、近年のオンデバイスモデルでは層ごとの埋め込み表までダウンロードします。論文は、このうち配備で使われない行のバイト数を「語彙税」と定義しました。語彙税は、エッジ端末で動く小規模モデルほど重くなります。

配備先の書記体系に対応する行だけを残す方法は、分割結果を変えません。ユーザー自身のテキストに出現したトークンだけを残す方法は、削減量がずっと大きくなります。ただし従来のやり方では、BPEマージの土台になる中間トークンまで削除してしまいます。その結果、新しいテキストの分割が変わる頻度は、標準的なチェックが報告する値の1.9倍になります。論文の手法は次の2つでこの問題に対処します。

  • merge closure: マージに必要な中間トークンを残します。残す行は5.9%増えます。
  • trim certificate: トリミングに使ったテキストだけからGood-Turing推定を行い、新しいテキストの分割が変わる割合と、目標を満たすのに必要な追加テキスト量を推定します。

主な数値

項目 値
調査モデル数 1,244(生成・音声認識)
語彙税(タイ語・英語、0.5B未満) 中央値4.4%
語彙税(タイ語・英語、8B超) 中央値2.1%
Gemma 4 E2Bの語彙税 1.93 GB
出現トークンのみ保持した場合の削減(0.5B未満) 中央値29.0%
merge closureによる追加行 5.9%
certificateの相関 0.996(22言語・300設定)
テストデータなしでの分割差 2%目標を一度も超えない
従来のkeepルール(テストデータで確認) 44設定中9〜13設定で2%超

モデルの予測が保たれるかどうかは、270M〜3Bパラメータの6モデルを11言語で評価しました。certificateを通過した設定では、中央値89.7%の行を削除しても、bits per characterの上昇は最大2.0%でした。

提供形態

研究チームは、語彙の測定(census)、トリミング、trim certificateをオープンなPythonパッケージとして公開しました。41言語分のモデル別語彙税データも、オープンなデータセットとして公開しています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内