家庭用GPU1台で11〜12MのポルトガルSLMを自作するarXivチュートリアル

arXivで公開されたチュートリアル「Homebrewed SLMs」は、1台のコンシューマー向けGPUでトークナイザーを含む11〜12Mパラメータのブラジル・ポルトガル語モデルをゼロから学習し、自己回帰生成とマスク拡散生成を1つのネットワークで比較しています。作者はテスト済みPythonパッケージと2つのノートブックを公開し、マスク拡散と自己回帰の差は0.06 bits per byteでした。

何が公開されたか

作者は新手法を提案していません。データセンターなしで専門領域向け小規模モデルを学習・評価する実践手順として、次のものを公開しています。

• テスト済みのPythonパッケージ
• 自己回帰生成とマスク拡散生成を備えたブラジル・ポルトガル語のノートブック2つ
• 事前登録された比較プロトコル
• テキストだけから構築した法律タスク(Kneser-Ney floorと公開モデルを比較基準に使用)
• 11〜12Mパラメータモデルの参照値と、測定で初めて判明した不具合のカタログ

学習と評価の結果

対象はブラジルの散文と連邦法で、1回の学習は数分単位です。

項目	結果
自己回帰モード	同一テキスト64エポックでピーク、その後は記憶
マスク拡散モード	256エポックまで改善
テスト最良点での差	拡散の上界が自己回帰の尤度を0.06 bits per byte上回る(事前登録の最小効果の範囲内)
保持した法律・学習後公開の法令の尤度	同じウィンドウで6-gram floorと同等
学習後公開の法令の続き生成	6-gram floorに負ける
改ざん文検出	6-gram floorには勝つ

公開モデルとの比較

比較対象は160Mと630Mパラメータの公開モデルで、約5×10^2〜10^5倍の計算量で学習されています。法律(laws)では公開モデルが改ざん文検出と続き生成で上回りました。一方、学習データに含まれないジャンルのdecreesでは、floorと公開モデルがチャンス付近以下にとどまり、小規模モデルが相互参照の穴埋めでそれらを上回りました。ただし優位はグループごとの重みを揃えた場合に限られ、項目単位では630Mモデルと同等です。