Ai2、RLVR学習の32BモデルOLMo-2-0325-32B-Instructを公開

スペック

総パラメータ32B
ライセンスApache 2.0
重みの公開オープンウェイト
4bit量子化の目安メモリ約19.2GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Allen Institute for AI(Ai2)は、OLMo-2 32B March 2025をポストトレーニングしたallenai/OLMo-2-0325-32B-InstructをHugging Faceで公開しました。Apache 2.0ライセンスの32Bモデルで、原文の評価表ではAverage 68.8、GSM8k 87.6、IFEval 85.6を記録しています。

何が新しいか

Ai2はベースモデルに対し、Tülu 3データセットのOLMo向け派生版で教師ありファインチューニングを行い、続いてDPO、最後にRLVRで学習しました。最終段階の学習元はallenai/OLMo-2-0325-32B-DPOです。RL微調整の研究向けに、RLVR学習中の中間チェックポイントを20学習ステップごとに保存し、リポジトリのリビジョンとして公開しています。主な対応言語は英語です。

ベンチマーク

指標 OLMo-2-32B-0325-Instruct
Average 68.8
AlpacaEval 2 LC 42.8
BBH 70.6
DROP 78.0
GSM8k 87.6
IFEval 85.6
MATH 49.7
MMLU 77.3
Safety 85.9
PopQA 37.5
TruthQA 73.2

同じ表で、DPO段階のモデルはAverage 68.8、SFT段階は61.7です。RLVR後のInstructはDPO版に比べGSM8k(85.7→87.6)、IFEval(83.8→85.6)、MATH(46.8→49.7)が上がり、Safetyは91.9から85.9に下がっています。比較対象としてQwen2.5-32Bは66.5、Mistral-Small-24Bは67.6、GPT 4o Mini 2024-07-18は65.7、Llama-3.3-70Bは73.0です。

試し方・要件

モデルカード記載時点ではOLMo 2対応がTransformersの次版で予定されているため、mainブランチからインストールします。

pip install --upgrade git+https://github.com/huggingface/transformers.git

読み込みはfrom transformers import AutoModelForCausalLMの後、AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0325-32B-Instruct")です。チャットはトークナイザー組み込みのtokenizer.apply_chat_templateを使えます。従来のOLMo 2やTülu 3と異なり、テンプレート先頭にBOSトークンはありません。中間チェックポイントはrevision="step_200"のようにリビジョン指定で取得します。

Ai2のデモでは既定のシステムプロンプトにYou are OLMo 2, a helpful and harmless AI Assistant built by the Allen Institute for AI.を使っていますが、モデル自体は特定のシステムプロンプトを前提に学習していません。

背景と制約

OLMoは言語モデルの科学的研究を支援するためのシリーズで、Dolmaで学習されています。Ai2はコード、チェックポイント、ログ、学習の詳細をすべて公開するとしています。一方で安全性のための学習は限定的で、ChatGPTのような応答のその場での自動フィルタリングはなく、特に誘導された場合に問題のある出力を生成する可能性があるとAi2は述べています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内