PFN、翻訳特化LLM「PLaMo 3 Translate 2B」のGGUF版を公開

スペック

総パラメータ2B
コンテキスト長32,768 tokens(訓練時の入力と出力の合計)
ライセンスPLaMo Community License
重みの公開GGUF形式で公開
配布形式・量子化GGUF(量子化。本文ではGGUF Q2_Kにも言及)
4bit量子化の目安メモリ約1.2GB(16GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Preferred Networks(PFN)は、53言語間の翻訳に対応する翻訳特化LLM「PLaMo 3 Translate 2B」をGGUF形式に変換・量子化したpfnet/plamo-3-translate-2b-GGUFをHugging Faceで公開しています。llama.cpp向けの配布版です。

Preferred Networksは大規模言語モデルPLaMoを開発する日本の企業です。

モデルの特徴

PLaMo 3 Translate 2Bは、PFNと情報通信研究機構(NICT)の共同研究で開発した事前学習モデルPLaMo 3 NICTを基盤に、翻訳関連データ数百億トークンで追加学習したモデルです。53言語間の翻訳に加え、周辺コンテキストと用語集の考慮、日本語出力での平易体・丁寧体の選択に対応します。

PFNは、2Bモデルでも比較対象の翻訳特化LLM(TranslateGemma、HY-MT2)を図中の全指標で上回ったと説明しています。評価は日英翻訳をPFTB、SaaS、WMT24++ COMET-22の平均で、多言語翻訳を日本語または英語と14言語間のFLORES+ chrF++の双方向平均で測っています。

サイズと配布形式

PLaMo 3 Translateは0.8B、2B、8B、31Bの4サイズがあり、サイズごとに別リポジトリで以下の形式を提供しています。

形式 2Bのリポジトリ
BF16 pfnet/plamo-3-translate-2b
FP8 pfnet/plamo-3-translate-2b-FP8
W4A16 pfnet/plamo-3-translate-2b-W4A16
W4AFP8 pfnet/plamo-3-translate-2b-W4AFP8
NVFP4 pfnet/plamo-3-translate-2b-NVFP4
GGUF pfnet/plamo-3-translate-2b-GGUF
MLX-4bit pfnet/plamo-3-translate-2b-MLX-4bit

量子化による精度変化について、PFNはGGUF Q2_Kが一部の指標で翻訳精度が低下し、それ以外の形式はBF16に近い精度を保つとしています。

利用条件と使い方の注意

  • ライセンスはPLaMo Community Licenseです。学習や趣味などの個人利用、学術利用を含む非商用利用は事前登録なしで無料です。
  • 訓練時の最大長は入力と出力の合計で32,768 tokensです。長文は一度に翻訳できますが、これを超える場合は入出力合計がこの範囲に収まるよう分割する必要があります。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内