piotr-ai、多言語対応3.7Bモデルを公開

多言語対応モデルのチェックポイントを公開

piotr-aiは、多言語対応のTiny（3.7B）推論特化型Mixture-of-Expertsモデルのチェックポイントを公開しました。モデルは、Hugging Faceの「polanka_3.7b_exp_wip_260901」ページで提供されています。

13言語に対応

対話対象言語は、ポーランド語、英語、中国語、チェコ語、スロバキア語、ウクライナ語、ロシア語、イタリア語、スペイン語、フランス語、ドイツ語、ポルトガル語、リトアニア語の13言語です。

ポーランド語、英語、中国語については、追加のアップスケールデータを使用しています。

学習環境

モデルは、事前学習、中期学習、ファインチューニングを実施しています。トレーニングはNVIDIA RTX 4090を1基だけ使用するシングルGPU環境で、数カ月かけて行われました。