国立情報学研究所 大規模言語モデル研究開発センター（LLMC）は、大規模言語モデル「LLM-jp-4.1」シリーズを公開します。約86億パラメータのDense、約320億パラメータのMoE、約332億パラメータのDenseの3モデルをApache License 2.0で公開し、学習に使用したSFTデータとDPOデータも合わせて公開します。
LLM-jpは、大規模言語モデル研究開発センターが主宰する研究者のコミュニティで、日本語の処理を重視したオープンなモデルの構築を目的に、モデルやコーパス、評価・学習用ツールを公開しているプロジェクトです。
3つの改良点
LLM-jp-4.1は、2026年4月より順次公開しているLLM-jp-4シリーズの事後学習を改善したシリーズです。主な改良点は、STEM分野の性能向上、ツール呼び出しへの新規対応、回答の詳細さの調整の3点で、LLMCはこれらの改良にあたり事後学習に用いる学習データの大幅な拡充と改善を行ったとしています。
STEM分野については学習データを拡充し、評価フレームワーク「swallow-evaluation-instruct」による評価で、数学、科学、指示への追従などにおいて従来のLLM-jp-4の同規模Thinkingモデルを上回る性能を確認したとしています。
外部のプログラムやAPIを呼び出すツール呼び出しには新たに対応し、外部ツールと連携してタスクを実行するエージェントシステムの構築に活用できるとしています。またLLM-jp-4には質問で求められていない内容まで回答に含める傾向があったため、LLM-jp-4.1では要点を簡潔に答えるよう事後学習データを改善し、数学や科学の問題では解答に必要な詳しい説明を維持するようにしています。
公開モデルと学習データ
| モデル | パラメータ数 | 構成 |
|---|---|---|
llm-jp-4.1-8b-thinking |
約86億 | Dense |
llm-jp-4.1-32b-a3b-thinking |
約320億 | Mixture of Experts（MoE） |
llm-jp-4.1-33b-thinking |
約332億 | Dense |
各モデルはApache License 2.0のもとで公開され、利用方法や利用条件はそれぞれのHugging Faceの公開ページで確認します。学習データは、教師ありファインチューニング（SFT）データがllm-jp/llm-jp-4.1-thinking-sft-dataとして、直接選好最適化（DPO）データが3モデルそれぞれに対応するデータセットとして公開されます。
API・チャットサービスの提供条件
LLMCは、モデル公開に加えてAPIエンドポイントとチャットサービスを試験的に提供します。提供は東京大学が開発・運用する「mdx-MaaS」を通じて、主に研究者向けに行われます。mdx-MaaSは学術クラウド基盤mdx1のGPUを使用しています。募集は10月中旬頃から段階的に開始する予定で、利用申請や提供条件はmdx-MaaSのウェブサイトで確認します。
今後の計画
LLMCは次期シリーズ「LLM-jp-4.2」の開発を進めています。学習データのさらなる拡充や強化学習の導入を通じて推論能力やエージェント機能の向上に取り組み、その成果を次期シリーズに反映してオープンな形で公開する方針としています。
まだコメントはありません。