MuninAI、自己ホスト型文献エージェントで正解率0.387→0.874

MuninAIは、研究グループが自前の文献コーパスと引用グラフをローカルに保ったまま使える自己ホスト型科学アシスタント用のオープンソース・エージェントフレームワーク「Munin」を、評価スイートとともにarXivで公開しました。199件のペア文献質問で、ハーネスはベースモデルの正解率を0.387から0.874へ引き上げています。

何が新しいか

原文によると、研究グループは「未公開の研究を受け取るホスト型サービス」か「データはローカルに置けるがモデルがコーパスにアクセスできない自己ホスト型」かの二択を迫られてきました。Muninはグループのコーパスと引用グラフをインデックス化し、グループが提供可能な任意のオープンウェイトモデルを、読解・検索・計算の専門ツールを備えたエージェント・ハーネスで包みます。著者らは、専門文献での有用性をもたらすのは特定のモデルではなくハーネスだと主張し、その主張を検証する評価スイートをソフトウェアに同梱しています。

評価結果

項目	結果
ペア文献質問数	199
ベースモデル正解率	0.387
ハーネス利用時正解率	0.874
向上幅	+0.487(95% CI [0.407, 0.568])
出典論文除去時の棄権(Qwen)	正答していた質問の約10問中9問
出典論文除去時の棄権(gpt-oss-20b)	約10問中8問
捏造参考文献300件での捏造ローカル引用	0

単純なretrieve-then-answer方式は、検証したすべてのバックボーンで補助なしモデルを下回りました。ハーネス下では、固定top-5検索と比べて、モデル自身が読んだ箇所に遡れる回答主張がおよそ2倍になっています。この傾向は2つの開発元による3つのバックボーンで成り立ち、その中には単一のコンシューマー向けGPUで動く20Bパラメータのモデルも含まれます。外部ネットワーク接続をすべて無効化した状態でも、両Qwenバックボーンは公開済みのPaperQA2の精度を上回りました。

QwenはAlibaba Cloudが開発する、重みを公開している大規模言語モデルのファミリーです。

試し方

• 研究グループの文献コーパスと引用グラフをMuninでインデックス化します。
• グループで提供可能な任意のオープンウェイトモデルを、Muninのエージェント・ハーネスと読解・検索・計算ツールで包みます。
• 評価スイートは単一コマンドで実行でき、自前のコーパスとモデルで再評価できます。