Microsoft、2.3BのSLM「Aion 1.0 Instruct」をMITで公開

スペック

総パラメータ2.3B
コンテキスト長32K tokens
ライセンスMIT
重みの公開非量子化モデルを先行公開、量子化版は後日公開予定
配布形式・量子化非量子化(量子化版は後日)
4bit量子化の目安メモリ約1.4GB(16GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Microsoft Windows Applied Sciences Groupは、Windowsエコシステム向けの基盤SLM「Aion 1.0 Instruct」(microsoft/Aion-1.0-Instruct-2.3B)をHugging FaceでMITライセンスのもと公開しました。総パラメータ数は2.3B、コンテキストウィンドウは32K tokensです。

何が新しいか

Aion Instructは、オンデバイスAI、テキスト処理、OS関連用途に最適化したモデルです。Microsoftは、クラウドへの常時接続なしで応答性、プライバシー、コスト効率を狙うと説明しています。学習データは前世代のWindows OS SLMであるPhi Silicaの学習データを拡張したもので、品質で厳しくフィルタした公開文書と、数学・コーディング・常識推論・世界知識を教えるための新規合成データで構成します。

Microsoftは、Aion Instructをさらに最適化した版を同社のコンテンツモデレーションモデルと組み合わせ、2027年1月末までにWindows OS SLMとして一般提供する予定です。今回のHugging Face版は、その導入と透明性確保、フィードバック収集を目的としています。

仕様

32Kトークンのコンテキストにより、複数ページの文書、長いメールスレッド、複雑な技術仕様をデバイス上で処理できるとしています。主な用途は文書理解、コンテンツ分析、質問応答、自然言語理解で、タグには要約、書き換え、チャットが付いています。

  • 対応言語: 英語、ドイツ語、スペイン語、ポルトガル語、イタリア語、フランス語、中国語、日本語
  • 多言語データの割合: 全体の約6%
  • ライブラリ: PyTorch、ONNX、GGUF
  • 評価: EleutherAIのlm-evaluation-harnessで実施(タスク実装がある場合)

提供条件・試し方

公開時点では非量子化モデルのみで、量子化版は後から提供する予定です。関連GitHubリポジトリとしてmicrosoft/Aion-Instruct-Preview-Sampleがあります。

利用者は精度・安全性・公平性を評価・緩和し、関連法令を遵守する必要があります。有害・暴力的・露骨・攻撃的なコンテンツの生成、偽ニュースや誤情報の作成、医療診断や法的判断など重要分野での自動意思決定には使えません。

制限

Microsoftは、2.3Bの小型モデルであるため細部の欠落、誤った記述、複雑な多段階推論への弱さがあり、世界知識に強くなるよう学習していないとしています。安全性の誘導を含む敵対的攻撃にも脆弱な可能性があり、XPIA、DIC、ECIを今後のリリースで改善すべき主要指標に挙げています。言語によって出力品質が異なる場合もあります。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内