DeepSeek-V4.1-Flash、プロンプトエンコーディングと最小PyTorch推論実装をMITで公開

リポジトリdeepseek-ai/DeepSeek-V4.1-Flashに、DeepSeek-V4.1向けのプロンプトエンコーディング用リファレンスと、最小限のPyTorch推論実装がMIT Licenseで置かれています。

何が含まれるか

推論コードは、ビジョンエンコーダーとアライナー、スライディングウィンドウおよび圧縮スパースアテンションとその2段階インデクサー、engramのn-gram検索、MoE、Hyper-Connections、DSparkのフォワードパスをカバーします。

リポジトリはencoding/(OpenAI形式のmessagesからモデルプロンプトへの変換、tests/にゴールデンプロンプトのフィクスチャ)、inference/(重み変換と最小限の推論、examples/に等価なTXTとJSONのプロンプト)、config.json(Hugging Faceのモデルメタデータ)で構成されています。

プロンプトの整形はPyTorchに依存させず、推論側は明示的なPythonパスで同階層のencodingモジュールを読み込むという方針で、encoding/とinference/は意図的に分離されています。シンボリックリンクは不要です。

プロンプトエンコーディング

エンコーディングはOpenAI形式のJSONコンテンツブロックと、コンパクトなpathのTXT表記の両方に対応します。inference/examples/に置かれた2つの例は、同一のプロンプトとトークンIDにエンコードされます。詳細はencoding/README.mdに記載されています。

試し方と要件

依存関係のインストール、チェックポイント変換、TXT/JSONでの推論コマンドはinference/README.mdに記載されています。重み、model.safetensors.index.json、generation_config.json、トークナイザーファイルはこのリポジトリではなく、Hugging Faceの重みリポジトリに置かれています。ライセンスはMIT Licenseです。