DeepSeek、V4.1-Flash-1017を公開 Terminal-Bench 4.0で42.3

スペック

コンテキスト長1M tokens
ライセンスMIT License
重みの公開モデル重みを公開

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

DeepSeek-AIは、DeepSeek-V4.1-Flashのマイナーアップデート版「DeepSeek-V4.1-Flash-1017」をHugging Face(deepseek-ai/DeepSeek-V4.1-Flash-1017)で公開しました。Terminal-Bench 4.0で前版の31.2から42.3へ、ProgramBenchで20.3から29.1へスコアを伸ばしています。

DeepSeekは杭州の深度求索が展開するAI開発企業・ブランドで、研究成果とモデルの重みを公開しています。

何が新しいか

DeepSeek-AIによると、1017は推論、コーディング、エージェントタスク、視覚ベンチマークを改善すると同時に、タスク実行時間と出力長を削減し、より短時間・低コストでの処理を目指したモデルです。コンテキスト長は1M tokens、パイプラインタグはimage-text-to-textで、重みはMIT Licenseで公開しています。

ベンチマーク

Benchmark V4.1-Flash-1017 V4.1-Flash K3 GLM-5.3 GPT-5.6 Sol Opus 5
HLE w/o tools 42.6 (44.0†) 36.8 (39.1†) 43.5 42.0† 44.5 56.3
Terminal-Bench 4.0 42.3 31.2 12.6 37.9 39.9 51.8
DeepSWE v1.1 77.0 74.2 67.5 66.9 73.0 74.0
ProgramBench 29.1 20.3 17.5 19.0 23.0 37.0
NL2Repo-Bench 68.2 65.4 58.0 58.0 56.8 75.3
Automation-Bench v1.0.6 60.5 54.8 46.7 48.8 45.8 50.3
Agents’ Last Exam 35.4 31.8 27.6 28.5 26.7 28.6
Apex Bench v1.1 72.1 64.6 47.8 56.6 54.3 65.8
Chartography (w/tools) 83.0 78.9 68.1 — 79.9 84.0
BabyVision (w/tools) 92.5 89.6 85.7 — 88.9 94.1
ZeroBench-main (w/tools) 51.0 49.0 41.0 — 53.0 52.0

†はHLEのtext-only subsetです。Terminal-Bench 4.0はClaude Code harness、DeepSWE v1.1はMini-SWE-V2 harnessで評価しています。

試し方・要件

  • 重みの変換とローカル推論の手順はリポジトリのinferenceフォルダにあります。
  • 推奨サンプリング設定はtemperature 1.0、top_p 1.0、max_tokens 256K以上です。
  • Jinja形式のチャットテンプレートは同梱していません。encoding/encoding.pyのPython参照実装で、マルチターン会話、ツール呼び出し、thinking mode、数値による推論努力度、会話途中のsystem message、画像を含む会話をエンコードします。
  • 本番向けには、Pythonバインディング付きRustライブラリ群deepseek-recipeを提供しています。Messages、Chat Completions、Responses APIのリクエストをConversation形式に変換し、DeepSeek V4/V4.1のプロンプトまたはtoken IDへエンコードし、モデル出力を完全応答またはストリーミング応答として解析します。モデル推論、ツール実行、HTTPトランスポートは利用者側で実装します。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内