DeepSeek V4 評価スイート完全ガイド：2026年LLMベンチマーク入門

DeepSeek が 2026 年 4 月 24 日に V4-Pro を公開したとき、技術レポートにはコーディング・推論・知識・長文コンテキスト・エージェントタスクにわたる16 種類以上の評価ベンチマークが盛り込まれていた。スコアカードをスクロールして「この略語は何を測っているんだろう」と思ったことがあるなら、このガイドが役に立つはずだ。

なぜこれほど多くのベンチマークが必要なのか

1 年前なら、最前線モデルのレポートには MMLU、HumanEval、GSM8K を掲げておけば十分だった。2026 年にはそれでは足りない——この 3 つはすでに飽和している。Artificial Analysis は 1 月に、フロンティアモデルがスコアで差別化できなくなったとして、MMLU-Pro・AIME 2025・LiveCodeBench を Intelligence Index v4.0 から削除したほどだ。

そのため新しいベンチマークが 2 つの軸で増殖している：より困難な推論（HLE・CritPt・Putnam）とより長い水平エージェント作業（SWE-bench Pro・Terminal-Bench・Toolathlon・MCPAtlas）だ。

コーディング＆ソフトウェアエンジニアリング

LiveCodeBench

LeetCode・AtCoder・Codeforces から継続的に更新される汚染ゼロの競技プログラミングベンチマーク。各問題には公開日が付与されており、モデルのトレーニングカットオフ以降に公開された問題だけで評価できる。V4-Pro-Max のスコアは 93.5 ——オープンモデル史上最高。

Codeforces（CodeElo）

LiveCodeBench と異なり、CodeElo は提出ボット経由で実際の Codeforces ジャッジを叩く。偽陽性ゼロ、特殊ジャッジ対応、人間と比較可能な Elo レーティングを算出。V4-Pro-Max は 3206 に着地し、人間コンテスタント中で約 23 位に相当。

SWE-bench Verified と SWE-bench Pro

SWE-bench Verified（OpenAI がキュレーションした GitHub issue→PR タスク 500 件のサブセット）は現在飽和状態で、フロンティアモデルの多くが 70% を超えている。SWE-bench Pro は Scale AI の回答：41 リポジトリにわたる 1,865 件の長水平タスクで、修正あたり平均 4 ファイル・107 行のコードを扱う。公開（731 件）・保留（858 件）・商業（276 件、エンタープライズスタートアップ）のサブセットに分割され、トレーニング汚染を防ぐためコピーレフトライセンスを使用。

V4-Pro-Max：Verified で 80.6、Pro で 55.4。このギャップこそが本質——Pro は長水平能力が正直に採点される場だ。

Terminal-Bench Hard と Terminal-Bench 2.0

Stanford + Laude Institute 共同開発。エージェントは Docker 内の実際のターミナルを使い、コードのコンパイル・モデルのトレーニング・サーバー設定をこなす必要がある。V4-Pro-Max：2.0 で 67.9 ——ここではまだクローズドフロンティアに後れを取っている。

SciCode

物理学者・化学者の実際の研究スクリプトから抽出した 80 の主問題を 338 のサブ問題に分解。6 つの科学領域にわたって知識想起・推論・コード合成を同時にテストする。

MCPAtlas と Toolathlon

新世代のエージェントコーディングベンチマーク。V4-Pro-Max は MCPAtlas で 73.6（Opus-4.6-Max の 73.8 に次ぐ 2 位）、Toolathlon で 51.8 ——ここでは Gemini-3.1-Pro を上回る。

推論＆数学

GPQA Diamond

大学院レベルの科学多肢選択問題 198 問。PhD 専門家が約 65% のスコアを記録するが、Google を使えるが専門外の回答者は 34% しか取れないようにフィルタリングされている。現在はトップで飽和（Gemini 3.1 Pro 94.1%、Claude Opus 4.7 94.2%）。

Humanity’s Last Exam（HLE）

数学・科学・人文学にわたる専門家検証済みの 2,500 問。2025 年 1 月に CAIS + Scale AI が「最後のクローズドエンド学術試験」として公開。トップモデルでも 40 代前半に留まっている。

CritPt

50 名以上の物理学者による未公開の物理研究問題 71 問。GPQA Diamond がもはや識別できない領域の弁別器——GPT-5.4 Pro xhigh でさえ最高 30%、ベースラインモデルは約 4% にとどまる。

Putnam-2025

Lean/Isabelle パイプラインで評価される、Putnam 競技への形式的定理証明。V4-Pro-Max：完璧な 120/120。

知識＆事実性

SimpleQA-Verified

Epoch AI がキュレーションした OpenAI の SimpleQA から 1,000 問を選んだサブセット——短く・事実探求型・対抗的に書かれている。V4-Pro-Max は 57.9 を記録し、従来のオープンモデル最高スコアを大きく上回る。

AA-Omniscience

経済的に関連する領域での幻覚を除いた事実性を測定。スコアは −100 から +100 のスケール：正解 +1、幻覚 −1、棄権 0。マイナスのスコアはモデルが知っている以上に幻覚を起こしていることを意味する。

エージェント＆ツール使用

τ²-Bench Telecom

デュアルコントロール型会話ベンチマーク。エージェントとシミュレートされたユーザーの両方がアクションを取れる——ペアが協調して通信サポートシナリオを解決しなければならない。一発勝負のツール呼び出しではなく、マルチターンの状態共有をテスト。

GDPval-AA

OpenAI の GDPval（9 つの GDP セクターにまたがる 44 職種から、業界経験約 14 年のプロが作成した実際の成果物 220 件）を Artificial Analysis の評価ハーネスでラップしたもの。スコアリングは盲目ペアワイズ比較による Eloで、GPT-5.1 Non-Reasoning を 1000 に固定。

IFBench

検証可能な、ドメイン外の指示に従う制約 58 件。モデルは実際に出力フォーマット要件を守るか？

長文コンテキスト

AA-LCR（Long Context Reasoning）

7 種類のドキュメントカテゴリ（企業レポート・法律・学術・政府提言など）にわたる約 10 万トークンの 100 の難問。最低 128K コンテキストが必要。回答は Qwen3 チェッカーモデルが同等性で採点。

ClawBench ファミリー

DeepSeek のレポートには含まれていないが、同じエージェント評価の波の一部——知っておく価値がある：

• ClawBench（clawbenchlab）— 5 つのシナリオ（Office・Research・Content・Data・SWE）にわたる 30 のビジネスワークフロータスク。命名の不整合や欠落ディレクトリなど、意図的に実世界の落とし穴が埋め込まれている
• MM-ClawBench — MiniMax の OpenClaw 派生エージェントベンチマーク
• LiveClawBench — トリプル軸複雑度フレームワーク（環境 / 認知 / ランタイム）と帰属分析のための制御ペア
• WildClawBench（InternLM）— 手作りタスク 60 件。エージェント完了後にのみ正解を注入しリーク排除

まとめ

V4 のスコアカードはあるパターンを確認する：純粋なコーディングでは、オープンウェイトが追いついた（LiveCodeBench 93.5、Codeforces 3206）。長水平エージェント作業（SWE-bench Pro、Terminal-Bench 2.0）では、クローズドフロンティアがまだリードしている。フロンティア推論（HLE、GPQA Diamond）では、全員が団子状態になっており、モデルが飽和させる前からベンチマーク自体が急速に置き換えられている。

2026 年にどのベンチマークを報告するかを選ぶなら、経験則は：(a) 継続的な汚染耐性メカニズム（日付付き問題、非公開スプリット、またはコピーレフトのみのソース）を持ち、(b) まだ上限に近いスコアにはなっていないものを選ぶこと。