Evaluation

精选 · 近期

OpenAI 放出 700 多篇 AI 数学稿件，两天后撤回三篇；同周 arXiv 论文指出 Navier–Stokes 的 Lean 证明与论文原文不对应。本文把「AI 证明了 X」拆成五层，说清哪些被机器查过，并给出审计清单。

精选 · 近期

解读 arXiv:2609.29429 RLCDAlignBench：把 TypeSafe Jev（RLCD）推到 10 类对齐失败×44 基准，通用问句中位 AUROC 0.886，相对 LLM-judge 约便宜 63×；对照站内 rubric 评委文，给出 harness 监控接线清单。

精选 · 近期

解读 arXiv:2609.29769：typed classifier Jev 与三位 flash LLM 在九 panel、5003 pairs 上对照——准确率多数分不出显著差异，成本/时延差 29–325× 与 30–220×；相关错误让「廉价一阶段 + LLM 回退」cascade 最多只多出约 1.5pp。

精选 · 近期

arXiv:2609.27678 在 ContractNLI 上对照 Jev 与九家托管/本地模型：成本、时延、基线准确率与 All-12 持续正确率会排出不同名次。均分相近可以掩盖翻盘；选型要盯 persistent correctness，而不是只看 accuracy。