evaluation · 7 篇文章
精选 · 近期
精读 arXiv:2610.19095：Chatbot Arena（LMArena）用 Bradley–Terry 给每个模型一个分数，等于默认了 Luce 选择公理。180 万张票显示，同一模型不同版本之间的对决比分差预测的更一边倒（×1.37），同代不同尺寸 ×1.26，同实验室 ×1.12。总排名几乎不动，但「新版是否打赢旧版」的胜率被压向五五开。本文讲清机制、证据强弱、和风格控制与「排行榜幻觉」的关系，并给出读榜和自建评测的做法。
阅读 →精选 · 近期
以 OpenRouter 成本/质量前沿、CI eval 门禁、置信度升级三篇一级材料为骨架，对照路由/回退机制、FrugalGPT 与 RouteLLM，以及站内评测可靠性文，给 agent 工程师一份可复现的选型与防回归操作综述。
阅读 →精选 · 近期
Jev 带火了「决策模型」：Cloudflare、Liquid、Perplexity、微软、OpenAI 和一批社区模型都跟进了。本文按实现路线把十几家放在一起，拿厂商说法逐条对 Decision Index、JevBench 和 Red Hat 的实测，讲清公开题与新领域题的落差、校准到底对谁、延迟口径为何不可比，最后给出对照表和 agent 回路接入前的验收清单。
阅读 →精选 · 近期
OpenAI 放出 700 多篇 AI 数学稿件，两天后撤回三篇；同周 arXiv 论文指出 Navier–Stokes 的 Lean 证明与论文原文不对应。本文把「AI 证明了 X」拆成五层，说清哪些被机器查过，并给出审计清单。
阅读 →解读 arXiv:2609.29429 RLCDAlignBench：把 TypeSafe Jev（RLCD）推到 10 类对齐失败×44 基准，通用问句中位 AUROC 0.886，相对 LLM-judge 约便宜 63×；对照站内 rubric 评委文，给出 harness 监控接线清单。
阅读 →解读 arXiv:2609.29769：typed classifier Jev 与三位 flash LLM 在九 panel、5003 pairs 上对照——准确率多数分不出显著差异，成本/时延差 29–325× 与 30–220×；相关错误让「廉价一阶段 + LLM 回退」cascade 最多只多出约 1.5pp。
阅读 →arXiv:2609.27678 在 ContractNLI 上对照 Jev 与九家托管/本地模型：成本、时延、基线准确率与 All-12 持续正确率会排出不同名次。均分相近可以掩盖翻盘；选型要盯 persistent correctness，而不是只看 accuracy。
阅读 →