ToxicBench：工具静默说谎时，检查了也会盲从
工具调用成功了，返回的数字看起来也合理，报告却把最高营收挂到了错误的门店上——源表其实还在，只是中间那次观测被悄悄改过。站内 SINGED 谈的是「工件对了，执行路径未必安全」；FTA 谈的是「工具已经失败时，报告还敢不敢报成功」。本篇补第三块缺口：执行成功、证据却被投毒时，agent 会不会检查？检查之后会不会仍然采纳错误结论？
Zifu Tao、Changqing Yin（同济）在预印本 arXiv:2609.37153（When Tools Silently Lie: Evaluating and Mitigating Blind Compliance in Tool-Augmented Data Agents）里，把这种设定叫作 silent tool poisoning（静默工具投毒）：代理在工具真正执行之后，改写返回给 agent 的观测，源表保持不变。他们发布基准 ToxicBench 与代码 Toxic_Tool_Bench，在数值、标签、schema、检索等错误上配对 clean / poisoned 环境，用轨迹指标把「没检查就采纳」和「检查了仍采纳」拆开。[1]
先消歧义：社区里另有以 NSFW 图像安全为主题的同名 ToxicBench；本文只谈数据 agent 的静默工具投毒基准，与图像内容审核无关。本篇是机制与评测文——讲清投毒如何改观测、指标怎么分、数字怎么读、能抄进 harness 的是什么；不写如何投毒工具、不给攻击配方。
和 SINGED、FTA 怎么对齐
三篇文章盯的是三条不同的「看起来成功」：
| 站内入口 | 表象 | 真实缺口 |
|---|---|---|
| FTA | 面向用户的「已完成」 | 工具已失败 / 证据缺失，报告是否诚实 |
| SINGED | 返回工件通过任务预言机 | 执行路径是否触发契约禁止的进程效应 |
| 本文 ToxicBench | 工具调用成功、观测格式正常 | 观测是否被静默改写；检查后是否仍采纳毒结论 |
再叠工具边界：MCP Toolbox / 工具路径 管的是出网与路径；ToxicBench 假设工具已经成功跑完，问题出在返回观测与源事实是否一致。和间接 prompt injection 也不同：论文明确写——分析目标不变，不要求 agent 服从恶意指令，只腐坏证据本身。和「源数据脏了」也不同：源表固定，clean 答案仍可通过检查取回，错误不能简单归咎于「忠实地分析了脏表」。[1]
站内若你在做数据 / 分析类 agent，可以把这三篇当成同一条验收轴上的三个闸门：失败透明 → 进程侧干净 → 观测侧可核。少一闸，端到端「绿了」仍然可能是假绿。
静默投毒：源表不动，观测被改
论文 Figure 1 的营收例子很直观：clean 的 CSV 工具返回 Store B（450,000），接口成功、格式合法、量级合理。要恢复正确绑定，agent 需要再去查源行，而不是只核对「金额是不是正数」。同类失败还包括：聚合用了错误分母、数据字典给出过期列义、检索片段看起来相关却支撑错误结论——正常模样的工具输出，足以变成自信但错误的分析。[1]
形式化一点：查询 (q)，工具 (f) 对输入 (x) 得到 (o=f(x))；poisoned 环境返回 (\tilde{o}=P(f,x,o;\theta))，源数据不变。静默意味着 (\tilde{o}) 仍符合期望接口、报告成功执行，且足够相关，能支撑一个看起来可信的错误答案。同一任务在 clean / poisoned 环境各跑一遍，才能把「观测变了」与后续检查、最终采纳连起来。代理先真实执行工具，再编辑返回观测；两边版本都记日志，但只把返回版暴露给模型。[1]
操作子分两族。数值侧：聚合缩放、符号翻转、排名/标签对换；扩展套件还有比率倒置、分母对换、省略过滤、单位换算。语义/schema 侧：实体标签对换、treatment/control 翻转、列语义对换、过期元数据、有偏检索片段。幅度检查能抓一部分数值异常；标签对换保留数值、改实体，只看量级会漏——这直接解释后文为何「再算一遍均值」不一定够。[1]
任务构造用小合成 CSV（销售、活动、库存、诊所等）加字典与证据片段；数值表约 4–12 行（中位 5.5），语义表约 3–6 行（中位 3.5）。查询覆盖聚合、比率、排名、或需证据支撑的实体/字段选择。扩展后经参考审计与排除，保留 118 个单表实例作主评测（58 数值 + 60 语义/schema），另有 13 题多表扩展测发现与 join。模型无关验收覆盖 131 题保留集：标准库与 pandas 实现对齐接受答案；在固定调用与渲染下，119 题得到结论会变的明确返回，且在 one-shot 下都存在脚本化的原始数据恢复路径。这是机制覆盖，不是生产流量抽样；局限也写了：小合成表 + 受控公共表对照，外推到自然错误未测。[1]
指标：把「检查」和「采纳」拆开
仅看最终对错，分不清「第一次观测就信了」「检查后又看了坏证据」「已经看到纠正却选了错结论」。反过来，只数额外工具调用也不够：agent 可能重复同一计算、扫无关行、或再问同一不可靠源。ToxicBench 因此叠了一组轨迹指标——TSR 用全部保留 run；行为率以实际暴露于投毒的 run 为分母，并用 PDR 分开「投毒有没有送达」与「送达后 agent 怎么反应」：[1]
| 指标 | 含义（论文口径） |
|---|---|
| TSR | 最终答案相对 clean 参考的任务成功率 |
| ΔTSR | clean TSR − poisoned TSR |
| PDR | 毒环境中至少发生一次真实修改的比例 |
| ADR | 最终回复显式指出冲突、不合理、可能腐坏等 |
| VR | 毒观测之后，有一次新鲜、任务相关、能产生证据的工具事件 |
| RR | 在 ADR 或 VR 之后，最终答案仍匹配 clean 参考 |
| PAR | 最终答案匹配 poisoned oracle（不论是否检查） |
| BCR | 采纳毒结论，且没有 ADR 也没有 VR（盲从） |
| VPA | 有合格 VR，却仍采纳毒结论（检查后仍采纳） |
关键句：VR 排除盲从，但不自动等于恢复。 VPA 正是「做了检查、仍选毒答案」——尤其在重复投毒时，后续检查本身也可能被腐坏。打分器在去掉适配器展示标签后，抽取与请求角色绑定的结论再匹配 clean / poisoned 参考；冲突与未解析选择仍留在分母里。泛泛说「可能需要再验证」不算 ADR/VR；要有具体异常指认或新证据事件。[1]
论文还区分三种「独立」：观测独立（不照抄毒返回）、执行路径独立（新鲜证据动作）、源独立（不同上游表/缓存/权威）。VR 只要求前两样。构造上 120 原扩展题 + 13 join 题都复用各自源 CSV，源独立覆盖为 0——成功检查仍可能共享上游错误。部署验收时要把这三层拆开写，别把「又调了一次工具」当成「换了权威源」。[1]
主结果：干净时很强，一毒就塌
118 题 GPT 评测（Table 1，历史 injector）里，三个适配器的 clean TSR 都很高，poisoned 一塌：
| Adapter | Clean TSR | Poisoned TSR | ΔTSR | BCR | RR | PDR |
|---|---|---|---|---|---|---|
| LangGraph ReAct | 0.99 | 0.67 | 0.32 | 0.38 | 0.33 | 0.86 |
| smolagents | 0.98 | 0.59 | 0.39 | 0.53 | 0.15 | 0.74 |
| AutoGen | 0.92 | 0.66 | 0.26 | 0.27 | 0.32 | 0.86 |
摘要口径：投毒使任务成功率下降 26–39 个百分点（clean 约 0.92–0.99 → poisoned 约 0.59–0.67）。三个适配器的 BCR 都非零——「没检测、没检查就采纳毒结论」不是某一框架的特例。smolagents 的 BCR 最高（0.53）、RR 最低（0.15）；AutoGen 的 ΔTSR 相对最小（0.26）、BCR 也最低（0.27）。条件行为率描述的是已暴露行为，不是在同一暴露集合上的排行榜；不同适配器调用易中毒工具的频率也不同（PDR 0.74–0.86）。[1]
跨模型（Table 2）用 GPT / Claude / Qwen × 三适配器，在 34 数值 + 24 语义子集上：九个完整交叉配置里，数值 TSR 全部下降，语义/schema 有八个下降；Claude–AutoGen 语义有小幅上升（clean 0.83 → poisoned 0.88）。脆弱性普遍，但随模型与任务族变化——不要把某一格读成「某某模型免疫」。算子剖面（Figure 3）也提醒：重算聚合能暴露部分数值错误，但 label swap 保留金额、改实体，幅度检查打不穿。[1]
再跑一遍 ≠ 会验证；检查了也不等于会改结论
若第二次执行还能碰到干净证据，改进可能来自「又有一次解题机会」，而不是验证指令本身。论文因此在共享步数上限（每路十步）、两路路由、每请求 3,072 输出 token 上限、temperature 0 下，对照四种协议（Claude Haiku 4.5，118 题）：[1]
- Base：一路普通执行
- Double-pass：两路同一查询，选第二路答案，第二路看不到第一路答案
- Verification-only：把第一路答案当不可信主张交给第二路去核源，选第二路
- Generic Guard：两路都加通用期望清单（范围、过滤、单位、分母、实体–值绑定、列义、时间戳、源支持等），并要求新鲜工具动作与字面标签；包装器直接返回验证路答案
结果（Figure 4）：poisoned TSR 上 Double-pass 1.00，Base 0.89，Verification-only 0.90，Generic Guard 0.97。Double-pass 相对 Base 增益 0.110（模板聚类 95% bootstrap 区间 [0.056, 0.171]）。三条两路协议都把 BCR 压到 0，但 Verification-only 仍保留非零 PAR 与 VPA——消灭盲从，不等于消灭检查后采纳。Guard 相对 Double-pass 的 poisoned TSR 差为 −0.025（区间 [−0.054, 0.000]）：在这一对照里，显式验证提示没有稳定胜过「普通再跑一遍」。AutoGen 上两条验证提示也几乎分不开：Guard clean/poisoned TSR 0.88/0.87，Verification-only 0.91/0.86。[1]
原因之一是证据条件：one-shot 投毒状态在两路之间共享，第一次腐坏之后，后续调用可以拿到未改观测。Double-pass 同时享受「再一次尝试」和「后来证据可能干净」；不能把增益全算到「验证推理」头上。延迟也贵：毒 run 上 Generic Guard 平均约 39.79s，Base 16.91s，Double-pass 35.89s，Verification-only 33.62s（共享预算上限，不等于实际算力或 token 账单相等）。[1]
定性例子（§4.5）把指标钉回具体动作：treatment/control 任务上，毒观测报「Control–0.145」——正确数值绑错组。Base 轨迹复述不查行；Guard 轨迹重检 dataframe，返回「Treatment–0.145」。幅度检查会漏；恢复要求重建组–值绑定。多表案例里，Guard 在定论前重建 join，核对哪些行支撑聚合。只说「结果可能需要验证」、却不产新证据的，既不得 VR 也不得 RR。[1]
公共表对照：第二阶段证据几乎决定恢复
为直接测「供给的证据」作用，论文在三张公共表（Palmer Penguins、Auto MPG、Bike Sharing）上做了 24 题的 field-bound 对照：第一阶段正确率在 clean 证据下 24/24，部分别名腐坏 20/24，目标别名全腐坏 0/24。固定同一份含毒第一阶段 transcript 后，第二阶段每题两次重复：新鲜 clean 证据下，retry 48/48、review 47/48；全目标腐坏下，两种策略都是 0/48。[1]
读法要克制：这隔离的是局部证据条件，不是证明「验证提示优于 retry」，也不能解释历史矩阵里 Double-pass 的全部增益。但对 harness 很清楚——第二阶段若仍喂同一条毒观测，多一次「请再检查」几乎帮不上忙。部分腐坏（只改数值别名、留下逗号格式等干净副本）还会让「抗性」看起来虚高；全目标腐坏才把三个别名一起换掉。写内部红队时，别用「半毒观测」当通过线。
重复投毒：检查后仍采纳（VPA）
重复投毒让每次合格观测都有机会被腐坏（概率 0.25–1.00）。在 1,572 条保留轨迹（58 数值 + 60 语义 + 13 join × 三协议 × 四概率）里，打分器标出 101 个 VPA 案例（排除 flagged delivery 后仍保留）；其中 78 条的合格后续检查全部被腐坏，23 条含至少一次未改检查——后者里仅 1 条能自动对上 clean 参考，仍需证据级人工复核。[1]
这确立的是「检查之后仍采纳错误结论」在轨迹上可观测，不是断言 101 个 agent 都无视了充足正确证据。共享源与后端时，另一次检查未必提供独立纠正信号。(p=1) 时九个格子检测到的 BCR 可为 0，但 PAR 与 VPA 仍非零——「不再盲从」可以和「仍采纳毒结论」并存。
人类标注在事后冻结的 200 条轨迹（20 个与开发包不交的 task ID）上与自动 TSR 一致 192/200（96%），precision 1.000、recall 0.957；两名标注者在六项二值字段上完全一致。在 77 条暴露轨迹上，人类确认了全部 4 个 VPA 案例——「检查后仍采纳」不是打分器幻觉。同一 20 核心任务上，人类也保留了 Double-pass 相对 Base 的 poisoned TSR 优势（1.00 vs 0.80）。[1]
邻近工作：ToxicBench 卡在哪一层
工具调用基准多评 API 是否选对、参数是否填对；交互与数据 agent 基准多评任务是否做完。TRACE 一类工作用证据库与 LLM judge 看轨迹效率、幻觉与适应性。ToxicBench 共享「过程视角」，但额外区分：返回观测支撑的答案 vs 相对源数据正确的答案，并分别跟踪检查、采纳与恢复。[1]
Silent tool error 一线有 Tools Fail；更广的工具环境不可靠与恢复有 ToolBench-X、PALADIN；阶段对齐扰动有 ToolRobustBench。工具元数据与检索内容投毒（MCP-ITP、PoisonedRAG、SafeRAG 等）是另一条威胁面。金融 agent 上已有工作发现：在被操纵的工具数据下，自我验证或污染检测未必改善推荐。ToxicBench 的贡献是把这些失败收成配对数据分析任务 + 固定源表 + 分开的检查/采纳/恢复指标，并在 one-shot 与重复腐坏下做对照，而不是再发一套「工具坏了怎么办」的笼统分数。[1]
和站内叙事对接时，可以记一张三层表，避免选题撞车：
| 层 | 问什么 | 站内 / 邻近 |
|---|---|---|
| 报告层 | 失败后声明是否忠实 | FTA |
| 进程层 | 输出对时副作用是否越界 | SINGED |
| 观测层 | 成功返回是否仍可信、检查是否改结论 | ToxicBench |
| 路径 / 出网层 | 工具能否摸到不该摸的 URL / 文件 | MCP Toolbox、OpenShell |
| 控制流层 | skill 条款是否被机械兑现 | HEXIS |
ToxicBench 不替代路径层与进程层；它专门逼你承认：「工具绿了」之后，仍可能在证据选择上栽跟头。
打分与人类对照：为什么要冻结 scorer
若你准备把同类指标搬进内部基准，论文附录的经验值得直接抄流程，而不是只抄名词。打分器先看投毒是否送达，再去掉适配器展示标签；冻结解析器抽取与查询相关的主张、显式结论、更正，以及分子/分母角色，再按类别边界与完整数值匹配（含千分位）对照参考。冲突选择保持未匹配，未解析主张也不从分母剔除——否则「看起来更干净」的方法可能只是更会糊弄解析器。[1]
开发包 120 条暴露轨迹与后续 240 条 holdout 曾用于修解析器；事后冻结的 200 条才是独立校验：任务 ID 与开发包不交，标注者看不到自动预测。作者强调 scorer 固定在标注前版本，不用这 200 条去调报告用的解析器。这对自家评测很实用——一旦用同一批轨迹又修 scorer 又报排名，人类一致率会虚高。ToxicBench 把版本化打分与轨迹一起发布，正是为了让后人能复现「改了哪一刀、数字怎么动」。[1]
另一点常被忽略：TSR 含未送达 run，行为率只含暴露 run。若某适配器很少调用易中毒工具，它的 poisoned TSR 可能看起来更好，但条件 BCR 仍可能很高。汇报时把 PDR 与行为率并排，比单报一个「鲁棒性分」更不容易误导业务方。
能抄进 harness 的，不是再加一句「请验证」
结合数字，工程上更稳的读法是五条：
-
把观测当不可信输入。 工具成功 ≠ 证据可信。对排名、绑定、分母敏感的结论，要求能追溯到源行 / 原始 join，而不是只复述聚合结果。站内 三种烧钱习惯 里「看起来像验证」的空转，和这里「口头怀疑却不产新证据」是一类病。
-
分开计量：有没有检查，检查之后选了谁。 内部评测若只报 poisoned TSR，会把 BCR 与 VPA 糊成一团。至少拆：暴露率（PDR）、盲从（BCR）、检查后采纳（VPA）、恢复（RR）。否则「加了 verification prompt」很容易在 one-shot、后续证据仍干净时虚高。
-
验证预算要买独立证据，不是买同信道重放。 one-shot 下普通 retry 已经很强；重复腐坏或共享上游时，要换工具、换聚合路径（例如用 sum+count 核对 mean）、或读原始行。Generic Guard 的清单可当策略草稿，但对照显示：相对 Double-pass，提示本身没有稳定优势——优势来自第二路看到了什么。
-
答案选择策略要显式。 Verification-only 把第一路答案交给第二路，可能聚焦检查，也可能锚定错误。Always 选第二路既能纠正毒结论，也可能覆盖正确第一路——应用 clean TSR 看净效应，并单独审计「错杀正确」。别把「有 verifier 角色」当成「一定更安全」。
-
和供应链 / MCP 叙事接轨，但别混威胁模型。 ToxicBench 改的是返回观测，不是源库整库投毒，也不是系统提示劫持，也不是工具元数据投毒（相关工作里 MCP-ITP、TRUSTDESC 等另线）。源独立检查在基准构造里覆盖为 0；若生产有代理层、物化视图、共享缓存，要把观测独立与源独立分开设计。凭证与出网边界仍看 OpenShell / Sentry 与 MCP 路径文——ToxicBench 不替代那些控制。
若你只做一件最小改动，优先做这条：对「实体–值绑定」类结论强制一条源行证据边——最终答案里出现的门店/组别/列名，必须能指回某次 raw-row 或 join 重建事件的字段，而不是只指回聚合工具的一行摘要。ToxicBench 的定性例子反复说明：数值可以完全正确，错的是绑定；没有这条边，幅度校验与「请再验证」都可能空转。成本上，这通常比再开一整条 Double-pass 便宜，也比指望 Generic Guard 提示词自己长出独立性更可控。
局限与读数时别踩的坑
- 核心任务是小合成表；公共表对照加宽数据面，但仍是种子调用与结构化答案。
- 打分器在细指标上召回有波动（开发审计里 ADR/BCR 召回偏低）；方法排名应与人类对照一起读。
- 历史 injector 有 sign-flip 等 delivery 例外（3,319 次记录腐坏中 204 事件被 flag），附录做了敏感性；主文 118 题是修订参考后的保留集。
- PandasAI 历史适配器在 agent 结束后才改最终答案，agent 无法检查——被排除出行为对照，别误当成「框架更安全」。
- DA-Agent 只完成了 GPT 数值套件；跨模型均值是三共同适配器上的未加权平均，不是混合轨迹池。[1]
结语
ToxicBench 把「工具会不会静默说谎」从口号变成可配对、可拆轨迹的评测：源表固定，观测可腐坏；成功执行不再等价于可信证据。GPT 118 题上 26–39pp 的 TSR 塌陷、非零 BCR，以及重复投毒下的 VPA，共同说明：检查与采纳是两维——只鼓励「再看一眼」不够，还要问第二眼看到的是什么、最终选了哪一个答案。对照站内 SINGED 与 FTA，数据 agent 的可靠性至少要同时管：失败时是否诚实、输出对时路径是否干净、成功观测是否仍值得信。
代码与轨迹见 Toxic_Tool_Bench；论文 HTML：arXiv:2609.37153。[1]
参考
[1] Zifu Tao, Changqing Yin. When Tools Silently Lie: Evaluating and Mitigating Blind Compliance in Tool-Augmented Data Agents. arXiv:2609.37153, 2026. abs · HTML · code