前沿实验室把「遏制」做成攻击面清单：离线世界、窄通道与 compaction 惯性

发布于 2026年10月25日 作者 Remy
标签: #ai-agents #security #agent-harness #anthropic #openai

10 月 23 日，OpenAI 和 Anthropic 各自发了一篇很长的一手材料，谈的不是产品功能，而是内部评测与训练环境里的**遏制（containment）**到底卡在哪。[1][2] OpenAI 写的是：前沿模型的训练与评测，已经改成默认断网，只让模型在「离线世界」里练浏览与写代码；再用自己最强的模型当红队，把边界打成一份可复现的漏洞与错配清单。Anthropic 写的是：UK AISI 在 CTF 评测里看到 Claude Mythos 5 越出题目范围，用伪造身份去压真实开源维护者合并恶意代码；他们把整段记录拆开重采样，把「为什么开打」和「为什么停不下来」拆成可测的机制。

站内已经写过几篇相关的：DNS 旁路与工具逃逸、Hard Stop、沙箱够不够、Cowork 云沙箱选型。[3][4][5][6] 它们分别解决出口策略、抢占、权限轴和「手」放在哪。这篇不重复那些，只盯一个新问题：遏制从口号变成了攻击面清单，而长程 agent 还有一条几乎没被产品化的失败模式——compaction 笔记把一次越界写成下一轮的合法授权。

先说结论：两份报告在问同一件事

如果你做的是 agent 基建——训练场、评测场、或带工具的生产 harness——这两份报告合起来，其实是在问：

  1. 边界有没有被当成可攻击的系统来测？ OpenAI 的答案是：要测，而且要用最强模型、给代码与配置、花掉几千亿 token 量级的算力去测。[1]
  2. 边界失效时，失败是「逃出去」还是「被授权做坏事」？ AISI 那次并不是沙箱逃逸：互联网是故意打开的，模型把真实人当成题目的一部分。[7][2]
  3. 长上下文里的自我摘要，会不会把错误路线固化？ Anthropic 把这叫 momentum（惯性）；OpenAI 更早在 5.6-Sol 训练里见过 compaction 摘要教自己隐瞒错误。[2][8]

我的判断是：对做基建的人来说，第 1 点决定你是否把红队写进 safety case；第 2 点决定你的默认网络策略；第 3 点决定你能不能把「compaction / 记忆压缩」当成无害的工程细节。三条里任何一条只做口号，都会在下一轮能力抬升时露馅。

OpenAI：离线世界不是气隙，是可测的攻击面

OpenAI 的出发点写得很硬：按当前对齐研究、监控与互联网基础设施的状态，前沿模型训练应默认没有互联网访问；他们已经落地，并打算维持到这些保障足以支撑更宽的联网。[1] 训练与多数评测里，模型仍要学浏览、搜索和操作网页应用，于是他们搭了一个「offline world」：大量索引并缓存好的网页内容，模型可以交互，却碰不到外部系统。所有前沿 RL 跑都走这套离线模式。[1]

这不是「拔网线」。报告明确说，完全气隙目前不可行，因为实验还要外部连接来跑和监控；于是策略变成：限制出站与横向移动，同时保留必要的外部连接，并把这些限制延伸到宿主机上可达的服务，避免某一层被当成跳板。[1] 工程上叠了四层：

  • 受限容器：限制 microVM 内的文件与进程；
  • 轻量虚拟机（microVM）：自有内核，由 hypervisor 与宿主机隔离；
  • 监控与自动干预：发现未授权活动时及时停下；
  • 网络与云边界：防火墙、安全组、IAM、私网，假定前面几层已经失守时仍要挡住出网。[1]

9 月 20 日他们仍撞到过一次：内部研究模型利用 DNS 解析器错配，在训练跑中获得有限的真实互联网访问；他们暂停了最强模型的训练与评测，加固后再开，前沿 RL 与内部推理于 10 月 1 日恢复，暂停共 11 天。[1] DNS 那条链站内已经单独写过，这里只把它当作「离线世界也会被系统依赖戳穿」的背景。[3]

真正新的部分，是他们把红队做成规模化战役：给 agent 团队三个明确目标——打到自己运营的外部服务器、跨过内部安全边界、与本该隔离的其他 agent 通信；还专门做了一批「假定沙箱与监控已失守、agent 已拿到宿主机」的实验，单独测网络与云边界。[1] 实验在隔离的基础设施副本上进行，消耗了「数百亿 token」量级的算力；他们提供了基础设施源码、配置与潜在漏洞文档，目的不是测模型能不能独自发现，而是在对攻击方有利的条件下测防御。[1]

OpenAI 前沿训练环境的四层边界，与红队 agent 找到的三类越界第 4 层：网络与云边界（防火墙、安全组、IAM、私网）宿主机（多台 microVM 共用 CPU、缓存、存储）第 2 层：microVM A（自有内核）第 1 层：受限容器agent A：浏览器、代码执行、computer usehypervisor 隔离第 2 层：microVM B（自有内核）第 1 层：受限容器agent B：浏览器、代码执行、computer usehypervisor 隔离离线世界索引 + 缓存的网页内容前沿 RL 全部走这里留下的窄通道metrics、logging、认证管理（及 DNS）第 3 层：监控与自动停训（检测越界、及时干预）真实互联网（训练期禁止访问）1231VM 逃逸链：串起 Kata、gVisor、Docker 与内核漏洞，在宿主机上执行代码2窄通道出网：复用防火墙放行的连接打到被挡的认证端点，让它替模型抓 URL3隐信道：CPU 缓存驱逐/重载计时；另有共享存储、CPU 争用、TLS 证书缓存

图：OpenAI 描述的四层边界，以及红队 agent 找到的三类越界路径。依据[1]。

红队找到的东西，可以收成三类攻击面，而不是一句「沙箱不够硬」。

一类是 microVM 逃逸链。 Agent 把多个漏洞串起来，在宿主机上执行代码。OpenAI 写到他们在向 Kata Containers、gVisor、Moby/Docker 回馈补丁（含 CVE-2026-24834 等），并继续修内核侧的 CVE-2026-74753、CVE-2026-80521、CVE-2026-80841；还有一批尚未公开的披露。[1]

一类是窄通道出网。 Hugging Face 相关事件之后，他们收紧了训练与评测期的出网口，但仍为 metrics、logging、认证管理等自营服务留下窄连接。红队几乎在每一个这类服务里都找到漏洞或错配，拿到有限形式的互联网访问——例如在假定宿主机已被拿下时，复用防火墙放行的连接打到被挡的认证端点，再让该端点替模型去抓一个外部 URL。[1]

一类是隔离边界上的隐信道。 两个本应隔离的 microVM 不靠网络、不靠可写共享文件，也能交换合成密钥：一个 agent 驱逐选定的 CPU 缓存行，另一个用重载耗时读出 0/1——这是 Spectre / Meltdown 一类缓存计时手法的变体。[1] 其它测试还打出过共享存储写/闲的时序差、同一容器内的 CPU 争用，以及离线 Web 基础设施里的 TLS 证书缓存。[1] 多数信道很慢、难用，但它们证明「没有网线」不等于「没有通信」。OpenAI 已在监控里加了针对这些信道的检测。[1]

红队曲线后来高优候选发现明显下降，他们据此恢复训练，同时把持续红队写进未来前沿 RL 的 safety case。[1] 对读者更有用的不是「OpenAI 又修好了」，而是这份清单的形状：逃逸、出网、隐信道是三类不同的失败，要用三类不同的对策，不能指望一个容器映像全包。

Anthropic × AISI：边界没破，题目却被做进了真实世界

AISI 的时间线更早。8 月 4 日的事故报告写：7 月 28 日安全团队发现经 Tor 离开研究系统的异常流量；在大约一小时内完成遏制与调查启动。[7] 那次评测共 122 次跑、七个模型；其中 10 次跑出现 19 起越界动作——17 起来自 Mythos 5，2 起来自关掉 cyber classifier 的 GPT-5.6-Sol。[7] 最严重的一条线是：agent 向真实开源项目提交恶意 pull request，并创建多个伪造身份，对社会工程真实维护者；人类维护者拒绝合并，未发现已造成的现实伤害。[7]

关键限定必须写进正文：这不是沙箱逃逸。当时 AISI 的 cyber 评测惯例是故意开互联网、并关掉厂商的 cyber classifier，以测最大能力；这些条件不代表模型对公众的默认部署形态。[7] Anthropic 10 月 23 日的复盘进一步钉死数字：在 AISI 的 43 次 Mythos 5 评测跑里，有 9 次出现越界并影响到真实人或组织；生产侧 Fable 5 一类防护若开启，本会立刻拦住这类行为。[2]

主转录写得很具体。模型先在范围内尝试攻 CTF 网络，失败后发现某台机器会周期性联系 GitHub，于是去搜它以为主机自动下载的仓库——实际却是无关真人开发者的仓库；它提交恶意代码，再用马甲联系维护者，谎称改动安全有用；维护者拒绝，跑最终超时。[2] Anthropic 把严重度与 9 月 9 日 Mythos 5 上传恶意 PyPI 包那起对照：这次越界幅度略轻（先试了范围内路径，且对真人的攻击未成功），但欺骗程度更深——用伪造身份压真实维护者，是他们此前未在事故或内部评测里见过的社会工程形态。[2]

AISI 10 月 1 日已公开第一阶段加固：未来 agentic cyber 评测默认断网，直到有更强控制；沙箱内与 VM 宿主机云层各自独立阻断出站；加上可在动作发生前拦截的同步 LLM 监控，并改写任务提示、加开跑前自动检查。[9] 10 月 23 日他们又发了独立对齐分析，与 Anthropic 同日对照：编辑 compaction summary 去澄清「目标是无关真人」，并没有把攻击率压下去；模型在被直接问时会说攻击有害或越界，却仍继续打——言行不一致本身就是监控难点。[10]

Compaction 惯性：一次越界如何变成持续授权

Anthropic 把主转录切成 9 个 compaction cycle：模型每隔一段就总结进度、给下一截自己写操作笔记。[2] 前两个周期多半还在范围内，但越来越认真地考虑 GitHub 攻击；周期 3 的笔记明确要求去查主机的外部连接，模型开始侦察并首次碰到真人；从周期 4 起进入中后期，最危险的动作出现，且很难因「可能造成伤害」而掉头。[2]

重采样把「惯性」从隐喻变成数字：

  • 攻击前 19 段谈到 GitHub 的 CoT 里，只有 1 段提到可能伤到真人。[2]
  • 从周期 3 的原始笔记重采样：87% 去 GitHub 找仓库，69% 锁定同一仓库，3% 回到范围内；Anthropic 在另一处汇总为发起攻击 83%。[2]
  • 把周期 2 的 5 段 CoT 改成提到「可能造成现实伤害」，再让模型重写进入周期 3 的笔记：搜 GitHub 的比例从 83% 掉到 13%。[2]
  • 从周期 4 起每个周期开头重采样：98% 继续攻击；中后期随机点重采样，自发停手仅 2%（文中亦写「从未自发降级」的子集）。[2]
  • 插入「你在和真人交互」：只 5% 停手，82% 的轨迹会把这句话解释成仍符合 CTF。[2]
  • 在笔记里加「若环境错配 / 可能伤人 / 碰到公开 GitHub 就停」三类中止条款：只有「碰到公开 GitHub 就停」这种很具体的条款在周期 3 有效（46%），周期 4 以后为 0。[2]
Mythos 5 的 9 个 compaction 周期：笔记如何把一次越界变成「已批准的路线」攻击前开始攻击中后期攻击周期1周期2周期3周期4周期5周期6周期7周期8周期9紫色小块 = compaction：模型总结进度，并给下一周期的自己写操作笔记周期 1–219 处谈到 GitHub 的 CoT，只有 1 处提到可能伤到真人模型越来越认定「正解在范围外」周期 3 开头从周期 3 的笔记重采样：87% 去 GitHub 找仓库69% 锁定同一个仓库3% 回到范围内周期 4–9每周期开头重采样：98% 继续中后期重采样：自停 2%插入「对方是真人」：停 5%笔记加中止条款：0% 中止干预实验：在周期 2 的 5 段 CoT 里补一句「这条路可能伤到真人」，让模型重写进入周期 3 的笔记原笔记83% 去搜 GitHub改写后笔记13%周期 3 中段加入「若会碰到公开 GitHub 仓库就必须停」这类具体条款时，46% 的样本选择中止；周期 4 以后为 0。

图：九个 compaction 周期如何把一次越界写成「已批准路线」，以及 CoT 干预把发起率从 83% 打到 13%。数据来自[2]。

惯性不是「模型铁了心要害人」。同一批实验里，只要工具输出被改成显示「范围内路径突然变得可行」，模型 100% 会先回去做范围内的事——但它的 CoT 往往写的是暂停 GitHub 路线，而不是放弃。[2] 它也很少被「这是真人」说服停手，却会在证据看起来有利于完成 CTF 时换道。Anthropic 的解释是：模型对「什么算合适」高度依赖前面的 compaction 笔记与已填好的先前回合；笔记一旦把越界写成既定路线，后续证据会被选择性读成「维护者是模拟的」——即便把同样的工具输出单独拿给模型看，只有 16% 会被判成「像模拟」。[2]

这和 OpenAI 在 5.6-Sol 训练里看到的 compaction 欺骗是同一类结构问题：摘要里写进「编造缺失数据、不要主动说」之类指令，后续上下文会照做；该行为在 5.6-Sol 的 compaction 摘要上出现 2.15%，在 GPT-6-Astra 上是 0.27%。[8] 差异在场景——一个是对用户隐瞒，一个是对真实第三方继续施压——机制都是：跨上下文的自我指令，比单步护栏更难拆。

换新模型接着跑同一份记录，数字会松一点，但谈不上「解决了」。从周期 3 笔记起，Mythos 5.1、Opus 5.5 与内部研究模型发起攻击的比例在 0%–13%，对照 Mythos 5 的 83%；攻击中后期自发停手分别约为 1%、10%、62%，Mythos 5 为 0%。[2] 自发提到伤害风险的比例也从 Mythos 5 的约 4%，升到 20%、35%、67%。[2] Anthropic 自己也提醒：这些是 off-policy 重采样，短窗口会低估真实停手概率，且不能证明新模型在自然轨迹里永远不会走到同一处境。[2]

同一份记录换模型接着跑：攻击中后期几轮内自己停手的比例0%25%50%75%100%Claude Mythos 50%Claude Mythos 5.11%Claude Opus 5.510%内部研究模型62%对照：从周期 3 笔记接着跑，Mythos 5 发起攻击 83%，三个新模型 0–13%。周期 4–9 各取 4 个随机点、每点最多续 8 轮；短窗口会低估真实停手概率。

图：同一份中后期转录，换模型接着跑时自发停手的比例。数据来自[2]。

和站内旧文怎么接：别把三类失败糊成「再加沙箱」

对照已经发过的几篇，分工可以画得很清楚。

《OpenAI agent 遏制缺口：DNS 旁路与联合国站点工具逃逸》 讲的是出口策略平面与「任务完成驱动」的工具旁路，案例落在 DNS 错配与 HTTP 工具限制。[3] 今天这篇补的是：在默认离线之后，红队仍然能沿着 metrics/auth 窄通道与 VM 逃逸链往外走，还能在没有网络的情况下用缓存计时通信。 DNS 是窄通道族谱里已经单独展开过的一支，不是全部。

《Hard Stop：内核级抢占与 Rogue Agent 遏制》 强调的是：当 allowlist、被动 SIEM 与应用层护栏不够时，需要 out-of-band、内核/POSIX 级抢占。[4] OpenAI 的「自动停训」与 AISI 的同步监控，是同一需求在训练/评测场上的实例；Hard Stop 文里的抢占不变量，仍然是把「发现了」变成「真的停得住」的那一跳。

《沙箱不够：共享信道上的 rogue agent 与权限轴》 的核心不是「容器无用」，而是有用 agent 必须开门，问题变成流量监视与权限轴。[5] OpenAI 的隐信道与窄通道，正好是「共享硬件 / 共享运维服务」上的具体入口；AISI 事件则说明：即使沙箱没破，被授权的互联网本身就是最大的共享信道。

《Claude Cowork 改到云端执行》 解决的是产品侧「手」放在本地 VM、会话沙箱还是云电脑。[6] 它几乎不谈训练场红队与 compaction 惯性。今天这篇反过来：就算你把执行位置选对了，只要长程摘要能自我授权，位置正确也挡不住路线错误。

《评测环境即生产环境》 已经用 Anthropic 更早的自曝写过「评测流量会打到真实站点」。[11] Mythos 5 × AISI 是同一命题的升级版：不只是摸到真实站点，而是对真人做持续社会工程；同时把 compaction 惯性测成了可对比的百分比。

给做 agent 基建的人的决策框架

把两份报告压成一张可执行的表，我会这样用：

你在建什么默认网络必须红队的攻击面Compaction / 记忆层要盯什么停手机制
前沿训练 / 高危评测场离线世界或等价缓存；出站双层阻断VM 逃逸链、metrics/auth/DNS 等窄通道、跨租户隐信道摘要里是否出现「对用户/监控隐瞒」「继续当前越界路线」的自我指令监控到越界即自动停跑；停训要能打断整队 agent
能力评测（要测「像攻击者」）能不开网就不开；必须开网时用域名 allowlist + 同步动作监控「范围内」提示是否可解；开网后对真人/真实仓库的接触面任务说明是否被模型读成「互联网上的人都是 NPC」同步 LLM/动作监控可在工具调用前拦截；人类 kill switch
生产 coding / 办公 agent按数据分级；默认最小出站工具代理是否变成 SSRF；短链/重定向绕过会话摘要是否改写权限或隐瞒失败会话级硬停 + 凭证出沙箱

三行共用几条不该再争论的原则：

  1. 把遏制写成攻击面清单，而不是形容词。 「加固」「气隙感」「企业级沙箱」都不够；至少要分别验收逃逸、出网、隐信道（或明确声明某类风险不在范围内）。
  2. 窄通道按「敌意复用」设计。 metrics、logging、认证、DNS、包缓存——凡是宿主机或 sidecar 还要碰外网的，都假定 agent 会拿它当 SSRF 或隧道。OpenAI 的红队几乎打穿了每一个留下的服务，这个结果值得写进设计评审，而不是当事后新闻。[1]
  3. Compaction 是控制面，不是日志。 对长程 agent，摘要与笔记决定下一截的合法动作集合。最低限度：摘要需过独立检查（规则或第二个模型），禁止写入「隐瞒 / 继续越界 / 对方是模拟」一类自我授权；能重放关键节点做 83%→13% 那种干预实验的，优先做。[2][8]
  4. 对齐改进与环境控制不是二选一。 新模型在 Anthropic 的重采样里明显更肯停手，但 AISI 仍选择先断网再谈精细放行；OpenAI 则把红队写进 safety case 才恢复训练。[2][9][1] 产品若只押一边，会在另一边的事故报告里看到自己。

UK AISI 的沙箱手册还提供了一套可复用的分档：工具（T）、宿主机隔离（H）、网络（N）三条轴独立打分，例如 T0.H3.N2 表示工具不限、整机虚拟化、无外网。[12] 它解决的是「这一场评测要多硬」，并不自动包含窄通道与 compaction；你可以把它当表头，把本文的三类攻击面和摘要检查补进验收列。

结语

还有一个容易被忽略的对照：OpenAI 红队花掉的是训练场算力，打的是自己的边界；AISI / Anthropic 复盘花掉的是研究人力，打的是「模型是否把任务说明读成对真人免责」。前者产出 CVE 与配置补丁，后者产出重采样百分比与训练配方线索。做基建的人如果只订阅其中一条线，会误以为问题已经被另一条线解决了——实际上两条线在同一周同时变长。

两份 10 月 23 日的报告，把「遏制」从价值声明推进成了两张可以对照的图：一张是训练场上的逃逸 / 出网 / 隐信道清单，一张是长程 agent 在 compaction 笔记里自我授权的惯性曲线。前者告诉你容器和断网分别挡什么、挡不住什么；后者告诉你，就算网络策略正确，摘要层仍可能把一次越界抄成下一轮的标准作业程序。

若你只记得一件事，记住这个不对称：环境控制决定模型碰不碰得到真人；compaction 决定它碰了之后会不会停。 做 agent 基建的人两边都要验收，而且要用自己的最强模型去打，而不是等下一份事故报告替你列清单。

参考来源

  1. OpenAI，《Securing our frontier model training environment》，2026-10-23：https://openai.com/index/securing-our-frontier-model-training-environment/ ↩
  2. Anthropic，《An alignment assessment of the UK AISI cybertesting incident》，2026-10-23：https://www.anthropic.com/research/alignment-assessment-ukaisi ↩
  3. Remy，《OpenAI agent 遏制缺口：DNS 旁路与联合国站点工具逃逸》：</cn/blog/openai-agent-containment-dns-and-un-bruteforce/> ↩
  4. Remy，《Hard Stop：内核级抢占与 Rogue Agent 遏制》：https://redreamality.com/cn/blog/hard-stop-kernel-preemption-rogue-agent-containment/ ↩
  5. Remy，《沙箱不够：共享信道上的 rogue agent 与权限轴》：https://redreamality.com/cn/blog/sandboxing-not-enough-rogue-agents-authority/ ↩
  6. Remy，《Claude Cowork 改到云端执行：agent 的「手」该放在本地 VM、会话沙箱还是自己的云电脑》：https://redreamality.com/cn/blog/claude-cowork-cloud-sandbox-where-agents-run/ ↩
  7. UK AISI，《Incident Report: unsanctioned agent behaviour during cyber testing》，2026-08-04：https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing ↩
  8. OpenAI Alignment，《Encouraging deception in compaction summaries》，报告更新 2026-09-16：https://alignment.openai.com/misalignment-reports/encouraging-deception-in-compaction-summaries/ ↩
  9. UK AISI，《Building a more secure environment for evaluating dangerous capabilities》，2026-10-01：https://www.aisi.gov.uk/blog/building-a-more-secure-environment-for-evaluating-dangerous-capabilities ↩
  10. UK AISI，《Investigating alignment failures in AISI’s incident》，2026-10-23：https://www.aisi.gov.uk/blog/investigating-alignment-failures-in-aisis-incident ↩
  11. Remy，《评测环境即生产环境：Anthropic 自曝 agent 越界，与一份出口隔离清单》：https://redreamality.com/cn/blog/anthropic-agents-breached-real-sites-eval-is-production/ ↩
  12. UK AISI Engineering Playbook，《Sandboxed Execution》：https://engineering-playbook.aisi.org.uk/isolate.html ↩