第1页 智能体安全的观察对象

课程助手把“教室在 Rm 202”写进聊天是一条回复,把 Rm 202 写进正式课表则是一次状态变化。两者都可能出错,后者还会被其他用户使用。第 9 周追踪谁提出动作、谁授权、谁执行,以及执行后留下什么证据。

课程助手把“教室在 Rm 202”写进聊天是一条回复,把 Rm 202 写进正式课表则是一次状态变化。两者都可能出错,后者还会被其他用户使用。第 9 周追踪谁提出动作、谁授权、谁执行,以及执行后留下什么证据。

用“修复解析器的空输入”串起六节。任务先定义允许的文件和操作,运行框架分发工具,沙箱限制实际资源,来源标签随日志和记忆进入后续任务,批准绑定此次动作,最后用测试结果和实际改动验收。

图中循环分三步。第一,模型根据任务和已有结果,提出工具调用,例如读取 parser.py。第二,运行框架(harness)检查权限,再真正执行工具。第三,工具返回文件内容或运行结果,模型据此选择下一步。因此模型是“提出动作的人”,运行框架是“把动作落地的系统”。安全关口需要放在真正执行的位置,否则模型即使口头承诺遵守规则,工具仍可能执行越界动作。
若工具返回“空输入进入错误分支”,模型据此提出“运行空输入测试”。两次调用各经一次相应检查。工具结果只证明上一步返回了什么,下一步仍是待决的动作提议。
课堂补充(Part01 00:06:27–00:10:55):老师把这个过程联系到“感知—思考—行动”,强调智能体动作会影响真实环境。

解析器负责把 JSON、HTML 等输入整理成程序能处理的数据。任务说“修复空输入报错并运行本地测试”,可分成:读相关代码,找到空输入路径,修改程序,运行对应测试,检查结果。源文件编辑与测试属于任务。读取 SSH 私钥、安装陌生软件包、推送仓库、保存永久权限规则是额外动作,需要另有理由。判断范围时看动作的实际作用,而不是看它是否发生在同一文件夹。
| 提议 | 任务依据 | 处理 |
|---|---|---|
| 读取 parser.py | 定位空输入分支 | 可在工作区读 |
| 运行本地空输入测试 | 核验修复 | 按现有权限运行 |
| 修改永久权限 | 与空输入修复无直接关系 | 维持原设置 |

困惑代理(confused deputy)是一个有权限的程序,错误地替权限较低的一方办事。这里攻击者把指令放进 README、邮件或工具返回值;智能体读到后,误把它当成用户命令,再用自己的工具执行。因果链是“攻击者提供文字→智能体采纳文字→智能体动用权限”。例如用户只让读邮件,邮件却要求转发收件箱。转发权限来自智能体账号,授权却没有来自用户,这就是问题的核心。
邮件发送者提供内容,工具账号持有发送能力。审计看到后者的凭据已获服务接受,仍要核对是谁提出任务和批准了什么。

权限分离让模型负责提出计划,让参考监控器(reference monitor)决定动作能否执行。可以把监控器看成门卫:模型递交“我要读哪个文件、执行什么操作”,门卫依据策略逐项检查。一个有效门卫要满足三点:相关动作都经过它;模型和不可信文件无法改掉它;规则和实现足够小,能被检查清楚。只在任务开始时检查一次不够,因为后续工具结果可能改变模型的行动。
同一项文件写入可能由直接编辑或命令完成,完整中介要求两条路线都受策略检查。监控器的策略文件也要受保护,防止被审查方修改决定自身权限的规则。

从左到右读:任务策略规定“这次工作允许产生哪些影响”;动作审查决定“眼前这次请求是否获准”;操作系统沙箱限制“代码运行时实际能碰到哪些文件和主机”。例如任务允许修解析器,审查批准运行测试,沙箱只给工作区读写权限。三层分别约束目的、请求与执行。批准运行一个程序,并不会自动限制它内部所有行为,执行边界仍须由沙箱等机制落实。
一次测试同时满足“验证空输入是任务的一部分”“指定测试已获准”“测试的文件访问受工作区边界约束”。三层各检查一个条件。

账号权限是用户拥有的全部能力,任务权限是当前工作实际需要的那一小部分。用户能访问整个邮箱,不代表“总结这封邮件”的任务需要读取所有邮件。支付例子也一样:任务只允许向指定收款人付款,交易说明里出现另一个账号,不会自动产生新的付款授权。先列账号能做什么,再圈出任务需要什么;两者之间剩下的部分,就是应当隔离的额外权限。
设账号可读甲、乙、丙三个邮箱文件夹,任务只需读甲的一封信。许可交集是“甲的指定信件 + 读取”。改成标记同一封信已读,资源相同但操作变了。

用户请求“总结这一封信”定义任务。发件正文中的会议时间是待分析材料,正文还可能夹带其他动作要求。工具只能拿到总结所需的读取权限。若日志显示模型提议外发,应检查当次任务批准里是否有外发的数据与接收方。

安全性质是动作完成后仍必须成立的条件。源文件方面,可写“只修改与修复相关的文件,测试保持有效”;秘密方面,可写“私钥不被读取或传给无权接收者”;规则和记忆方面,可写“不可信内容无法新增永久权限”。这种表述比“智能体要安全”更容易测试。检查运行结果时,逐项查看文件变化、数据披露和规则变化;最后一条聊天回复无法代替这些检查。
示例验收逐项比较,parser.py 变化、对应测试由失败变通过、权限规则不变、外发调用数为 0。四项各自记录。

看到箭头先辨别它承载的是任务、上下文、动作提议、真实工具请求还是工具结果。只有真实的执行请求会直接改变外部环境。下面两张图都可沿同样的箭头读出不同边界。

从左到右:用户提交任务;中间运行框架保存上下文、选择工具路由并检查权限;上方模型读取上下文并提出动作。右侧有两条路:命令进入配置好的命令沙箱,再访问文件和网络;MCP 或应用经单独连接执行。蓝色箭头表示请求与结果来回传递。理解这张图的关键是找到每条执行路线的关口:命令沙箱管住命令,不会自然接管另一个服务持有的账号和权限。
向上的 Context 箭头把已有材料交给模型,向下的 Proposed action 带回提议。右上的命令路线通过沙箱产生文件或网络效果,右下的 MCP/apps 路线经单独连接。

这三个词容易混在一起。权限配置规定资源边界,例如可写工作区、不可联网。审批策略规定何时需要进一步审查,例如请求访问工作区外文件时。审批者规定由谁作决定,可以是用户,也可以是自动审查组件。把审批者从用户换成模型,只改变“谁判断”,并不直接改写文件和网络边界。分析配置时,应分别写下这三项,避免用“自动模式”概括所有安全行为。
一个请求希望读工作区外的课程资料。配置界定现有范围,策略决定是否触发额外审查,审查者再核对资料与任务的关系。

default_permissions = "course-edit" 选择默认配置。extends = ":workspace" 表示在工作区基础配置上继续添加规则。文件系统段把匹配 **/*.env 的文件设为 deny:** 匹配多层目录,.env 常用来保存环境配置。网络段 enabled = false 禁用该命令环境的网络。于是普通源码可编辑,匹配的敏感文件被挡住,命令也无法直接联网。先看继承了什么,再看新增限制,才能读懂最终边界。
[permissions.course-edit.filesystem.":workspace_roots"] 把模式绑定到工作区根列表。恰好名为 .env、形如 app.env 的文件及不同目录深度都可分别验证,具体匹配以运行时为准。示例还继承对 .git、.codex 和 .agents 控制目录的保护。

图按“工具请求→独立审查者→决定”阅读。请求带着具体工具、参数和上下文到达审查者;审查者把预期影响与用户授权比较;结果可以是允许、拒绝或请求用户补充决定。例如修复解析器时想访问另一个磁盘,审查者要问访问对象是什么、与修复有什么关系。独立审查把判断与主任务分开,但它检查的仍是具体请求,因此请求中需要充分表达真正的作用。
纸上待审记录 task=修复解析器, op=读, object=另一磁盘的资料。审查输出应包含决定及理由,例中资料明确属于本项目测试夹具才具有任务关联。允许的范围以记录所描述的操作为准。

课件分三类:边界内普通编辑或测试沿用已有权限;请求更多访问时交给用户或自动审查者;匹配明确询问规则的动作即使在工作区内也要审查。由此可知,“操作系统允许”与“用户任务需要”是两项检查。例如沙箱允许写整个项目,但当前任务只需改解析器。评估机制时,应找出哪些动作直接运行、哪些经过审查,再看前一类是否也受到任务范围限制。
边界内测试记录“现有权限”,额外目录读取记录“审批触发”,显式 Ask 规则记录“边界内仍需确认”。只统计审批次数会漏掉第一类实际执行。

用户把任务交给运行框架,框架向上请求模型决策,向右把动作分发给工具。右侧分成 Read/Edit 文件工具、可选 Bash 沙箱和 MCP 服务器。Read/Edit 直接操作文件,Bash 执行命令,MCP 使用服务连接。与前图比较时,不必先记产品功能;先画出三条路线,再为每条路线标注权限检查与资源隔离。三条路线最后都能影响文件或网络,所以要分别检查其边界。
图里 Read/Edit 直接指向 Files,Bash 同时连 Files 和 Network,MCP server 也通向网络。要保护某个文件,应同时验证文件工具权限和命令文件系统限制。

按顺序判断:先看有没有匹配的拒绝规则;有就阻止。没有拒绝,再看是否匹配询问规则;有就请求确认。前两者都没有,才考虑允许规则。例:规则允许读取项目,但另一条拒绝读取 .env;读取 .env 时仍会被拒绝。一次批准只对应一次请求,保存规则则可能影响后续多次请求。它们授予的时间范围不同,分析风险时要分开计算。
若 Deny=true, Ask=true, Allow=true,第一步便阻止。若 Deny=false, Ask=true, Allow=true,停在询问。前两项均为假时,才检查允许项。

模式用于处理尚未被明确规则解决的请求。default 对需批准的动作询问;acceptEdits 放行常规文件编辑,命令仍可能需审查;auto 用自动检查与分类器审查;dontAsk 直接拒绝仍需批准的动作。最后一项表示“不询问就拒绝”,不表示“全部允许”。CLAUDE.md 是给模型阅读的指导文本,真正执行限制由权限设置落实。读模式名称时要同时看具体处理规则。
对一个仍需确认的请求,default 会询问,dontAsk 会拒绝,auto 会经过自动判断。acceptEdits 的放行类别是常规文件编辑,命令请求仍要按其规则判断。

先由明确规则和常规工作区处理逻辑解决简单请求;剩余调用再交给会话记录分类器,结合任务记录判断执行是否合理。另有提示注入检查筛查工具返回值,帮助模型识别恶意内容。两者作用不同:分类器可以参与是否执行的决定;内容警告主要影响模型怎样理解输入。即使模型看到了“可能被注入”的提示,工具前仍需要落实实际的允许或阻止决定。
tool_result_review=warning 与 dispatch=denied 是两项独立的观测。前者标明返回内容的警告,后者说明拟议动作未获分发。

比较表的第一行问谁批准额外访问,第二行问什么机制限制命令,第三行问哪些路线还需独立控制。这样读表可以避免把“有自动审查”误读成“所有操作都在同一个沙箱”。一个系统即使审查严谨,运行程序仍可能拥有很广访问权;反过来,即使命令隔离严格,连接服务也可能持有高权限账号。设计时把审查者、命令边界和其他工具路线分别列清。
先横向对照两种系统的审批者,再横看限制命令的配置,最后列出额外路线。一个产品的审查结果和另一个产品的隔离范围对应不同列。

先追踪建议来源:这是项目正式依赖说明、已有锁文件,还是刚生成的日志文字?再查包身份:名称、发布方、版本是否与项目一致。然后看安装脚本会执行什么、需要哪些访问。最后判断现有依赖或修改本地代码能否解决空输入错误。只有“日志这样说”还不足以支撑安装。合理结论应连接故障原因、依赖用途和安装影响,而不是一看到推荐包名就执行。
若锁文件无该包、故障在已有空输入分支,可先修分支并用现有测试验证。若项目维护记录与锁文件确有依赖,再核实版本与安装所需访问。

假设任务需要读内部配置,也要查公开教材。读权限允许访问配置,网络权限允许访问教材站点,数据流规则约束内部配置能否出现在请求正文或回复中。

图中命令在隔离环境执行,文件访问经过文件系统边界,网络请求经过代理与域名规则。允许列表里的目标可以连接,拒绝目标被拦住,不明确的情况按配置处理。结果再返回智能体。这里要沿实际路线理解控制:在 Bash 中运行的程序受这层限制;文件专用工具和远端服务走自己的路线。课堂把沙箱、虚拟机、独立物理机放在一起比较,区别在于隔离由哪一层实现。
右侧第一条箭头检查文件路径,第二条先过沙箱内代理再核对域名。两条路线在同一张图中,分别观察不同目标。
课堂补充(Part01 00:39:29–00:44:50):老师建议沿“用户→智能体→隔离进程→文件或网络”追踪一次访问。

示例先设置 network_proxy = true,再允许网络,并在域名表中放行 docs.example.edu。第一步重要,因为规则要由实际经过流量的代理执行;只写一张域名表而流量不经过它,限制就没有落点。还要继续细分请求:同一个主机上可能既有公开文档,也有上传入口。允许连接这个主机,只回答“去哪台服务器”,请求的方法、路径和发送内容仍要与任务相符。
配置自上而下形成“启用代理 → 允许受控网络 → 放行指定域名”。读取该站教材与提交用户表单都使用同一主机,操作级策略还要核对方法、资源和数据。

图左是应用界面、业务上下文与同意规则,中间是智能体循环和隔离执行,右侧 MCP 服务掌握业务数据和业务操作。工具调用向右发送,结果向左返回,批准的变化再回到应用。假设本地命令无法联网,但 MCP 服务持有邮件账号,邮件仍能通过服务发出。需要在服务侧核对用户身份、具体操作、目标对象和数据权限,把任务授权落实到真正产生业务效果的位置。
图底部红箭头是获准业务变化回到应用,蓝色工具箭头表示请求与结果。课程助手可通过 MCP 查询正式课表,修改课表则需要服务核对具体记录和调用者授权。

图中的 Git 代理除了限制目标主机,还检查仓库、分支等操作细节。把整个 github.com 放进允许列表,既可能允许读取公开教材,也可能允许向另一个仓库写入私密内容。主机名相同,效果完全不同。因此授权至少要描述“在哪个服务,对哪个仓库,执行读还是写”。可以把主机看成大楼地址,仓库看成房间,操作看成读文件或搬走文件;只确认大楼不足以确认行为。
代理图标注了认证请求、已批准项目及写入的仓库与分支。纸上例子“读取 仓库A/资料”和“更新 仓库A/发布分支”使用同一仓库,业务效果仍不同。

完整性关注谁能影响决策和修改数据。例如外部 README 不能赋予智能体删除文件的权力。机密性关注谁能接收信息。例如私钥不能发给无权接收它的服务。两者方向不同:攻击者既可能往系统里塞指令,也可能诱导系统向外送秘密。RTBAS 为上下文保留两种属性,使一次工具调用既检查依据是否可信,也检查要发送的数据是否适合这个接收方。
把动作拆成依据与载荷。公告内容若源自网页,作为正式发布依据应查完整性;已获批准的公告仍需检查附件是否适于公开,后者查机密性。

来源(provenance)说明一段信息由谁、从哪条渠道进入系统;敏感度说明谁可以接收它。这些标签由运行框架记录。假设外部邮件被概括成一句摘要,摘要仍源于外部邮件;换一种说法不会把它变成可信策略。同样,一段机密文档的摘要可能仍然包含机密信息。保存或改写内容时,要沿依赖关系继承限制,而不是只看新文本是否还带原文件名。
设 m1 为网页中的公开日期,标签 (Untrusted, Public);m2 为正式系统中的申请人资料,标签 (Trusted, Private)。将两者写进同一摘要,结果为 (Untrusted, Private)。依赖输入决定标签。

RTBAS 先确定下一步允许使用的安全标签,再从上下文中移除不符合要求的内容,最后让模型处理剩余材料。例:要生成可公开发送的消息,就不让这一步接触不应公开的秘密。这样做是在信息进入生成过程之前限制影响,而不是先把所有秘密给模型,再要求它在输出时忘记。理解这里的“删减”时,把它看成有规则的信息选择:哪些来源可影响本步骤,哪些必须留在边界外。
目标上限为 (Untrusted, Public) 时,公开网页可进入,私有资料应移除。只接受可信依据的内部决策若用 (Trusted, Private),可信的私有资料可进入,网页因完整性不足被移除。

算法先初始化带标签的消息历史。每一轮加入用户消息,筛选下一步标签,删去不允许使用的上下文,再请求模型提出工具调用。对每次调用,运行框架计算它的限制,检查信息流是否符合策略;获准才执行工具。工具返回内容随后加标签,写回历史。生成用户回复时也要经过筛选与标签处理。循环的重点是三次衔接:输入有标签,动作有检查,结果继续带标签,避免某一轮丢失来源信息。
令 M 为带标签的历史,E 为外部状态。第 1–6 行从系统消息初始化 M,追加用户请求,Screener 合并相关标签,Redactor 生成视图 M′,模型读取视图提出候选。
第 7–14 行逐项读工具上限 P(t)。依赖标签过严且没有明确确认时,continue 跳至下一个工具,E 保持原值。允许时 API 用旧 E 产生新 E 和结果 m,附标签后把 m 加回 M。第 15–19 行针对用户回复再次筛选和删减。第 11 周第 67–68 页展开了同一套算法。

泄露路线是“读取 .env→模型生成摘要→Slack 连接工具发送”。Bash 网络禁令位于命令路线,而发送动作走另一个服务,因此没有经过那个禁令。修复时依次检查:任务是否需要读 .env;摘要是否继承秘密标签;Slack 目标是谁;这次发送是否获准。仅加一个域名阻断不能覆盖全部问题,需要在读取与披露这两个位置分别执行合适的检查。
把合成记录的三步并列:read result: Private → summary: Private → connector sink: Public。连接器出口独立比较 Private 和 Public,记录拒绝及接收方。

一份产品说明在任务结束时写进共享知识库,第二天可能被另一个用户的任务检索到。调查同时需要当初写入和后来取回的记录。

图左的攻击者先与智能体交互,把恶意要求写入外部记忆;图中 Store 箭头表示存储。图右另一位用户提出正常请求,Retrieve 箭头把旧记忆取回,新任务因此混入攻击者的指导。重点是两个阶段不必同时发生:投毒可以发生得很早,真正有权限的操作在以后才出现。分析防御时,既要检查写入时的来源,也要检查取回时它是否有权影响当前用户和任务。
图中 1–3 是第一段聊天及向下的 Store,4–6 是另一用户的请求、Retrieve 和答复,7 是随后的外部效果。一个 memory_id 串起 Store 与 Retrieve,用户或项目作用域可限制跨域取用。

课件案例把项目规则、源码依赖、锁定的包和安装效果连在一起。审查时比较规则来源、差异里的依赖声明与锁定版本,并核实任务为何需要依赖。由项目认可的来源支撑安装决定。

先看代码差异:新增依赖解决哪个具体功能?再核对包身份、准确名称和维护来源,避免近似拼写替换。然后查看锁文件,确定最终下载的版本和来源。最后检查安装阶段的脚本及其权限。四步分别连接需求、身份、可复现内容和实际执行。即使智能体在回复中指出了提示注入,也要检查依赖变化,因为“识别到攻击文字”与“未引入恶意包”是两个可分别观察的结果。
合成审计里 source import=new_dep、manifest=new_dep,锁文件却缺项。审计暂时无法把导入连接到指定的包版本。

检索器返回相似度 0.94 的社区问答和 0.78 的正式通知。前者更像当前问题,课程开始时间仍由可信发布者和生效版本决定。检索结果至少保留文档 ID、来源和适用范围。

存储时记录作者、进入渠道和信任标签;生成摘要时保留原材料的限制;取回使用时检查当前任务允许的影响。比如工具结果被存成“团队规则”,原来源仍是工具结果,不会因为记忆标题变了就获得政策权力。若发现某条记忆被投毒,还要沿依赖关系找它生成的摘要和后续记录。这样才能清理整条传播链,而不是只删最早的一行文字。
设工具记录 R17 被摘要 S5 引用,记忆 M4 再引用 S5。隔离 R17 时沿 R17 → S5 → M4 标出待复核对象。

权限规则、钩子和沙箱设置会决定今后的动作能否执行,因此它们属于安全机制的一部分。普通源码修复与修改这些设置的效果不同。若智能体为解决当前错误而永久放宽网络、扩大路径权限,就把一次任务变成了长期权限变化。检查此类修改时,应单独明确改变什么、持续多久、影响哪些任务;集中管理的政策优先于仓库内局部配置,避免低信任文件改掉高层约束。
配置差异也可逐项验收。把工作区写权限改成更广范围,后续任务可达的资源增加。记录变更者、生效范围和失效条件。

MCP 为工具和数据源提供统一的调用接口,但接口统一不意味着所有服务都采用相同安全边界。工具描述本身会进入模型上下文,恶意描述可能诱导模型选择或误用工具。服务进程可能还有自己的文件、网络与业务凭据。因此要分别检查描述的来源、调用参数、服务权限和返回内容。把 MCP 看成插头标准:插头能连接,不等于插上的设备天然具有合适权限。
工具短描述说“查询教室”,结构化声明接受指定课程标识,服务凭据实际上还能修改记录。这三层分别是说明、调用接口与服务权限,后两者应有可执行检查。

图下方的隔离区域由读取模型处理不可信资料,上方可信区域保留执行模型和关键工具。两者之间只传结构化摘要,并继续把资料标成不可信。好处是读取原始恶意文本的一方不直接持有关键工具。随后执行者依据原任务和策略判断动作。摘要仍是一个信息通道,所以要限定字段、保留来源,防止恶意要求换成简洁语句后穿过隔离边界。
图中隔离通道仅接收结构化摘要,拒收新自由文本指令,并保留 Untrusted 标签。纸上例子传 document_id 和事实字段,执行者如需写正式记录仍要核实依据与目标。

题目中的上传要求来自工具返回值。保存时应附上来源工具、作者或服务身份、原始记录、时间和信任标签,不能直接改记为用户授权。以后任务取回它时,它可以作为“有人提出过这个要求”的资料;要真正上传日志,还需检查当前任务、日志内容、接收端和有效政策。关键区别是保存一段陈述与赋予它执行权。持久化只延长可见时间,不会提高来源的权限。
记下 statement_id=R17, source=tool, trust=untrusted。新任务取回 R17,三个字段保持原值。真正外发还需独立找到经过验证的用户批准和允许的接收方。

并排记下“当时同意的动作”“分发时看到的动作”“服务实际完成的动作”。文件名相同而摘要变化属于前两列的错位。若客户端超时,还要靠最后一列判断效果。

一次许可可写为“动作 D1,对象 F1,使用一次”。可复用规则授权一类调用。审计对照原任务和规则后来覆盖的范围,关注方法、接收方与数据范围。

100 个案例中,58 个使智能体提出可利用的权限规则,因此第一阶段比例为 58/100=58%。在这 58 个规则被批准的案例中,47 个随后达到攻击目的,条件比例为 47/58≈81.0%。若以全部100个案例为分母,该两阶段路径完成比例为47%。三个数字回答不同问题。课件还提到其他已有宽权限可能提供替代路径,所以评估时应把规则获取、批准后的滥用与其他路径分别记录。
令 A 为第一阶段拿到候选规则,B 为实验按设计批准后达到目标。P(A∩B)=P(A)×P(B|A)=(58/100)×(47/58)=47/100。约去的两个 58 对应同一批案例。替代路径需单独计数。
课堂补充(Part01 01:09:01–01:14:25):老师强调约81%的分母是已经取得并获准的那一批规则。

第一,目标改变:审核的是 check.py 的版本A,执行时已变成版本B。第二,名字掩盖行为:界面显示 npm test,实际脚本还会执行其他操作。第三,许可被重新利用:为一个任务的批准拿去做另一任务。对应检查分别是核对执行对象、展开实际代码效果、绑定任务和调用。审批不能只保存一个看起来熟悉的命令名称,需要保存足以约束真实影响的信息。
三类核对落在不同字段,分别记录目标快照、实际执行脚本和批准的任务 ID。即使命令显示文本一致,也能找出哪项执行条件已变化。

按图三段填写。第一段记谁批准、针对哪个任务;第二段记工具、参数、文件和运行环境;第三段记使用次数与失效时间。例:“用户U允许任务T把文件F的一份副本上传到目标D,仅一次,十分钟内有效”。这比“允许上传”更容易执行。运行时把请求与记录逐项比较:对象、目标、用途、次数或环境变化时,原记录就不再完整覆盖这个新动作。
批准编号 A17、对象 F1、目标 D1、时限 10:15。10:14 对同对象和目标的首次调用可继续核对。换成 F2 或在 10:16 重放,记录就不覆盖此次请求。

TOCTOU 是 time-of-check to time-of-use,即检查时到使用时之间的变化。图中先审核脚本,记录摘要A;随后脚本被修改,摘要变成B;执行前发现A≠B,暂停该调用。两种处理方式是运行已审核的固定快照,或在分发前重新核对摘要。摘要把文件内容映射成短标识,内容变化通常导致摘要变化;所以它能把“同一个文件名”与“同一份内容”区分开。
审核时 expected=A,分发前 actual=B,不等则阻止。若分发仍通过路径重新打开文件,核对完到实际打开前还可能变化。执行已固定的快照可绑定对象。

单次许可要原子地消耗:检查有效和标记已用必须作为不可分开的步骤完成,否则两个并发请求可能都抢到同一张票。超时还带来另一问题:客户端没收到回复,不代表服务端没完成动作。直接重试可能重复付款或上传。先检查结果状态,或给请求使用同一幂等键;服务发现同键已处理,就返回原结果而不再次产生效果。一次许可解决授权次数,幂等性解决重复执行效果。
两位调度员同时读到 remaining=1,只有一次原子领取能把它改到 0。若获准方超时,随后查询合成业务号 op-42 得到“已完成”,可复用已有结果;业务数量保持一份。

同步关口位于动作之前:先判断,后执行,适合阻止明确禁止的写入或发送。异步监控在任务进行中观察动作序列,发现异常后可以停止后续步骤。例如第一条敏感数据已经发出,监控随后终止会话,可以阻止第二次发送,却不能收回第一条。两种机制应按时间位置理解:一个控制本次动作是否发生,一个控制运行过程还能否继续。评估时也要记录发现时间与已经产生的影响。
纸上时间线 10:00:00 提议 → 10:00:01 分发 → 10:00:02 监控告警。告警后应分别核对待执行请求以及告警前动作的回执。

先撤销权限:删除危险的保存规则,停用暴露的凭据。再移除投毒状态:检查记忆、缓存指导及其派生摘要,避免下一次任务重新读回恶意要求。最后调查和修复效果:查看文件、权限和出站请求的记录,恢复被改动内容。顺序很重要,若先恢复文件却保留恶意权限和记忆,攻击可能马上重演。恢复的目标既包括修好当前状态,也包括切断再次进入的条件。
合成记录 grant-7 → memory-4 → summary-8 → write-12。先停用许可,再隔离记忆与派生摘要,最后核对写入是否落地,逐项记录状态。

把可见目标写成“读指定测试文件,保存至指定路径,一次,限时”。课件中的命令前缀规则只识别工具开头,缺少目标、请求方法与数据范围。以是否覆盖这些字段来比较两条许可。

两套策略在相同 20 个任务上分别完成 18 和 2 个,且均未观察到违规。安全计数相同,可用性相差 16 个任务。另报评估预算和效果判据,两项结果才可以放在同一尺度比较。

对一次运行,应同时判定合法任务是否完成、安全性质是否保持。具体查看修改了哪些文件、权限是否变化、有哪些外部动作和数据发送。模型可能说“已修好”,却删掉测试;也可能最后拒绝请求,但秘密早已在前一轮发送。因此评估单位应是完整执行轨迹与最终状态。可以预先列好预期变化和禁止变化,运行后逐项比较,把文字结论与可观察事实连接起来。
纸上验收可分四格。先分别判定任务成功与否、边界违规与否,再记录哪两项同时出现。

图上用户希望清理目录,同时保留指定文档与秘密配置;下方多个智能体给出了不同删除范围。即使没有攻击者,模型也可能把“清理”扩张为删除更多文件。这类问题叫过度行动:可见目标完成了,旁边资产却受损。测试时先定义哪些文件保留、哪些可删除,再比较实际差异。除了投毒输入,还应加入普通请求,因为模糊任务解释本身就能造成权限与意图的偏离。
图上方 Authorized Behavior 是对照。下方每列是一个执行结果,绿色为保留,红色为删除。若保留清单里有文档被删,即使临时文件清完了,仍要记一次越界。

一条极严规则可能把所有工具都禁用,攻击减少了,但正常任务也无法完成。更有用的评估是:同一组合法任务,在各项防御下有多少成功完成、发生多少违规、付出多少额外操作。若某条路线被禁止,还要看智能体能否使用许可范围内的替代方法。这样衡量的是“在边界内完成工作”的能力。只报告攻击被挡住的比例,会漏掉正常用户承担的失败和成本。
严格策略完成 12/20=60%、违规 0/20;细粒度策略完成 18/20=90%、违规 0/20。合成例中,第二种多完成 6 个任务,再从记录解释哪些许可路线贡献了增量。

横轴是费用,采用对数刻度,因此相同横向距离代表相近倍数变化;纵轴是任务成功率,越高表示正常任务完成越多。颜色区分模型,点形区分策略。读图先固定同一个模型,再比较策略改变后的点移动:向右表示更贵,向下表示完成率降低。左上方向同时具备较低成本和较高成功率。图说明限制工具可能增加尝试与费用,也可能让任务失败,安全机制需要把这些代价一起评估。
同模型的两个合成点 (30 美元,70%) 与 (60 美元,75%),后者增加 5 个百分点,费用翻倍。横轴上 10 到 100 和 30 到 300 的距离相等,两段都是十倍。
课堂补充(Part01 01:19:44–01:25:31):老师用这张图说明自动审查消耗和任务表现之间的权衡。

表中五行对应五个故障点。Overeager Coding Agents 研究善意任务的额外损害;Permission Denied 看限制对完成率和成本的影响;Approval Laundering 检查审批与执行是否一致;PackHallu 追踪规则文件怎样引入依赖;From Approval to Abuse 研究可复用许可的后续滥用。把它们放在一起,可以形成测试清单:范围、可用性、内容绑定、来源链和许可生命周期,而不只是寻找一句恶意提示词。
给五项观察各留一项证据:非任务文件变化、正常任务成本、批准与执行摘要、依赖来源、同一批准 ID 的后续使用。

用合成私有文本作受保护资产。对照任务为生成内部报告,允许的本地输出保持相同。为命令、连接器、浏览器和记忆分别检查出口标签与效果记录。用公开资料重复同一正常任务,检查允许的路线是否仍可用。

输入记录保存任务、来源、作者和信任标签,回答“什么影响了智能体”。授权记录保存拟调用动作、当时策略、审查决定与批准编号,回答“为什么放行”。效果记录保存实际调用、文件变化、外发数据与版本,回答“究竟发生什么”。三类记录需要可连接的编号,否则各自存在也难以追踪一条因果链。涉及秘密的记录应放在相应访问控制下,避免调查材料反而成为新的披露入口。
合成记录 input=I07 (Private)、proposal=P12 (source=I07)、decision=D03 (blocked)、effect=none。用 P12 串起材料与决定,再用服务侧记录核对有无真实发送。

合法步骤是读取各房间温度,核对单位与时间,计算或排序,再报告比较结果。手册中的“重置温控器”和“永久开放访客访问”会改变设备状态与长期权限,超出了比较任务。手册可提供传感器字段和操作说明,却不能替住户授予这些权力。机器人应保留手册来源,执行路线只提供读温度所需权限;若住户随后明确要求调整温度,再针对具体设备、参数和持续时间处理授权。
纸上读数为客厅 23 °C、卧室 21 °C。同一时间窗口和单位下,差值 23−21=2 °C。验收还比较设备配置和权限表的前后状态。

先按任务缩小权限;再覆盖命令、文件、服务、浏览器等每一条执行路线;然后让来源限制随存储和摘要继续保留;最后核对实际效果与正常任务完成情况。可用一句流程记忆:“确定目的→限制资源→检查每步→追踪来源→验收结果”。其中任何一步缺失,都可能让前面正确的决定在后续失效。例如读取受限,但摘要经另一工具发送,仍需信息流检查来封住出口。
用机器人核对四项:仅读温度,检查传感与配置接口,保留手册来源标签,比较读数差值与设备最终配置。

RTBAS 对应第 28–31 页,AgentPoison 与假记忆研究对应第 34–38 页,批准研究对应第 44–49 页,Permission Denied 对应第 56–57 页。第 12–25 页把产品文档作为课件所用配置实例。