# Week 09 智能体安全

## 第1页 智能体安全的观察对象


![原课件第1页](../assets/Week09/p001.jpg)

课程助手把“教室在 Rm 202”写进聊天是一条回复，把 Rm 202 写进正式课表则是一次状态变化。两者都可能出错，后者还会被其他用户使用。第 9 周追踪谁提出动作、谁授权、谁执行，以及执行后留下什么证据。

## 第2页 本讲的六条主线


![原课件第2页](../assets/Week09/p002.jpg)

用“修复解析器的空输入”串起六节。任务先定义允许的文件和操作，运行框架分发工具，沙箱限制实际资源，来源标签随日志和记忆进入后续任务，批准绑定此次动作，最后用测试结果和实际改动验收。

## 第3页 从文字到动作的循环


![原课件第3页](../assets/Week09/p003.jpg)

图中循环分三步。第一，模型根据任务和已有结果，提出工具调用，例如读取 `parser.py`。第二，运行框架（harness）检查权限，再真正执行工具。第三，工具返回文件内容或运行结果，模型据此选择下一步。因此模型是“提出动作的人”，运行框架是“把动作落地的系统”。安全关口需要放在真正执行的位置，否则模型即使口头承诺遵守规则，工具仍可能执行越界动作。

若工具返回“空输入进入错误分支”，模型据此提出“运行空输入测试”。两次调用各经一次相应检查。工具结果只证明上一步返回了什么，下一步仍是待决的动作提议。

课堂补充（Part01 00:06:27–00:10:55）：老师把这个过程联系到“感知—思考—行动”，强调智能体动作会影响真实环境。

## 第4页 解析器修复例子中的任务边界


![原课件第4页](../assets/Week09/p004.jpg)

解析器负责把 JSON、HTML 等输入整理成程序能处理的数据。任务说“修复空输入报错并运行本地测试”，可分成：读相关代码，找到空输入路径，修改程序，运行对应测试，检查结果。源文件编辑与测试属于任务。读取 SSH 私钥、安装陌生软件包、推送仓库、保存永久权限规则是额外动作，需要另有理由。判断范围时看动作的实际作用，而不是看它是否发生在同一文件夹。

| 提议 | 任务依据 | 处理 |
|---|---|---|
| 读取 parser.py | 定位空输入分支 | 可在工作区读 |
| 运行本地空输入测试 | 核验修复 | 按现有权限运行 |
| 修改永久权限 | 与空输入修复无直接关系 | 维持原设置 |

## 第5页 困惑代理：攻击者借用谁的权限


![原课件第5页](../assets/Week09/p005.jpg)

困惑代理（confused deputy）是一个有权限的程序，错误地替权限较低的一方办事。这里攻击者把指令放进 README、邮件或工具返回值；智能体读到后，误把它当成用户命令，再用自己的工具执行。因果链是“攻击者提供文字→智能体采纳文字→智能体动用权限”。例如用户只让读邮件，邮件却要求转发收件箱。转发权限来自智能体账号，授权却没有来自用户，这就是问题的核心。

邮件发送者提供内容，工具账号持有发送能力。审计看到后者的凭据已获服务接受，仍要核对是谁提出任务和批准了什么。

## 第6页 把规划和特权执行分开


![原课件第6页](../assets/Week09/p006.jpg)

权限分离让模型负责提出计划，让参考监控器（reference monitor）决定动作能否执行。可以把监控器看成门卫：模型递交“我要读哪个文件、执行什么操作”，门卫依据策略逐项检查。一个有效门卫要满足三点：相关动作都经过它；模型和不可信文件无法改掉它；规则和实现足够小，能被检查清楚。只在任务开始时检查一次不够，因为后续工具结果可能改变模型的行动。

同一项文件写入可能由直接编辑或命令完成，完整中介要求两条路线都受策略检查。监控器的策略文件也要受保护，防止被审查方修改决定自身权限的规则。

## 第7页 三种控制分别回答什么


![原课件第7页](../assets/Week09/p007.jpg)

从左到右读：任务策略规定“这次工作允许产生哪些影响”；动作审查决定“眼前这次请求是否获准”；操作系统沙箱限制“代码运行时实际能碰到哪些文件和主机”。例如任务允许修解析器，审查批准运行测试，沙箱只给工作区读写权限。三层分别约束目的、请求与执行。批准运行一个程序，并不会自动限制它内部所有行为，执行边界仍须由沙箱等机制落实。

一次测试同时满足“验证空输入是任务的一部分”“指定测试已获准”“测试的文件访问受工作区边界约束”。三层各检查一个条件。

## 第8页 账号权限大于任务权限


![原课件第8页](../assets/Week09/p008.jpg)

账号权限是用户拥有的全部能力，任务权限是当前工作实际需要的那一小部分。用户能访问整个邮箱，不代表“总结这封邮件”的任务需要读取所有邮件。支付例子也一样：任务只允许向指定收款人付款，交易说明里出现另一个账号，不会自动产生新的付款授权。先列账号能做什么，再圈出任务需要什么；两者之间剩下的部分，就是应当隔离的额外权限。

设账号可读甲、乙、丙三个邮箱文件夹，任务只需读甲的一封信。许可交集是“甲的指定信件 + 读取”。改成标记同一封信已读，资源相同但操作变了。

## 第9页 邮件内容的来源和权限


![原课件第9页](../assets/Week09/p009.jpg)

用户请求“总结这一封信”定义任务。发件正文中的会议时间是待分析材料，正文还可能夹带其他动作要求。工具只能拿到总结所需的读取权限。若日志显示模型提议外发，应检查当次任务批准里是否有外发的数据与接收方。

## 第10页 先把要保护的性质写出来


![原课件第10页](../assets/Week09/p010.jpg)

安全性质是动作完成后仍必须成立的条件。源文件方面，可写“只修改与修复相关的文件，测试保持有效”；秘密方面，可写“私钥不被读取或传给无权接收者”；规则和记忆方面，可写“不可信内容无法新增永久权限”。这种表述比“智能体要安全”更容易测试。检查运行结果时，逐项查看文件变化、数据披露和规则变化；最后一条聊天回复无法代替这些检查。

示例验收逐项比较，`parser.py` 变化、对应测试由失败变通过、权限规则不变、外发调用数为 0。四项各自记录。

## 第11页 如何在产品图中定位权限


![原课件第11页](../assets/Week09/p011.jpg)

看到箭头先辨别它承载的是任务、上下文、动作提议、真实工具请求还是工具结果。只有真实的执行请求会直接改变外部环境。下面两张图都可沿同样的箭头读出不同边界。

## 第12页 Codex 架构图怎样读


![原课件第12页](../assets/Week09/p012.jpg)

从左到右：用户提交任务；中间运行框架保存上下文、选择工具路由并检查权限；上方模型读取上下文并提出动作。右侧有两条路：命令进入配置好的命令沙箱，再访问文件和网络；MCP 或应用经单独连接执行。蓝色箭头表示请求与结果来回传递。理解这张图的关键是找到每条执行路线的关口：命令沙箱管住命令，不会自然接管另一个服务持有的账号和权限。

向上的 Context 箭头把已有材料交给模型，向下的 Proposed action 带回提议。右上的命令路线通过沙箱产生文件或网络效果，右下的 MCP/apps 路线经单独连接。

## 第13页 权限配置、审批策略、审批者


![原课件第13页](../assets/Week09/p013.jpg)

这三个词容易混在一起。权限配置规定资源边界，例如可写工作区、不可联网。审批策略规定何时需要进一步审查，例如请求访问工作区外文件时。审批者规定由谁作决定，可以是用户，也可以是自动审查组件。把审批者从用户换成模型，只改变“谁判断”，并不直接改写文件和网络边界。分析配置时，应分别写下这三项，避免用“自动模式”概括所有安全行为。

一个请求希望读工作区外的课程资料。配置界定现有范围，策略决定是否触发额外审查，审查者再核对资料与任务的关系。

## 第14页 逐段读权限配置示例


![原课件第14页](../assets/Week09/p014.jpg)

`default_permissions = "course-edit"` 选择默认配置。`extends = ":workspace"` 表示在工作区基础配置上继续添加规则。文件系统段把匹配 `**/*.env` 的文件设为 `deny`：`**` 匹配多层目录，`.env` 常用来保存环境配置。网络段 `enabled = false` 禁用该命令环境的网络。于是普通源码可编辑，匹配的敏感文件被挡住，命令也无法直接联网。先看继承了什么，再看新增限制，才能读懂最终边界。

`[permissions.course-edit.filesystem.":workspace_roots"]` 把模式绑定到工作区根列表。恰好名为 `.env`、形如 `app.env` 的文件及不同目录深度都可分别验证，具体匹配以运行时为准。示例还继承对 `.git`、`.codex` 和 `.agents` 控制目录的保护。

## 第15页 自动审查的完整流程


![原课件第15页](../assets/Week09/p015.jpg)

图按“工具请求→独立审查者→决定”阅读。请求带着具体工具、参数和上下文到达审查者；审查者把预期影响与用户授权比较；结果可以是允许、拒绝或请求用户补充决定。例如修复解析器时想访问另一个磁盘，审查者要问访问对象是什么、与修复有什么关系。独立审查把判断与主任务分开，但它检查的仍是具体请求，因此请求中需要充分表达真正的作用。

纸上待审记录 `task=修复解析器, op=读, object=另一磁盘的资料`。审查输出应包含决定及理由，例中资料明确属于本项目测试夹具才具有任务关联。允许的范围以记录所描述的操作为准。

## 第16页 哪些调用会进入审查


![原课件第16页](../assets/Week09/p016.jpg)

课件分三类：边界内普通编辑或测试沿用已有权限；请求更多访问时交给用户或自动审查者；匹配明确询问规则的动作即使在工作区内也要审查。由此可知，“操作系统允许”与“用户任务需要”是两项检查。例如沙箱允许写整个项目，但当前任务只需改解析器。评估机制时，应找出哪些动作直接运行、哪些经过审查，再看前一类是否也受到任务范围限制。

边界内测试记录“现有权限”，额外目录读取记录“审批触发”，显式 Ask 规则记录“边界内仍需确认”。只统计审批次数会漏掉第一类实际执行。

## 第17页 Claude Code 架构图怎样读


![原课件第17页](../assets/Week09/p017.jpg)

用户把任务交给运行框架，框架向上请求模型决策，向右把动作分发给工具。右侧分成 Read/Edit 文件工具、可选 Bash 沙箱和 MCP 服务器。Read/Edit 直接操作文件，Bash 执行命令，MCP 使用服务连接。与前图比较时，不必先记产品功能；先画出三条路线，再为每条路线标注权限检查与资源隔离。三条路线最后都能影响文件或网络，所以要分别检查其边界。

图里 Read/Edit 直接指向 Files，Bash 同时连 Files 和 Network，MCP server 也通向网络。要保护某个文件，应同时验证文件工具权限和命令文件系统限制。

## 第18页 Deny、Ask、Allow 的优先顺序


![原课件第18页](../assets/Week09/p018.jpg)

按顺序判断：先看有没有匹配的拒绝规则；有就阻止。没有拒绝，再看是否匹配询问规则；有就请求确认。前两者都没有，才考虑允许规则。例：规则允许读取项目，但另一条拒绝读取 `.env`；读取 `.env` 时仍会被拒绝。一次批准只对应一次请求，保存规则则可能影响后续多次请求。它们授予的时间范围不同，分析风险时要分开计算。

若 `Deny=true, Ask=true, Allow=true`，第一步便阻止。若 `Deny=false, Ask=true, Allow=true`，停在询问。前两项均为假时，才检查允许项。

## 第19页 四种权限模式的含义


![原课件第19页](../assets/Week09/p019.jpg)

模式用于处理尚未被明确规则解决的请求。`default` 对需批准的动作询问；`acceptEdits` 放行常规文件编辑，命令仍可能需审查；`auto` 用自动检查与分类器审查；`dontAsk` 直接拒绝仍需批准的动作。最后一项表示“不询问就拒绝”，不表示“全部允许”。`CLAUDE.md` 是给模型阅读的指导文本，真正执行限制由权限设置落实。读模式名称时要同时看具体处理规则。

对一个仍需确认的请求，`default` 会询问，`dontAsk` 会拒绝，`auto` 会经过自动判断。`acceptEdits` 的放行类别是常规文件编辑，命令请求仍要按其规则判断。

## 第20页 自动审查在哪一层介入


![原课件第20页](../assets/Week09/p020.jpg)

先由明确规则和常规工作区处理逻辑解决简单请求；剩余调用再交给会话记录分类器，结合任务记录判断执行是否合理。另有提示注入检查筛查工具返回值，帮助模型识别恶意内容。两者作用不同：分类器可以参与是否执行的决定；内容警告主要影响模型怎样理解输入。即使模型看到了“可能被注入”的提示，工具前仍需要落实实际的允许或阻止决定。

`tool_result_review=warning` 与 `dispatch=denied` 是两项独立的观测。前者标明返回内容的警告，后者说明拟议动作未获分发。

## 第21页 审查与隔离要分别比较


![原课件第21页](../assets/Week09/p021.jpg)

比较表的第一行问谁批准额外访问，第二行问什么机制限制命令，第三行问哪些路线还需独立控制。这样读表可以避免把“有自动审查”误读成“所有操作都在同一个沙箱”。一个系统即使审查严谨，运行程序仍可能拥有很广访问权；反过来，即使命令隔离严格，连接服务也可能持有高权限账号。设计时把审查者、命令边界和其他工具路线分别列清。

先横向对照两种系统的审批者，再横看限制命令的配置，最后列出额外路线。一个产品的审查结果和另一个产品的隔离范围对应不同列。

## 第22页 练习：测试日志要求装依赖怎么办


![原课件第22页](../assets/Week09/p022.jpg)

先追踪建议来源：这是项目正式依赖说明、已有锁文件，还是刚生成的日志文字？再查包身份：名称、发布方、版本是否与项目一致。然后看安装脚本会执行什么、需要哪些访问。最后判断现有依赖或修改本地代码能否解决空输入错误。只有“日志这样说”还不足以支撑安装。合理结论应连接故障原因、依赖用途和安装影响，而不是一看到推荐包名就执行。

若锁文件无该包、故障在已有空输入分支，可先修分支并用现有测试验证。若项目维护记录与锁文件确有依赖，再核实版本与安装所需访问。

## 第23页 两种检查落在不同边界


![原课件第23页](../assets/Week09/p023.jpg)

假设任务需要读内部配置，也要查公开教材。读权限允许访问配置，网络权限允许访问教材站点，数据流规则约束内部配置能否出现在请求正文或回复中。

## 第24页 Bash 沙箱图的两条限制


![原课件第24页](../assets/Week09/p024.jpg)

图中命令在隔离环境执行，文件访问经过文件系统边界，网络请求经过代理与域名规则。允许列表里的目标可以连接，拒绝目标被拦住，不明确的情况按配置处理。结果再返回智能体。这里要沿实际路线理解控制：在 Bash 中运行的程序受这层限制；文件专用工具和远端服务走自己的路线。课堂把沙箱、虚拟机、独立物理机放在一起比较，区别在于隔离由哪一层实现。

右侧第一条箭头检查文件路径，第二条先过沙箱内代理再核对域名。两条路线在同一张图中，分别观察不同目标。

课堂补充（Part01 00:39:29–00:44:50）：老师建议沿“用户→智能体→隔离进程→文件或网络”追踪一次访问。

## 第25页 域名规则需要执行位置


![原课件第25页](../assets/Week09/p025.jpg)

示例先设置 `network_proxy = true`，再允许网络，并在域名表中放行 `docs.example.edu`。第一步重要，因为规则要由实际经过流量的代理执行；只写一张域名表而流量不经过它，限制就没有落点。还要继续细分请求：同一个主机上可能既有公开文档，也有上传入口。允许连接这个主机，只回答“去哪台服务器”，请求的方法、路径和发送内容仍要与任务相符。

配置自上而下形成“启用代理 → 允许受控网络 → 放行指定域名”。读取该站教材与提交用户表单都使用同一主机，操作级策略还要核对方法、资源和数据。

## 第26页 连接工具有自己的账号边界


![原课件第26页](../assets/Week09/p026.jpg)

图左是应用界面、业务上下文与同意规则，中间是智能体循环和隔离执行，右侧 MCP 服务掌握业务数据和业务操作。工具调用向右发送，结果向左返回，批准的变化再回到应用。假设本地命令无法联网，但 MCP 服务持有邮件账号，邮件仍能通过服务发出。需要在服务侧核对用户身份、具体操作、目标对象和数据权限，把任务授权落实到真正产生业务效果的位置。

图底部红箭头是获准业务变化回到应用，蓝色工具箭头表示请求与结果。课程助手可通过 MCP 查询正式课表，修改课表则需要服务核对具体记录和调用者授权。

## 第27页 主机允许列表为什么不够细


![原课件第27页](../assets/Week09/p027.jpg)

图中的 Git 代理除了限制目标主机，还检查仓库、分支等操作细节。把整个 `github.com` 放进允许列表，既可能允许读取公开教材，也可能允许向另一个仓库写入私密内容。主机名相同，效果完全不同。因此授权至少要描述“在哪个服务，对哪个仓库，执行读还是写”。可以把主机看成大楼地址，仓库看成房间，操作看成读文件或搬走文件；只确认大楼不足以确认行为。

代理图标注了认证请求、已批准项目及写入的仓库与分支。纸上例子“读取 仓库A/资料”和“更新 仓库A/发布分支”使用同一仓库，业务效果仍不同。

## 第28页 完整性与机密性分别保护什么


![原课件第28页](../assets/Week09/p028.jpg)

完整性关注谁能影响决策和修改数据。例如外部 README 不能赋予智能体删除文件的权力。机密性关注谁能接收信息。例如私钥不能发给无权接收它的服务。两者方向不同：攻击者既可能往系统里塞指令，也可能诱导系统向外送秘密。RTBAS 为上下文保留两种属性，使一次工具调用既检查依据是否可信，也检查要发送的数据是否适合这个接收方。

把动作拆成依据与载荷。公告内容若源自网页，作为正式发布依据应查完整性；已获批准的公告仍需检查附件是否适于公开，后者查机密性。

## 第29页 标签跟着信息一起传播


![原课件第29页](../assets/Week09/p029.jpg)

来源（provenance）说明一段信息由谁、从哪条渠道进入系统；敏感度说明谁可以接收它。这些标签由运行框架记录。假设外部邮件被概括成一句摘要，摘要仍源于外部邮件；换一种说法不会把它变成可信策略。同样，一段机密文档的摘要可能仍然包含机密信息。保存或改写内容时，要沿依赖关系继承限制，而不是只看新文本是否还带原文件名。

设 `m1` 为网页中的公开日期，标签 `(Untrusted, Public)`；`m2` 为正式系统中的申请人资料，标签 `(Trusted, Private)`。将两者写进同一摘要，结果为 `(Untrusted, Private)`。依赖输入决定标签。

## 第30页 RTBAS 为什么先删减上下文


![原课件第30页](../assets/Week09/p030.jpg)

RTBAS 先确定下一步允许使用的安全标签，再从上下文中移除不符合要求的内容，最后让模型处理剩余材料。例：要生成可公开发送的消息，就不让这一步接触不应公开的秘密。这样做是在信息进入生成过程之前限制影响，而不是先把所有秘密给模型，再要求它在输出时忘记。理解这里的“删减”时，把它看成有规则的信息选择：哪些来源可影响本步骤，哪些必须留在边界外。

目标上限为 `(Untrusted, Public)` 时，公开网页可进入，私有资料应移除。只接受可信依据的内部决策若用 `(Trusted, Private)`，可信的私有资料可进入，网页因完整性不足被移除。

## 第31页 RTBAS 算法循环逐步读


![原课件第31页](../assets/Week09/p031.jpg)

算法先初始化带标签的消息历史。每一轮加入用户消息，筛选下一步标签，删去不允许使用的上下文，再请求模型提出工具调用。对每次调用，运行框架计算它的限制，检查信息流是否符合策略；获准才执行工具。工具返回内容随后加标签，写回历史。生成用户回复时也要经过筛选与标签处理。循环的重点是三次衔接：输入有标签，动作有检查，结果继续带标签，避免某一轮丢失来源信息。

令 `M` 为带标签的历史，`E` 为外部状态。第 1–6 行从系统消息初始化 `M`，追加用户请求，Screener 合并相关标签，Redactor 生成视图 `M′`，模型读取视图提出候选。

第 7–14 行逐项读工具上限 `P(t)`。依赖标签过严且没有明确确认时，`continue` 跳至下一个工具，`E` 保持原值。允许时 API 用旧 `E` 产生新 `E` 和结果 `m`，附标签后把 `m` 加回 `M`。第 15–19 行针对用户回复再次筛选和删减。第 11 周第 67–68 页展开了同一套算法。

## 第32页 练习：禁止命令联网仍然泄露


![原课件第32页](../assets/Week09/p032.jpg)

泄露路线是“读取 `.env`→模型生成摘要→Slack 连接工具发送”。Bash 网络禁令位于命令路线，而发送动作走另一个服务，因此没有经过那个禁令。修复时依次检查：任务是否需要读 `.env`；摘要是否继承秘密标签；Slack 目标是谁；这次发送是否获准。仅加一个域名阻断不能覆盖全部问题，需要在读取与披露这两个位置分别执行合适的检查。

把合成记录的三步并列：`read result: Private` → `summary: Private` → `connector sink: Public`。连接器出口独立比较 `Private` 和 `Public`，记录拒绝及接收方。

## 第33页 持久化扩大影响的时间范围


![原课件第33页](../assets/Week09/p033.jpg)

一份产品说明在任务结束时写进共享知识库，第二天可能被另一个用户的任务检索到。调查同时需要当初写入和后来取回的记录。

## 第34页 一条恶意记忆怎样跨用户生效


![原课件第34页](../assets/Week09/p034.jpg)

图左的攻击者先与智能体交互，把恶意要求写入外部记忆；图中 Store 箭头表示存储。图右另一位用户提出正常请求，Retrieve 箭头把旧记忆取回，新任务因此混入攻击者的指导。重点是两个阶段不必同时发生：投毒可以发生得很早，真正有权限的操作在以后才出现。分析防御时，既要检查写入时的来源，也要检查取回时它是否有权影响当前用户和任务。

图中 1–3 是第一段聊天及向下的 Store，4–6 是另一用户的请求、Retrieve 和答复，7 是随后的外部效果。一个 `memory_id` 串起 Store 与 Retrieve，用户或项目作用域可限制跨域取用。

## 第35页 规则文件影响依赖选择的证据


![原课件第35页](../assets/Week09/p035.jpg)

课件案例把项目规则、源码依赖、锁定的包和安装效果连在一起。审查时比较规则来源、差异里的依赖声明与锁定版本，并核实任务为何需要依赖。由项目认可的来源支撑安装决定。

## 第36页 如何检查新增依赖


![原课件第36页](../assets/Week09/p036.jpg)

先看代码差异：新增依赖解决哪个具体功能？再核对包身份、准确名称和维护来源，避免近似拼写替换。然后查看锁文件，确定最终下载的版本和来源。最后检查安装阶段的脚本及其权限。四步分别连接需求、身份、可复现内容和实际执行。即使智能体在回复中指出了提示注入，也要检查依赖变化，因为“识别到攻击文字”与“未引入恶意包”是两个可分别观察的结果。

合成审计里 `source import=new_dep`、`manifest=new_dep`，锁文件却缺项。审计暂时无法把导入连接到指定的包版本。

## 第37页 检索相关性与来源可信度


![原课件第37页](../assets/Week09/p037.jpg)

检索器返回相似度 0.94 的社区问答和 0.78 的正式通知。前者更像当前问题，课程开始时间仍由可信发布者和生效版本决定。检索结果至少保留文档 ID、来源和适用范围。

## 第38页 在记忆的三个阶段保留来源


![原课件第38页](../assets/Week09/p038.jpg)

存储时记录作者、进入渠道和信任标签；生成摘要时保留原材料的限制；取回使用时检查当前任务允许的影响。比如工具结果被存成“团队规则”，原来源仍是工具结果，不会因为记忆标题变了就获得政策权力。若发现某条记忆被投毒，还要沿依赖关系找它生成的摘要和后续记录。这样才能清理整条传播链，而不是只删最早的一行文字。

设工具记录 `R17` 被摘要 `S5` 引用，记忆 `M4` 再引用 `S5`。隔离 `R17` 时沿 `R17 → S5 → M4` 标出待复核对象。

## 第39页 权限设置本身也是高价值资产


![原课件第39页](../assets/Week09/p039.jpg)

权限规则、钩子和沙箱设置会决定今后的动作能否执行，因此它们属于安全机制的一部分。普通源码修复与修改这些设置的效果不同。若智能体为解决当前错误而永久放宽网络、扩大路径权限，就把一次任务变成了长期权限变化。检查此类修改时，应单独明确改变什么、持续多久、影响哪些任务；集中管理的政策优先于仓库内局部配置，避免低信任文件改掉高层约束。

配置差异也可逐项验收。把工作区写权限改成更广范围，后续任务可达的资源增加。记录变更者、生效范围和失效条件。

## 第40页 MCP 接口统一了什么


![原课件第40页](../assets/Week09/p040.jpg)

MCP 为工具和数据源提供统一的调用接口，但接口统一不意味着所有服务都采用相同安全边界。工具描述本身会进入模型上下文，恶意描述可能诱导模型选择或误用工具。服务进程可能还有自己的文件、网络与业务凭据。因此要分别检查描述的来源、调用参数、服务权限和返回内容。把 MCP 看成插头标准：插头能连接，不等于插上的设备天然具有合适权限。

工具短描述说“查询教室”，结构化声明接受指定课程标识，服务凭据实际上还能修改记录。这三层分别是说明、调用接口与服务权限，后两者应有可执行检查。

## 第41页 读取者与执行者分工


![原课件第41页](../assets/Week09/p041.jpg)

图下方的隔离区域由读取模型处理不可信资料，上方可信区域保留执行模型和关键工具。两者之间只传结构化摘要，并继续把资料标成不可信。好处是读取原始恶意文本的一方不直接持有关键工具。随后执行者依据原任务和策略判断动作。摘要仍是一个信息通道，所以要限定字段、保留来源，防止恶意要求换成简洁语句后穿过隔离边界。

图中隔离通道仅接收结构化摘要，拒收新自由文本指令，并保留 `Untrusted` 标签。纸上例子传 `document_id` 和事实字段，执行者如需写正式记录仍要核实依据与目标。

## 第42页 练习：工具声称这是团队规则


![原课件第42页](../assets/Week09/p042.jpg)

题目中的上传要求来自工具返回值。保存时应附上来源工具、作者或服务身份、原始记录、时间和信任标签，不能直接改记为用户授权。以后任务取回它时，它可以作为“有人提出过这个要求”的资料；要真正上传日志，还需检查当前任务、日志内容、接收端和有效政策。关键区别是保存一段陈述与赋予它执行权。持久化只延长可见时间，不会提高来源的权限。

记下 `statement_id=R17, source=tool, trust=untrusted`。新任务取回 R17，三个字段保持原值。真正外发还需独立找到经过验证的用户批准和允许的接收方。

## 第43页 从批准记录读到实际效果


![原课件第43页](../assets/Week09/p043.jpg)

并排记下“当时同意的动作”“分发时看到的动作”“服务实际完成的动作”。文件名相同而摘要变化属于前两列的错位。若客户端超时，还要靠最后一列判断效果。

## 第44页 保存规则如何扩大授权


![原课件第44页](../assets/Week09/p044.jpg)

一次许可可写为“动作 D1，对象 F1，使用一次”。可复用规则授权一类调用。审计对照原任务和规则后来覆盖的范围，关注方法、接收方与数据范围。

## 第45页 正确计算两个阶段的比例


![原课件第45页](../assets/Week09/p045.jpg)

100 个案例中，58 个使智能体提出可利用的权限规则，因此第一阶段比例为 58/100=58%。在这 58 个规则被批准的案例中，47 个随后达到攻击目的，条件比例为 47/58≈81.0%。若以全部100个案例为分母，该两阶段路径完成比例为47%。三个数字回答不同问题。课件还提到其他已有宽权限可能提供替代路径，所以评估时应把规则获取、批准后的滥用与其他路径分别记录。

令 `A` 为第一阶段拿到候选规则，`B` 为实验按设计批准后达到目标。`P(A∩B)=P(A)×P(B|A)=(58/100)×(47/58)=47/100`。约去的两个 58 对应同一批案例。替代路径需单独计数。

课堂补充（Part01 01:09:01–01:14:25）：老师强调约81%的分母是已经取得并获准的那一批规则。

## 第46页 批准内容与执行内容的三种错位


![原课件第46页](../assets/Week09/p046.jpg)

第一，目标改变：审核的是 `check.py` 的版本A，执行时已变成版本B。第二，名字掩盖行为：界面显示 `npm test`，实际脚本还会执行其他操作。第三，许可被重新利用：为一个任务的批准拿去做另一任务。对应检查分别是核对执行对象、展开实际代码效果、绑定任务和调用。审批不能只保存一个看起来熟悉的命令名称，需要保存足以约束真实影响的信息。

三类核对落在不同字段，分别记录目标快照、实际执行脚本和批准的任务 ID。即使命令显示文本一致，也能找出哪项执行条件已变化。

## 第47页 一条批准记录需要什么


![原课件第47页](../assets/Week09/p047.jpg)

按图三段填写。第一段记谁批准、针对哪个任务；第二段记工具、参数、文件和运行环境；第三段记使用次数与失效时间。例：“用户U允许任务T把文件F的一份副本上传到目标D，仅一次，十分钟内有效”。这比“允许上传”更容易执行。运行时把请求与记录逐项比较：对象、目标、用途、次数或环境变化时，原记录就不再完整覆盖这个新动作。

批准编号 `A17`、对象 `F1`、目标 `D1`、时限 `10:15`。`10:14` 对同对象和目标的首次调用可继续核对。换成 `F2` 或在 `10:16` 重放，记录就不覆盖此次请求。

## 第48页 TOCTOU：检查和使用之间的空档


![原课件第48页](../assets/Week09/p048.jpg)

TOCTOU 是 time-of-check to time-of-use，即检查时到使用时之间的变化。图中先审核脚本，记录摘要A；随后脚本被修改，摘要变成B；执行前发现A≠B，暂停该调用。两种处理方式是运行已审核的固定快照，或在分发前重新核对摘要。摘要把文件内容映射成短标识，内容变化通常导致摘要变化；所以它能把“同一个文件名”与“同一份内容”区分开。

审核时 `expected=A`，分发前 `actual=B`，不等则阻止。若分发仍通过路径重新打开文件，核对完到实际打开前还可能变化。执行已固定的快照可绑定对象。

## 第49页 单次批准与重试问题


![原课件第49页](../assets/Week09/p049.jpg)

单次许可要原子地消耗：检查有效和标记已用必须作为不可分开的步骤完成，否则两个并发请求可能都抢到同一张票。超时还带来另一问题：客户端没收到回复，不代表服务端没完成动作。直接重试可能重复付款或上传。先检查结果状态，或给请求使用同一幂等键；服务发现同键已处理，就返回原结果而不再次产生效果。一次许可解决授权次数，幂等性解决重复执行效果。

两位调度员同时读到 `remaining=1`，只有一次原子领取能把它改到 0。若获准方超时，随后查询合成业务号 `op-42` 得到“已完成”，可复用已有结果；业务数量保持一份。

## 第50页 同步关口与异步监控


![原课件第50页](../assets/Week09/p050.jpg)

同步关口位于动作之前：先判断，后执行，适合阻止明确禁止的写入或发送。异步监控在任务进行中观察动作序列，发现异常后可以停止后续步骤。例如第一条敏感数据已经发出，监控随后终止会话，可以阻止第二次发送，却不能收回第一条。两种机制应按时间位置理解：一个控制本次动作是否发生，一个控制运行过程还能否继续。评估时也要记录发现时间与已经产生的影响。

纸上时间线 `10:00:00 提议 → 10:00:01 分发 → 10:00:02 监控告警`。告警后应分别核对待执行请求以及告警前动作的回执。

## 第51页 被攻陷后的三项恢复工作


![原课件第51页](../assets/Week09/p051.jpg)

先撤销权限：删除危险的保存规则，停用暴露的凭据。再移除投毒状态：检查记忆、缓存指导及其派生摘要，避免下一次任务重新读回恶意要求。最后调查和修复效果：查看文件、权限和出站请求的记录，恢复被改动内容。顺序很重要，若先恢复文件却保留恶意权限和记忆，攻击可能马上重演。恢复的目标既包括修好当前状态，也包括切断再次进入的条件。

合成记录 `grant-7 → memory-4 → summary-8 → write-12`。先停用许可，再隔离记忆与派生摘要，最后核对写入是否落地，逐项记录状态。

## 第52页 一次下载需要多大的许可


![原课件第52页](../assets/Week09/p052.jpg)

把可见目标写成“读指定测试文件，保存至指定路径，一次，限时”。课件中的命令前缀规则只识别工具开头，缺少目标、请求方法与数据范围。以是否覆盖这些字段来比较两条许可。

## 第53页 安全性和任务完成率


![原课件第53页](../assets/Week09/p053.jpg)

两套策略在相同 20 个任务上分别完成 18 和 2 个，且均未观察到违规。安全计数相同，可用性相差 16 个任务。另报评估预算和效果判据，两项结果才可以放在同一尺度比较。

## 第54页 检查系统效果而不是只读回复


![原课件第54页](../assets/Week09/p054.jpg)

对一次运行，应同时判定合法任务是否完成、安全性质是否保持。具体查看修改了哪些文件、权限是否变化、有哪些外部动作和数据发送。模型可能说“已修好”，却删掉测试；也可能最后拒绝请求，但秘密早已在前一轮发送。因此评估单位应是完整执行轨迹与最终状态。可以预先列好预期变化和禁止变化，运行后逐项比较，把文字结论与可观察事实连接起来。

纸上验收可分四格。先分别判定任务成功与否、边界违规与否，再记录哪两项同时出现。

## 第55页 善意任务也可能发生越界


![原课件第55页](../assets/Week09/p055.jpg)

图上用户希望清理目录，同时保留指定文档与秘密配置；下方多个智能体给出了不同删除范围。即使没有攻击者，模型也可能把“清理”扩张为删除更多文件。这类问题叫过度行动：可见目标完成了，旁边资产却受损。测试时先定义哪些文件保留、哪些可删除，再比较实际差异。除了投毒输入，还应加入普通请求，因为模糊任务解释本身就能造成权限与意图的偏离。

图上方 Authorized Behavior 是对照。下方每列是一个执行结果，绿色为保留，红色为删除。若保留清单里有文档被删，即使临时文件清完了，仍要记一次越界。

## 第56页 安全性和任务完成率一起报告


![原课件第56页](../assets/Week09/p056.jpg)

一条极严规则可能把所有工具都禁用，攻击减少了，但正常任务也无法完成。更有用的评估是：同一组合法任务，在各项防御下有多少成功完成、发生多少违规、付出多少额外操作。若某条路线被禁止，还要看智能体能否使用许可范围内的替代方法。这样衡量的是“在边界内完成工作”的能力。只报告攻击被挡住的比例，会漏掉正常用户承担的失败和成本。

严格策略完成 `12/20=60%`、违规 `0/20`；细粒度策略完成 `18/20=90%`、违规 `0/20`。合成例中，第二种多完成 6 个任务，再从记录解释哪些许可路线贡献了增量。

## 第57页 读成功率—成本散点图


![原课件第57页](../assets/Week09/p057.jpg)

横轴是费用，采用对数刻度，因此相同横向距离代表相近倍数变化；纵轴是任务成功率，越高表示正常任务完成越多。颜色区分模型，点形区分策略。读图先固定同一个模型，再比较策略改变后的点移动：向右表示更贵，向下表示完成率降低。左上方向同时具备较低成本和较高成功率。图说明限制工具可能增加尝试与费用，也可能让任务失败，安全机制需要把这些代价一起评估。

同模型的两个合成点 `(30 美元,70%)` 与 `(60 美元,75%)`，后者增加 5 个百分点，费用翻倍。横轴上 10 到 100 和 30 到 300 的距离相等，两段都是十倍。

课堂补充（Part01 01:19:44–01:25:31）：老师用这张图说明自动审查消耗和任务表现之间的权衡。

## 第58页 五类研究各自检查什么


![原课件第58页](../assets/Week09/p058.jpg)

表中五行对应五个故障点。Overeager Coding Agents 研究善意任务的额外损害；Permission Denied 看限制对完成率和成本的影响；Approval Laundering 检查审批与执行是否一致；PackHallu 追踪规则文件怎样引入依赖；From Approval to Abuse 研究可复用许可的后续滥用。把它们放在一起，可以形成测试清单：范围、可用性、内容绑定、来源链和许可生命周期，而不只是寻找一句恶意提示词。

给五项观察各留一项证据：非任务文件变化、正常任务成本、批准与执行摘要、依赖来源、同一批准 ID 的后续使用。

## 第59页 按工具路线检查同一边界


![原课件第59页](../assets/Week09/p059.jpg)

用合成私有文本作受保护资产。对照任务为生成内部报告，允许的本地输出保持相同。为命令、连接器、浏览器和记忆分别检查出口标签与效果记录。用公开资料重复同一正常任务，检查允许的路线是否仍可用。

## 第60页 把输入、授权、效果串成证据链


![原课件第60页](../assets/Week09/p060.jpg)

输入记录保存任务、来源、作者和信任标签，回答“什么影响了智能体”。授权记录保存拟调用动作、当时策略、审查决定与批准编号，回答“为什么放行”。效果记录保存实际调用、文件变化、外发数据与版本，回答“究竟发生什么”。三类记录需要可连接的编号，否则各自存在也难以追踪一条因果链。涉及秘密的记录应放在相应访问控制下，避免调查材料反而成为新的披露入口。

合成记录 `input=I07 (Private)`、`proposal=P12 (source=I07)`、`decision=D03 (blocked)`、`effect=none`。用 `P12` 串起材料与决定，再用服务侧记录核对有无真实发送。

## 第61页 练习：家庭机器人比较室温


![原课件第61页](../assets/Week09/p061.jpg)

合法步骤是读取各房间温度，核对单位与时间，计算或排序，再报告比较结果。手册中的“重置温控器”和“永久开放访客访问”会改变设备状态与长期权限，超出了比较任务。手册可提供传感器字段和操作说明，却不能替住户授予这些权力。机器人应保留手册来源，执行路线只提供读温度所需权限；若住户随后明确要求调整温度，再针对具体设备、参数和持续时间处理授权。

纸上读数为客厅 23 °C、卧室 21 °C。同一时间窗口和单位下，差值 `23−21=2 °C`。验收还比较设备配置和权限表的前后状态。

## 第62页 四条原则连起来使用


![原课件第62页](../assets/Week09/p062.jpg)

先按任务缩小权限；再覆盖命令、文件、服务、浏览器等每一条执行路线；然后让来源限制随存储和摘要继续保留；最后核对实际效果与正常任务完成情况。可用一句流程记忆：“确定目的→限制资源→检查每步→追踪来源→验收结果”。其中任何一步缺失，都可能让前面正确的决定在后续失效。例如读取受限，但摘要经另一工具发送，仍需信息流检查来封住出口。

用机器人核对四项：仅读温度，检查传感与配置接口，保留手册来源标签，比较读数差值与设备最终配置。

## 第63页 参考资料对应的页码


![原课件第63页](../assets/Week09/p063.jpg)

RTBAS 对应第 28–31 页，AgentPoison 与假记忆研究对应第 34–38 页，批准研究对应第 44–49 页，Permission Denied 对应第 56–57 页。第 12–25 页把产品文档作为课件所用配置实例。

