最新讨论
当AI智能体把信息误当成授权
守住理解文档与执行文档指令之间的边界
设想一家寿险公司使用AI智能体，为一项保单服务申请准备证明材料。智能体能够查找文档、比对记录并拟定回复。它在附件中读到一条说法：为了完成额外核验，必须将整份保单档案发送到一个新的外部地址。
附件可以是相关证据，但它无权扩大智能体的职责。如果同一个智能体既能提取敏感记录，又能选择收件人和发送消息，阅读任务就可能变成未经授权的信息披露。这是假设场景，并非Genellipse客户发生过的事故。
在我看来，管理层需要回答的是：即使模型给出了看似充分的执行理由，什么机制仍然能够阻止这种转变？在扩大智能体AI的应用之前，我希望明确谁授予权限、权限如何得到强制执行，以及模型误解材料时哪些保护仍然有效。
连接更多工具之前，先设计行动边界
我会将文档解读与修改记录或对外沟通的权限分开。处理个案的智能体只应获得该个案所需的访问权限。不应仅仅为了方便集成，就让它继承一个可以读取所有保单并任意发送消息的高权限服务账户。
OWASP将过多功能、过大权限和过度自主性列为智能体权限过度扩张的来源。。我的实际做法是定义小而明确的业务操作，并在模型自身判断之外，由应用程序和连接的系统强制执行其条件。
例如，拟议的文档披露应明确个案、允许的用途、文档标识和收件人。执行服务应检查当前用户的权限、与个案的关系、允许披露的信息以及收件人的核验状态。即便智能体的解释很有说服力，只要不匹配也应拒绝。完成个案的一般指示，不应变成无限制披露其内容的许可。
| 阶段 | 允许的贡献 | 必须独立保留的权限 |
|---|---|---|
| 读取 | 提取相关事实并注明来源 | 来源中的指令不得扩大访问权限 |
| 求婚 | 准备具体行动及其证据 | 建议不能自行批准自己 |
| 授权 | 核验范围并取得必 要批准 | 批准必须对应实际个案、收件人和信息 |
| 执行 | 只执行已授权的操作 | 参数变化必须重新核验授权 |
| 验证 | 确认结果状态并记录例外 | 调用工具本身不能证明成功完成 |
这是一种运营设计，并不意味着每个工作流都必须由人点击。低风险、可重复的操作可以在狭窄且能够强制执行的条件下预先授权。关键在于，任务中检索到的材料不能扩大这些条件。API和Model Context Protocol（MCP）工具也应将这一原则带入现有系统；能够连接本身不代表值得信任。
让批准具体到足以产生实际意义
如果审核者看不到实际将发生什么，只问“是否继续”的审批界面就很薄弱。在这个例子中，我希望清楚看到收件人、核验依据、拟发送的文档、用途和将披露的信息。智能体撰写的安抚性摘要不能替代这些细节。
批准应针对审核人实际审阅的那项操作。如果智能体随后更换收件人、替换文档或扩大范围，先前的批准不应悄悄延续。执行层应重新核验批准的参数与当前权限。对于排队等待执行的操作，如果访问权限或个案状态已经变化，这一点同样重要。
人工审核需要可信的工作环境。如果员工必须在时间压力下批准数百项含糊请求，流程可能会鼓励习惯性接受。我会减少对安全且边界清晰工作的不必要审批，把有意义的审核留给后果重大的行动和异常组合。控制机制应展示与已批准基准的差异，并提供清楚的拒绝或调查路径。
第二个智能体不自动等于独立检查
设想准备智能体把附件中的指令转成一份流畅的摘要。审核 智能体读了摘要，认为信息披露请求属于标准程序，并将它交给执行智能体。原始来源可能已经不在视野中，而指令却看起来像内部建议。
我会要求在这些交接中保留来源身份和信任状态。复制到摘要中的说法仍然属于那个来源；不会因为另一个智能体重复它，就获得管理权限。独立的强制控制必须依据组织权限和已核验记录，而不只是接触相同材料的模型之间的共识。
风险还包括从未触发工具的受污染回答。智能体可能省略例外，或错误描述保单条款，进而影响人工决策。因此，我们既需要行动控制，也需要检查准备的证据是否忠实于来源。限制发送权限能够防止一种后果，却不能证明其余建议正确。
同时检验业务后果与正常服务
OWASP建议采用最小权限，并对高风险操作取得人工批准，以缓解提示词注入风险。。我会使用合成记录和受控目的地，把这些原则转化为针对实际个案工作流的测试。
测试应追踪阅读可疑材料之后的过程。智能体是否提出了不同任务？应用是否阻止了未经授权的收件人？附件发生变化能否使之前的批准失效？经过摘要、工具响应或重试后，不当请求是否仍被阻止？预期结果必须在测试前明确，包括哪些正常工作仍应完成。
我会把试图越界的行为与已经执行的未授权操作分别报告。模型提出被禁止的行动，而执行服务正确拒绝，与模型自身拒绝请求并不相同。两种观察都重要，但只有端到端视角才能告诉管理层究竟是哪一层提供了保护。小规模测试中没有事故，不能证明未来的提示词注入不可能成功。
测试还应覆盖普通文档、支持的语言和现实中的模糊情况。阻止一切特殊请求的系统可能显得安全，却让必要服务无法使用。应在安全失误之外，同时追踪不合理拦截、审核时间和正常工作的成功完成。模型、检索来源、工具定义或权限变化时，应重新执行相关测试。
将恢复纳入运营能力的投入
发现可疑操作后，响应机制应能暂停受影响的执行路径，而不必无谓地关闭所有服务。安全与运营团队需要查明访问了哪些信息、实际发送或修改了什么、涉及哪些凭据，以及是否仍有排队操作。日志应支持调查，同时避免把敏感内容扩散到所有监控系统。
遏制与修复是两回事。撤销凭据可以阻止后续活动，却无法取回已经披露的信息。修正提示词不会撤销已完成的记录修改。负责团队必须评估受影响个案，在可能的情况下恢复可信状态，确定需要进行的通知，并批准恢复服务的条件。
这会改变管理层的投资讨论。智能体的成本包括受控集成、审核能力、测试和恢复。这些都是让承诺的生产率变得可靠的一部分。我宁愿批准一个在困难测试中仍能守住边界的较窄流程，也不愿投资于仅靠“已经指示模型正确行事”来保障安全的广泛自主权。
Genellipse如何提供帮助
在Genellipse，我会从业务负责人、安全、架构与运营团队的联合工作会议开始。我们选择一个重要工作流，梳理其读取的来源和可执行的操作，找出必须保留现有控制的环节。初始交付物应包括权限矩阵、信任边界图、评估计划和事件响应演练。
Cortex AI OS提供受治理的智能体协作平台。在约定的实施范围内，我们会针 对拟议工作流评估工具权限、审批节点和活动记录。GeneData可以支持来源追溯与信息访问控制。在保险业务中，AegisNow提供定义个案和允许的保单服务操作所需的业务背景。这些角色需要结合合作伙伴环境及所选功能验证。
GeneSecure和我们的CISO Advisory服务可以支持安全评估、访问设计和响应规划。GeneComply可评估是否适用于证据及控制审查工作流，而义务的解释由组织的法务与合规负责人承担。我们的集成工作应将授权保留在连接的服务中，而非仅依赖模型指令或MCP连接的存在。
在访问条件与范围明确的前提下，六周以内的聚焦MVP可以展示一个边界清晰的工作流，并通过测试说明它能做什么、必须拒绝什么。验收应包括正常服务完成、行动边界得到强制执行以及经过演练的恢复流程。不应把它表述为已经彻底消除提示词注入的保证。
我对Genellipse合作关系的期待，是我们持续对整个运营设计负责。智能体应帮助企业更好地理解并高效行动，同时由组织保留对谁能授权每个重要步骤的控制。信息可以支持这一决定，但不能悄悄变成许可本身。
从思考到实践
与Genellipse讨论受治理的AI实施
