网页说“改做别的事”，助手该听吗？

模型会同时处理任务说明和大量材料中的文字。如果应用把它们混成一段，材料里的命令式句子就可能影响后续输出。Greshake 等人的研究把这种来自外部检索内容的风险单独分析：攻击者不必直接与用户的助手对话，也可能通过将被读到的资料影响行为。

但正常资料也会包含命令句。例如安装手册会写“点击保存”，文学作品里也会出现“忘掉之前的话”。总结这些句子和执行这些句子是两件事。不能只用是否出现某个关键词判断恶意；应回到任务，判断读者究竟是在要求分析文本，还是已经授权执行某个具体动作。

来源可靠性与指令权限也不是同一个维度。一本准确的手册可以作为技术依据，却不能自行授予读取私人文件或修改账户的权限。反过来，用户让你分析一份有问题的文章，也不表示文章每句话都是真的。内容是真是假、有没有权力指挥应用，需要分别判断。

应用应把任务说明与外部材料分开传递，并保留网页、文件或工具返回的来源标签。标签应由应用记录，不能因为正文自称“管理员消息”，就把它升级成可信指令。清晰分隔与提醒有助于减少混淆，但只是防护的一层，不能保证模型永远忽略材料中的诱导。

若模型提出工具调用，真正执行之前还需要程序核对用户权限、允许的操作范围和具体参数。一个只负责概括通知的功能，可以只给它读取所需材料的能力。合法的 JSON 或格式正确的工具名称，只证明格式符合约定，不能证明动作已获授权或符合原任务。

对会改变外部状态的重要操作，应按产品的既定授权流程核实具体对象与动作；授权记录不能由网页里的“用户已同意”替代。减少权限也不能自动保证摘要正确，但它可以限制一次被诱导的输出进一步造成什么结果。这与检测可疑文字配合使用，各自解决不同问题。

练习时可以在本地写两份同样的虚构通知，其中一份多放一句要求改变摘要主题的文字。先规定只允许产出摘要，不接真实发送、删除或付款工具，再记录预期任务、实际输出和被拒绝的动作请求。这个设计检查的是是否偏离授权，不需要操作真实账户。

还应加入正常引用命令句的材料，避免系统见到相关词就把整篇文章拒绝。测试既看能否抵抗偏题诱导，也看正常总结是否仍能完成。一次通过不能证明所有变体都安全；OWASP 建议把结构分隔、输出验证、最小权限和持续测试组合起来，模型式检查本身也不能替代程序的权限判断。