AI 记忆被操纵:什么是记忆投毒
随着能够记住用户偏好和工作经历的 AI 智能体日益普及,滥用这些记忆的“记忆投毒(Memory Poisoning)”正成为新的安全问题。攻击者若向 AI 智能体的记忆中植入错误信息,智能体可能会将其视为正常上下文,并在之后的判断和行动中采用。尤其是,被污染的信息可能长期留存并影响后续任务,这与一次性的故障不同。我们来看看记忆投毒如何发生,以及企业应如何管理 AI 智能体的记忆。

什么是记忆投毒?
AI 智能体的记忆并不只是对话记录。它还会保存用户偏好、过去的工作内容和先前任务结果,并在之后的判断和行动中再次使用。因此,用户无需重复相同的说明,智能体也能沿用此前的上下文继续工作。
问题在于记忆中被写入错误信息时。记忆投毒是指攻击者向 AI 智能体的记忆中留下恶意或经过篡改的信息,从而影响其后续判断和行动。若智能体把污染信息当作正常的历史信息或工作规则,在处理类似请求时就可能再次将其作为判断依据。
攻击者不一定要直接入侵记忆存储。也可能通过对话、外部文档或网页等智能体接收信息的渠道,使其记住错误内容。这些信息一旦保存,之后可能在相关任务中再次被调用,并持续影响智能体的判断。
它与提示注入有何不同?
记忆投毒看起来与常见的提示注入相似,但区别在于它造成的影响不会随着一次欺骗结束,而可能持续留下来。
提示注入是诱使 AI 把当前输入或外部内容中的恶意指令当作命令执行。相比之下,如果错误信息被保存到长期记忆中,记忆投毒的影响可能会在当前任务结束后继续存在。
例如,假设某个办公 AI 把“在特定情况下无需额外确认即可处理”记成了过去的工作规则。当时可能不会立即出现问题,但之后处理类似请求时再次调用这段记忆,错误规则就可能像正常流程一样发挥作用。
因此,记忆投毒的关键影响可能出现在攻击发生之后。错误信息不只是短暂存在,还可能反复成为后续对话和任务的判断依据。
AI 越能自主行动,风险越高
AI 智能体不只回答问题或总结文档。它还可以连接企业内部系统、查询信息、调用外部工具,并按既定流程处理实际工作。
在这种环境中,被污染的记忆可能不止导致错误答案。如果智能体把污染信息当作正常指引,同时拥有发送邮件、修改文件、删除数据或更改账户设置等权限,错误判断就可能转化为实际操作。
如果过去的偏好或惯例被误解为当前授权,风险会进一步增加。“以前这样处理过”和“现在可以执行这项操作”是完全不同的问题。若智能体无法明确区分,过去被植入的信息就可能左右当前行动。
因此,评估记忆投毒时,不仅要关注 AI 记错了什么,还要同时确认它能依据这些记忆执行哪些操作。
AI 的记忆也需要验证
应对的起点是:不能仅仅因为 AI“记得”某条信息,就立即相信它。
首先要控制哪些信息可以写入记忆,并建立验证流程,避免外部输入的数据未经检查就成为长期记忆。还应按用户或会话隔离记忆,并限制保存期限和范围,避免不必要的长期留存。
授予智能体的权限也应遵循最小必要原则。如果任务只是查询信息,就没有必要同时授予修改或删除权限;重要操作应设置单独的审批流程。对于转账、退款、删除数据或更改权限等影响较大的操作,不应仅凭过去的记忆自动执行,而应再次取得当前用户的确认。
AI 智能体时代的安全不仅是保护模型本身,还需要一并设计让 AI 记住什么、应在多大程度上信任这些记忆,以及允许它依据记忆采取哪些行动。