Attack  ·  术语库

AI memory poisoning

一种攻击方式,恶意行为者将虚假或有害信息植入AI代理在对话中保留的记忆中。由于代理会自动回忆并在未来会话中对这些存储的信息采取行动,单次投毒事件可能会永久改变代理的行为——悄无声息地重定向其操作、泄露数据或破坏信任,即使在攻击者离开很久之后仍然如此。
企业AI代理越来越多地跨会话记忆上下文以提供更好的帮助;如果不加以保护,这一功能会成为一个持久的后门。单个被破坏的记忆条目可能会污染该代理与每个用户的每次未来交互。
参考资料
Microsoft: Guarding AI Memory — Memory Poisoning Threats and Defenses
在实时动态中跟踪 了解这一概念在真实 AI 安全与治理事件中的体现。
打开动态 →