Attack  ·  用語集

AI memory poisoning

AIエージェントが会話全体で保持するメモリに、悪意のある者が虚偽または有害な情報を植え付ける攻撃。エージェントがこの保存されたメモリを将来のセッションで自動的に想起して行動するため、1回の毒入れイベントがエージェントの動作を恒久的に変更する可能性がある。これにより、攻撃者が去った後でも、その行動を静かにリダイレクトしたり、データを漏洩させたり、信頼を損なう。
エンタープライズAIエージェントはセッション間でコンテキストを記憶し、より有用になるためにこの機能を利用することが増えている。この機能はセキュリティが確保されていない場合、永続的なバックドアになる。1つの侵害されたメモリエントリが、そのエージェントが全ユーザーとの今後のすべてのインタラクションを破損させる可能性がある。
参考資料
Microsoft: Guarding AI Memory — Memory Poisoning Threats and Defenses
ライブフィードで追跡 この概念が実際のAIセキュリティ・ガバナンスの動向でどう現れるかを確認。
フィードを開く →