AI memory poisoning

エージェントが保存する情報や読み取る文書、すなわちその「記憶」を改ざんし、将来の意思決定を時間をかけて静かに腐敗させる行為。多くの場合、目に見えるエラーは一切発生しない。これは、長期間にわたる会話やタスクの間で事実を記憶するエージェントにとって特に危険である。

汚染された記憶によりエージェントが後日誤った行動を取るため、組織はその失敗を意図的な攻撃ではなく通常のミスと誤認する可能性があり、これは長期的に進行するガバナンスおよび整合性のリスクとなる。