Attack  ·  용어집

AI memory poisoning

에이전트가 저장하는 정보나 읽는 문서, 즉 기억을 조작하여 시간이 지남에 따라 향후 결정이 조용히 오염되도록 하는 행위로, 종종 눈에 띄는 오류 없이 발생합니다. 이는 긴 대화와 작업에 걸쳐 사실을 기억하는 에이전트에게 특히 위험합니다.
오염된 기억 때문에 에이전트가 나중에 잘못된 행동을 하게 되면, 조직은 이를 의도적인 공격이 아닌 일반적인 실수로 돌릴 가능성이 높아, 이는 서서히 진행되는 거버넌스 및 무결성 위험이 됩니다.
Microsoft: Guarding AI Memory — Memory Poisoning Threats and Defenses
라이브 피드에서 추적 이 개념이 실제 AI 보안·거버넌스 동향에서 어떻게 나타나는지 확인하세요.
피드 열기 →