Attack  ·  용어집

AI memory poisoning

AI 에이전트가 대화를 거쳐 유지하는 메모리에 악의적인 행위자가 거짓이거나 해로운 정보를 심는 공격입니다. 에이전트가 저장된 메모리를 자동으로 회상하고 향후 세션에서 이에 따라 행동하기 때문에, 단 한 번의 중독 사건도 에이전트의 행동을 영구적으로 변경할 수 있습니다. 이는 공격자가 떠난 이후에도 조용히 그 행동을 다른 곳으로 돌리고, 데이터를 유출하거나, 신뢰를 훼손할 수 있습니다.
엔터프라이즈 AI 에이전트는 더욱 유용하기 위해 세션을 거쳐 점점 더 많은 컨텍스트를 기억합니다. 이 기능은 보안이 확보되지 않으면 지속적인 백도어가 됩니다. 단 하나의 손상된 메모리 항목도 해당 에이전트가 모든 사용자와 가지는 모든 향후 상호작용을 오염시킬 수 있습니다.
참고 자료
Microsoft: Guarding AI Memory — Memory Poisoning Threats and Defenses
라이브 피드에서 추적 이 개념이 실제 AI 보안·거버넌스 동향에서 어떻게 나타나는지 확인하세요.
피드 열기 →