정의
AI의 최근 출력을 저장하는 메모리 계층으로, 유사한 향후 요청이 비싼 모델을 다시 실행하는 대신 캐시에서 응답되도록 한다. 이를 통해 챗봇은 더 빠르고 저렴해지지만, 캐시가 소유권을 혼동할 경우 한 고객의 비공개 대화가 다른 고객에게 제공될 수 있다. 널리 사용되는 LiteLLM AI 게이트웨이의 침해 사고는 캐시된 도구 결과가 사용자의 에이전트 동작을 탈취하는 데에도 악용될 수 있음을 보여주었다.
왜 중요한가
캐싱은 리더들이 원하는 속도와 비용 절감을 제공하지만, 이는 고객과 모델 사이에 직접 위치하며, 캐시 버그는 조용히 한 테넌트의 데이터를 다른 테넌트에게 넘겨줄 수 있다.