Definisi
Lapisan memori yang menyimpan keluaran terbaru AI sehingga permintaan serupa di masa mendatang dijawab dari cache alih-alih menjalankan ulang model yang mahal. Ini membuat chatbot lebih cepat dan lebih murah — tetapi jika cache mencampuradukkan kepemilikan data, percakapan pribadi satu pelanggan dapat diberikan kepada pelanggan lain. Kebocoran di gateway AI LiteLLM yang banyak digunakan menunjukkan bahwa hasil alat yang di-cache bahkan dapat digunakan untuk membajak tindakan agen pengguna.
Mengapa penting
Caching memberikan kecepatan dan penghematan biaya yang diinginkan para pemimpin, namun ia berada tepat di antara pelanggan dan model; bug cache dapat secara diam-diam memberikan data satu penyewa kepada penyewa lain.