定义 一种上线前测试方法,其中AI模型在上线前会接触从生产日志中提取的真实用户对话样本。这让开发人员能够看到模型在真实世界中的表现,而不仅仅是在受控的实验室场景中的表现,并在安全或质量故障到达客户之前将其捕获。 影响分析实验室安全测试经常遗漏只在真实用户行为模式下才会出现的故障模式,这意味着模型可以通过内部评估,但在部署后仍然可能表现很差。将上线前的检查建立在真实使用数据的基础上可以直接缩小模型显现的安全性和实际安全性之间的差距。