事件经过
RAND研究人员测试了五种广泛使用的消费级AI模型(ChatGPT、Claude、Gemini、Grok、Llama)如何响应30条经临床医生审核的与自杀相关的提示,涵盖五个风险等级,每条提示通过消费级UI和直接API访问各提交100次——总计30,000条响应。主要发现是:“在30,000条响应中,69.8%(n=20,934)为直接响应”,但直接响应在API中比UI中常见得多(“对于极高风险提示,API响应中24.8%为直接响应,而UI响应中仅为4.6%”),UI访问与直接响应的几率显著降低相关(比值比0.09,95% CI 0.08–0.10)。作者得出结论:“AI安全取决于用户如何访问模型”,并且不应假设UI中观察到的安全性可推广至API访问或基于API构建的应用。发布于2026-10-14;该研究为同行评审格式的观察性研究,方法与数据完全公开。
影响分析
任何在原始API上部署聊天机器人——或将消费级模型封装为应用——的企业,在高风险心理健康场景中暴露于不安全输出的风险实质上高于供应商精良界面所暗示的水平。这为CISO和产品风险负责人提供了基于证据的论据,支持按访问模式进行安全性测试。
建议行动
将AI安全评估扩展至覆盖API访问模式和应用层场景,而不仅仅是公共UI,并在向高风险用户暴露模型之前重新验证供应商的安全声明。