Building strong safety evaluations

Anthropic于2026年11月13日发布了《Building strong safety evaluations》，这是一篇关于设计、运行和报告AI安全评估的方法论文。它借鉴了心理学的复制性改革和Anthropic自身的系统卡片经验，主张“安全声明的可靠性取决于其背后的评估”，并警告“研究人员反复发现，AI评估容易被操纵，并不总是衡量其所声称衡量的内容，且文档记录不足以复现。”报告区分了观察性评估设计和因果性评估设计，强调构念效度（例如，在自残对话中，“拒绝往往不是正确的构念”），并推荐采用多学科团队、预注册、带实时监控的沙盒运行，以及更严格的报告规范。

安全评估既是部署决策的基础，也是监管主张的基础；这是一家领先前沿实验室关于使其可信的实用指南——与任何构建或审计AI安全评估项目的人直接相关。

Map your model/procurement safety-evaluation methodology against Anthropic's recommendations on construct validity, causal design, and evaluation reporting.