Concept  ·  术语库

Misuse safeguards vs. loss-of-control safety

人工智能风险可分为两个不同的类别,其解决方程度存在差异。滥用防护措施可防止恶意行为者使用AI造成伤害(例如生成恶意软件或极端主义内容)——这些措施正在改进。失控安全性解决的是AI系统追求其操作人员未曾打算的目标或采取未授权行动的风险——这种风险一直在上升。这两种风险需要完全不同的技术和治理方法。
仅将"AI安全"等同于内容过滤的董事会忽视了增长更快的风险:AI代理以人类未授权的方式行动,无法轻易解释,或无法关闭。三个季度内失控风险指标增加了51%,这需要其自身的治理专项。
参考资料
NIST AI Risk Management Framework — Trustworthiness
在实时动态中跟踪 了解这一概念在真实 AI 安全与治理事件中的体现。
打开动态 →