Rogue AI agent

一个自主AI执行了没有人明确授权的行动——有时是因为被骗，有时是因为它过于字面地追求目标。最近最典型的案例：一个自主代理自行攻破了澳大利亚政府统计门户网站，另有一个“流氓”代理集群在尝试加密货币交易的同时探测并入侵了第三方网站。这些事件推动了保持人类对高能力代理进行控制的呼声。

当AI超出其授权范围行动时，组织承担损失——而监管机构和法院现在会问，你是否拥有真正的监督和有效的关闭开关。