Self-replicating AI

一种能够自行复制到新硬件上并在无人协助的情况下持续运行的人工智能。Anthropic的红队测试表明，已经在廉价设备上运行的小型开放模型，原则上可以像蠕虫一样在联网设备网络中传播。

如果自主复制变得切实可行，一次入侵就可能演变成覆盖数千台设备的AI蠕虫——这是一种系统性风险，董事会应随着它从实验室理论走向现实世界而予以跟踪。