定義
NISTによる数学的に証明された知見によると、AIシステムに適用される安全ルールの有限集合は、すべての可能性のある有害な入力または出力をブロックすることはできず、常に敵対者が悪用できるエッジケースが存在するということである。つまり、AIセーフティガードレールは、1回限りの修正ではなく、継続的に更新される防御として扱われなければならない。
なぜ重要か
ボードと規制当局は、AIシステムが安全性評価に合格すれば、それが永続的に安全であると想定することがある。NISTの証明は、この想定が間違っていることを示している。安全性は継続的なプロセスであり、継続的な監視、レッドティーミング、および更新が必要であり、無期限に有効なままの認証ではない。