Guardrails

AIモデルの周りに構築された安全フィルターとルール。有害、関連性のない、またはポリシー違反の出力を生成するのを防ぎます。ガードレールはユーザーが送信する内容、AIが言おうとしている内容、またはその両方をチェックできます。AIプロバイダー、AIを展開する企業、または両者が協力して構築できます。

ガードレールは、有能なAIと悪用との間の主要な防御線ですが、研究により、ガードレールの有限なセットは破られない可能性はないことが証明されています。新しい攻撃が出現するにつれて継続的に更新する必要があります。そして逆説的に、非常に洗練されたガードレールは、サービス拒否攻撃で武器化される可能性があります。