定義
安全性トレーニングが外科的に取り除かれたモデル——拒否層が除去され、トレーニングで拒否するように教えられたことを喜んで行うようになる。多くの場合、わずかなコード変更だけで実現される。攻撃者は、悪意のある作業のためにガードレールのないモデルを必要とする際にこれらを使用し、実際に顧客のAI認証情報が盗まれた事件で使用された。
なぜ重要か
これは、「安全」なオープンモデルが、制約のないツールとして再装飾され得ることを示しており、評判や公開された安全性の主張に依存する者にとってリスクの計算を変える。