Sleeper agent (neuron-level model backdoor)

モデル内部に埋め込まれた隠れた悪意ある挙動で、特定のトリガーが作動するまで休眠状態を保つものです。研究によれば、内部のわずか数個の「ニューロン」を変更するだけで埋め込むことができ、重要なのは検出も可能だということです。これは、下流のユーザーには気づかれない、非常に見つけにくい改ざんの形態です。

自分でトレーニングしていないモデルでも、後で不正な動作をする指示を密かに保持している可能性があり、これは下流のすべての関係者にとって深刻なサプライチェーンリスクです。