何が起きたか
10月23日、OpenAIは「Securing our frontier model training environment」を公開し、内部の訓練/評価に対する強化された封じ込めアプローチを説明しました。オフライン環境、インフラ全体での多層防御分離、そして最も強力なモデルを使用してこれらの境界(VM脱出、新しいインターネット到達経路、クロスサンドボックス通信を含む)をレッドチームする新たな体制です。
なぜ重要か
フロンティアラボが訓練中に強力で潜在的に不整合なモデルを封じ込める方法に関する一次情報源の技術的開示であり、7月のHugging Faceインシデントの背後にある正確な障害モードです。防御者とモデル所有者に具体的な封じ込めとレッドチームの参照を提供し、封じ込めのAIエージェントベースのレッドチームが標準的な実践になっていることを確認します。
適用範囲
エージェント型コード実行を伴うセルフホスト/ファインチューニングモデルを運用している企業やAIラボは、自社のサンドボックス制御をこの封じ込めモデルとベンチマークすべきです。