何が起きたか
プリンストン大学のCITP（Sayash Kapoor、Arvind Narayananおよび英国AISI所属の共著者を含む協力者）の研究者らは、「シャドウ評価」を導入している。これは、未発表の高品質論文から中心的なオープンエンド研究質問をフロンティアAIエージェントに提供し、6日間および数千ドルの計算リソースを与えた後、元の人間の著者にAIの出力を自身の研究と比較してブラインドで評価させるものである。未発表のNeurIPS 2026の投稿2件を横断して、エージェントはすべてのエンジニアリング作業（文献レビュー、デバッグ、数百の実験、カメラレディLaTeX）を人間の助けなしで完了したが、元の著者による研究の実質に関して「明確に却下された」。チームは5つの反復する失敗モード、すなわち出版基準に関する判断不十分、設計欠陥への創造的でない対応、効果のない後戻り、リソース認識の不足、および指示ドリフトを特定している。第2のモデル/スキャフォールドによる堅牢性チェックはパターンを再現した。本稿はプレプリントであり、ピアレビューされていない。
なぜ重要か
経営陣やポリシーチームがますます質問するようになった再帰的自己改善/AGIタイムラインの議論に直接情報を提供する。エージェントは流暢なエンジニアリング実行を示しているが、真正の研究判断ギャップがあり、スケーリングおよび安全性政策の議論で使用される近期のAI R&D自動化リスク仮定を緩和している。
必要な対応
自律AI R&D機能の主張を評価している技術的なAI安全/研究リーダーシップと共有し、失敗モード分類法を内部エージェント機能リスク評価に組み込む。