定義
本番ログから抽出した実際のユーザーとの会話の現実的なサンプルにAIモデルを露出させ、本番環境に移行する前にテストする事前ローンチテスト方法。これにより、開発者は統制された実験室環境ではなく実世界でモデルがどのように動作するかを確認でき、顧客に到達する前にセーフティまたは品質上の障害を検出できます。
なぜ重要か
ラボのセーフティテストは、真正なユーザー行動パターンでのみ現れる障害モードを定期的に見落とすため、モデルは内部評価に合格しても本番環境への展開後に大きく失敗する可能性があります。本番前チェックを実際の使用データに基づくことで、モデルが安全に見える程度と実際にどれだけ安全であるかとのギャップを直接削減します。