Apa yang terjadi
Fitur MIT Sloan Management Review ini (diterbitkan 3 November 2026) berpendapat bahwa kerangka tata kelola AI yang muncul menyimpan masalah tersembunyi: dengan menjadikan "manusia dalam loop" reaktif terhadap peringatan yang dihasilkan AI alih-alih proaktif dalam mengidentifikasi ancaman potensial, hal ini dapat secara halus mengikis perilaku manusia yang penting dan menurunkan keandalan secara keseluruhan. Mengacu pada pelajaran dari organisasi berkeandalan tinggi (HRO) dari pembangkit listrik tenaga nuklir, kapal induk, dan kontrol lalu lintas udara — termasuk kegagalan kaskade alarm Three Mile Island dan penekanan perbedaan pendapat dalam insiden busa Columbia — penulis berpendapat bahwa sistem deteksi ancaman berbasis AI (penipuan, intrusi, kepatuhan, penurunan kondisi pasien) rentan terhadap bias, penyimpangan (drift), dan halusinasi, dan bahwa kerangka tata kelola yang berpola pada persetujuan manusia yang reaktif dapat merusak, bukan memperkuat, penilaian lini depan. Rekomendasinya adalah merancang prinsip operasional yang mengembalikan otoritas keputusan kepada manusia yang paling dekat dengan masalah dan memperlakukan anomali yang muncul sebagai sinyal, bukan kebisingan.
Mengapa penting
Bagi seorang CISO atau pemimpin operasional yang merancang proses pengawasan AI, eskalasi, dan persetujuan, ini menantang asumsi umum bahwa menambahkan tinjauan manusia secara otomatis meningkatkan keselamatan — hal ini dapat mengurangi kewaspadaan manusia dan menciptakan titik buta baru, yang merupakan pertimbangan material dalam penerapan AI yang diatur atau kritis terhadap keselamatan.
Tindakan yang diperlukan
Minta pemimpin risiko dan keamanan AI Anda untuk menguji apakah titik pemeriksaan manusia-dalam-loop untuk peringatan AI mengikis kewaspadaan lini depan, dan pertimbangkan untuk menerapkan prinsip operasional berkeandalan tinggi (otoritas penilaian lini depan, anomali sebagai sinyal) pada tata kelola deteksi ancaman AI.