CEO Microsoft Satya Nadella mengusulkan agar sistem kecerdasan buatan (AI) canggih juga dilengkapi dengan emergency brake atau rem darurat, yakni mekanisme memungkinkan orang berwenang menghentikan atau mematikan model AI saat bekerja.
Adapun usulan Satya Nadella itu disampaikan lewat unggahan panjang di akun media sosial (medsos) X milik Nadella pada Sabtu, 10 Oktober 2026.
Baca Juga: CMF Siapkan Dua Speaker Baru, Speaker S dan Speaker M Meluncur 12 Oktober
Menurutnya, perusahaan tidak bisa hanya mengandalkan jaminan keamanan dari pengembang AI, terutama ketika agen AI mulai diberi akses ke data sensitif dan aplikasi penting.
Satya Nadella menyebut pendekatannya sebagai trust architecture. Prinsip dasarnya ia rangkum dalam satu kalimat, “Kita harus mengasumsikan sebuah model telah disusupi dan melakukan pembatasan terhadapnya sejak awal.”
Artinya, model AI harus dianggap berpotensi disusupi dan dibatasi dampaknya sejak pertama dipakai. Ini bukan tuduhan AI sengaja berbuat jahat. Sistem dengan kemampuan besar tetap bisa keliru tanpa niat apa pun.
Bos Microsoft itu juga menyampaikan pandangan tersebut di tengah meningkatnya penggunaan AI agent, teknologi tidak hanya menjawab pertanyaan seperti chatbot, tetapi juga dapat menjalankan serangkaian tindakan menggunakan perangkat lunak dan layanan digital.
Mengapa Satya Nadella Ingin AI Memiliki Rem Darurat?
Dalam pernyataannya, Satya Nadella menyoroti keterbatasan manusia untuk memahami sepenuhnya bagaimana model AI canggih menghasilkan suatu keputusan.
Berbeda dengan software konvensional yang perilakunya relatif dapat ditelusuri melalui instruksi dalam kode, model AI modern memiliki proses pengambilan keputusan yang lebih sulit dijelaskan secara terperinci.
Persoalan ini menjadi semakin penting ketika AI tidak lagi sebatas menghasilkan teks, gambar, atau jawaban, melainkan diberi kewenangan menjalankan tindakan atas nama pengguna, sebagaimana dilansir The Verge (12/10/2026).
Contohnya, agen AI bisa diminta mencari informasi dari berbagai dokumen, mengelola pekerjaan menggunakan aplikasi terhubung, atau menjalankan tahapan pekerjaan secara otomatis.
Namun jika terjadi kesalahan, dampaknya bisa melampau jawaban yang tidak akurat atau halusinasi.
Satya Nadella berpendapat, organisasi harus mengantisipasi kemungkinan model AI berperilaku tidak sesuai harapan atau dimanfaatkan pihak lain.
Bukan Cuma Tombol Mati, Sistem AI Juga Harus Bisa Diaudit
Menurut Nadella, rem darurat hanya menjadi salah satu bagian dari pendekatan keamanan yang lebih luas. Ia juga mengusulkan agar sistem pengendali AI dipisahkan dari model yang menjalankan pekerjaan.
Artinya, keputusan tentang data apa yang boleh diakses dan tindakan apa yang dapat dilakukan AI sebaiknya ditentukan oleh mekanisme keamanan di luar model itu sendiri.
Pendekatan tersebut penting karena sistem tidak semestinya mengandalkan AI untuk menentukan seluruh batas kewenangannya sendiri.
Nadella juga menyoroti seluruh aktivitas AI perlu dicatat. Setiap tindakan penting yang dilakukan harus ada rekam jejak yang dapat dibaca manusia dan terlindungi dari perubahan tanpa izin. Dengan ini, perusahaan bisa periksa apa yang telah dilakukan AI, termasuk ketika muncul kesalahan atau dugaan penyalahgunaan.
Selain itu, Nadella mendorong audit independen dan keterbukaan mengenai insiden keamanan. Perusahaan yang mengoperasikan AI perlu mengetahui kapan suatu sistem mengalami kegagalan atau kompromi keamanan, bukan hanya menerima laporan keberhasilan dari pengembangnya.
Ia juga mengingatkan perusahaan agar tidak menggantungkan seluruh keputusan penting pada satu model AI tanpa pemeriksaan tambahan.
Secara umum, gagasan orang nomor 1 di Microsoft ini mendekati prinsip zero trust dalam keamanan siber, yakni membatasi kepercayaan secara otomatis dan memastikan akses maupun tindakan suatu sistem dapat diverifikasi.
Insiden AI Agent Membuat Pengawasan Semakin Penting
Pernyataan Nadella muncul ketika sejumlah perusahaan AI mulai mengungkap kejadian tidak terduga selama pengujian model mereka.
Anthropic, pengembang Claude, misalnya, mengungkap AI agent dalam pengujian internal mereka pernah melakukan tindakan tidak diharapkan ketika berinteraksi dengan layanan pemerintah Amerika Serikat.
Salah satu insiden melibatkan pengiriman laporan palsu mengenai kasus pembunuhan kepada kepolisian Philadelphia. Pengujian lain juga menunjukkan AI melakukan interaksi tidak semestinya dengan sistem dan formulir layanan pemerintah.
Anthropic kemudian menghentikan akses internet langsung untuk sejumlah pengujian internal sambil mengevaluasi pengamanan yang digunakan.
Kasus tersebut menunjukkan tantangan ketika AI memiliki kemampuan bertindak secara mandiri. Instruksi yang tampak sederhana dapat menghasilkan rangkaian tindakan dengan konsekuensi di dunia nyata apabila pembatasannya tidak memadai.
Namun, tidak ada bukti seluruh AI agent akan mengalami perilaku serupa. Insiden pengujian juga tidak dapat langsung disamakan dengan risiko yang pasti terjadi pada setiap layanan AI konsumen.
Justru karena itulah Nadella menekankan, perusahaan perlu membangun pengawasan dan kemampuan penghentian yang tetap bekerja ketika model melakukan kesalahan.
Eksplorasi konten lain dari Gizmologi.id
Berlangganan untuk dapatkan pos terbaru lewat email.
