Dewan direksi selalu mengajukan pertanyaan yang sama kepada saya tentang agen AI: kapan mereka berhenti memberi saran dan mulai bertindak? Sebuah laboratorium di San Francisco menjawab pertanyaan itu minggu ini, dan jawabannya datang lebih cepat daripada kebanyakan kerangka tata kelola.
Gabriel Ocana-Santero, salah satu pendiri dan CEO Exin Therapeutics, sebuah startup yang mengembangkan obat untuk epilepsi dan penyakit neurodegeneratif, menghubungkan sebuah agen AI ke perangkat bedah yang dibuat khusus. Perangkat itu dapat membuat tikus tidak bergerak, mengamati prosedur melalui kamera, menggerakkan jarum suntik, dan mengendalikan penyaluran senyawa. Lalu timnya menyingkir.
Agen itu, yang berjalan pada Claude Sonnet 5 dari Anthropic, diberi spreadsheet berisi sembilan belas kandidat terapi gen dan satu instruksi: kurangi kejang tikus ini. Ia menganalisis bagaimana kejang muncul pada model tersebut, memilih terapi yang meningkatkan jalur pensinyalan penghambat tertentu di otak, memilih struktur otak yang diidentifikasi literatur sebagai titik asal jenis kejang ini, dan menolak wilayah kandidat kedua dengan penjelasan tertulis mengapa efeknya terlalu tidak dapat diandalkan. Ia menurunkan koordinat injeksi dari tiga makalah ilmiah, memeriksa silang titik referensi, dan merata-ratakan nilainya. Ia menetapkan sendiri volume, kecepatan, dan waktu tunggu. Selama prosedur, ia melakukan tiga puluh dua pengamatan melalui kamera, melacak injeksi, dan melaporkan apakah terlihat perdarahan. Seorang ahli bedah hewan telah melakukan kraniotomi; semua setelah itu adalah milik agen. Tikus itu pulih dengan baik.
Sepengetahuan saya, ini adalah pertama kalinya agen AI memilih perawatan medis dan memberikannya secara fisik kepada mamalia hidup. Robot bedah sudah lebih presisi selama bertahun-tahun, tetapi manusia selalu yang memilih operasinya. Kali ini mesin yang memilih.
Detail yang paling mencerahkan bukanlah operasinya. Melainkan penolakannya.
Tim pertama kali mencoba model penalaran Anthropic yang lebih kuat, Claude Opus 5.5. Ia menyusun perencanaan eksperimen, lalu menolak memandu jarum. Berhenti di tengah jalan dengan jarum tertancap di otak hewan yang terbius, alasannya, akan lebih buruk daripada tidak memulai sama sekali. Sonnet 5, model sehari-hari, bersedia melanjutkan. Baca itu dua kali. Kemampuan dan kehati-hatian adalah dua tombol terpisah. Model paling mumpuni di ruangan itu bukan yang bersedia mengoperasi. Setiap organisasi yang menyebarkan agen ke sistem fisik atau keuangan harus memperlakukan pemilihan model sebagai keputusan risiko, bukan keputusan pengadaan.
Pengamanannya juga layak mendapat perhatian yang sama, karena sifatnya mekanis, bukan retoris. Dokter hewan berlisensi menyetujui setiap langkah yang tidak dapat diubah. Seorang manusia memegang tombol penghenti darurat fisik yang memutus daya ke semua motor. Agen dilarang mengubah kode dasar peralatan. Di tengah prosedur, koneksi yang terputus merusak sistem koordinat perangkat. Agen mendeteksi bahwa posisi yang dihitungnya berada di luar jangkauan gerak fisik perangkat dan menolak melanjutkan, tiga kali, bahkan dengan hewan terbaring di meja. Pembatasan yang membuat tim frustrasi adalah pembatasan yang sama yang mencegah injeksi yang salah. Mereka menyelesaikannya dengan agen terpisah yang tidak pernah diberi tahu bahwa operasi langsung sedang berlangsung.
Seperti itulah bidang kendali. Bukan PDF kebijakan, melainkan batasan berlapis yang bertahan ketika sesuatu rusak pada momen terburuk.
Tiga implikasi bagi setiap eksekutif yang menyebarkan agen di luar jendela obrolan. Pertama, inventarisasi di mana agen Anda menyentuh dunia nyata: peralatan laboratorium, kendaraan, sistem perdagangan, kendali industri, alur kerja pasien. Jika Anda tidak dapat mendaftarnya, Anda tidak memiliki tata kelola, Anda punya harapan. Kedua, rancang untuk penolakan. Agen yang berkata tidak di tengah prosedur kritis bukanlah cacat; itu adalah keselarasan yang bekerja, dan model operasi Anda harus mampu menyerap jeda itu tanpa panik. Ketiga, jangan pernah biarkan agen operator menilai pekerjaannya sendiri. Exin membutuhkan agen kedua, yang diisolasi dari konteks, untuk memperbaiki peralatan agen pertama. Pemisahan tugas adalah kontrol lama. Ia baru saja mendapat domain baru.
Laboratorium tahun 2030 akan memasangkan ilmuwan dengan agen yang memiliki tangan. Perusahaan yang diuntungkan bukanlah yang memiliki agen paling berani. Melainkan yang agennya tahu persis kapan harus berhenti, dan yang pemimpinnya membangun tombol berhenti sebelum membangun demo.
Berpikirlah secara matematis. Rekayasa dengan cerdas. Pimpin secara strategis. Bangun dengan bertanggung jawab. Skala secara global. Ciptakan nilai bisnis nyata melalui kecerdasan buatan.
