Yönetim kurulları bana yapay zeka ajanları hakkında hep aynı soruyu soruyor: ne zaman tavsiye vermeyi bırakıp harekete geçecekler? San Francisco'daki bir laboratuvar bu hafta bu soruyu yanıtladı ve yanıt çoğu yönetişim çerçevesinden daha hızlı geldi.
Epilepsi ve nörodejeneratif hastalıklar için ilaç geliştiren bir girişim olan Exin Therapeutics'in kurucu ortağı ve CEO'su Gabriel Ocana-Santero, bir yapay zeka ajanını özel yapım bir cerrahi düzeneğe bağladı. Düzenek bir fareyi hareketsiz tutabiliyor, prosedürü kamera aracılığıyla izleyebiliyor, enjeksiyon iğnesini hareket ettirebiliyor ve bir bileşiğin verilmesini kontrol edebiliyordu. Sonra ekibi kenara çekildi.
Anthropic'in Claude Sonnet 5'i üzerinde çalışan ajana, on dokuz aday gen tedavisinden oluşan bir elektronik tablo ve tek bir talimat verildi: bu farenin nöbetlerini azalt. Ajan, bu modelde nöbetlerin nasıl oluştuğunu analiz etti, beyindeki belirli bir engelleyici sinyal yolunu güçlendiren bir tedavi seçti, bilimsel literatürün bu nöbet tipinin kaynağı olarak tanımladığı beyin yapısını seçti ve ikinci bir aday bölgeyi, etkilerinin neden fazla güvenilmez olduğuna dair yazılı bir açıklamayla reddetti. Enjeksiyon koordinatlarını üç bilimsel makaleden türetti, referans noktalarını çapraz kontrol etti ve değerlerin ortalamasını aldı. Hacmi, hızı ve bekleme sürelerini kendisi belirledi. Prosedür sırasında kamera aracılığıyla otuz iki gözlem yaptı, enjeksiyonu izledi ve kanama görüp görmediğini bildirdi. Kraniotomiyi bir veteriner cerrah yapmıştı; ondan sonraki her şey ajana aitti. Fare iyi iyileşiyor.
Bildiğim kadarıyla, bir yapay zeka ajanının hem tıbbi tedavi seçip hem de bunu yaşayan bir memeliye fiziksel olarak uyguladığı ilk olay bu. Cerrahi robotlar yıllardır daha hassastı, ancak ameliyatı her zaman bir insan seçerdi. Bu kez makine seçti.
En öğretici ayrıntı ameliyat değil. Rettir.
Ekip önce Anthropic'in daha güçlü akıl yürütme modeli Claude Opus 5.5'i denedi. Deneysel planlamayı yaptı, sonra iğneyi yönlendirmeyi reddetti. Anestezi altındaki bir hayvanın beyninde iğne varken yarıda durmanın, hiç başlamamaktan daha kötü olacağını gerekçelendirdi. Günlük model Sonnet 5 devam etmeyi kabul etti. Bunu iki kez okuyun. Yetenek ve ihtiyat iki ayrı kadran. Odadaki en yetenekli model, ameliyat etmeye istekli olan değildi. Ajanları fiziksel veya finansal sistemlere yerleştiren her kuruluş, model seçimini bir satın alma kararı değil, bir risk kararı olarak ele almalıdır.
Koruma önlemleri de aynı ilgiyi hak ediyor, çünkü retorik değil mekaniktiler. Lisanslı bir veteriner her geri döndürülemez adımı onayladı. Bir insan, tüm motorların gücünü kesen fiziksel bir acil durdurma düğmesini tutuyordu. Ajanın ekipmanın temel kodunu değiştirmesi yasaktı. Prosedürün ortasında, kopan bir bağlantı düzeneğin koordinat sistemini bozdu. Ajan, hesaplanan konumunun cihazın fiziksel hareket aralığının dışında olduğunu tespit etti ve hayvan masadayken bile üç kez devam etmeyi reddetti. Ekibi hayal kırıklığına uğratan kısıtlama, yanlış enjeksiyonu önleyen kısıtlamayla aynıydı. Sorunu, canlı ameliyat yapıldığı asla söylenmeyen ayrı bir ajanla çözdüler.
Kontrol düzlemi böyle görünür. Politika PDF'i değil, en kötü anda bir şey bozulduğunda bile ayakta kalan katmanlı kısıtlamalar.
Sohbet penceresinin ötesine ajan yerleştiren her yönetici için üç çıkarım. Birincisi, ajanlarınızın gerçek dünyaya nerede dokunduğunun envanterini çıkarın: laboratuvar ekipmanı, araçlar, ticaret sistemleri, endüstriyel kontroller, hasta iş akışları. Bunları sıralayamıyorsanız yönetişiminiz yok, umudunuz var. İkincisi, ret için tasarlayın. Zamana duyarlı bir prosedürün ortasında hayır diyen ajan bir kusur değildir; hizalama çalışıyor demektir ve işletim modeliniz bu duraklamayı panik olmadan kaldırabilmelidir. Üçüncüsü, operatör ajana asla kendi ödevini notlandırtmayın. Exin'in birincisinin araçlarını onarmak için bağlamdan yalıtılmış ikinci bir ajana ihtiyacı oldu. Görevler ayrılığı eski bir kontroldür. Yeni bir alan kazandı.
2030'un laboratuvarı, bilim insanlarını elleri olan ajanlarla eşleştirecek. Faydalanan şirketler en cesur ajanlara sahip olanlar olmayacak. Ajanlarının tam olarak ne zaman duracağını bilenler ve liderlerinin demodan önce durdurma düğmesini inşa ettiği şirketler olacak.
Matematiksel düşünün. Akıllıca mühendislik yapın. Stratejik liderlik edin. Sorumlu inşa edin. Küresel ölçeklenin. Yapay zeka ile gerçek iş değeri yaratın.
