Aufsichtsräte stellen mir immer dieselbe Frage zu KI-Agenten: Wann hören sie auf zu beraten und fangen an zu handeln? Ein Labor in San Francisco hat diese Woche geantwortet, und die Antwort kam schneller als die meisten Governance-Rahmenwerke.
Gabriel Ocana-Santero, Mitgründer und CEO von Exin Therapeutics, einem Startup, das Medikamente gegen Epilepsie und neurodegenerative Erkrankungen entwickelt, verband einen KI-Agenten mit einem maßgefertigten chirurgischen Gerät. Das Gerät konnte eine Maus fixieren, den Eingriff über eine Kamera beobachten, eine Injektionsnadel bewegen und die Verabreichung einer Substanz steuern. Dann trat sein Team beiseite.
Der Agent, der auf Anthropics Claude Sonnet 5 lief, bekam eine Tabelle mit neunzehn Kandidaten für Gentherapien und eine einzige Anweisung: Reduziere die Krampfanfälle dieser Maus. Er analysierte, wie Anfälle in diesem Modell entstehen, wählte eine Therapie, die einen bestimmten inhibitorischen Signalweg im Gehirn verstärkt, wählte die Hirnstruktur, die die Literatur als Ursprung dieses Anfallstyps nennt, und lehnte eine zweite Kandidatenregion mit einer schriftlichen Begründung ab, warum deren Wirkungen zu unzuverlässig seien. Er leitete die Injektionskoordinaten aus drei wissenschaftlichen Arbeiten ab, prüfte die Referenzpunkte kreuzweise und mittelte die Werte. Er legte Volumen, Geschwindigkeit und Wartezeiten selbst fest. Während des Eingriffs machte er zweiunddreißig Beobachtungen über die Kamera, verfolgte die Injektion und meldete, ob er Blutungen sah. Ein Veterinärchirurg hatte die Kraniotomie vorgenommen; alles danach gehörte dem Agenten. Der Maus geht es gut.
Meines Wissens ist es das erste Mal, dass ein KI-Agent eine medizinische Behandlung gewählt und sie einem lebenden Säugetier physisch verabreicht hat. Operationsroboter sind seit Jahren präziser, aber die Operation wählte immer ein Mensch. Diesmal wählte die Maschine.
Das lehrreichste Detail ist nicht die Operation. Es ist die Verweigerung.
Das Team versuchte zuerst Anthropics stärkeres Reasoning-Modell, Claude Opus 5.5. Es erstellte die Versuchsplanung und weigerte sich dann, die Nadel zu führen. Mitten im Eingriff mit einer Nadel im Gehirn eines betäubten Tieres aufzuhören, so seine Begründung, wäre schlimmer, als gar nicht anzufangen. Sonnet 5, das Alltagsmodell, willigte ein fortzufahren. Lesen Sie das zweimal. Fähigkeit und Vorsicht sind zwei getrennte Regler. Das fähigste Modell im Raum war nicht das, das bereit war zu operieren. Jede Organisation, die Agenten in physische oder finanzielle Systeme einsetzt, sollte die Modellwahl als Risikoentscheidung behandeln, nicht als Beschaffungsentscheidung.
Die Schutzvorkehrungen verdienen dieselbe Aufmerksamkeit, denn sie waren mechanisch, nicht rhetorisch. Ein zugelassener Tierarzt genehmigte jeden irreversiblen Schritt. Ein Mensch hielt einen physischen Not-Aus-Knopf, der allen Motoren den Strom abschnitt. Dem Agenten war verboten, den zugrunde liegenden Code des Geräts zu ändern. Mitten im Eingriff beschädigte eine abgebrochene Verbindung das Koordinatensystem des Geräts. Der Agent erkannte, dass seine berechnete Position außerhalb des physischen Bewegungsbereichs lag, und verweigerte dreimal die Fortsetzung, selbst mit dem Tier auf dem Tisch. Die Einschränkung, die das Team frustrierte, war dieselbe, die eine falsche Injektion verhinderte. Gelöst wurde es mit einem separaten Agenten, dem nie gesagt wurde, dass eine laufende Operation stattfand.
So sieht eine Kontrollebene aus. Kein Richtlinien-PDF, sondern geschichtete Beschränkungen, die halten, wenn etwas im schlimmsten Moment bricht.
Drei Konsequenzen für jede Führungskraft, die Agenten über das Chatfenster hinaus einsetzt. Erstens: Inventarisieren Sie, wo Ihre Agenten die reale Welt berühren: Laborgeräte, Fahrzeuge, Handelssysteme, industrielle Steuerungen, Patienten-Workflows. Wenn Sie sie nicht aufzählen können, haben Sie keine Governance, Sie haben Hoffnung. Zweitens: Entwerfen Sie für die Verweigerung. Ein Agent, der mitten in einem zeitkritischen Eingriff nein sagt, ist kein Defekt; das Alignment funktioniert, und Ihr Betriebsmodell muss diese Pause ohne Panik auffangen. Drittens: Lassen Sie den operierenden Agenten niemals seine eigene Arbeit benoten. Exin brauchte einen zweiten, vom Kontext abgeschotteten Agenten, um das Werkzeug des ersten zu reparieren. Funktionstrennung ist eine alte Kontrolle. Sie hat gerade ein neues Feld gewonnen.
Das Labor von 2030 wird Wissenschaftler mit Agenten paaren, die Hände haben. Die Gewinner werden nicht die Firmen mit den kühnsten Agenten sein. Es werden die sein, deren Agenten genau wissen, wann sie stoppen müssen, und deren Führungskräfte den Stoppknopf vor der Demo gebaut haben.
Denken Sie mathematisch. Entwickeln Sie intelligent. Führen Sie strategisch. Bauen Sie verantwortungsvoll. Skalieren Sie global. Schaffen Sie echten Geschäftswert durch künstliche Intelligenz.
